国际组织预算绩效评价的比较及启示
马蔡琛,赵 笛
(南开大学 经济学院,天津 300071)
摘 要: 全面实施预算绩效管理是当代中国现代财政制度建设的重要命题。从20世纪七八十年代开始,国际组织逐渐建立起一套追求“结果”、并逐渐向统一和联合评价靠拢的预算绩效评价体系。各类国际组织在预算绩效管理改革进程中,设计了项目评价、国家层面评价以及组织整体支出评价的绩效评价体系。在评价主体选择、评价对象划分以及评价指标的建设上都呈现出不同的特色,这对中国全面实施预算绩效管理改革方略的推进,具有重要的启示性价值。
关键词: 预算绩效管理;绩效预算;国际组织;独立评价主体;评价指标
在现代财政制度的视野中,预算资金的使用效率和运用结果的有效性构成了财政管理的最终目标。从党的十六届三中全会首次明确提出建立预算绩效评价体系的改革方向,到2018年9月《中共中央国务院关于全面实施预算绩效管理的意见》正式发布,提出力争用3~5年的时间基本建成全方位、全过程和全覆盖的预算绩效管理体系,以顶层设计的形式,为中国新时代的财政改革明确了“绩效”导向[1]。
随着中西文化交流的日益频繁,文化负载词的翻译对于促进中西方各国之间的友好交流具有重要意义。研究中国文化负载词,尤其是中国文学中的文化负载词的翻译,可以使西方读者更全面地了解中国传统文化,对当代中国人的生活哲学形成更直观的认识。有鉴于此,笔者以Kathy Mok的《盗墓笔记》第一册的英译本Cavern of the Blood Zombies为对象,结合相关理论,着重探讨了文化负载词的翻译方法。
国际组织的绩效评价从20世纪七八十年代发展至今,积累了很多关于国际援助项目以及组织层面、国家层面绩效评价的经验,并不断帮助发展中国家推进预算绩效管理改革,以提高政府工作效率、实现更高质量的预算执行结果、增加公共服务透明度和责任意识[2]。2015年6月,世界银行支持中国财政部预算评审中心启动了财政支出政策绩效评价框架体系的研究,并初步完成了《中国财政支出政策绩效评价框架体系》和《财政支出政策绩效评价操作指南》的构建[3]。在中国对国际金融组织贷款项目绩效评价的过程中,也引进了国际组织的项目评价方法和指标。从2003年起,财政部国际司(国际财金合作司的前身)积极借鉴世界银行、亚洲开发银行等国际金融组织的经验,对世界银行、国际农业发展基金等国际组织的贷款项目绩效评价作出规范,并于2014年修订了《国际金融组织贷款项目绩效评价操作指南》。国际组织在长期以来发展形成的预算绩效评价体系,无论是从发展评价项目、援助国家还是国际组织本身的财政支出绩效评价出发,无论是绩效自评还是独立评价,都形成了在各种评价领域和评价方法相协调的、原则和指标明确合理并且不断统一的预算绩效评价体系,在评价主体选择、评价领域范围以及评价指标设立等方面,都具有一定的启示价值和借鉴意义。
一、国际组织预算绩效评价的演进规律
广义上的国际组织定义为具有国际成员或在国际上存在的组织。主要有两种类型:国际非政府组织和政府间组织。国际非政府组织指在国际上开展活动的非政府组织,包括国际非营利性组织和世界各地的公司,如红十字国际委员会等。政府间组织,又称国际政府组织,是与“国际组织”一词联系最密切的组织类型,这些组织主要由主权国家(称为会员国)组成,例如联合国(United Nation)、经济合作与发展组织(OECD)等。在本文的研究中所提及的“国际组织”主要是指后一种,即政府间国际组织,同时也包括世界银行、亚洲发展银行、国际货币基金组织等多边发展机构或多边发展银行。
(一)国际组织预算绩效评价的起始
自国际组织成立以来,评价一直是其管理政策的重要组成部分。1954年,一个由30个具有教科文组织咨询地位的非政府组织组成的小组,就非政府组织进行项目支出评价所采用的技术进行了调查。报告显示,一些组织使用巡视员和统计报告的形式进行评价,而且形成的报告可以在不同地区进行比较。1956年,国际协会联盟(Union of International Associations)召集专业人员制定了一项评价国际非政府组织的计划,该计划并没有进行数量评价,集中对一组非政府组织的目标、方案以及组织的运作进行质量评价[4]。随着预算的不断衰减和限制,国际组织需要创新的政策和计划来降低成本,并且保持公务员组织及其工作人员的生产力。同时,为提高服务的质量和效率,国际组织开始以绩效为导向的监视和评价[5]。
在早期,国际组织的预算绩效评价更多关注于审计方面,在大多数组织中,评价职能与内部审计处于同一组织位置。1970年,世界银行业务评价中心设立,成为首个独立于组织内部审计部门的绩效评价部门,且评价报告也不向世界银行行长报告,而是为确保其独立性,直接向理事会报告[6]。独立评价部、独立评价办公室等部门,负责在绩效自评的基础上对国际组织资金支出使用进行监督。
“你来替我下这一手。”子虚抬起头,看向李离。千结万结,不如无结,让这小子试试看,子虚先生这是在赌时运啊!
谷城县把解决贫困户眼前生计问题和建设长期收益项目结合起来,因户制宜、精准施策,资金、项目向重点贫困村倾斜,向最困难的群体倾斜,70%的资金用于37个重点贫困村,将脱贫成效作为项目安排、资金使用的重要参考因素,促使入户政策更加完善,切实改善了贫困人口的生产生活条件。
(二)以“结果”为导向的绩效评价发展
20世纪80年代新公共管理运动的兴起,引发了新一轮以“结果(outcome)”为导向的、被称之为“新绩效预算”的预算改革[7],在这一背景下,国际组织绩效评价也开始向关注“绩效结果”过渡。结果导向的评价是对尚处于计划阶段的、正在实施的或已经完成的干预措施之相关性、效率、有效性、影响和可持续性进行的评价。其目的是提供可信和有用的信息,以便经验和教训可以融入项目支出的决策过程。评价从较高的层面来看待发展干预活动,以考察目标和结果实现过程中所取得的进展是来自某项干预措施,还是监测体系中发现的其他因素[8]。
20世纪90年代中期,联合国开发计划署(UNDP)开始转向以结果为基础的管理(results-based management),在1997年的年度报告中,要求在UNDP内部建立一个“全面规划和结果管理制度”。此外,世界银行、美国国际开发署(USAID)、加拿大国际援助署(CIDA)等多边和双边国际组织也开展了以“结果”为导向的绩效评价。在理论基础方面,出现了结果框架(result framework)和结果链(result chain)的概念,各国际组织在发展绩效评价的过程中对结果链进行了定义和规范(图1),结果链的产生为后续确定评价内容以及设计评价指标起到了重要的指导作用。
图1 结果链的主要形式及评价内容
资料来源:Morra I.,G Linda. The Road to Results: Designing and Conducting Effective Development Evaluations[R]. World Bank,2009:223
(三)各国际组织在绩效评价上的合作不断加强
美国国际开发署(USAID)在20世纪90年代中期率先放弃了以往侧重于项目评价的做法,转而采用更具战略性和注重成果的国别绩效评价,联合国开发计划署(UNDP)的成果管理系统也采用了类似的国家方案模式[22]。亚洲开发银行在计划新的国家伙伴战略(CPS)之前,会运用结果框架(results framework)对国家援助计划进行国别层面的绩效评价,注重对援助国整体援助情况的相关性、效率、有效性、可持续性和影响进行评价[23],并对5个类别的指标分别定为20%的权重,评级结果包括非常满意、满意、不太满意和不满意等相应等级[24]。
之前有研究[9,30]建立了基于血清C-反应蛋白(CPR)与N分期对于鼻咽癌远处转移的预测模型,并通过该模型将患者分为高中低风险,预测效果显著(P<0.001)。血清C-反应蛋白可以通过生化检查获得,而N分期可以从AJCC分期获得。而此次模型并未纳入这两项因素。基于算法自动筛选出与进展期鼻咽癌远处转移最相关的因素,因此CPR与N分期相对于纳入的因素而言,相关性并没有那么强。
在自我评价的基础上,独立评价提供了更加客观、不同视角的评价结果,起到了对国际组织运行效率的监督作用。在独立评价主体的设立上,一方面,IMF、世界银行、亚洲开发银行等机构都设置了独立评价部或独立评价局,以保证评价的科学、客观和准确;另一方面,也存在各国际组织之间的联合评价机构,对评价规范以及评价内容进行协调和统一。
从国际组织绩效评价的发展来看,呈现一个由过程评价到结果评价的演进过程,也具有从分散走向统一集中的特点。以“结果”为导向的绩效评价,促使国际组织开始对项目以及组织运行的成果和中长期影响进行考察,而国际组织绩效评价的整体发展趋势,也是从各自独立的评价体系不断发展到统一的评价标准和准则,并逐渐走向更具有可比较性和可借鉴性的联合评价。
二、评价的主体建设——绩效自评与独立评价
在国际组织绩效评价的过程中,既需要对援助项目以及组织自身支出的自我评价,也需要第三方的独立评价。两种评价主体的有效结合,可以从多方面、多角度关注项目进度和组织运行,既有助于动态跟进项目的进展情况,也有助于被援助国和公众对项目进行监督。
(一)组织内部的绩效自评
由国际组织对援助项目实施绩效自评,就是根据组织之最终目标和计划指南来评价其绩效。国际组织内部的绩效自评具有重要意义,可以通过对数据进行整理、汇总,对组织的运作和结果进行详尽、系统和定期的分析,以确定其优势和劣势,对需要改进的领域和计划进行提升和发展。
直到现在,“帮顾客买商品”依旧是卡尔施泰特的经营特色,他们认为最重要的一件事情是为顾客提供“服务和帮助”,而把卖商品看作是一个由此而产生的效应。
目前,中国在推进财政支出绩效评价的过程中,主要采取的是各部门在财政资金或项目的完成阶段进行绩效自评,通过对资金使用情况、项目进展、预期结果和实际结果等内容进行评价打分,完成自评报告,并对于其中的重点项目通过外部评价的方式由专家组进行再评价。总体上,目前的预算绩效评价未能充分独立于各支出部门,形成的评价报告不能跨越支出部门而直接上报专业性独立评价机构。第三方评价的内容、指标与方式,也常常受政府态度的影响,如果涉及对政府不利的评价,会被取消或受到阻止[19],因此建立独立于资金使用部门的独立评价主体是非常重要的。完全专业的外部评价部门对于评价的流程以及评价指标的设定更加规范、标准,同时也具有一定的独立性。在此基础上,可以借鉴国际组织独立评价部门的经验,并对独立评价部门的评价规程进行统一的规范,将自评和独立评价有效结合、统一量纲,从而得到更加合理且客观的绩效结果。
图2 CAF结构
资料来源:European Public Administration Network. Improving Public Organisations through Self-Assessment[R]. CAF,2013:9
国际组织内部评价的优势在于,组织内部人员对于资金使用以及项目的实施更加了解,收集相关资料也更加方便。内部评价更多用于需要组织内部在资金投入的前期、中期和后期跟进资金使用的情况,而不涉及外部利益主体对组织资金使用情况的监督[12]。但组织内部的绩效自评也存在一些缺陷和问题。一方面,由于组织内部评价缺乏专业评价机构的专业化流程、评价人员和技术,自我评价的结果往往不充分或不准确;另一方面,自评结果也存在过度美化的可能性。因此,国际组织的自评结果往往是存疑的,并不是国际组织进行绩效评价的主流形式。
(二)组织外部的第三方独立评价
2006年,OECD发展援助委员会(DAC)发展评价网络推出了国际组织联合评价的指南,联合评价使国际组织之间能够以集体评价的方式考察那些共同努力的相关性、效率、有效性、可持续性和影响结果。这种联合评价在当前各国际组织援助项目合作不断加强的背景下,具有尤为重要的意义,亦可以使绩效评价的交易成本最小化[10]。
绩效自评与独立评价并不是截然分开的两部分,而应是相互协调互补的两种评价类型。自我评价的价值在于评价与政策距离更近,其结果具有更好的激励和学习作用。而独立评价可以弥补自我评价系统的缺点,帮助解决系统性问题,也可以从其他的角度评价一系列干预措施,进而提高组织的评价效率,发现从日常业务角度看不到的问题和发展点。将绩效自评与独立评价结合起来一直是各国际组织倡导的方法[17]。例如,在评价联合小组(ECG)对国际组织自评的要求中,就明确提出国际组织的自我评价需要与独立评价体系相协调,确保自我评价与独立评价在评价范围、评价标准、评价量表等方面的一致性[18]。这种绩效自评与独立评价相结合的方式,一方面,绩效自评可以通过对资金使用情况、项目进展以及部门运营的反思和考察,更加合理地调整资金分配,以获得更高水平的绩效结果;另一方面,外部绩效评价主体的主要作用是对公共部门的工作进行监督,其评价结果更加具有独立性和公信力,便于社会和其他利益主体对公共部门绩效结果的监督和考察。
此外,国际上也有独立于评价部门的联合评价机构,对各国际组织评价部门的评价规范、原则、指标等内容进行协调和统一。例如,于1996年成立的评价联合小组(ECG)负责对非洲开发银行、亚洲开发银行、欧洲复兴与发展银行、美洲开发银行和世界银行这5个多边开发银行的评价方法进行协调[16]。 OECD/DAC发展评价网络1991年发布的《评价发展合作:关键规范和标准的摘要》,设立了发展援助绩效评价的统一原则和指标,适用于包括国际货币基金组织和世界银行在内的37个双边援助国家和多边发展机构,这些国际组织在绩效评价的过程中使用OECD设立的统一评价原则、评价标准以及评价指标。
与内部评价相比,独立评价的优点在于,评价主体距离国际组织的运行以及项目实施较远,不会受到资金使用主体的影响和制约,更加具有真实性;并且专业性的外部评价机构在评价规范、评价流程以及标准上都有严格的要求和培训,评价结果更具横向可比性。但外部评价主体由于距离项目实施和组织运行的距离较远,难以了解项目实施以及资金使用的具体情况,不能设身处地了解组织具体的运行环境与困难,可能出现评价与实际情况相脱离或者不匹配的情况。因此,当涉及外部利益相关者的利益诉求时,或者当项目结束需要进行系统的评价和考核时,一般选择外部主体进行评价和总结。
(三)不同评价主体之间的协调与借鉴
1973年,设立在世界银行方案和预算司的业务评价中心更名为业务评价部(OED)并开始独立于世界银行的管理。2006年7月,世界银行集团理事会将世界银行、国际金融公司(IFC)和多边投资担保机构(MIGA)的独立职能部门整合,成立了独立评价局(IEG)[13]。类似的,国际货币基金组织(IMF)的独立评价处(Independent Evaluation Office,IEO)于2001年成立,对基金的政策和活动进行独立和客观的评价,根据其职权范围,它完全独立于国际货币基金组织的管理,与执行董事会保持一定距离[14]。亚洲开发银行(ADB)设立独立评价部(IED),独立和系统地评估亚洲开发银行的政策、战略、运营以及与组织和运营有效性相关的特殊问题[15]。这些独立评价部门进行的绩效评价更加客观公正,可以越过国际组织直接向公众公开,确保了成员国资源的有效利用以及项目实施的有效性。
欧盟2000年5月开始实施的公共评估框架(Common Assessment Framework)就是一个重要的自我评价方法,其建立在全面质量管理模型的基础上,协助组织在所有员工的参与下进行自我评估,根据自我评估的结果制定改进计划,并实施改进行动[11],其实施框架如图2所示。
三、评价对象的划分——项目、国家和机构层面的绩效评价
随着各国际组织绩效评价的不断发展,评价对象的范围也在不断扩大,从一开始的发展援助项目评价,后来不断发展和扩大到项目、国别、国际组织层面的绩效评价。
(一)项目层面的绩效评价
项目层面的绩效评价是指国际组织对其发展援助项目的资金使用、帮扶情况以及项目效果进行评价,是最基础也是种类最丰富的评价领域。国际组织对各国援助项目(development assistance)、发展合作计划(development co-operation)或者发展干预项目(development intervention)的绩效评价,又称为发展评价(development evaluation)。
从项目支出、公共政策支出,到部门整体支出,再到财政预算绩效评价,预算绩效评的领域和范围不断扩大。但从目前的发展来看,仍然缺乏项目政策、部门以及整体财政预算之间层层递进的推进关系,缺乏预算绩效管理整体上的协调性。项目评价为部门整体评价提供了基础数据和资料,而财政预算以及部门整体支出的绩效评价结果也为之后项目和政策的发展方向提供了有力支撑。例如,河北省在进行预算资金下拨时就打破了单一按照预算项目管理的模式,变为“部门职责—工作活动—预算项目”3个层级,先说部门有多少项政府赋予的职责,再说每项职责下开展什么重大活动,最后说需要安排什么项目、多少资金[28]。这种从项目支出、公共政策支出与部门整体支出绩效评价的有机整合,有利于对部门整体绩效水平的全面考察。
项目支出绩效评价是国际组织绩效评价的最基本层面,是对发展援助项目的资金使用情况、实施过程以及结果最直接、针对性最强的评价方式,可以直观了解项目资金的使用结果与绩效。但项目层面的评价由于只涉及单个项目的评价结果,不能很好地考察所有发展援助项目的整体影响,也难以考核该国际组织整体支出的绩效水平,因此具有一定的局限性。各国际组织的评价部门已开始从项目评价不断扩大到组织、国家层面的绩效评价。
上述的网络模型在通过42种训练样本的训练以后,再对它进行测试,以检验它对其他的损坏状态(譬如对60%损坏状态)的识别是否同样好。
(二)国家层面的绩效评价
许多国际组织针对更广泛的国别评价制定了绩效衡量系统,国家层面的绩效评价通常定义为在伙伴国家内共享同一发展目标的一系列相关项目或政策的整体评价[21]。在国家层面的绩效评价中,需要对国际组织在一个国家的所有类型业务进行评价,并考核如何协调这些活动以最大限度地促进发展。对国家层面进行绩效评价是一种比项目评价更全面的绩效管理和衡量方法。一方面可以将国际组织在该国内的所有项目、政策及活动整合在一起,有助于在宏观上对援助项目进行统筹;另一方面可以将某些援助项目整合起来进行联合评价,以考核在某一特定方面的发展援助结果,并通过项目整合达成特定的发展需求。
田卓接过来《NEW商圈》大样,翻了翻,就转手递给了马老。马老取下自己的老花镜,用布擦了擦镜片,又戴上,饶有兴味地翻看起大样来。马老看得很认真,从始至终,一页不落。看完了,冲高潮翘起了大拇指,说,版式做得不错,文图并茂,文章标题也很抢人眼球,小伙子有才华。
随着全球化进程的不断加快,各国际组织开始注重在绩效评价上的合作与协调。一方面,独立于各国际组织的联合评价机构开始建立起来(如评价联合小组和OECD/DAC发展评价网络);另一方面,各国际组织之间的联合评价也在不断开展。在国际组织合作的基础上,针对各双边和多边发展合作机构而制定的统一标准和原则,有助于根据“援助成效问题巴黎宣言(Paris Declaration on Aid Effectiveness)”[注] 2005年提出的“援助成效问题巴黎宣言”旨在提高援助质量及其对发展的影响,是一个切实可行的、以行动为导向的路线图。它提供了一系列具体的实施措施,并建立了一个监测系统,以评估进展情况,并确保捐助方和受援方相互承担其承诺责任。“巴黎宣言”概述了可以提高援助效率的5个原则:(1)所有权:发展中国家制定自己的减贫战略,改善其制度并解决腐败问题;(2)协调一致:捐助方与这些目标保持一致并使用当地系统;(3)协调:由捐助方协调,简化程序和共享信息,以避免重复;(4)结果:发展中国家和捐助方将重点转向发展成果,并对结果进行衡量;(5)相互问责:捐助方和合作伙伴对发展成果负责。 的承诺,采取协调一致的绩效评价方法[9]。
国家层面的绩效评价是项目层面评价的升级,可以有效衡量国际组织在一个国家内所有援助资金、资源以及政策、项目的整体作用效果,有助于通过评价结果对该国的整体评价计划进行调整和完善,但国家层面的绩效评价仍然不能衡量国际组织整体支出的绩效水平。
(三)国际组织层面的绩效评价
受到公众压力和被援助国家政府对国际组织运行能力的要求,各国际组织开始了组织整体支出的绩效评价,并报告每年的项目以及机构运行成果。对组织整体支出进行绩效评价,主要侧重于对组织的整体运行、资金使用以及各种援助项目的宏观系统性评价,而不只是关注于单一的项目或单一的援助国家。组织整体评价的范围广、评价更加系统,可以衡量组织整体支出的绩效水平。
目前,各国际组织拟订和印发了相应政策文件或战略计划,明确阐明其总体任务以及重点关注的关键发展目标或优先领域,旨在阐明发展援助方案的总体目标是什么,并为收集数据和报告组织总体绩效或取得的成果提供一个分析框架。在援助预算下降、资金竞争加剧以及公众对发展援助有效性日益怀疑的时代,绩效结果的对外公开变得尤为重要[21]。同时,澄清国际组织的目标,作为战略规划的一个内部管理工具,也是非常必要的,这样可以将组织的援助项目组合和资金等资源集中于那些优先目标领域。
然而,展开组织整体支出的绩效评价也面临一定的困难和挑战。国际组织通常在几个国家开展工作,不可能从单一的国家来源获得全部绩效资料。虽然国际统计数据库提供了一些国家的标准指标数据,但通过不同口径收集的数据可比性一般较弱[25]。这样,既需要国际组织的评价机构对组织各方面的支出均应有深入了解,也需要评价机构获得各个国家的相应数据,其工作难度与复杂性较大。
(四)中国全方位预算绩效管理中的整合与协调
在中国预算绩效管理不断发展的过程中,各层级各领域的全方位预算绩效管理体系已然轮廓初现。2011年,财政部出台的《财政支出绩效评价管理暂行办法》,将预算支出绩效评价分为基本支出绩效评价、项目支出绩效评价和部门整体支出绩效评价3个类别[26]。2013年,财政部出台的《预算绩效评价共性指标体系框架》,包括了项目支出、部门整体支出和财政预算绩效评价3个层面的共性指标设置。在公共支出政策绩效评价方面,2016年公布的“十三五”规划纲要中也明确指出,要完善政策制定和决策机制,完善政策分析评估及调整机制[27]。
目前,对于发展评价的研究和实践已然比较成熟,主要的评价方向在项目的相关性、有效性、效率、影响和可持续性5个主要方面,旨在评价项目的实施对被援助国的过程性、结果性以及长期性影响。具体来说,发展评价对项目设定以及实施是否有效提供了回答,并确定结果与预期的相似程度,为未来项目的设计提供了至关重要的信息。OECD发展援助委员会(DAC)自1961年建立以来,对发展援助项目进行了系统性评估与报告,并建立了独立于各成员国以及其他国际组织的发展评价网络,用于协调和统一发展项目评价的原则、规范和标准。在OECD/DAC的评价原则中,要求评价的结果具有可信性、实用性且透明度较高,同时要求援助方和受援方都参与评价过程。该评价原则在1991年设立,适用于多个双边及多边国际组织,并于1998年进行了系统而全面的审查修订[9]。此外,各国际组织都将项目评价作为其主要的方向,中国财政部在《国际金融组织贷款项目绩效评价操作指南》中也要求各项目绩效评价中使用OECD/DAC规定的相关性、效率、有效性和可持续性指标,作为指标设置的准则,并在4个准则下设立关键评价问题(一级指标)以及具体的二三级指标[20]。
四、评价指标建设——结果链指标与逐渐统一的指标设置
指标是定量或定性的因素或变量,用来测度活动的成果,反映与活动相关的变化,或用来评价活动主体的绩效。绩效指标则是可以检验活动中发生的变化,或显示相对于原计划内容所获得的结果的变量[29]。各国际组织在选择预算绩效评价指标时,根据结果链的结构,主要有两种设计指标的方式:一种是按照结果链的架构,设计投入指标、活动指标、产出指标、成果指标和影响指标;而另一种方式是将结果链中的各环节相互结合,设计覆盖结果链全过程的相关性、有效性、效率、影响和可持续性等指标内容。
(2) 加强对国际科技前沿重点领域的谋划布局。我国基础研究相关资助计划和专项按学科领域布局相对均衡,学科间差异不大,对生命科学等弱势学科的支持力度低于其他科技强国(地区)[9]。建议加强对国际科技前沿重点领域的资助,在继续强优势的基础上注重补短板,如加大对脑科学、微生物学、免疫学等生命科学的支持力度,夯实我国生物技术、健康医疗产业发展的根基,弥补我国产业发展的短板。
观察组的肠鸣音恢复时间、肛门自主排气时间以及护理满意度 为(16.56±8.20)h、(22.12±7.85)h、(92.14±2.15) 分;对照组的上述指标为(38.15±14.33)h、(47.96±18.98)h、(81.23±3.65)分。
(一)结果链指标设计
国际组织绩效指标设计的一种形式是依照结果链的不同层级展开,涉及从投入到活动、产出、成果和影响的诸方面,进而根据这5个方面设计对应的指标,这是依照结果链设置指标的主要形式。投入指标主要衡量项目资金以及人力和物力的资源投入,活动指标衡量为产生特定产出而调动资金、技术援助和其他资源等投入所采取的行动或开展的工作,产出指标衡量由干预产生的产品、资本品和服务[30],结果指标衡量干预产出可能或已实现的短期和中期效果,而影响指标则衡量发展干预产生的直接或间接、有意或无意、积极或消极、主要或次要的长期影响[31]。这些指标的设计从前期的资金和资源投入,到工作展开的情况以及最后的物质上产出和中长期影响,衡量每个阶段的完成情况以及实际结果(图3)。
图3 结果链指标设计的结构和示例
资料来源:Manuel F. C. Defining and Using Performance Indicators and Targets in Government M&E Systems[R]. The World Bank Prem Note,2011:3
在依照结果链设计的绩效指标中,也体现了基于结果管理的思想,其中主要包括衡量资金绩效最终效果的指标——成果指标和影响指标。在UNDP面向结果的管理框架中,成果指标的设计需要纳入全球、区域和国家计划的结果框架内,通常是联合国组织及其伙伴最有用的指标,而影响指标描述的是全球、区域或国家层面公众生活与发展条件的变化[32]。表1提供了一些成果指标的示例。
为定量分析人口老龄化约束对区域产业结构的作用效应,借助新古典经济增长模型和产业结构与经济产出之间的关系,将人口老龄化的因素引入到模型当中,作为解释变量说明人口老龄化对区域产业结构的影响。
表1 UNDP的成果指标示例
资料来源:United Nations Development Programme. Handbook on Planning,Monitoring and Evaluating for Results[Z]. UNDP,2011:66
(二)逐渐统一规范的指标体系
1991年,OECD/DAC发展评价网络设置了适用于37个双边和多边国际组织的统一指标,包括相关性、有效性、效率、影响和可持续性5个准则指标,具有很强的适用性。这种指标的设置不仅体现了结果链从投入到影响的各个方面,而且在指标设计上体现了结果链各层级融合与联系的过程。
发展评价网络制定的绩效指标体系包括5个评价准则,各指标以评价准则为主要框架来加以设立,包括相关性(relevance)、有效性(effectiveness)、效率(efficiency)、影响(impact)和可持续性(sustainability)5个方面,主要评价发展援助活动是否与总体发展目标相一致,实现目标的程度;是否使用最少的资源达到最高的预期结果,以及干预活动的直接间接和中长期影响结果[33]。对五大评价准则的考察,涉及从总体目标到总体影响在内的结果链各个环节(图4)。相关性指标衡量总体目标和具体目标之间的联系,具体目标在多大程度上符合总体目标的发展趋势。而效率指标则涵盖了从投入到产出的过程,通过定性和定量指标来衡量与投入相关的各类产出,用于评价发展援助计划能否尽可能地使用最少的资源以达到最佳的预期结果[33]。从图4中可以看出,效果指标设计的是由具体目标到产出、成效、影响等结果的过程,考虑目标在多大程度上实现或者可能实现,以及影响目标实现(或没有实现)的主要因素,而影响指标和可持续性指标则涉及了从总体目标到中长期影响的全过程,分别衡量了对社会、经济、环境和其他发展指标产生的主要影响和效果,以及资金投入结束之后的可持续性。
图4 OECD/DAC 五大指标在结果链中的位置
资料来源:赵敏,彭润中. 国际组织绩效评价的比较研究及启示[J]. 财政研究,2010(8):42-45
OECD/DAC的指标设计在各国际组织中得到了广泛的认可和应用,包括世界银行独立评价局、国际货币基金组织、联合国评价小组在内的国际组织评价机构,都开始使用OECD/DAC发展评价网络的评价指标架构。在对指标的具体使用上,部分国际组织直接使用上述五大准则作为一级指标,并细化指标内容(包括欧洲复兴与发展银行、国际货币基金组织等);也有部分组织在五大准则基础上进行了扩充,分别表现在增加了新的准则条款或者直接扩充准则内容。除了发展评价网络范围内的国际组织之外,包括国际农业发展基金会在内的其他组织,也在五大准则指标的基础上设计了更具组织特色的具体指标。
(三)中国预算绩效评价指标的设计思路
OECD/DAC的发展评价网络为联合国、亚洲开发银行、美洲开发银行、世界银行等多边国际组织的发展评价作了指标上的统一规范,即相关性、有效性、效率、影响和可持续性的衡量。但在实际应用上,各国际组织也依照评价的时间段以及组织的特点对指标进行了修改。
在对于不同行业的项目进行评价时,综合类机构的具体部门选择在统一的一级指标下,为不同项目设置各自的关键评价问题以及二三级指标,从而更加系统的评价个别项目绩效。例如,联合国对技术转移项目设立的关于技术信息使用、资本构成以及技术转移等方面的具体评价指标[34]。此外,对于具有行业特殊性质的国际组织来说,更多选择在五大准则的基础上进行修改。例如,国际农业发展基金会根据组织项目的特点设立了农村贫困影响和性别平等方面的相关指标[35],这种针对特殊行业特点的调整,可以更加方便的设置细化指标内容。
目前,在中国预算绩效管理不断发展的过程中,也出台了相应的指标体系来规范评价的实施。在2013年出台的《预算绩效评价共性指标体系框架》的基础上,广东、广西、浙江等地在预算绩效指标体系建设中针对共性指标和个性指标不断加以完善。但总体上目前仍然没有完整的、全国性质的预算绩效评价指标体系,各省市部门在进行绩效评价过程中,选择绩效指标时缺乏统一的指标库,影响了评价结果的统一性和可比性。在预算绩效指标设置上,仍然缺乏统一的指标体系供各部门进行选择,更缺乏指标的针对性和特殊性。在今后全面实施预算绩效管理的改革进程中,可以首先依托现有指标构建一套系统的覆盖各部门各领域的预算绩效指标框架,各部门在绩效评价中可以在指标体系内选择需要的共性指标和个性指标。这样在保证了指标统一与可比性的基础上,也为各部门依据自身特点选择个性指标提供了拓展空间。
根据施工环境有针对性地选择参与的人员和机械设备等资源,依据人、机资源满足施工作业环境要求的原则,泵站深基坑作业调用经验丰富的胜建专业化队伍,单体水工构筑物按安全风险、施工难度的大小分别调用江苏、山东队伍。统筹考虑布置作业场地,依据人体作业特征,机、料位置固定合理,确定最佳作业区域、作业方法、最低安全防护范围,统一调配所有的机械设备资源,力争在有限的资源内,优化配置,通过提升人员的操作水平来最大限度地保证人和机械设备的安全。
[参 考 文 献]
[1] 刘尚希,武靖州. 财政改革四十年的基本动力与多维观察——基于公共风险的逻辑[J]. 经济纵横,2018(11):66-78.
[2] 孙琳. 财政专项资金预算绩效管理初探[J]. 当代经济,2013(6):76-77.
[3] 申铖. 财政部推进财政支出政策绩效评价工作[EB/OL].(2017-01-17)[2017-09-01]. http://www.chinanews.com/gn/2017/01-17/8127149.shtml.
[4] MEYNAUD J. Plan for Evaluating International Non-Govern Mental Organizations[M]. Brussels:Union of International Associations,1957:32.
[5] DEARING E,PATRICK S,THOMAS P. CAF (Common Assessment Framework) Works ——Better Service for the Citizens by Using CAF[R]. EIPA Working Papers,2006:8-9.
[6] CORNELL UNIVERSITY CORNELL INSTITUTE fOR PUBLIC AFFAIRS.Evaluation in International Organizations[EB/OL].(2019-01-28)[2019-01-29].http://intleval.cipa cornell.edu/Sessions/Determining%20Objectives/2_evaluation_in_the_un_sys.html.
[7] 马蔡琛,童晓晴. 公共支出绩效管理的国际比较与借鉴[J]. 广东社会科学,2006(2):30-34.
[8] MORRA L, LINDA G. The Road to Results: Designing and Conducting Effective Development Evaluations[R]. World Bank,2009:105-106.
[9] OECD. Evaluating Development Co-operation:Summary of Key Norms and Standards[Z]. OECD,2010:3,7-11.
[10] OECD. Guidance for Managing Joint Evaluations[R]. DAC Evaluation Series,2006:3.
[11] CAF RESOURCE CENTRE. Registered CAF Users in Europe and Abroad[R]. European Institute of Public Administration,2017:2.
[12] EVALUATION RESOURCE. Choosing Between a USAID External or Internal Evaluation[R]. USAID Bureau for Policy,2016:2.
[13] OPERATIONS EVALUATION DEPARTMENT. Institutional Changes for Independent Evaluation at the World Bank:A Chronology[R]. The World Bank,2002:16-17.
[14] INDEPENDENT EVALUATION OFFICE. Our Work[EB/OL]. [2019-01-29]. https://ieo.imf.org/.
[15] ASIAN DEVELOPMENT BANK. Independent Evaluation Overview[EB/OL]. [2019-01-29].https://www.adb.org/site/evaluation/overview.
[16] EVALUATION COOPERATION GROUP. About the ECG[EB/OL]. [2019-01-29].https://www.ecgnet.org/about-ecg.
[17] CAROLINE H. Independent Versus Self-Evaluation——Is There a Place for Both? [EB/OL]. (2016-01-26)[2019-02-11].https://ieg.worldbankgroup.org/blog/independent-versus-self-evaluation-there-place-both.
[18] EVALUATION COOPERATION GROUP. Good Practice Standards for the Evaluation of Public Sector Operations[R]. Evaluation Cooperation Group,2012:9-11.
[19] 邓亚当. 我国政府绩效“第三方”评估存在的问题与对策分析[J]. 中共珠海市委党校珠海市行政学院学报,2016(4):23-28.
[20] 财政部国际财金合作司. 国际金融组织贷款项目绩效评价操作指南[Z]. 北京:经济科学出版社,2015:28-29.
[21] ANNETTE B. Results Based Management in the Development Co-Operation Agencies: A Review of Experience[R]. DAC Working Party on Aid Evaluation,2000:58-59,9.
[22] UNITED NATIONS DEVELOPMENT PROGRAMME EVALUATION OFFICE. Handbook on Monitoring and Evaluating for Results[R]. UNDP,2002:5.
[23] ADB OPERATIONS EVALUATION DEPARTMENT. Guidelines for Preparing Performance Evaluation Reports for Public Sector Operations[Z]. Asian Development Bank,2006:51.
[24] ASIAN DEVELOPMENT BANK INDEPENDENT EVALUATION DEPARTMENT. 2015 Guidelines for the Preparation of Country Assistance Program Evaluations and Country Partnership Strategy Final Review Validations[Z]. ADB,2015:11-14.
[25] SARAH H. The Role of Indicators in Development Cooperation[R]. German Development Institute,2014:53.
[26] 胡若痴,武靖州. 部门整体支出绩效目标编制优化原则研究[J]. 财政研究,2014(6):36-39.
[27] 马蔡琛,赵笛. 公共支出政策绩效评价的国际经验与改革建议[J]. 地方财政研究,2018(1):100-106+112.
[28] 光明网. 河北:突出绩效导向 深化科学理财 全力构建全过程绩效管理新机制[EB/OL].(2018-03-30)[2019-02-12].http://baijiahao.baidu.com/s?id=1596364086359552445&wfr=spider&for=pc.
[29] OECD. Glossary of Key Terms in Evaluation and Results Based Management[R]. OECD,2002:21-25.
[30] JIM P,CAITLIN G,MONICA T.Indicators of Inputs, Activities, Outputs, Outcomes and Impacts in Security and Justice Programming[R]. UKaid,2013:13-15.
[31] MANUEL F C.Defining and Using Performance Indicators and Targets in Government M&E Systems[R]. The World Bank Prem Note,2011:2-3.
[32] UNITED NATIONS DEVELOPMENT PROGRAMME. Handbook on Planning,Monitoring and Evaluating for Results[Z]. UNDP,2011:65-69.
[33] CHIANCA T.The OECD/DAC Criteria for International Development Evaluations:An Assessment and Ideas for Improvement[J]. Journal of Multi Disciplinary Evaluation,2008(5):41-51.
[34] UNITED NATIONS. Subsidiary Body for Scientific and Technological Advice[R]. UN,2009:2.
[35] INTERNATIONAL FUND fOR AGRICULTURAL DEVELOPMENT. Evaluation Manual(Second Edition)[Z]. IFAD,2016:37-38.
Comparison and Enlightenments on Budget Performance Evaluation of International Organizations
MA Cai-chen,ZHAO Di
(School of Economics, Nankai University, Tianjin 300071, China)
Abstract: The comprehensive implementation of budget performance management is an important proposition in the construction of China’s financial system. Since the 1970s and 1980s, international organizations have gradually developed a set of budget performance evaluation system that pursues“results” and gradually moves towards unified and joint evaluation. In the course of the reform of budget performance management, various international organizations have designed the performance evaluation system of program evaluation, country level evaluation and agency level evaluation. Different characteristics are presented in the selection of evaluation subjects, the division of evaluation objects and the construction of evaluation indicators, which has important revelatory value for the promotion of the reform of comprehensive implementation strategy of budget performance management in China.
Key words: budget performance management;performance budgeting;international organizations;independent evaluation subject;the evaluation indicator
中图分类号: F812.3
文献标识码: A
文章编号: 1005-6378(2019)04-0072-10
DOI: 10.3969/j.issn.1005-6378.2019.04.012
收稿日期: 2019-04-23
基金项目: 国家社科基金重大项目“我国预算绩效指标框架与指标库建设研究”(12&ZD198)
作者简介: 马蔡琛(1971—),男,北京人,南开大学经济学院教授、博士生导师,主要研究方向:公共预算与财税管理。
【责任编辑 郭 玲】