公共教育项目的监测与评价：国外的经验及启示，本文主要内容关键词为：启示论文,国外论文,评价论文,经验论文,项目论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
[中图分类号]G423.04 [文献标识码]A [文章编号]1006-7469(2009)09-0033-06
在构建和谐社会过程中，中国政府对教育的重视程度不断提高，政府投入大量资金实施了诸如“义务教育新机制”等一系列公共教育项目，如何保证这些教育项目取得最大的成效是我国政府面临的主要挑战之一。有鉴于此，本文将介绍国际机构和发达国家在优化和改进教育等公共投资项目中广泛使用的管理手段——监测与评价(Monitoring & Evaluation)，通过监测与评价的实施可以有效地加强决策者和执行者的责任感，促进问题的及时发现和解决。
一、监测与评价的概念界定
在一个完备的项目管理体系中，监测与评价必须紧密结合。监测为评价提供必需的资料；评价总结项目的经验教训，对监测标准、指标体系及其方法的改进起到很好的促进作用，二者相互联系、相互支撑，缺一不可(参见图1)。
图1 公共项目监测与评级体系图示
事实上，监测和评价既有共性，又表现出各自不同的特点，它们在执行时期、目的、数据来源等方面都有着根本的差异。结合世界银行(World Bank)和联合国开发计划署(UNDP)的定义，[1]本文对监测与评价在概念上作出界定：监测是在项目进行全程所进行的连续的、同步的、微观的评价，通过对关键性指标进行连续的观测并定期收集数据信息，评估项目的资源(人、财、物)是否严格按照预期规划进行配置，项目是否按照原定的标准和程序执行，用于特定目标群体的资源是否真正落实到位等。由于反馈信息的周期短，项目管理者能通过监测迅速掌握项目执行过程的细节信息，进而确保在项目执行中能及时发现问题、分析问题，调整项目设计或出台配套措施，进而促成预期目标的实现。
可以说监测体系一旦建立，在项目执行过程中，监测就无处不在。评价是获取经验和实施问责的必备工具。评价可以在项目中或项目结束后进行，项目进行中的评价被称为形成性评价，结束后的评价被称为总结性评价，评价的目的在于判断该项目的预期效果和影响(阶段性以及整体)在多大程度上得以实现，与其他可替代的项目相比，该项目在成本和效益上的优势和劣势各在哪里。评价反馈信息的周期长，但所获得的结论更全面、详细，项目管理者能从中对项目的设计、执行和结果进行全方位的、系统的分析，总结经验教训，为后续项目的修正以及新项目的筹划提供借鉴。
二、监测与评价的实施——制度和方法
就当前来看，监测与评价体系在公共投资项目的管理中扮演了越来越重要的角色，在加拿大、美国、英国、瑞典等国家已成立了专业评价协会，在中美洲和欧洲还成立了大区协会；各地还办起了一些关于评价的专业期刊及专业出版社(如Sage Publications)，出版了评价手册，开发了评价软件，国外还有一些大学开设了评价专业并能授予高级学位。[2]基于监测与评价的实施主要是在国际组织及发达国家，因此本部分对监测与评价制度和方法的介绍主要基于联合国开发计划署、世界银行等国际组织的相关材料。
(一)建立规范的监测与评价制度
建立规范的制度是监测与评价得以真正实施的前提及保障。自20世纪70年代引入监测评价概念后，为加强监测与评价在项目管理工作中的地位，国际组织根据自身的业务特点制定了规范化的监测与评价制度。如联合国开发计划署执行委员会在1997年就监测与评价制度做出了详细规定(参见表1)。[3]
(二)构建完备的监测与评价方法体系
国际组织构建了完备的监测与评价方法体系，其中包含很多方法，它们各有利弊，在实际操作时应根据需要进行选择，为达到正确、有效、全面发现问题、分析问题和解决问题的目的，在选择时，可将多种方法有机地结合起来。下面将介绍几种常用的监测与评价方法。
1.快速评价方法(Rapid Appraisal Methods)[4]
快速评价可以通过以下几种途径进行：1)关键调查者访谈(Key informant interview)，受访者在一系列的问题中根据个人知识和经历选择感兴趣的话题开放性地作答，采访形式是质性的、半结构化的；2)关键组讨论(Focus group discussion)，讨论在精心挑选的8-12名具有相似背景的参与者中进行，参与者可能是项目受益人或实施员工，主持人在事先准备好的访谈记录提纲中记录下受访者评价以及行为；3)社会团体采访(Community group interview)，将社区成员集中到一起召开集体会议，根据精心准备的问卷作答；4)直接观察(Direct observation)，在项目现场直接进行深入的观察，收集的信息可能是活动进展、项目参与者间的讨论以及可以观察到的一些结果等；5)小型的调查，对50-75人进行调查，调查工具是题量较少的封闭式的结构性问题，对被调查者的选择不必是随机的。
快速评价方法的优点在于成本低，操作方便、快捷，能够为项目开发者提供一些新的想法。其不足在于，由于样本覆盖范围较小，不具有统计意义上的代表性，因此，较之正式的调查，通过快速评价方法得到的结果的有效性和可靠性较低，很难从中得到一个具有普适性的结论。
2.公共支出跟踪调查(Public Expenditure Tracking Surveys)[5]
公共支出跟踪调查是从资金使用的角度对项目进行监测与评估。其理论基础是，资金是项目得以顺利实施的基础，对公共支出进行完备的监测与管理是项目取得成功的根本。具体来说，通过对不同层级政府或者提供公共服务(如教育)的部门在资金供给方式、时间、数额上的具体信息的收集，进而监测与评价各主体是否有寻租等腐败行为发生，服务的质量以及项目管理是否合格等。
资金是公共项目实施的基础，以资金使用情况为线索进行检测能对项目实施过程中的大量问题提供可靠的途径，进而为问责制的实施打下坚实的基础，解决官僚机制在资金流动中的瓶颈效应。但是，这种方法同样面临着巨大困难，由于公共部门往往不愿意公开它们的账目，因此，充分地收集财务信息成本相当巨大。
3.参与式方法(Participatory Methods)[6]
参与式方法的内在逻辑是，通过相关人员在项目监测与评价中广泛参与，充分考虑群众的意见，与相关人员建立起良好的合作关系，促进相关人员对项目的认同感和责任感，提高项目受益者自我决策与发展能力，最终实现项目的可持续发展。通常情况下，参与式评价的步骤为：首先进行利益相关者分析(Stakeholder analysis)，这是评价的起点，以了解项目所涉及群体的兴趣及其参与活动的情况，并确定哪些人应为分析对象，以及何时进行分析；接下来进行受益者评估(Beneficiary assessment)，召集项目受益者参与讨论，从受益者的角度获得反馈意见；最后是参与式监测与评价(Participatory monitoring and evaluation)，在确定的参与者范围以及获取受益者建议的基础上，召集不同层面利益相关者共同讨论，以便快速确定困难，收集和分析资料，进而提出改进建议。
参与式方法是项目监测与评价的重要方法，它贯穿项目监测与评价的始终，能确保所获取资料的客观性，真实反映项目实施的成败得失。其不足在于，群众意见往往存在分歧，统一意见需耗费大量时间；同时，由于进行的是集体评价，参与者可能从自身利益出发进行评价，提出的建议可能不够客观、公正。因此，参与式方法并不能代替专家的作用，通常与其他方法结合使用。
4.逻辑框架方法(The Logical Framework Approach)[7]
逻辑框架方法是由美国国际发展署(USAID)在20世纪60年代后期用于项目规划而设计的一种方法。其前提假设是，当必要的外部条件得到满足时，项目活动的投入、产出、目标、目的之间有着必然的因果关系；同时，所有投入、产出、目标、目的都能通过一定的方法或手段进行度量。在使用该方法进行监测与评价时，需要设计逻辑框架表，该表列出项目各个阶段的具体目标及其标准，实现目标的活动及其影响因素；在项目进行中，评价人员在逻辑框架表中填入各项活动和影响因素的实际情况，通过对比实际状况和规定状况，可以建立起早期预警系统(early warning system)，及时发现问题，分析原因，并提出对策。
正因为逻辑框架方法是严格按照项目的进程逻辑设计出一整套监测流程，是一种动态的监测和评价方法，因此使用简单、明了，能保证评价者准确、快捷发现问题。但逻辑框架方法仍然存在着不足，首先，因为该方法是动态评价方法，项目在进展中所处的情景随时发生着变化，这对逻辑设计的合理性提出了很高的要求；其次，对逻辑框架指标设计的要求高，如果指标过少，则不能充分考察，指标过多，又会导致收集数据成本较高，可操作性较差，另外，考虑到数据的可得性，一些非常好的绩效指标不得不放弃；最后，如果逻辑设计过于严格和死板，利用该方法进行监测和评价，可能会扼杀创新能力。
5.正式调查(Formal Survey)[8]
正式调查是以某个特定人群或家庭群体为抽样框，按照一定的原则抽取样本(例如分层随机抽样等)后，对样本进行基线调研并获取详实的资料。基于对基线数据的分析，研究者可以比较不同群体在同一时点的表现、比较同一群体在不同时点的变化，进而对项目预期目标的实现情况进行分析，最后对项目影响力作出正式评价。调查的类型很多，这里主要介绍常见的三类：1)多主题入户调查(Multi-Topic Household Survey)，这类调查所涉及的范围通常较广，但是一般不深入调查；2)关键福利指标问卷调查(Core Welfare Indicators Questionnaire)，这也是一种入户调查，但问询的主题通常较小，主要通过定期对受访者就关键性社会指标变化状况上的测量进而监测项目绩效，这是改进活动设计的有效方法；3)居民报告卡片(Citizen Report Cards)，这通常是由非政府组织执行的，通过普通居民定期填报卡片获取公共项目的相关信息，调查所得结果通常会公开发表。
正式调查由于有着丰富的统计知识作理论支撑，可以在广泛的目标群体中进行抽样，在量化分析中对影响力的规模和分布进行调整，进而使得评价的结果更具有说服力。但正式调查最大的不足在于，由于数据量较大，收集、录入、统计、分析数据通常需要耗费很长的时间，这往往会影响监测中对于时效的要求。同时，在这些环节中对于抽样技术、软件使用技术的要求也较高，在实际操作中，正式调查往往既作为评价的手段，也是其他评估方法收集资料的工具。
6.成本—效能分析(Cost-Effectiveness Analysis)
成本—效能分析是从投入和产出间关系的角度考察项目的成本是否是最优化或者是否有改进的可能性，投入一般采用货币单位衡量，而产出一般采用多个维度衡量(例如，在教育资助项目中对产出的衡量可以通过学生成绩、自信心、学习能力等的变化)。
这种方法最大的长处在于其蕴含了清晰的经济假设，采用科学的计量方法对项目的效率和效益进行评价，能够为改进资源配置有效性、资源回报率提供令人信服的依据。但是，运用这种方法的门槛较高，人力、财力和物力资源数据必须可得，要求评价者具有较强的经济知识和统计分析能力，同时，在解释结果时必须十分谨慎，尤其是在那些产出指标不可量化的情况下。[9]
7.影响力评价(Impact evaluation)
影响力评价是就项目对个人或者机构的影响作出系统性的评价，项目的影响可以是消极或者积极的，可以是预期的或者没有预期的。该评价一般采用大样本，对项目参与者和未参与者间、参与前和参与后状况作对比评价，评价时需要综合使用快速评价、参与式评价方法以及正式调研所获得的信息和资料。影响力评价的主要模型有：随机的事前测试和事后测试评价(randomized pre-test post-test evaluation)、根据项目实施阶段展开的准实验评价(Quasi-experimental design with before and after comparisons of project and control populations)、实验组和控制组事后比较(Ex-post comparison of project and non-equivalent control group)、事后影响的快速评价(Rapid assessment ex-post impact evaluations)。
影响力评价可以在很好地控制外部因素影响的情况下，通过对控制组和实验组间的对比，很好地测量项目的产出及其影响，进一步比较替代性方案的效能及其可行性，回答利益相关者所关心的核心问题，所提供的结论将有助于优化资源配置，为将来项目的设计和管理提供更有说服力的经验教训。但是，影响力评价通常耗费大量的时间成本和财力成本，当决策者需要快速的信息时，影响力评价的效能将大打折扣；同时，由于模型设计和分析的技术含量与复杂程度较高，这增加了该方法推广的难度。[10]
三、国外监测与评价体系的启示与借鉴
(一)实施公共教育项目监测与评价的现实意义
长期以来，实施公共教育项目的监测与评价并未在中国引起足够的重视。在选择和实施教育项目时，通常都以自上而下的行政命令为导向，没有强调从其他项目中吸收经验以及汲取教训，当然，项目的执行者也没有积极性去总结经验以供其他项目参考。如果说在过去国家经济水平很低，教育项目数量少、规模小的国情下，行政官员的个人能力或许可以在一定程度上控制项目进程；但是，随着国家经济的腾飞，尤其是国家对教育重视程度的不断升温，一系列重大教育项目如雨后春笋般出现，公共教育项目不仅数量多，而且规模大，在这样的大背景下，如果不通过项目的监测与评价为管理和决策提供科学的信息、为问责制的实施提供真实可信的依据，要保证项目取得成功已不现实。由此可见，在公共教育项目中实施监测与评价对于促进教育项目决策的科学化、确保项目实施的效率和效果、系统和全面地总结项目实施的经验教训以及提高平行项目和后续项目成功的可能性都具有非常重要的现实意义。
(二)实施公共教育项目监测与评价所面临的困难
较之国际组织以及发达国家在公共教育项目管理中建立起的监测与评价体系，中国公共教育项目的监测与评价才刚刚起步，国外经验在中国的尝试与推广面临着大量的困难，其中，缺乏规范的制度成为制约公共教育项目中实施监测与评价的瓶颈。由于中国公共教育项目中没有建立起规范的监测与评价制度，这直接导致了一下后果：1)由于没有法规条文的强制规定，也没有奖惩措施的激励，管理者实施监测与评价基本流于形式，各评估团体所做的工作并不是真正的监测与评价，仅仅是项目完成后的检查和验收，事实上，公共教育项目往往过程复杂，经验和问题都不可能在同一时间、同一地点表现出来，这种检查验收根本不能起到监测与评价的效果；2)由于没有制度作保障，对实施监测与评价人员的知识、技能和身份等没有设定统一的标准，公共教育项目的评估成员大都由行政官员组成，他们具备的专业知识和评估能力不足，难以发现问题以及提出改进建议；3)由于缺乏制度上的规范，实施公共教育项目又没有建立项目数据库的传统，这就意味着如果实施监测与评价，基本没有现成的资料可供利用，所有信息都需要评价人员自行收集，这无疑加大了实施监测与评价时收集资料的难度和成本。
(三)案例探讨
尽管在中国公共教育项目中实施监测与评价面临着诸多的局限性，但是，实施公共教育项目的监测与评价仍然是未来发展的必然趋势。本部分将以2005年开始实施的“贫困寄宿生生活补助”这一公共教育项目为例，就如何在公共教育项目中实施监测与评价进行简单的探讨。
1.厘清项目实施目标
明确公共教育项目的目标是实施监测与评价的前提，目标越细化，越易于监测和评价，所得结论越具有针对性，其价值也越高。以“贫困寄宿生生活补助”这一公共教育项目为例，实施该项目的目标在于通过加大政府对学生受教育成本的资助以减少贫困家庭教育负担、降低学生辍学可能性、提高教育的公平程度。
2.选择合适的监测与评价方法
监测与评价的方法很多，在选择时应综合考虑时间和资金成本的约束、管理者对所得结论实效性和时效性的要求、项目的意义和影响性等。以“贫困寄宿生生活补助”这一公共教育项目为例，中央对该项目没有资金支持，为考察地方政府对中央政策的响应程度以及投入的积极性，在监测时应选择公共支出跟踪法；由于该项目是在减轻农民负担的背景下实施的，因此，可采用参与式方法，从学生和学生家长层面对项目实施监测。事实上，该项目是国家正在和即将实施的诸多学生资助项目之一，其经验和教训具有较大的借鉴意义，从该项目并未覆盖全部贫困生，实验组与对照组选择较为容易的角度出发，可建立影响力评价模型以获得全面的、令人信服的结论；从资源稀缺、提高效率的角度来看，选择成本—效能的评价方法同样重要；同时，在实施评价的过程中，正式调研既是评价的手段又是收集数据的工具。总之，监测与评价方法的选择不必单一，可综合选择并将它们有机结合起来。
3.构建完备的监测与评价指标体系
在构建完备的监测与评价指标体系时必须充分考虑到指标的科学性和代表性、数据的可得性、成本的约束、时效性的要求。鉴于“贫困寄宿生生活补助”在实施监测与评价时的备选方法大多较为复杂，这里仅以公共支出跟踪方法为例简要介绍指标体系的构建。笔者认为，在该项目中，公共支出跟踪方法所构建的监测指标体系可分为资助人数(监测受惠学生比例)、政府拨款分担比例(监测各级政府是否承担了相应的责任)、资助标准(监测资助资金是否充足)、资金到位时间(监测受助学生能否及时得到资助)和资金实际使用情况(监测是否有非法挪用等行为发生)这几部分，数据的获得主要由评价人员通过审计等途径获得。
4.实施监测与评价
正如前文所述，监测应贯穿项目的全程，评价应在项目实施前、实施过程中以及实施后有阶段地进行，根据监测与阶段性评价所获得的反馈信息及时发现项目中出现的问题，并出台配套措施以解决问题并确保项目获得成功。同时，通过对该项目评价结果的总结，提出其他类似的公共教育项目所应注意的问题以及从中可以借鉴的经验。