政府科技计划绩效评价理论基础与模式比较，本文主要内容关键词为：理论基础论文,模式论文,绩效评价论文,计划论文,政府论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
中图分类号：G301 文献标识码：A 文章编号：1003-2053(2004)02-0150-07
2003年6月，科技部等五部委联合下发了《关于改进科学技术评价工作的决定》，科技评价体制的改革引起了广泛的关注，中国科学院院长路甬祥呼吁建立更为准确的科技评价体系。多年来由于科学技术评价分类不够明确，在一些评价活动中，用同一评价标准评价不同类型的科学技术活动，不能客观、真实、准确地反映不同评价对象的实际情况。《决定》指出，今后科技评价将针对科技计划、机构、人员等不同对象，根据国家、部门、地方等不同层次，基础研究、应用研究、科技产业化等不同类型科学技术活动的特点，确定不同的评价目标、内容和标准，以进一步规范科技评价工作。其中，关于科技计划整体绩效评价可以说是我国科技评价体系的一个薄弱环节，甚至是空白点。
政府通过科技计划干预研发的理由，主要是着重于研发成果所产生的外部效益。然而，一项科技计划所针对的具体问题是什么？对问题产生明显改善作用的可行的干预手段有哪些？对科技主体特定的干预是否影响了计划设定的目标？与整体绩效和收益相比，计划的成本是否恰当？如果忽视这些问题，科技计划决策和科技计划整体绩效评价的改革跟不上，就必然会影响科技资源的有效配置和科技政策的进一步完善。
实际上，现代社会的社会结构以及结构之间的联系决定了公共政策必将是制定、实施和评价的完整过程。所谓政策过程是指政策制定、实施和评价等政策步骤或政策阶段是一个整体过程。在正常运行的现代社会中，不应该发生突如其来的政策，也不应该存在不被实施或无法实施的政策，而一个实施了的政策又不可能不引起有关方面的反应，即政策评价也是必然要发生的。与其他公共政策相比，科技政策因其作用、调整对象的特殊而带有明显的自身特点，例如政策实施时短期效果和长期效果的背离，政策评价时的专业评价和社会评价的脱节。
相对于通常意义上“技术评价”(technology assessment)的“事前”(ex ante)性质，政府科技计划的绩效评价是以事后(ex post)的成效为评价重点，运用科学的研究程序，研究、评价和改善科技计划的所有重要方面，包括问题诊断、概念化与设计、实施与管理、结果及其功效，并且与科技决策与预算分配形成回馈和联系机制。在不同时期，为了获得某些期望的结果，政策制定者、资助机构、规划者、项目管理者或项目资助对象，都要区分值得做和不值得做的项目，启动新项目和完善既有的项目。
从世界范围来看，日益增长的科技计划绩效评价需求部分来源于预算压力和更好配置稀缺公共资源的需要，政府政策的权责相符、透明性和减少扭曲干预等趋势也推动着评价活动的发展。坎贝尔(Donald Compbell)认为，政策与项目决策应该来自于不断的、旨在改善社会条件的社会试验。而科隆巴赫(Cronbach)则认为，尽管评估研究要采用科学的调查并在评估中用到科学逻辑，评估研究要在既有的政治环境、项目局限和可用资源下，最大限度的为决策者提供有用信息。[1]下面，本文在既有文献的基础上，分析科技计划绩效评价的理论基础和实践，以期对我国科技评价体系的完善有所促进。
1 创新市场失效与政府干预科技研发活动的合理性
政策系统的标准原理，与阿罗的市场失效分析中的学习和创新有关。他指出完全竞争的、分散的市场系统将提供一个次优化的知识层次，而且这引出一个或给知识创造提供津贴的情况。具体地说，R&D的主要产出是关于提供新产品和服务的知识，这类知识是非排他的（即不能防止其他公司使用），这样进行R&D投资的公司无法独占投资回报，这些风险（即不确定性）、不可分性和专用性问题，都说明市场经济在研发方面系统投资不足，于是证明了“为给发明创造做最佳的分配，政府或其他一些不受损益原则支配的部门，有必要给研究和发明提供经费”这一结论。
技术发展的进化理论则提出了创造技术机会以及培育捕捉机会能力的可能性问题，也就是基于社会进程对技术发展具有重大影响的认识，试图通过建立对特定问题的共同理解，影响所涉及到的不同行动者的战略，沿着社会满意的方向塑造技术发展进程。Nelson和Wintert[2]认为创新就是发现不同备选方案和在这些方案中进行选择。之后，Dosi[3]提出了“技术范式”说，David[4]则认为在特定条件下技术发展会出现“路径依赖”。
从这些进化的观点来看，公共政策干预的理由是：在产业进化过程中，可能发生进化“陷阱”、“平衡”和“失效”，从而导致在进化深入过程中缺少大量的创新和扩散，公共政策不仅对“失效”发生作用，而且是创新和成长的动态过程中起飞时的“助推器”。例如，20世纪70年代以来日本政府对R&D合作的支持，以及欧盟近年来对合作研发的支持（如ESPRIT计划沟通了具有不同能力和知识的企业）。[5]
然而，创新市场失效在不同行业、不同规模企业的表现是不同的，公共政策工具的设计相应的有所区别（表1）。尽管技术进化论使人们对创新过程以及技术对经济增长的作用有了新的理解，但由于这些理论并没有将政治行动者纳入分析范围，进化的观点没有给出政府“最佳”的干预或“最佳”的干预时机和手段。在一个变化的、不确定的和复杂的环境中，政府无法鉴别“最好”的政策工具。并且，政府还可能面临以下问题：缺乏执行任务的能力；缺乏适应不确定环境中处理问题的灵活性[6]；误解部门、技术或者制度环境的特性；长远计划缺乏远见[7]；无法协调创新系统的动力补充等[8]。
表1 创新模式、失效表现与典型行业
创新模式创新失效表现 典型行业
投入品 SMEs面临的金融市 软件、设备、工具
开发场交易成本；新技术
标准；有限的技术专
用性
投入品 外部收益大；有限技农业、轻工业
应用术专用性
复杂系 高成本、高风险、有航空、电子、通信、计
统开发 限的技术专用性算机和半导体
尖端技 与商业部门以外的 生物科技、化学、新
术应用 知识流动；潜在应用材料和制药
领域不明；开发者不
能与潜在用户进行
有效的交流
2 科技计划绩效评价的驱动因素分析
就经济理论来看，政府通过科技计划干预研发的理由，主要是着重于研发成果所产生的外部效益，这可区分成技术、厂商及社会经济三个层面，每个层面分别代表着科技知识的提升、私人报酬的获得以及社会所获得的报酬，而政府所追求的目标在于追求三种面向效益的加成效果。但是，在这三种效益中，社会报酬是研发项目所产生的主要正向外溢效果。这些正向外溢效果的大小也正是支持一项政府科技计划是否应该持续进行的理由来源。
然而，关于政府应该采取哪些措施，知识生产的“市场失效”理论提出的政策建议集合则显得相对简单。在该集合中，基本的政策任务是鼓励创造导向的任务，并保护对结果的使用。风险和不可分性的问题，直接导致知识的供应不足，这就建议公共部门应该或者直接生产知识，或者向知识生产机构提供津贴。专用性问题暗示，存在主要的积极的外部性，并建议建立津贴政策或知识产权保护政策。这就带来一个问题，即如何确认市场失效领域或可能随之而来的公共支持的适当层次问题，提供任何可靠的指导。
以公共研发补助计划与私人研发投入之间究竟是“互补”关系还是“替代”关系为例，长期以来，这个问题一直没有一个确切的答案（表2列出一些学者各时期有代表性的研究成果）。对此，Wolfgang指出，如果政策制定者掌握的信息不完全，就不可能设计有效的政策，而一项好的公共政策必须致力于解决问题的过程，以便发现实际问题，理解环境的类型和系统的演变，评价联系、连接和反馈，然后制定可能的行动。加强计划设计与评估之间的联系将有助于减少无效性，因为无论政策制定的初衷是什么，政策制定仍然是一个政治博弈的过程，科技资源分配难以避免政治性的因素的权衡和考虑。Noll就曾提出了一个质疑：科技政策制定者是以形成最优政策为目标，还是受个人目标驱动？[9]
表2 公共研发补助计划对于私人研发的影响研究
从这个角度来看，科技计划绩效评价可用来强化决策者的决策基础，力求以较客观严谨的分析，以尽量减少纯粹的政治博弈。科技计划绩效评价是手段，不是目的，其用意在于反映相关研发单位或计划的运作绩效，并据此产生类似于市场机制的制约力量。
近年来，科技计划或预算整体绩效评价已成为越来越多国家科技创新政策重点之一，这一方面是由于政策制定者认识到提升创新体系效率的重要性，另一方面则想要从公共补助研发的过程中，了解到哪些经费发挥效果，该如何促使所补助对象的运作能显现其成效。这两种原因中，前者是属于管理上的，期待能从绩效评价的过程与结果中，获得到补助研发的制度如何改进提升建议，出发点是组织内部的，此种取向在评价理论里称之为“形成式评价(formative evaluation)”；后者则是关心研发补助的成效，出发点是组织外部的，目的是为了评价研发补助的合理性(accountability)或者是为了进行资源的适当合理分配，此种取向在评价理论里则称之为“总结式评价(summative evaluation)”。[10]通过绩效评价，科技政策的制定也会趋向于权责相符(accountability)、透明化和减少扭曲性干预。
3 世界主要国家科技计划绩效评价模式与方法
基于科技计划绩效评价的重要性，西方国家越来越重视相关制度与配套机制的建立。以美国为例，国会在1993年通过“Government Performance and Results Act”(GPRA)，成为美国当前科技计划及政府部门绩效评价的重要政策。根据GPRA的规定，多数的美国联邦政府所属机构都必须定期提出三种报告：长期策略规划(strategic plans)、年度绩效规划(annual performance plans)以及年度绩效成果报告(annual performance reports)。对于执行研究发展的机构而言，GPRA的执行情形大致可分成机构定位及绩效衡量两方面。[11]
欧盟以公共资金支持研发计划的历史相当久远，可追溯到20世纪70年代末期，而绩效评价的施行则一直到80年代初期才开始。根据Guy等的分析，欧盟科技研发计划的绩效评价，大约都是伴随着欧盟各期架构的研究计划而演进。1996年欧盟发布了“Sound and Efficient Management 2000”方案，要求系统性评价绩效。就评价内容而言，欧盟着重于以下五个方面：计划筛选的程序(selection procedures)、计划管理(management of programme)、计划的一般特色(general characteristics of projects)、计划的产出(output of projects)、成果的扩散和利用(dissemination/utilization of results)。[12]
中国台湾“经济部”为了确保科技项目经费能有效运用，加速科技研发成果扩散于产业界，“经济部”对于科技项目的绩效评价分成短期效益与长期效益考核。为使绩效评价制度更具弹性与合理化，“经济部技术处”提出“加强两头、精简中间”的项目管理理念，目的是在计划形成前，就计划策略与执行进行深入了解，并与研究单位密切沟通，以切合产业发展的需要；在计划结束时，充分评价及了解计划执行成效，并积极促成其产业效益；而对于计划的执行过程，则采取维持行政机关必要之基本管理，以达到给予研究单位最大之弹性与发挥空间。[13]另外，日本在1998年3月于经济产业省下也成立了政策评价研究会，并在2001年11月公布了“国家研发评价实施方针”。
这些发展象征了世界主要国家和地区在绩效评价方面制度化(institutionalization)的趋势，总的来看，世界主要国家科技计划绩效评价模式可以分为以下三类：
(1)美英模式。在美国和英国，绩效评价主要动力源于政府预算压力，评价的目的在于证明政府行为的合理性，采取绩效指标评价可以被看作是迈向权责相符的新公共管理模式的重要手段。举例来说，美国著名的先进技术计划(advanced technology program,ATP)从1990年起开始实施，目标就在于扮演催化研究实验室与产业界间互动的角色，以达到刺激创新的目的。但是，ATP刚开始执行时的合理性受到相当大的质疑，所以从1994年起在哈佛大学著名经济学者Zvi Griliches的带领下，开始建构一套完整的绩效评价机制。美国ATP的绩效评价，其目的相当明确，就是要证明整个ATP计划的合理性。
(2)欧洲模式。这种模式以法国、德国、荷兰、瑞士和北欧国家为代表。这些国家或是出于法律体系对科技计划评价的要求，或是政策制定者对评价结果的接纳态度，绩效评价立足于从组织内部改善管理，而不是强调预算的重新分配。比如，欧盟研发计划绩效评价体制的演进方向，其目标则是朝向想要使各个计划有效地达成，并且能透过绩效评价的结果，反馈到欧盟的决策层次，以便提升下一回合的计划执行成就以及提供下一回合研究计划的规划方向指引，所以评价的方法、对于资料的需求、逻辑关系的建立上相对困难许多。
(3)OECD模式。其实严格意义上讲，这并不能算是一种完整的模式，在许多OECD国家，绩效评价是近年来一种刚兴起的活动，虽然也制定了相应的法律框架，但评价与政策制定尚未建立固定的联系。
从评价方法上来看，绩效评价既要有定量的评价，也要有定性的评价（见表3）。定量分析可以得到一些客观的数据，但这无法真正、完整反映出对于研究成果的三个共同基本要求：品质(quality)、与顾客相关(relevance)以及领先(leadership)。面对此种情形，最好的方法还是随着计划进行，定期采取专家评审的方式，判断知识是高品质地生产出来。尤其是较大型与长期的“计划”(programme)往往自成体系，故可以形成一个完整的评价周期，而且外部专家的评价可避免自评的主观问题，还可以关注到比文献计量法更广阔的经济社会层面。这样的趋势，意味着科技绩效评价有趋于专业化的现象，因此会导致评价专家网络和评价“市场”的形成。
表3 评价方法及应用
种类 目标应用领域和特点
访谈法 数据获取 ·应用面广，但不适合收
集统计数据
·事后分析为主
专家判断法 架构分析 ·一般应用于长期科学
数据获取研究项目；
数据分析 ·受到专家知识的限制
·比较保守
·事前或事后
问卷调查法 数据获取 ·企业对计划的影响
·事前或事后
评审法 数据获取 ·前景分析
数据分析
案例研究法 架构分析 ·一般事后分析为主
数据获取
数据分析
系统和网络理研究架构 ·系统影响分析
论方法 分析
纵向／历史分数据获取 ·分析政策影响的持续
析法性和附加性(additionality)
·提供相关信息
科学计量法 数据获取 ·分析政策的影响
(scientometrics)数据分析 ·影响的指标
／技术计量法 ·可以进行历史比较
(technometrics)
·可以用模型测度影响
计分法 数据获取 ·衡量影响
经济计量法 数据分析 ·宏观、中观、微观经济
建模
·事前或事后
注：1、评审法包括用户评审、德尔菲法、技术预测、前景分析、历史追踪等。
2、系统和网络理论方法包括技术经济网络、行动者网络分析、社会资本等。
3、科学计量法／技术计量法包括文献计量法（引文统计、引文分析）、聚类分析、共同署名分析内容分析等。
但从各国绩效评价实践来看，现在绩效评价活动还是面临许多困难，包括：1)由于研究和产出之间的时间较长，难以衡量研究产出和影响；2)难以衡量新技术价值；3)难以追踪技术扩散；4)难以根据复杂因素分配利益；5)难以根据计划多重目标界定“成功”标准；6)如何应用评价结果修正计划；7)面对制度惯性、管理者反对和有限资源，如何完成评价；8)识别其他计划的良好经验；9)从利益相关者获得信息的可信性问题；10)如何促进评价结果为政策制定者使用；11)如何确保评价反映了对理论和政策良好的理解；12)在缺乏标准的情况下，不同研究之间难以比较；13)缺少更好的评价模型、工具和数据；14)如何正确衡量计划的附加性；15)如何正确说明新技术所替代的技术。
事实上OECD国家自20世纪80年代即开始探讨科技计划绩效评价问题，并为此举行多次的国际座谈会，发现有许多待突破的瓶颈。这反映出科技计划绩效评价的困难度，尤其是就经济社会的影响冲击而言；再者各国依情境差异、评价方法、评价人才、与支持体系均有待与时俱进，故大多数国家对科技计划绩效评价大多采用较务实的演进方式。
4 我国科技评价实践与研究现状
自1982年国家设立“六五”科技攻关计划以来，科技部、国家计委、经贸委等已陆续推出20项科技计划，构成了一个较为庞杂的计划体系。归结起来主要有以下三种类型：1)应用开发主导型。主要包括：国家攻关计划、工业化试验计划、星火计划、火炬计划、成果推广计划、国家重点新产品计划、产学研计划、国家工程中心计划、社会发展科技计划、丰收计划、燎原计划、军转民计划、技术创新工程、科技型中小企业创新基金等。2)高技术研究发展型，如高技术研究发展计划（863计划）。3)基础研究，主要包括：国家重点实验室计划、基础性研究重大关键项目计划（攀登计划）、自然科学基金制、大科学工程计划、国家重点基础研究发展规划。
我国科技计划的制定方式，通常是由政府部门提出或联合提出制定计划的原则和指导思想，优先领域和项目指南，然后由各部门、各地方据此申报项目，政府部门组织专家及管理人员进行项目评审，最后由政府行政部门综合平衡后审批决定。这样的制定方式，在计划经济体制下有其有利的一面，便于调动各方面的力量，统筹安排有限的人力和资金。而科技政策过程是一个完整的过程，从实施阶段开始改革无疑是抓住了科技政策过程的重要的、关键性的环节。但是如果科技政策决策和科技政策评价的改革跟不上，就会影响科技政策实施阶段的进一步改革和发展。
20世纪80年代中期以来，我国在科学技术评价方面进行了积极的探索，开展了大量卓有成效的工作，积累了许多宝贵经验，对提高我国科技管理水平起到了积极作用。“九五”期间，科技部每年安排100万元支持科技评价工作。1997年国家科技部正式批准成立了“国家科技评估中心”，并在12个省市和部门开展了科技成果评价试点工作。2000年底，科技部出台科技评价管理暂行办法，对我国科技评价活动的规范化，制度化和科学性有着重大作用。但目前，在一定程度上暴露出的评价制度不健全、评价体系不完善、评价方法不规范等问题，已引起科技界的广泛关注。
目前我国的科技评价大约经历了四个发展阶段：(1)行政评价。(2)同行评议。(3)指标量化评价。(4)科研计量评价。国家自然科学基金和国家软科学基金也资助过一些相关研究。如，国家自然科学基金1999年资助项目“科学研究的综合绩效评价方法研究及应用”（项目编号79970105）；国家软科学研究计划1996年项目“我国科技成果评价方法与管理模式研究”（项目编号k96-10-14）；国家软科学研究计划1997年项目“国家科技奖励评价指标体系的研究”（项目编号k97-10-39）；国家软科学研究计划1999年项目“科学文献评价指标研究”（项目编号k99-10-53）；国家软科学研究计划2000年指导性计划项目“我国基础研究评价存在的问题及对策研究”（项目编号Z00006）等等。
国内有些学者也分别从科技政策决策、执行角度对科技政策实施效果进行研究。李侠，邢润川[14]通过对科技政策失灵表现形式与原因的分析，认为应该建立有效的失灵预警机制，包括确立政策研究机构的冗余原则，保持监督与评估机构的独立性、以及沟通和协调渠道的畅通。丁福虎[15]通过对科技成果的鉴定视同、科技奖励视同、科研绩效视同、学历视同等政策中出现的问题进行探讨，提出了政策视同的具体规范、原则和建议。刘海波[16]建议在转型时期，以半官方的审议会的形式讨论科技政策草案，能够为专家的政策参与提供一个稳定的机会和场所，可以起到为利益调整提供一定的缓冲和润滑的作用。万劲波[17]认为不仅在从技术的角度，而且从与之相关的更广泛的社会、经济与环境方面评估技术潜力的过程中，技术预见可以作为战略管理和规划的重要工具。
然而，对整体科技计划评价的研究在我国仍然属于空白点。我们认为，科技计划的决策，往往带有时代的背景和局限，一旦形成，容易根深蒂固。随着时间的推移、科技的发展，不仅有必要对单项计划管理进行改进和完善，对整个计划体系进行反思则更加重要。科技计划绩效评价并不简单等同于对政府投入的科技项目及其成果的验收评估，也不是简单以单一项目为评价对象的，而要是以对整体计划、组织（研究架构）的评价为核心。并且，科技计划绩效评价必须与资源的分配建立联系，以促使科技资源进行更有效率的配置。此外，目前政府科技计划先期的评审及政府科技资源分配的流程，包括构想的讨论、优先级的选择，到执行绩效、整体机制的评估，也关系到科技资源的有效配置，尤其在当前政府财政拮据的情况下更显得重要。
过去二十年评价理论和实践的发展反映了技术和创新政策的演变，而技术创新政策新的发展也对评价方法提出了新的挑战。技术创新政策在20世纪80年代主要以大规模、合作研发计划为主，后逐渐将注意力转向创新和技术转移环境，到了90年代创新政策的主要趋势已从向企业提供金融支持以便更好的利用给定的创新机会，转向主动创造或增加创新机会的政策，例如向企业提供信息，引导企业与适合的合作伙伴合作，或寻求适合融资来源，协助企业技术收购决策等等。相应的，绩效评价的重点也从以同行评议、文献计量法为主要方法的科学研究质量评估转向了更多应用定量绩效指标、事后评估和持续监控并重的计划评价(program evaluation)。计划评价采取的是组合评价方法，而不是集中于单一项目的评价。绩效评价不仅要评价项目直接和间接的社会经济影响，而且要评价整体计划的执行，不仅要针对参与项目的企业，还要面向计划的政策制定者和设计、执行计划的管理者。
因此，建立科学的绩效评价体系，从计划整体成效出发，分析与计划相关的指标，研究计划长期策略规划与计划成效之间的差异，并将评价结果反馈至政府制定长期科技计划的战略和过程中，不仅是下一步发展的科学决策的前提和基础，而且对我国科技、经济和社会的发展也具有重要的现实意义。
收稿日期：2003-09-25；修回日期：2003-12-03