科研项目评估理论述评，本文主要内容关键词为：述评论文,科研项目论文,理论论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
中图分类号：G644.4文献标识码：A
文章编号：1001-490X(2004)08-110-02
技术和科技创新在提高企业乃至整个国家竞争力上的作用已经有目共睹，许多国家相继制定了国家级的科技发展战略，如美国的战略防御计划，英国的Alvey计划等，欧盟还制定了旨在赶超美国和日本的框架计划。同时投入巨额资金对计划进行支持。但高的科技投入并不直接表示有好的产出，如何增强科技对经济的贡献，国家如何实施宏观的科技进步计划，企业如何有效地选择和管理科研活动和项目，一直是困扰国家政策制定者和企业决策者的难题。其中对R&D进行评估是一个关键的环节。
1.科研项目评估的由来与发展。
上世纪60年代初，美国的学者开始研究R&D项目资助的效益与效率问题，发表了很多有关R&D项目评估方法的论文。R&D项目的评估活动广泛地开展起来，逐渐形成一种专门性的活动，有自己的方法、方式、准则和相应的组织形式。同时，R&D项目评估的实践活动也广泛开展，在美国的项目评估中可以找到一些很有影响并得到深入分析的案例，如“IBM评议会”的持续评估过程；国家科学基金会(NSF)用于考察其各单位的业绩和公布资源内部分配的决定的程序和过程；国家宇航局(NASA)的项目评估体系等。可以说，现有的R&D项目评估方法多是以美国为中心发展起来的。
在日本，自60年代初期引进定性评估方法，以会议形式的评估决策取代了由最高领导或部门领导进行的评估决策；到60年代末，日本已在引进的定量评估方法基础上开发出新的评估方法，初步形成了系统的项目评估方法体系。
在欧洲，60年代各国主要力量放在研究和建立R&D项目的方法上。70年代以来，欧共体国家共同发起多项大型跨国科研计划，欧共体委员会日益重视这些大型跨国R&D项目的评估。因此，欧共体委员会分别于1978年在丹麦首都哥本哈根和在比利时首都布鲁塞尔两次召开“R&D评估方法”研讨会，形成了一套比较实用的R&D项目评估活动的方法和程序。评估活动的目标是：引导资金投向最有可能对欧共体未来需求和当前面临问题产生积极影响的领域；确保所得结果的质量，实用性和相对于支出的预期价值；确保研究有助于欧共体及其成员国设定的社会和经济目标。
2.科研项目评估的一般程序。
一般情况下，可以把评价的整个流程划分为三个阶段：评价的总体设计和规划阶段；评价实施阶段；评价结果利用。
(1)评价的总体设计和规划阶段。对评价活动进行总体设计和规划是指在正式开始评价之前，要确定评价的目标与范围，咨询利益相关者，确定评价工作的进度，估算评价工作的成本。
第一，确定评价工作的目标。评价工作的目标包括：为科研管理提供信息；阐述被评价者的责任及其履行情况；为科研决策提供建议。这些目标对评价者起指导作用。评价目标不能太多，目标太多会使评价工作过于分散，从而不能确定评价的主次。
第二，确定评价工作的范围。评价工作的范围有重点范围和一般范围之分。例如，评价国家自然科学基金的绩效，重点是各类基金资助的总体绩效，但是否要评价基金资助的研究成果的应用价值，即评价时调查有关产业部门的意见，是否要调查未获资助的申请者，这些问题尽管是一般问题，若能详细了解这些问题，对于从更广的范围掌握基金资助的绩效和存在的问题是非常有益处的。可以认为，如果在评价成本和评价时间许可的范围内，在更广泛的背景中开展评价活动是常常有益的，这样做有助于评价者获得额外收益。
第三，咨询利益相关者。经验表明，研究人员对科研评价十分敏感，不适当的评价容易弱化科研工作的动机和研究工作的创造性，而且，如果评价结果与学科领域的定性判断不一致，最活跃的研究人员将会产生对立情绪。因此，在评价工作一开始就立即与利益相关者对话，以在最大程度上避免他们的个人利益与官方评价标准相互冲突。
第四，确定评价工作的进度。一般而言，对于完成评价工作要给予足够的时间。如果规定的时间较短，那么，就会减少咨询时间与协商时间，评价的质量就会受到影响。评价进度常常受评价工作的目标的影响，例如，为决策提供建议而开展评价时，必须考虑适时开展评价的时间，因为，评价开展得太早就可能缺少充分的绩效证据，开展得太迟就不能为决策及时提供咨询建议，从这个意义上讲，评价进度的确定必须平衡管理者对及时提供信息的需求和对获得真实反映有关科研活动成绩的数据的需求。
第五，确定评价工作的成本。科研评价需要花费较多的资金，特别是当对研究产出及其影响做深层次的评价时，需要相当的成本。因此，要根据评价工作的范围和深度，精确预算评价的成本，即：人，资金，设备和信息。
(2)评价实施阶段。这个阶段的任务包括以下三个部分：选择评价人员或评价机构；对评价进行监控；撰写评价报告。
第一，选择评价人员或评价机构。评价人员可以是某个研究机构或资助机构的内部人员，利用这些人员开展的评价一般都是研究机构的自我评价，或按照上级管理部门的有关规定对规模不大的计划和项目开展的评价。但是，为了保持评价的公正性，评价活动最好采用招标形式，委托外部评价人员来实施。
第二，监控评估工作。只有通过监控，使委托方和执行方完全了解相互的目标、需求和问题时，才可获得理想的评价结果。为了既达到对评价进行监控，又能尊重评价工作的独立性，委托方和执行方必须做到行为明智。对于委托方，应该有规律地与执行方保持联系，建立合作关系；应该及时、准确地为委托方提供所需要的信息；如果评价需求有变化，应及时通告执行方；应该尽量不影响执行方提出他们的结论和建议。对于执行方，应该领会、遵循委托方设定的目标；要有规律地和发起人讨论所取得的进展和中间结论；要维护评价工作的独立性，使之不受发起人的左右，从而维护评价报告的可信度。
第三，撰写评价报告。在撰写评价报告时，要围绕最初设定的目标组织相关材料，要毫无偏见地提出数据和依据，论据和逻辑推理支持观点，这样，评价报告才有说服力。此外，报告中要尽可能提供可视化的图象、资料，尽可能避免使用专业技术语言，要提出清晰的、具有可操作性的建议。
(3)利用评价结果。对于执行方提交的评价报告，委托方通常要根据自己的知识予以补充和修正，并将所做的改进反馈给评价人员，取得他们的共识以后，委托方形成正式评价报告。正式报告一般有两种用途：发起者，组织利益相关者对评价结论进行专题讨论，以解释结论和教训，改进今后的工作；出版评价报告，既可以使其他科研组织和个人从中受到启发，又能让广大公众了解公共资金的使用价值，充分获取他们的理解和支持。
3.科研项目评估的主要方法。
对科研项目的评价，现在国际上通行两个基本的评价方法：定量指标评价方法和专家定性判断方法。由于科学研究的“质量”这个概念非常复杂，计量指标只能表达其可见的某些方面，因此，评价时，需要结合使用两种方法。
按照美国科学、工程与公共政策委员会(COSEPUP)的观点，目前，用于评价研究的定量和定性方法可细分为：文献计量分析、经济回报率测算、同行评议、案例研究回溯分析和定标比超等6种方法。其中，国际上运用最广泛的是同行评议，科学计量方法。
(1)同行评议方法。同行评议是某一或若干领域的专家采用同一种评价标准，共同对涉及相关领域的某一事项进行评价的活动，其评价结果对有关部门的决策具备重要的参考价值。同行评议的一大优点是，它与科学质量的基本属性，即对科学知识、科学理论和科学方法的贡献的多少是定性的这一根本性质相一致。从历史上看，同行评议主要用于单个项目的评估，带有典型的“小科学”色彩。实际上，这反映了同行评议主要适用于项目评估或微观层次的评估而较难适用于国家，地区或整个学科等宏观层次上的科研绩效评估的特点。由于同行评议是一个主观过程，它依赖于评议者的看法和过去的经验，
同行评议也有内在的不足。例如，在评议专家的选择上数量有限，一般是以“小样本”为主；它是一种典型的定性评估方法，如果选择较多的评估专家，往往会因其研究方向不一致而难以在评估上达成有意义的结论；并且，同行评议缺乏统一的评价尺度；它像其他依赖于人的主观判断的方法一样，会受人们利益和偏好，特别是朋友关系和偏见的影响。此外，随着科学向纵深发展以及科学对经济和社会发展的影响，同行的内涵在扩展，选择同行成为同行评议方法难点之一；现行的同行评议方法受传统学科分类约束，不利于交叉学科或跨学科研究的孕育和发展。正因为这样，完善同行评议方法始终是努力的方向。由于同行评议的局限性以及在当代的复杂性，使同行评议建立在较充分的定量评估的基础上，是完善同行评议方法的重要方面。
(2)科学计量法。该方法主要包括文献计量法和经济计量法。文献计量法主要分析评估对象的论文的数量（反映科学生产能力）和质量（来自核心期刊）以及论文被引频次（反映其科学价值、社会价值和影响力）、专利授权数等指标，定量评价项目的能力和影响力。经济计量法主要评价科研活动的投入——产出。按照可斯托弗(kostoff)的观点，经济计量法主要有成本效益方法，边际成本效益方法和生产函数方法等。
科学计量法的重要特点是客观性和定量化，它可以弥补同行评议方法的某些不足。但是，这种方法也有其局限性。严格意义上讲，如引文率等定量评价指标是对大范围、无规定边界的同行评议的统计分析结果。这类指标只有在大样本的前提下才有意义。此外，在定量的评价中，不仅要考虑到数量的评价，而且要充分体现对于研究成果质量的判断。进一步发展定量评价，并使之与定性的同行评议结合起来，是目前研究绩效评估通常采用的方法。事实上，文献计量在本质上是与同行评议内在关联的。德国马普学会的经验表明，在同行评议过程中充分参考定量评估的信息，对既发挥专家评价的特殊优势又克服同行评议的主观性和不确定性，既利用定量评估的客观性特点又避免定量评估疏于质量指标的缺陷有重要意义。众所周知，对于R&D项目的评价，特别是项目实施过程的动态适时评价包含较大的不确定性。同行评议和科学计量法都有其局限性和片面性，许多国家正在致力于研究一些把定量与定性结合起来的中间方法，以对R&D项目的绩效进行全面而准确的评估。