中国科学院研究所评价的逻辑模型研究，本文主要内容关键词为：中国科学院论文,逻辑论文,模型论文,研究所论文,评价论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
0 引言
二战后，随着政府在科技发展中的作用日益增强，世界主要国家纷纷建立起各类国立科研机构。相比于更加偏向自由探索科学研究的大学来说，国立科研机构往往更加关注需要长期积累的科学问题研究，更加针对国家经济与社会发展以及国家安全的需求。如何通过评价不断提升国立科研机构的效率，使其在国家经济发展、社会进步和国防建设中发挥更大作用，是各国国立科研机构管理的重要课题。国立科研机构评价的核心在于如何选择和确定合适的评价逻辑模型及其相应的评价方法。国际上国立科研机构评价主要的逻辑模型，大致可分为美国评价模式与德国评价模式两种[1]。
1993年美国国会正式通过“政府绩效与结果法案”(GPRA)，要求政府机构制定为期5年的战略规划以及分解的年度工作计划，并通过绩效评价来检查年度工作计划的执行及5年战略规划的总体效果，评价结果直接与机构预算挂钩。按GPRA要求，各联邦科研机构均需制定绩效计划，由国会、审计总署和预算办公室审批；联邦科研机构聘请外部专家对照计划进行年度自评；年度绩效自评报告再呈送国会、审计总署和预算办公室审查，作为经费预算的依据之一。该评价模式可视为基于战略目标的绩效评价模型。
德国科研机构有严格、规范的评价制度。马普每2年对研究所进行1次评价，已经持续30多年。在评价中，聘请的外部专家事先要阅读研究所的状态报告，并且要到研究所听取执行所长的报告以及各领域所长或科学家的报告，与科学家、研究生沟通，主要是判断研究的质量以及相关管理方面的问题，评价报告主要用于诊断。该模式可视为基于研究质量的评价模型。
中国科学院（以下简称中科院）是我国科学技术方面的最高学术机构，研究领域涉及基础研究、高技术研究、生物科学和资源环境科学等多个方面。到目前为止，中科院共有97个研究单位，分布在全国各地。从1993年开始，中科院对所属研究所进行定期评价。10多年来，中科院根据研究所不同发展阶段特点不断调整评价方法，经历了“蓝皮书评价”、“知识创新工程试点”评价、创新能力指数评价、综合质量评估等不同阶段。从评价逻辑模型来看，中科院研究所评价在综合质量评估之前可称为“定量排名模型”，综合质量评估阶段可称为“多信号决策模型”。本文将结合中科院研究所评价实践，对以上两种评价逻辑模型进行分析，并提出对未来研究所评价模型的思考。
1 定量排名模型
定量排名模型涉及中科院“蓝皮书评价”、“知识创新工程试点评价”、创新能力指数评价等几个时期的评价。1993年中科院开始进行研究所评价，所采用的方法主要是基于定量指标的计算结果的排名。主要的评价指标分为产出类指标，包括论文、专利、获奖、所办公司经营情况、研究生培养、人才输送率等，以及状态类指标，包括科研能力、人才状况、经费状况、设备、实验室状况等。由于这一时期评价报告的封面为蓝色，故称之为“蓝皮书评价”。
1999年开始对知识创新工程试点研究所评价时，基于定量指标计算结果的排名依然占有重要位置，不过，对评价指标及标准进行了较大的调查。这时的评价指标以对国家经济和社会发展以及国防安全的基础性、战略性、前瞻性等三个方面的贡献（简称“三性”贡献）为基础构建，其主要指标有承担战略性科技任务、高质量科学论文、重要国际学术会议特邀报告、重大社会经济效益、人才培养和重要奖励等。相比于1993年以来的原有定量体系，一是指标精简了，二是指标的标准显著提升了。另外，这一时期的评价还引入了针对研究所创新任务书的目标完成情况的专家评议。2002年，在基于定量指标的计算结果的排名中尝试了按专业局所属研究所分类的评价，以及按基础研究、高技术发展与研究、资源环境与可持续发展研究、产业化四方面研究工作进行的“分类导向”评价；同时，增加了定性的重大创新贡献评价。
2004年，中科院提出了发展科技生产力等五大创新能力建设的要求，在定量评价方面据此建立了创新能力评价指数评价的新体系。以“发展生产力的能力指数”为例，其本质依然是定量指标的计算结果的排名评价。不过，在该能力的评价中，通过恒定各定量指标的权重，实现了研究所之间以及研究所自身、中科院整体历年的创新能力指数的可比。
总体来说，以上各阶段的定量评价虽然有不同之处，定量评价的指标、标准在不断完善，但其逻辑模型都可称为“定量排名模型”。大体来说，该模型是根据定量评价指标、指标的标准及权重关系所构成的评价体系，通过搜集数据、加权统计，直接算出评价结果，并以此对研究所进行排队的评价方法。定量排名模型基于严密的数学体系，在本质上是基于多属性效用函数理论的模型[2]。
定量排名模型在研究所评价中的优点为操作简单、评价结果直观。按照现在科学政策学(SoSP)的观点，这种定量排名模型符合在传统专家决策之外利用定量数据模型支撑决策的发展方向[3]。其不足为所基于的同一定量体系难以反映不同研究所的学科特色、地域特色及体量大小等个性化因素。该评价逻辑模型在前几年中科院发展过程中起到了一定的积极作用。鉴于该模型存在的不足，从1999年以后，中科院逐渐增加了基于专家的目标完成情况评价以及重大创新贡献评价等定性评价方法。
2 多信号决策模型
2005年，中科院开始改革以定量排名模型为基础的研究所评价，构建了“综合质量评估”新的评价模型，在此称之为多信号决策的逻辑模型。研究所“综合质量评估”包括评估过程与决策过程两个基本阶段，两个阶段各有若干环节。评估过程包括研究所自评估、同行评议、定量分析、交流评议、现场评估等五个环节，决策过程包括分片决策和综合决策两个环节（见图1）。
图1 综合质量评估两个阶段及其相应的环节
首先，从评估过程来看，各主要环节各有侧重（见图2）。研究所自评估侧重已有科技成果和现行管理机制，发现差距和问题，总结经验。同行评议侧重评价已有科技成果的水平及社会影响。定量分析重在考察研究所绩效产出和管理达标情况。交流评议由同类研究所所长评议，涉及评价内容的各个方面，即已有科技成果、发展状态和发展战略，同时促进研究所之间的交流、沟通和合作。现场评估由院管理专家对研究所进行实地评估，对研究所进行综合诊断和指导，也涉及评价内容的各个方面。对这几个环节的评价特点、意义和作用进一步分析见表1。
其次，从决策过程来看，分片决策在对研究所进行分类（基础研究片、高技术研究片、生物科学片、资源环境科学片）的基础上，讨论确定研究所分档（分为优秀、良好、合格三档）的原则，并按此原则提出分档建议名单。综合决策审议分片决策的建议名单，同时考虑各类研究所的发展情况，确定最终分档名单，实现各片之间的平衡。
研究所“综合质量评估”之所以称为多信号决策评估模型，在于该模型中采用多种评价方法，获取多种评价数据和信息，并通过讨论确定分档的原则，最后得到分档结果。多信号决策模型中不再仅限于单一的定量数据，也不再通过简单的加权统计得到结果，强调了研究工作的质量和贡献，强调了研究工作的已有成果、发展状态和发展战略，应该说这种模型与当时中科院研究所发展状况以及中科院政策导向是相适应的。该逻辑模型所进行的分档相比于定量排名模型的大排队方式是一个很大的飞跃，但在本质上仍然是基于研究所之间的相互比较的结果。
3 未来的评价模型——关于关键指标标杆评价模型的探讨
从定量排名模型到多信号决策模型的变化，是与中科院研究所的发展紧密相关的。应该说，多信号决策模型可以看成是对定量模型的丰富，或者说定量模型成为了后来多信号决策模型的一个部分，而不是彼此简单的替代。中科院研究所创新能力的不断提升以及国家需求的调整，依然需要不断发展与之相适应的评价逻辑模型。
经过2005年以来知识创新工程三期的发展，研究所在满足国家需求以及国际影响力方面都有明显提升，关于未来中科院研究所评价的一个重要的考虑就是进一步实行研究所的分类评价，在分类的基础上与国际同类科研机构以及国家需求相比较。这就要求在原有多信号决策模型的基础上，找出各类研究所的关键指标和标杆，以此开展研究所的评价。这种评价模型可称之为关键指标标杆模型。该模型在继承多信号决策模型的基础之上，突破原有两个模型需要通过研究所相互比较而得到评价结果的不足，而是力图采用该类研究所的关键指标和标杆来确立研究所的分档。
目前，中科院在研究所综合配套改革试点中部署了评价专题，旨在探讨未来研究所评价的逻辑模型。在以7个试点所为对象的初步研究中，探讨了关键指标标杆模型。以其中一个基础类研究所为例（见表2），其部分关键指标包括SCI高影响因子的刊物上发表的科技论文、国际学术会议邀请报告、国家三大奖以及主持自然科学基金面上项目情况。其指标标杆在进行国际同类机构研究和国内调研的基础上初步确立为A，B，C，D四档。
关键指标和标杆研究是国际上科技评价的热点问题。前述美国国立科研机构基于战略目标的绩效评价模型，其关键指标和标杆由本机构的战略目标确定。德国马普学会基于研究质量的评价模型，其评价的关键指标和标杆为是否取得在国际范围内具有公认的杰出科学成就。中科院在宏观管理上与美国部门所属的国立科研机构实行的战略绩效管理的模式不同，在研究领域和定位上也不同于德国马普学会的国际一流的基础研究机构，如何在中科院自身条件下找到适用于国际比较以及国家需求衡量的关键指标和标杆，从面确立关键指标和标杆的评价逻辑模型，应该说是一个极富挑战的课题。