科研院所综合评价指标体系和评价方法，本文主要内容关键词为：指标体系论文,科研院所论文,综合评价论文,评价论文,方法论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
［中图分类号］N941 ［文献标识码］A ［文章编号］1005-0310(2002)02-0050-05
在近20年，尤其是最近10年间，随着经济大环境的变化以及科技体制的重大改革，科研院所的体制也发生深刻转变，原有的粗放性的基础研究型、公益研究型、开发研究型以及多种研究类型的划分有所淡化，如何评价科研院所的工作绩效以及素质潜力是一项全新的课题。从长远考虑，深入分析科研院所的改革成就和前进过程中的深层次问题，并做合理的引导，促进科学技术的繁荣，这是涉及国家、民族命运的战略性问题。
为了解决上述问题，由北京联合大学与科学技术部联合成立《中央级科研院所综合评价》课题组，并将“科研院所综合评价体系和评价方法”课题列入国家软科学研究项目，课题成果获得2001年北京市科技进步三等奖。本文对课题取得的成果主要从指标体系和评价方法上做以下介绍：
1)科研院所综合评价的指标体系，既体现科研工作的客观规律，又深刻反映科技体制改革的基本思想，同时在相当长时期内具有良好的可比性和适用性。
2)综合评价方法同时应具有分级和排序功能，以便展示全貌，为决策者提供经过概括的清晰图景。
3)通过评价结果的综合利用与对比，应能对改革进程中的成败得失作出科学的判断，以期总结经验，克服缺点，促进科技体制改革的深化和院所素质的提高。
1 科研院所综合评价的指标体系
1.1 综合评价指标体系构成和综合评价模型框图
指标体系实质上也就是目标体系。科研院所作为国家科学技术的源头和基地，应是科学原理、自然规律的探索者，同时也是将科技转化为生产力的中坚力量。科研院所既要着眼于当前业绩的创造，也要重视后劲，保证自身的可持续发展。经济状况和财务管理将从一个重要方面反映院所的实力和水平。以上考虑成为科研院所综合评价指标体系的重要内容。具体构成分为科研基础、成果活力、发展后劲和财务管理4个部分；每个部分又细分为若干评价指标，其中科研基础包括科技人员获奖率、科技人员高职率、人均资金和科技人员人均仪器设备总值4项，从科技人员素质和物质条件反映院所的科研基础条件；成果活力包括科技人员人均成果、科技成果转化率、技术市场科技人员人均成交额和人均流动资产4项，从科研成果、转化能力和经济活力反映院所的业绩水平；发展后劲包括科技人员人均纵向课题、科技人员人均应用基础课题、人均收入和固定资产增长率4项，从课题筹备、人员待遇和物质条件增长反映院所可持续发展的能力；财务管理包括经费自给率、公用支出比例和资产负债率3项，从自给能力和财务风险反映院所的经济状况。我们一般把这15项指标称为基本评价指标，4个综合的中间性指标称为绩效素质指标。这些指标构成了一个完整的综合评价模型，其框图如图1所示。
有关权重W和各层综合评价结果e的具体规定在下节叙述。每个基本评价指标的意义由指标名称很容易看出，不一一介绍。需要单量化的有：科技人员获奖率。
1.2 评价指标体系的可比性问题
评价指标的构成不是唯一的，数量繁简很不相同，但应避免追多求全的倾向。指标太多会掩盖主要矛盾，形成“美丑”不分的局面。本课题在研究过程中数次精简，才形成现在的指标体系。
按照我国的院所类型划分，中央级科研院所分为基础型、公益型、开发型、多制型和管理型5类。这种类型划分在原则上正确，反映了科研院所任务性质的不同。不同类型的院所有没有可比性？我们认为不论任务性质多么不同，从综合评价的角度，它们存在共同的规律和评价标准，那就是科研基础、成果活力、发展后劲和财务管理。这实际上是衡量科研院所绩效和素质的统一尺度。问题在于这4项中间指标是半抽象的，其具体描述还是要通过15项基本评价指标。而这些基本指标是否对不同类型的科研院所都适合呢？现逐项分析如下：科研基础包含的4项基本评价指标从人员素质和物质条件方面体现了对各种类型科研院所的共同要求。成果活力的4项基本评价指标中科技人员人均成果是非经济性的，科技成果转化率不直接和经济挂钩，其他2项均为经济性指标，略向开发和多制型院所倾斜；在改革的进程中，纠正了科研工作重学术成果，轻经济效益的倾向，有利于科研成果向生产力转化，这一转变是积极的；对于少数纯基础型的院所，应扩展有关指标的内涵，譬如科技成果转化率可以理解为学术成果引用率，统计进入具有世界影响的国际检索和国内检索的论文数等。活力后劲的各项基本评价指标对于各种类型科研院所也是公平的，从长远看尤其如此；当前有相当数量的开发型研究所可能不适应，随着时间的推移，这些院所也会重视应用基础或有长远意义的课题，只有这样才能保持长久的竞争能力。财务管理中的资产负债率在数学上做了处理后基本适合于各类院所。
从总体上看，图1所示的两极模型是经过专家讨论和大量计算机测试后，目前可能做到的既相对简单，又具有较好可比性的综合评价指标体系。从实用角度，我们并不过于追求可比性；事实上绝对的可比性并不存在，对本项研究更为深刻的要求是运用基本统一的标准，观察各种类型科研院所在改革进程中的变化和互相渗透的生动景象，这有利于制订政策时的思考，从而推动改革的深化。
图1 科研院所综合评价的指标体系
2 分级和排序同步的模糊综合评价模型
综合评价的核心问题是分级和排序。有用的信息不仅表现在最终评价结果上，也存在于各层的中间决策集之中。对于科研院所综合评价这类问题，除了用最终评价结果进行总的分级和排序外，4项绩效素质指标所代表的中间决策集的作用是重要的。通过不同时期，中间决策集的纵向比较和中间决策集之间的横向比较能提取十分有用的信息。比较就意味着排序，然而本项目的评价对象高达700多个，精细的排序不一定能给予决策者清晰的全貌，评价结果的分级反而能展示高度概括的结果。因此分级和排序对本项研究同样重要。
2.1 多层综合评价方法
图1的指标体系同时也是两层综合评价模型，模型使用如下参量：
n：评价等级数，如果评价等级分为优（1级）、良（2级）、中（3级）、差（4级），则n=4。
t：基本评价指标分成的组数，图1的组数t=4。
m(i)：各组基本评价指标的个数，其中i为组的序号，如图1的1至3组，m(1)=m(2)=m(3)=4，对于第4组，m(4)=3。
W[,ij]：第i组第j个基本评价指标的权重，j等于1至m(i)。
W[,i]：第i组绩效素质指标的权重，i等于1至t。
本模型采用了以模糊数学为基础的综合评价方法。模糊数学并不“模糊”，它能用准确的数学语言描述传统数学无法描述的模糊事物。其中模糊综合评价能够综合性质不相同的因素，对客观事物做出准确的评价。根据模糊综合评判理论，我们可以对图1的两层模型分层逐步进行综合。假设第i组，第j个基本评价指标对应n个评价等级的隶属度为μ[,ij](1),μ[,ij](2),…,μ[,ij](k),…,μ[,ij](n)，下述条件应该满足，即
第i组的对应各基本评价指标的权重集合A[,i]=(w[,i1]w[,i2]…w[,ij]…w[,im](i))，该组的模糊关系矩阵为
第i组基本评价指标的中间决策集（即该组的评价向量）
(2)式中的符号*为算子，∪为模糊并运算，∩为模糊交型运算，它们可以表示为不同的配对算子。同法可以得到各组的评价向量，将其合成为新的模糊关系矩阵
在现有的模糊综合评判理论中，(5)(6)两式就是最终评价结果。这种属性渐变的表达形式显然符合模糊数学的本质，但难以进行直观的分级和排序。一般通行的做法是认为(5)式中最大b值对应的等级就是最终评价结果的等级（最大隶属度原则），而这个等级常和其他方法所得的排序结果矛盾，即排序领先的评价对象，其等级反而落后，这是由于定级方法过于粗糙，且和模糊数学基本概念脱节所致。要求对评价结果进行分析和排序是管理的需要，也符合传统的认识习惯，但如何与模糊数学的基本概念统一起来，这需要有一个桥梁。下面将提出一个创新的办法解决此问题。
2.2 模糊决策集重心法——定级和排序的共同依据
根据模糊集重心的概念，若论域U=[x[,1],x[,2],…,x[,i],…,x[,n]]为实数域中的有界可测集，则U上的模糊集
的重心为
以最终决策集中的元素值代替上式中的隶属度函数值，评价等级构成论域，则根据(7)式可导出排序判别式如下
用此式分别计算各评价对象的e值，按照该值的大小进行排序，小者为优。如果各评价等级的特征函数以相邻等级的中点为转折点，则可根据(8)式同时定级。定级规则如下
则评价结果定在k级。如
则评价结果定在k+1级。这个定级规则是比较严格的，实际上等级划分和e值之间允许有不同的组合，常用的还有另一种规则，如
当k=0，评价等级定于k+1级，k=n+1，评价等级定于k-1级，除次之外，对于其他k值，评价等级均定于k级。以n=4为例，以上两种定级规则确定的e值范围为
第1种规则： 第2种规则：
0≤e＜0.16定1级
0≤e＜0.3定1级
0.16≤e＜0.5
定2级
0.3≤e＜0.5
定2级
0.5≤e＜0.83
定3级
0.5≤e＜0.6
定3级
0.83≤e＜1定4级
0.6≤e＜1定4级
2.3 隶属度函数和模糊算子的选择
各基本评价指标隶属度函数的优选原则为：
1)为了提高排序分辨力，隶属度曲线应对评价指标值的变化敏感。
2)为了控制计算总量，隶属度函数应尽可能简单。
符合上述原则的有哥西分布、钟形分布、正态分布和折线分布等几种隶属度函数。通过理论计算和实验验证，结果表明，选择上述隶属度函数中的任何一种，对评价结果影响不大，而折线隶属度函数更为简单。图2给出了基本评价指标r值和等级隶属度μ的关系。μ[,1]至μ[,4]分别代表4个评价等级的隶属度。r[,a]至r[,g]称为隶属度的分级参考点。虽然模糊数学的等级划分是一个不完全确定的概念，但这些点代表了各基本评价指标的分级水平，对评价结果影响巨大。为了避免主观随意性，最好能寻求客观上的定值方法，这是实践中的难题。本项目组在分析大量统计资料的基础上，对各评价指标值的分布进行拟合。在许多情况下，正态分布曲线是最为可能的拟合函数，但是由于数据的高度离散性和不对称性很难用一个统一的正态函数来代表，如果以图2中的d点为界，左边的评价指标值符合某一正态分布的左半部分，右边的评价值符合另一正态分布的右半部分，二者的标准差不同，但均以d点对应分布的最大值。经峰度和偏度检验，这样的拟合可以实现，由此确定分级参考点的值。这种方法我们命名为双边正态法。在更为一般的情况下，我们提出了另一种创新方法——重心定值法。重心法不仅可以用来确定决策集的重心，作为分级和排序的比较标准；将其用来确定分级参考点也很简捷实用。设m为总的评价对象数，m[,1]为d点左侧的评价对象数，m[,2]为右侧的评价对象数，r[,ij]为第j个评价对象对应于第i个基本评价指标的值。重心定值法的步骤如下：
图2 基本评价指标的隶属度函数
a.确定全体评价对象对于某基本评价指标的分布重心
b.分别求总体重心左右两侧评价对象对于该评价指标值的分布重心
c.计算各分级参考点的值
r[,d]=e[,0i](12a)
r[,b]=e[,0i]+K[,b](e[,1i]-e[,0i]) (12b)
r[,f]=e[,0i]+k[,f](e[,2i]-e[,0i])
(12c)
式中K[,b]、K[,f]为接近于1的调节系数，可根据需要适当调整。上述3点确定后，其余各点随之确定。
模糊算子的选择对评价结果也有显著影响。至今广泛使用的Zadeh算子为主因素决定型，计算过程中大量次要因素被忽略，信息损失较大，分级结果出现优劣不甚分明，评价结果较集中于中间级的情况。为此我们对Zadeh、积截和、Bezdek-harries、Probability、Yager、Einstain6种算子进行了比较。算子的优选原则为尽可能减少信息损失，争取有较佳的清晰域同时又不可过于复杂，造成计算量过大。可供选择的有两种算子，一为Bezdek-harries算子，由(1)至(3)式，其具体形式如下：
这种算子为加权平均型，全面考虑了各种评价指标的作用。根据本项研究的特点，选用了后一种算子。
综合上所述，通过模糊决策集重心法，导出排序判别式，以此作为分级和排序的依据；选用合适的算子，减少信息损失又不过于增加计算量；使用客观定值法，科学确定基本评价指标隶属度曲线的分级参考点，这一完整的计算体系构成了定级和排序同步的综合评价模型。这个模型特别适合于像科研院所综合评价这样的多因素评判问题。有关中央级科研院所综合评价另见专文，此处不细述。
3 几点结论
1)本文提出的评价指标体系作为共同的尺度，对观察改革进程中各种类型科研院所的演变和发展有重要作用。
2)综合评价从加权评分到主元多因素法等多种方法大多为线性加权模型，这种模型适用于决策者效用函数可以叠加，效用函数分量为线性的情况。对科研院所综合评价模型，上述条件并不完全满足。资产负载率就是一例。采用模糊综合评价方法，既适合于线性问题，也适用于非线性问题，灵活的设置隶属度函数有更宽广的应用范围。
3)本文创新提出的模糊决策集重心法适合于综合评价模型的各个层次，借助于统一的手段使过程分析成为可能，从而使综合评价的信息量大大增加。
4)最终评价结果和中间评价结果的等级分布均源自基本评价指标值的等级分布，而基本评价指标值的等级分布又来自对所有评价对象指标值全面统计、客观定值的结果。这样一种溯源关系完全改变了现在流行的根据最终评价结果人为划分等级的主观方法，具有更大的科学性和实用性。
上述优点将在中央级科研院所的评价和分析中得到充分的体现和证明。
此外，课题已经建立了计算机模型，在各种综合评价中，只要经过调查研究建立评价模型及相应的权值后，均可方便地移植应用。