公共科研机构绩效评价的指标与方法，本文主要内容关键词为：科研机构论文,指标论文,绩效评价论文,方法论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
修回日期：2005-08-25
中图分类号：G311
文献标识码：A
文章编号：1003-2053(2006)01-0085-06
公共科研机构是指由国家或部门根据经济社会发展需要建立并资助，由占有一定空间与设备条件的各级各类科研人员所组成的科研工作单位，包括国家设立的科学院、研究中心、中央或地方政府部门所属的科研院所、实验室等[1]。公共科研机构是国家创新体系的重要组成部分，是实现国家科技战略目标的主要生力军，它在科技兴国战略中发挥着重要作用。
但就我国目前的情况来看，这些科研机构的情况各不相同，优劣相差很大，而且至今尚未建立起对公共科研机构进行绩效评价的完整的指标体系和科学合理的评价方法。本研究的主要任务就是构建一套主因素全、评价方便、客观可靠的综合评价指标体系与量化方法，并借此客观地反映公共科研机构的绩效水平，从而为科研管理部门优化科技资源配置、调整研究机构和学科布局提供有效的管理手段，也为国家建立比较竞争优势、发展生产力等相关政策的制定提供可靠的依据。
1 国内外研究与实践
早在20世纪30年代初，前苏联早期经济学家斯格鲁米林就对科研活动评价标准的系统化进行了尝试，美国科学家Griliches Z.和Nelson R.R.则分别从投入产出[2] 以及基础研究对经济发展的影响[3] 等领域对公共科研机构的绩效进行了评价。此后，包括NSF(美国国家科学基金会)和OECD(经济合作与发展组织)在内的国际组织以及许多国家的政府统计部门、科研管理部门、学术机构和企业从不同角度对公共科研机构的绩效评价进行了研究与实践[4]。
1974年，前苏联国家科委和创造发明委员会批准了《科研设计和工艺设计单位科技活动评定办法》，该办法设5项一级指标，并根据学科领域及机构特点，在二级指标的选取和权重设置上有所不同[5]。NSF对美国科研机构的评价(统计指标)一般选用6-8个一级指标，并以经费获取及科研成果为核心指标[6]。英国则是将科研机构的投入与产出指标化，在绩效评价中以定量(定性)指标为主[7]。德国评价科研机构绩效的指标包括科研能力、科研服务及科学咨询能力、科学政策标准三个方面，下设若干项二级指标，并细分为相应的统计指标，其中获得经费的能力、申请专利数量、顾客满意度、提供的技术与成果情况以及人员状况是关注的重点[8]。2003年，联合国西亚经济与社会委员会(economic and society commission for western asia)发布了知识经济社会技术进步与发明创造(STI)评价指标体系，该指标体系包括科学研究、技术进步与发明创造能力指标，研究与开发人力资源指标，发明创造经济指标，信息、通讯与技术指标(ICT)和综合评价指标五个方面[9]，并首次将ICT指标纳入科研机构绩效评价体系。
国外关于公共科研机构绩效评价方法的研究已有大量工作，现在应用较多的评价方法有专家评分法、层次分析法、运筹学评价法、经济评价法以及模糊数学方法等等[10]。但目前国际上较为通行的方法都是同行专家评议(peer reviews)。在美国，NSF、NIH(美国全国卫生研究所)以及美国国防部、能源部、农业部等所属的基础研究和应用开发机构在绩效评价中都采用这一方法[11]，英国、法国、德国、加拿大等国的情况基本相同。
国内对公共科研机构的绩效评价在很长时间都是空白，直到二十世纪九十年代之后才开始研究。吴俊卿等是我国较早开展这方面研究的学者，在评价指标体系及其评价方法的研究中作了大量的工作[12]。近年来，我国对公共科研机构绩效评价的研究较为活跃，主要集中在评价指标体系、量化标准与计算公式、评价方法与评价程序三个方面，也取得了一些进展。但总体看来，我国对公共科研机构绩效评价的研究还处于探索试验阶段，选择与建立评价指标体系的系统性差，在指标权重确定过程中又往往采用层次分析法、专家经验评估法等以定性赋值为主的方法，评价结果差异较大；而且由于评价对象众多，这些方法所得到的评价结果往往趋于均匀化，难以客观准确地反映公共科研机构的实际绩效。为此，本文以2003年科学技术部颁布的《科学技术评价办法》(试行)中关于研究开发机构的评价办法为依据，参照STI评价指标体系，结合中国科学院研究所综合质量评估实践，借助系统分析方法，构建公共科研机构绩效评价指标体系，并引入信息熵理论中的Theil不均衡指数[13] 对模糊多因素、多层次综合评判法加以改进，按照评价数据的离散程度来确定各评价指标的权重，采用优属度矢量模型得出公共科研机构的绩效评价结果，使评价结果处于中间值的情况显著减少，从而提高了评价结果的科学性和合理性。
2 指标体系
公共科研机构绩效评价是按照一定标准，采用科学的方法，检查和评定其投入产出的效率和效果，以确定其工作成绩的管理方法。绩效考核的主要目的在于通过对公共科研机构全面综合的评价，客观地反映公共科研机构的绩效水平，从而为科研管理部门调整研究机构的发展方向、优化科技资源配置、改善学科布局提供有效的管理手段，同时也为科研机构自身明确职责、加强过程控制、提高服务质量和科研水平提供了依据[14]。
2.1 设计原则
公共科研机构是一个多因素、多层次的复杂系统，其活动应以研究开发为主体，是一种探索性强，随机因素多的创造性劳动，所以对其绩效评价指标体系的设计应在明确的目标导向和强调整体协调发展的前提下满足整体最优。为使评价指标与评价方法符合我国科研机构的实际并体现深化科技体制改革的要求，本文根据系统科学原理，在指标体系设计中确定了以下基本原则。
(1)科学性原则：评价指标体系的设置应力求规范、准确，以期客观、真实、公平地反映公共科研机构的绩效水平。
(2)目标性原则：评价指标体系应与国家的相关法规、政策保持一致，能够满足科技管理部门对不同层次、水平的科研机构进行有效宏观调控的要求。
(3)指导性原则：评价指标体系应对公共科研机构的各项活动具有指导意义，以利其扬长避短，激发竞争意识，提高研究质量与管理水平。
(4)可比性原则：评价指标体系应具有纵向可比和横向可比的功能，不仅能够从时间上对公共科研机构的绩效水平进行动态比较，反映其发展趋势与速度；还能通过不同科研机构间绩效水平的比较，反映其差异和发展的不均衡性。
(5)可行性原则：为使评价指标体系具有可操作性，资料数据容易采集，定量指标应建立在科技统计指标体系的基础上，具有全面可信度与评价指标体系的一般特征，定性指标则采用专家评分法进行量化处理。
2.2 指标构成
依据上述设计原则，本研究应用层次分析法对公共科研机构的绩效评价问题进行分析，以确定评价范围、所包含的因素及因素间的相互关系。在充分掌握所需评价信息的基础上，确定了科技论文、科技奖励、科技成果、社会贡献和开发经营五个方面对公共科研机构绩效起重要作用的因子，作为绩效评价的基本指标[15]。
本研究设计的指标体系为多指标多层次结构，最高层为目标层(A)，即通过评价所要达到的目标；中间层为实现预定目标需要考察的中间环节，即由上述五项基本指标构成的准则层(一级指标Bi)；在对各基本指标分析后，确定其所涉及的具体内容为指标层(二级指标Ci)，请专家对指标层每一指标所包含元素的相互重要性作出判断，计算各元素的权重，并进行一致性检验，在此基础上建立我国公共科研机构绩效评价指标测度，如表1所示。
表1 我国公共科研机构绩效评价指标体系
目标层
准则层
指标层
(A) (一级指标B[，i]) (二级指标C[，i])评价指标测度
评价指标测度
C[，1]发表国际论文篇数
科技论文C[，2]SCI，SSCI收录论文被引证篇数 刊物按JCR学科分类(包括SCI，SSCI)中的影响因子排序，单篇
C[，3]SCI，SSCI收录论文被引证次数 论文当量=所在刊物的影响因子与按JCR分类的学科平均影响
B[，1] 因子之比，基准分为1分
C[，4]发表国内论文篇数
C[，5]科技专著种数 国家图书奖20分；省部级奖5分；学会级奖1分
C[，6]中科院奖励及国际奖项数
中科院杰出科技成就奖25分、中科院其他奖项及国际奖根据专
科技奖励C[，7]国家级成果奖励项数 家评议确定；国家最高科学技术奖40分；国家三大奖一等奖30
B[，2]C[，8]省部级成果奖励项数 分、二等奖15分；省部级三大奖分别为12分、6分和2分；地市
C[，9]地市级成果奖励项数 级奖1分
国际(欧、美)发明授权专利10分、国内发明专利授权2分、软件
C[，10]知识产权
著作权授权1分；被批准一类新药15分、二类新药6分、动植物
科技成果 新品种、新农药、新兽药、新肥料2分
B[，3]C[，11]标准修订
制修订并正式发布国际标准10分、国家标准6分、行业标准2分
C[，12]咨询报告
被党和国家领导人采纳或有实质性批示每件10分、中央综合部
委采纳每件4分、其他省部级采纳每件2分
973项目首席科学家、现任国家973顾问与咨询委员会委员，国
科 家自然科学基金创新群体主持、国家杰出青年基金获得者、863
研 主题专家组成员、领域专家组及重大专项专家组成员，921重大
机C[，13]将帅人才
项目主持人，国家主席奖获得者、两院院士及外国国家科学院院
构 士2分；全国专业标准化技术委员会和分技术委员会主任委员、
绩 副主任委员、秘书长、副秘书长、委员，国际组织任职，享受政府
效
社会贡献B[，4]
特殊津贴1分(一人同时具有多种头衔者计2分)
973、863、921、科技攻关、国家重大产业化项目主持10分，课题2
C[，14]科研项目
分；国家自然科学基金重大项目主持10分，基金重大课题、基金
重点主持2分；其他项目1分
C[，15]人才培养
在站博士后6分，在读博士3分、硕士1分；出站博士后10分、毕
业博士5分、硕士2分
C[，16]教学成果
全国百篇优秀博士学位论文、全国优秀博士后称号(中科院院长
特别奖)2分；导师获全国优秀教材奖、优秀教学成果奖1分
C[，17]上级拨款
从财政部门取得的科学事业费、房改经费、公费医疗经费、副食
补贴经费及其他指定用途的专项资金
国际科技合作项目×15；973、863、921、国家科技攻关、重大产业
C[，18]科研收入
化及自然科学基金项目×10；国家级课题×4；省部级课题×2；
开发经营B[，5]
其他课题×1(按当年实际到账金额及到位设备金额计)
C[，19]营业收入
科技成果转让收入；下属独资公司营业收入；与社会资本联合投
资的公司营业收入×所占股份
C[，20]利税总额
下属独资公司利税；与社会资本联合投资公司的利税×所占股份
C[，21]出口创汇
技术出口创汇×10；对外合作创汇×6；产品出口创汇×1
2.3 几点说明
为对公共科研机构这一学科门类多、涉及领域广、规模大小悬殊、水平参差不齐、产出目标多样的复杂系统进行绩效评价，使基于上述指标体系的评价成为一种客观的尺度，本研究在指标分层和评价测度上还特别注意了以下几点：
(1)以政策导向为主因，在评价指标测度的权值分配上向高质量科技论文和专著、具有重大创新的科研成果、对国家宏观决策有重大贡献的咨询报告等方面倾斜。
(2)经济效益与社会效益并重，特别强调公共科研机构的外向合作能力、高水平知识产品转化能力以及高素质科技人才的培养等方面。
(3)评价指标测度所需数据基本上都能够从《中国科技统计年鉴》、《中国科学院统计年鉴》、SCI及SSCI检索、国家专利局及国家新闻出版署数据库以及公共科研机构的统计资料中获取。
(4)各评价指标测度的计算采用加权求和的方法。当某成果有多人(机构)署名时，主持人(第一作者)占60％；主要参加者(第二作者)占30％；参加者(第三作者及以后)平均分配剩余的10％。
(5)本指标体系指标测度均为人均指标，即每百名正式职工的得分值或资金数(万元)。
3 基于熵权的模糊数学评价方法
3.1 基本原理
在信息论中，熵(entropy)是随机事件不确定性的量度。对于一组随机事件而言，其不确定性越大，输出的信息熵值也越大，也就是说，必然事件所包含的信息量为0，而等概率事件所包含的信息量最大[16]。显然，本研究中某项指标值的分布越均衡，信息熵值就越大，反之亦然。
基于熵权法优属度矢量模型的模糊多因素、多层次综合评判，是在集合划分的定义下，将系统分解为若干个分系统，为每个分系统设定若干评价指标，采用扎德提出的最大、最小隶属度函数模型，将指标特征向量转变成指标隶属度矩阵，通过模糊优化得到各个分系统的优属度最优矢量，组成新的隶属矩阵，利用熵权法计算出各个分系统的权矢量后，再用上述方法进行高一层次，即全系统的模糊优化计算，可得整个系统的最优对象以及对象的优属度排序。
3.2 评价方法
设系统有n个待选对象集，有m个评价因素，每个评价指标对每一个备择对象的评判用指标特征量表示，则系统有m×n阶指标特征矢量矩阵。
式中：x[，ij]是第j个备择对象的第i个评价因素的指标特征向量。采用扎德提出的最大、最小隶属度函数模型，可将指标特征向量转变成指标隶属度矩阵：
对于越大越优型和越小越优型的评价因素可分别用下式计算：
定义一：设指标有指标隶属度矩阵(1-2)，若
则G、B分别称为系统的优矢量和次矢量。
定义二：设系统有优矢量和次矢量，若备择对象j以隶属度u[，j]从属于优矢量，则其矢量表达式u[，j]=(u[，1]，u[，2]，…，u[，n])称对象的优属度。同时，备择对象j又以u[，j]的余集
从属于次矢量，则u[，j]的余集(
，
，…，
)称为对象的次属度。
定义三：设系统有优矢量、次矢量与评价因素的权矢量：w=(w[，1]，w[，2]，…，w[，n])[T]，并记R[，j]=(r[，1j]，r[，2j]，…，r[，mj])[T]，若
则称d(R[，j]，G)，d(R[，j]，B)，分别为备择对象j与优矢量、次矢量的距离或差异程度，简称优异度与次异度，式中p为广义距离参数。现取p=2，即欧氏距离。
定义四：令：
对(1-1)式中各指标特征向量进行标准化：
很明显，
=1(i=1，2，…，m)，如果将X[，i][*]看作随机变量的话，则x[，ij][*]的概率分布。引入Theil不均衡指数
则第i个评价因素的不均衡度[17]：
(若x[，ij][*]=0，可对其进行坐标平移处理，取y[，ij][*]=x[，ij][*]+σ，令σ→0，使式1-6有意义)
定义五：定义熵权矢量w=(w[，1]，w[，2]，…，w[，n])[T]为：
定义六：设系统有备择对象j的优异度与次异度，则称
分别为备择对象的权优异度与次异度。模糊优化的目的在于求出矢量u[，j]的最优解，为此可将距离平方和最小的准则扩展为权距离平方和最小，即目标函数：全体备择对象的权优异度与权次异度平方之总和为最小，并对u[，j]求导，令其导数等于0，得出优属度矢量最优解模型。
3.3 确定权重
首先根据各评价因素的Theil不均衡指数确定指标层各评价因素的熵权矢量w[，B[，i]]，在此基础上确定准则层的熵权矢量W[，A]，具体结果如下：
4 分析与结论
本研究分别采用2001年度和2002年度的调查统计数据，分两个年度对中国科学院下属的部分科研机构进行了绩效评价(具体运算过程及排序结果略去)。评价结果经专家评议认为，上述指标体系和评价方法保证了评价内容与评价目标的一致性，很好地体现了价值导向和质重于量的原则，有利于引导公共科研机构提高科研水平，加快科技成果转化和高技术产业化，具有很强的科学性、合理性和现实可行性，因而为公共科研机构的管理改革和运营机制优化，进一步提高绩效水平提供了依据，指明了方向。
标签：绩效评价论文; 评价指标体系论文; 企业绩效评价体系论文; 绩效目标论文; 绩效指标论文; 系统评价论文; 矢量运算论文; 矢量数据论文; 矢量量化论文; 科技论文;