公益类科研机构绩效评价测度体系研究,本文主要内容关键词为:科研机构论文,公益论文,体系论文,绩效评价论文,此文献不代表本站观点,内容供学术参考,文章仅供参考阅读下载。
公益类科研机构的绩效评价是指科技管理部门采用适当的评判标准和评价方法,对公益类科研机构科技产出的数量和质量、对经济社会的作用与贡献等方面进行综合评价的过程,其目的在于促进科研机构在现有资源投入约束下,尽可能地实现最大科技产出和更好地完成组织使命。但科技人才的专业性、科技过程的复杂性、创新产出的多样性等问题使得对科研机构投入与产出的量度难以全面而完整,因而到目前为止依然没有形成一套国际认可、相对标准化、可普遍适用于公益类科研机构绩效评价的测度体系。
一、测度体系分类
公益类科研机构绩效评价的测度体系是对公益类科研机构绩效的定量或定性描述。郝瑟和凯特兹(Hauser,J.and Katz.Metrics,1998)在综合有关文献的基础上,将比较关键的测度体系按照创新过程的不同阶段和方面,分为科技投入及投资测度体系、经济财务测度体系、商业和经营测度体系、文献计量测度体系、专利、同行评议测度体系、组织的战略和管理测度体系、成果阶段测度体系八个大类;埃利泽·盖斯勒(Eliezer Geisler,2000)则指出,对于科研机构而言,科学技术的测度体系主要包括文献计量指标、专利指标、共词分析、经济指标、同行评议和投入产出指标六种类型的评价指标(表1)。
表1 科学技术测度体系的种类及测量特征
测度体系的种类测量工具的效用特征
准确性 精确性 重复性 容差 偏差 灵敏度测量层次
文献计量指标 高 高 高 高高 高定量
专利指标高 高 高 高高 高定量
共词分析低 高 低 低高 低 大部分定性
经济指标低 高 低 高高 低 大部分定性
同行评议高 高 低 低高 低定性
投入产出指标 高 高 高 低高 高 定量和定性
其他学者也曾试图建立对科学技术测度的分类方法,但除科学技术投入测度、文献计量学测度和专利测度外,学者们很难认同其他测度体系。如卢柯能·格罗诺(Luukkonen Gronow,1987)认为,不存在一套标准化的可作为常规应用的评价方法;而NBER在一份研究报告中指出,并没有可以直接量度研发成果的测度体系。
二、科学技术指标
科学技术指标是一个通用术语,它适用于在广泛范围内对研究、开发和创新的有关活动投入以及产出的定量测度。目前比较有影响的科学技术指标有《主要科学技术指标(MSTI)》、《科学与工程指标》、《世界竞争力指标(WCY)》以及《量度科学、技术与发明创造的新科学指标》(UN,2003)等。但到目前为止依然没有形成一套国际通用的核心指标(表2)。
表2 现有科学技术指标比较
指标类别
测度 优势 缺陷
·科技领域、 资金来源等分类必须定期更新
投入科研活 ·被多数国家所 ·国家体系不同导致部门覆盖不同
动的费用和采用 ·某些概念难以理解,如全职、兼职、等同全
研发投入人力资源测 ·历史记录已经职等
量指标标准化·难于估量分别用于研发和其他科技活动
的时间
技术贸易支 ·仅限于对经济的影响
付差,高科技 ·可评价科技投 ·依赖于高度完善和透明的会计体系
科技产出贸易和技术入的效益 ·只反映相关关系而非因果关系
传播
·对投入和成本难于分离和测量
导致技术提 ·有些概念依然不清晰
创新产出高活动的量 ·对没有工商领域统计系统的国家难于采
度用
·没有方法来源手册
对论文和文 ·出版物是知识 ·对各个国家和语种覆盖不全
出版物 献引用的量生产的主要产 ·引用不能反映出版物质量,只反映其科技
度物 影响
·专利的申请数 ·或专利保护的发明比例较低
专利对发明的量量和公布数量 ·专利数量不能反映发明的重要性和商业
度易于获得价值
三、基于过程——结果方法的绩效评价测度体系
要对公益类科研机构的绩效进行评价,就必须以某一可行方法为基础,构建相应的测度体系和评价指标。然而,当我们在社会科学、管理科学以及组织科学中讨论科学技术时,它们是复杂和非结构化的现象,这就要求对这些现象构造出概念和定义,并对这些可定义为“不可量化的”维度和变量进行适当的测度。
1.投入产出模型
为恰当描述公益类科研机构从资源投入到科技产出的整个科技创新过程,本文将公益类科研机构作为社会经济系统中的一个子系统,对创新过程的阶段、各阶段的投入与产出进行区分并重新加以界定(图1)。其中资源投入指的是在其研发和转化过程注入的所有资源和强加在科技过程及其环境上的约束;而产出可以是有形的物体或者物质性的其他内容(如产品、工艺或报告等),或者是组织性、社会性、经济性的现象(如成本的降低或生产率的提高),也可以是无形的东西,如知识、客户满意度以及由科技带来的其他益处或有害的影响,并可划分为直接产出、中间产出、后续产出和最终产出四类。
附图
图1 基于过程——结果方法的投入产出全过程
2.测度指标体系
根据公益类科研机构投入的相似形式和属性特点,本文将纷繁复杂的量度指标归并到科技人力资源投入和研究开发资本投入两大类别中去,从而将一组相似的测度标准施用于同一个类别的几种投入。但需要指出的是,由于科研机构分为不同的类型,每一类型的投入与产出又具有各自的特点,因而评价指标体系也应有所区别。本文则根据中科院下属研究所的典型特征,从上述一般指标体系中选取适宜的指标,形成针对特定类型机构的投入产出测度指标体系(表3)。
表3 公益类科研机构投入产出测度指标体系
投入
指标构成 量度
C[,11]研究开发人员当年科技人员投入当量
科技人
C[,12]人员素质学历结构,职称结构
力资源 863、973 计划项目重大科技项目课题组长或首席科学家,
(C[,1]) C[,13]将帅人才国家杰出青年基金获得者,国家级奖励获得者,两院院士及
外国国家科学院院士;国际组织任职,享受政府特殊津贴等
C[,14]在职职工总数包括专业技术人员、行政管理人员和在册工人
C[,21]事业经费从财政部门取得的科学事业费、房改经费、公费医疗经费等
研究开
C[,22]课题经费国家级课题;省部级课题;其他课题;国际科技合作项目
发资本
C[,23]设备购置经费当年用于购置仪器设备的支出
(C[,2]) C[,24]仪器设备总值可用科研仪器设备总值
Q[,11]发表国际论文篇数
文献计 Q[,12]发表国内论文篇数
量学测
Q[,1]论文 Q[,13]SCI收录论文篇数
度(Q[,1]) Q[,14]被国际上引用篇次
Q[,21]专利国际、国内专利申请及授权
知识产 被批准一类新药、二类新药,动植物新品种、新农药、新兽
权测度
Q[,22]其他药、新肥料,软件著作权授权,制修订并正式发布国际标准、
(Q[,2])国家标准、行业标准;重要咨询报告
Q[,31]科技奖励国家最高科学技术奖;国家三大奖一、二、三等奖;省部级三
绩效测 大奖
度(Q[,3])
Q[,32]人才培养博士后出站、新增正高职职称;博士毕业、新增副高级职称;
硕士毕业、新增中级职称
Q[,33]技术扩散单位对外提供技术转让、技术咨询、技术服务、技术培训、
技术承包取得收入
Q[,34]生产经营科技成果转让收入;下属独资公司营业收入;与社会资本联
合投资的公司营业收入所占股份
3.定义绩效水平
知识生产函数的概念最初是由格瑞里茨(Griliches,1979)在量度研究开发和知识溢出对生产率增长的影响时提出的,其基本假设是将创新过程的产出看作研发资本投入的函数:
Ln(R&D output)=lna+bln(R&D input)(1)
在修正后的Griliches-Jaffe知识生产函数模型中,新经济知识(new economic knowledge)是最重要的产出,企业追求新经济知识并将其投入生产过程,而投入变量则包括研发经费投入和人力资源投入:
Q[,i]=AK[,i][α]L[,i][β]ε(2)
其中,Q表示研发活动强度(注:实质上应该是研发活动的产出,原文为:Where I stands for the degree of innovative activity,David B.Audretsch & Maryann P.Feldman.Handbook of Urban and Regional Economics.Vol 4 p3),K和L分别表示研发经费和科技人力资源的投入,α,β分别为研发资本投入和科技人力资源投入的产出弹性,ε为误差项。
从本质上看,公益类科研机构是将科技人力资源和研究开发资本等资源投入,通过研发过程的知识溢出使之转化成为论文、专著、专利、成果以及改进的产品和工艺、服务等产出的知识生产系统,因而可以用知识生产函数来评价其绩效:
LnQ=lnA+αlnK+βLnL+ε(3)
绩效评价就是要对同类科研机构进行优劣比较,而比较的前提是较为科学合理的分类。基于研究开发资本投入对研究机构产出贡献的分类,可将同类科研机构看作是同质的,通过计算该类机构在一定时间段内的α和A,可得到第J类研究所的理论平均产出水平:
附图
若定义公益类科研机构的绩效水平(P)=(实际的产出水平)/(理论平均产出水平),则研究所j的绩效可由下式表示:
P=Q[,j]/Q[,J]=Q[,j]/AK[,J][α]L[,J][β](5)
若绩效比值P大于1,说明该科研机构的绩效要好于其一般情况下的平均绩效水平;若绩效比值P小于1,说明该公益类科研机构的绩效不仅没有达到一般水平,甚至要比其一般情况下的平均绩效水平还要糟糕。
四、测度体系应用
本文以中国科学院下属的25个基础研究类研究所作为研究对象,相关指标数据来自科学出版社出版的《中国科学院统计年鉴》(1994—2003年)。选取从1993年到2002年共10年的数据,按照表3给出的量度指标,通过熵权方法得到的权重, 将标准化后的数据代入式(5),应用SPSS13.0软件对25个研究所10年的综列数据(Panel data)进行回归分析。
根据回归结果,可将各研究所按研发资本投入产出弹性(α)的大小,分为研发资本低依赖型研究所(α=0.8679)、研发资本中依赖型研究所(α=1.2688)、研发资本高依赖型研究所(α=2.1796)和大科学装置类型研究所(α=1.5845)四类,并得出相应的绩效水平(表4)。
表4 各研究所1993—2002年绩效水平
所属类型 单位代码 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002
DM001 2.18 1.35 1.26 1.35 1.30 1.17 1.16 1.07 1.16 1.28
0 3 5 6 0 0 6 6 6 0
DM004 5.06 4.00 4.87 4.46 3.99 3.41 2.07 2.25 2.26 2.04
1 9 6 5 2 8 8 5 5 3
研发资本 DM020 0.38 0.42 0.48 0.57 0.48 0.42 0.49 0.47 0.55 0.54
低依赖型
6 6 5 0 6 5 6 9 0 3
DM068 0.39 0.37 0.20 0.37 0.49 0.48 0.53 0.51 0.36 0.41
6 0 3 0 3 1 6 2 5 7
DM071 1.91 1.67 1.95 2.10 1.63 1.62 1.57 2.12 2.04 2.41
3 5 0 4 1 9 9 7 6 2
DM102 0.45 0.48 0.56 0.57 0.52 0.48 0.44 0.47 0.54 0.59
3 9 2 5 7 7 6 3 9 8
DM131 0.37 0.30 0.34 0.32 0.35 0.42 0.29 0.36 0.38 0.40
5 4 3 5 1 8 4 0 4 8
DM002 1.30 1.55 1.51 1.40 1.43 1.35 1.44 1.42 1.43 1.03
5 7 4 9 2 3 5 5 2 3
DM008 0.50 0.43 0.56 0.55 0.38 0.37 0.44 0.34 0.48 0.58
0 3 4 5 7 8 1 0 7 4
DM009 1.36 1.09 1.38 1.57 1.24 1.07 1.42 1.48 1.74 1.80
1 7 6 5 7 4 9 7 9 1
DM014 0.46 0.47 0.44 0.56 0.52 0.46 0.48 0.51 0.46 0.62
5 6 5 9 6 5 1 3 0 6
DM016 1.03 1.24 1.35 2.07 1.67 1.02 1.60 1.13
1.28 1.01
3 5 1 9 6 2 6 0 9 3
研发资本 DM021 0.53 0.61 0.62 0.68 0.51 0.49 0.45 0.60 0.70 0.87
中依赖型
2 9 7 1 8 2 9 4 6 4
DM024 0.96 0.69 0.85 0.82 0.80 0.90 0.74 1.03 1.13 0.71
4 4 4 8 9 8 8 9 2 5
DM025 0.68 0.36 0.43 0.36 0.43 0.50 0.42 0.63 0.50 0.54
6 2 0 0 6 4 8 1 4 7
DM088 0.91 1.21 1.04 0.79 0.43 0.59 0.57 0.71 0.71 0.86
0 5 3 2 8 6 8 8 2 3
DM106 0.62 0.56 0.52 0.49 0.45 0.52 0.47 0.69 0.85 0.61
4 3 8 7 7 7 1 8 4 7
DM107 1.08 1.07 0.92 0.77 0.99 1.06 0.64 0.56 1.02 0.97
6 5 7 6 3 4 3 3 8 1
DM129 1.17 0.90 0.75 0.95 1.09 0.91 0.83 0.95 0.76 0.89
1 8 1 1 9 6 5 0 0 5
研发资本 DM007 0.87 1.55 1.54 1.31 1.22 1.01 0.58 1.71 0.59 0.73
高依赖型
3 4 5 8 9 3 1 1 6 7
DM023 1.04 0.91 0.78 0.79 0.95 0.80 0.91 0.82 0.74 0.68
3 2 7 9 3 5 0 2 6 7
DM069 0.75 0.82 0.91 0.71 0.59 0.63 0.91 1.03 1.13 2.06
7 6 4 3 3 3 9 0 3 3
DM085 1.07 0.83 0.87 0.75 0.92 0.71 0.70 1.35 1.68 1.36
5 6 5 3 0 7 6 8 4 1
大科学装 DM006 0.81 0.82 0.86 1.00 1.29 1.26 0.69 0.93 0.76 1.03
置类型 6 3 3 7 6 0 1 1 9 1
DM136 0.66 0.74 0.85 1.08 1.22 1.15 1.23 1.28 0.99 0.99
2 0 6 5 6 8 4 9 9 5
1999年以后各研究所绩效水平的整体提升表明,自1998年知识创新工程试点启动以来,中科院通过增加研发投入和推动科研机构改革,科技竞争力有了明显提升,这与2004年国家科技教育领导小组对中科院知识创新工程试点实施情况评价的结论是一致的(图2)。
附图
图2 25个研究所10年的K P Q变化趋势