【科研管理】
计量科学研究机构科研绩效评价与实践
任孝平1，2，杨 云2，苏 爽1，周小林2，杨 东1
(1.中国计量科学研究院 科技管理部(国际合作)，北京 100029；2.科技部科技评估中心 国际评估与研究部，北京 100083)
摘 要 ：开展科研院所的科研绩效评价工作，有利于管理部门科学测度科研活动绩效，为科研管理和优化资源配置提供依据。文中从绩效评价方法研究出发，结合国家级计量科学研究活动的特点和规律，提出了科研绩效评价逻辑模型和评价指标框架。评价指标除包含论文、专利等一般性科研绩效评价指标之外，还纳入了能反映计量科学研究特点的专有指标，如测量能力、国家标准等。在此基础上利用DEA方法，通过对国家计量院2012—2018年间可搜集、可比较的投入产出数据进行分析，实证性的开展了研究所科研绩效的评价分析并提出评价建议。
关键词 ：科研绩效；指标框架；科研效率；DEA方法
0 引 言
当前，如何合理的配置科技资源、使有限的科研经费发挥出最大的效益，是各国政府科技管理部门关注的问题。2018年，国务院印发了《关于优化科研管理提升科研绩效若干措施的通知》，提出“强化科研绩效评价，推动项目管理向重实效、重结果转变，对基础和应用基础、技术创新和产品开发项目实行绩效分类评价”[1]。可见，推动科研绩效评价、加强结果应用，是院所优化科研活动和经费管理，提升机构绩效的重要手段。
中国计量科学研究院(简称“国家计量院”)，是国家最高计量科学研究机构。其下属13个研究所，科研人员占比72%，副高级以上人员占比63%，拥有博士学位人员占比31%，研究覆盖力学、声学、电学等多个学科的基础和前沿研究[2]。截至2018年底，全院SCI论文发文比例是2008年的5.7倍；计量标准数量、标准物质数量分别是2008年的1.6倍和2.1倍；国家测量CMC能力也有了大幅提升，累计参加国际比对数量较2008年增长了82%；累计获得国家级科研奖励12项。伴随科研水平和质量的不断提升，如何客观有效地评价科研绩效[3]，引导机构健康有序发展，成为管理层制定机构发展战略、优化管理亟待解决的问题。目前，国家计量院的科研评价工作尚处于比较初步的阶段，主要是基于已取得的科研成果，如基标准、国际比对、获奖、CMC能力等进行静态描述，未开展投入产出比较分析，忽视了对不同类型科研活动分类评价的问题，也缺乏对各类评价指标权重系数的设定。文中尝试通过引入投入产出模型，结合院内不同类型研究所创新资源和成果的定量数据，分析科研效益与投入的关系，评价技术效率/效益，以便更加科学、立体的评价科研绩效，为机构科研管理提供有效支撑。需要指出的是，文中着眼点在于科研活动的绩效评价，而非机构绩效评价(如美国政府绩效与结果法案GPRA评价模式)[4]。
1 国内外研究现状
国内外学者在科研绩效评价方面开展了大量从宏观到微观的研究工作。在院所机构层面，张义芳[5]研究了国外国家级科研机构绩效评价相关制度；Mario通过建立数学模型对意大利科研机构进行了绩效评价；罗莎莎[6]对公益类科研院所绩效评价进行综合研究，提出设立科研投入、科研产出、科研服务、人才团队建设、创新发展5个一级指标实施科研机构绩效评价。张凤[7]等研究了国家级科研机构的创新绩效，设计了创新产出、创新投入、创新绩效概念模型，并对多个研究所绩效的长期趋势进行了研究。此外，其他研究人员还开展了与调动人员积极性、收入分配绩效考核相关的研究[8]。在科研项目层面，William[9]基于多指标决策方法(Multicriteria decision making，MCDM)，研究了科研项目绩效评价和排序的方法；刘萌[10]分析了科研项目绩效评价中存在的问题，给出了提高科研项目绩效评价水平的对策；窦元名[11]构建了财务、科学技术、效益、团队建设4个维度的指标，研究了采用平衡记分卡法(The Balance score card，BSC)对农业类科研项目实施绩效评价方法。在科研人员和团队层面，李沙金[12]针对科研人员颗粒度，阐述了若干绩效评价理念；蒋日富[13]则以统计分析的方法，分析研究了科研团队创新绩效的影响因素。
评价指标体系的构建，是科研绩效评价的关键环节之一。在指标合理性方面，业界常采用德尔菲方法[14]对指标框架进行优化。在指标权重设定方面，研究人员常利用层次分析法(Analytic hierarchy process，AHP)[15]或最优最劣法(Best-Worst Method，BWM)[16]，验证科研绩效考核指标权重设计的合理性。在科研产出质量评价方面，Salimi[17]同样采用了BWM方法开展研究工作。在投入与产出效率分析方面，常使用数据包络分析法(Data Envelopment Analysis，DEA)[18]评价生产绩效，或基于知识生产函数[19]建立科研投入产出模型。在投入与产出影响因子分析方面，刘天佐[20]等采用Tobit模型，研究了区域分布对科研投入产出绩效的影响。
综上分析，国内外学者从机构、项目等不同维度、在体系、框架、指标等不同层次上对科研绩效开展了研究，提出了具体的研究框架和解决办法。然而，科研绩效对一个有特定职能和功能的研究机构来说，是一个复杂的系统[21]。针对某一特定类型的科研机构，设计准确、可量化的评价指标体系，对实施科研绩效评价至关重要。
水北，本名陈玉，1995年生，贵州清镇人，现居南昌。江西省第五届青年作家改稿班学员。有作品入选《南昌改革开放40年新诗选》。
2 科研绩效评价逻辑模型及指标框架的构建
2.1 科研绩效评价逻辑模型
有学者在构建科研绩效评价逻辑模型时，将评价划分为评价过程和决策过程[22]2个阶段。提出将“科研绩效”评价划分为：任务实施、绩效监测和绩效评价3个阶段，并以此为基础，构建国家计量院科研绩效评价逻辑模型。
肌电图AMP显示:30例AMP轻度降低,55例中度降低,11例重度降低;NCV显示:30例轻度减慢 ,50例中度减慢,16例重度减慢;EMG显示:30例无异常,55例部分神经源性损害,11例完全神经源性损害。进一步对患侧和健侧值进行配对t检验,有显著性差异(p<0.05)。见表1。
同时，按照《绿色生态城区评价标准》（GB/T 51255—2017）中关于绿色建筑的评价要求2），为高标准规模化推动绿色建筑发展，拟在广州市选择5个具备一定规模、二星级潜力较大区域作为绿色生态示范区的试点（图9），包括中新广州知识城南起步区、广州国际创新城南岸起步区、广州空港经济区起步区、广州南沙新区明珠湾区起步区和海珠中央创智岛。
图1 科研绩效评价逻辑模型
在绩效监测阶段，首先基于评价逻辑链条，结合实施主体的活动规律，形成投入指标、活动指标、产出指标和效果指标。绩效指标的构建原则为数据可搜集、可获取、可比较。指标体系构建完成后，根据各科研实施主体，收集指标值。对于实在无法获取具体数值的指标，可以结合定性评价来实施。
如图1所示，科技绩效评价应始于任务实施阶段。即伴随任务推进，深入研究被评对象的科研活动规律，将科研活动细分为“科研投入、科研活动、科研产出、科研效果”逻辑链条。科研投入可分为经费投入和科研人员投入2部分。其中，科研经费是产生科研绩效的基础，而科研人员是使科研经费发挥作用的关键要素。科研活动反映了各研究所在投入经费和人力之后，开展科学研究过程中的一系列活动。如：科研设备采购、科研平台建设、具体研发活动、国际合作交流、国内合作交流等。科研产出是开展科学研究得到的最直接的科研成果，往往能以定量的形式来反映，如科研论文、知识产权、测量能力、国家基标准、标准物质、标准、人才培养等。科研效果即科研产出经过积累后，发挥的作用，以及形成的具有标志性和影响力的效益，如：科研获奖、人才获奖、成果转化应用，以及其他为国民经济和社会发展中所做的贡献。
在绩效评价阶段，即根据各实施主体的定量化的投入数据，与定量的“产出+效果”数据进行关联分析，形成投入与产出效率/效益分析结果；定性化的证据，由于无法转换为数字并代入模型进行计算，可与定量分析结果相结合，进行补充分析。
2.2 科研绩效评价指标框架的设计
为验证本文所提出方法的性能,将本文的估计结果与迭代约束加权最小二乘法[15]、半正定松弛法[12]以及CRLB进行比较。在下文中,用“ICWLS”表示迭代约束加权最小二乘方法,用“ICWLS without SDP”表示迭代约束加权最小二乘方法在发散时未作任何处理的结果值,并用“SDP”表示现有半正定松弛方法。本文方法和SDP方法均由MATLAB工具箱CVX[16]求解。
DEA方法是目前开展投入产出效率的主流方法。其主要用于评价具有多投入、多产出的同质决策单元(Decision Making Unit，DMU)之间的相对效率，是一种评价决策单元相对业绩的非参数方法。由于该方法的计算原理与投入、产出指标值的量纲无关，因此在分析时可以直接采用原始数据。
3 基于DEA 的科研绩效评价
基于已构建的逻辑模型和指标框架，文中引入数据包络分析(Data envelopment analysis，DEA)，利用采集的数据，尝试分析国家计量院13个研究所的科研投入产出效率/效益。
需要说明的是，在具体实施科研绩效评价时，各指标不仅应采集近期数据，还应尽量采集长期的产出和效果数据。数据还应具有可获取性，能够从各研究所进行汇聚，以确保评价的可操作性。
国家计量院下辖13个研究所的领域和学科截然不同，有的研究所侧重基础研究，有的研究所基础研究和应用研究并重。因此，其科研绩效的表现形式也不尽相同。基于此，研究构建了科研绩效评价一级指标(4个)、二级指标(17个)和三级指标(38个)，见表1.
NH和DL所历年科研绩效平均值排名最后，与2个研究所在2011年开展了较大的职能和人员调整有关。如，Y研究所源于NH和DL的重组。C研究所排名也比较偏后，分析其原因是N研究所成立之时，从C中抽调了相当的人力和物力影响了其发展，而这2个研究所的学科方向具有相似性。
从图2和图3中的趋势可以看出，各研究所科研绩效及其变化趋势均不同。研究基于历年的科研绩效，取平均值和标准差，分析了比较典型的几个研究所的绩效。G和R的科研绩效在所有研究所中表现相对最好，D和L研究所也是院内比较有优势的研究所，其科研绩效也表现不俗。GC研究所相对于每年有限的经费投入，也获得了可观的科研产出，因此其年平均科研绩效排名也较靠前。
院内比较老牌的研究所S和H，在科研绩效排名中表现一般。分析其历年变化情况，可以发现各有一年科研绩效明显偏低(H：2012，S：2014年)，因此将排名总体拉低。
表1 科研绩效评价指标框架
*黑体字体的指标为文中在实证分析中使用的数据。
图2 C，R，L，D，S，X 6个研究所科研效率随时间变化示意图
在实施国家绩效院科研绩效分析时，利用DEAP 2.1效率分析软件，以产出为向导计算13个下辖研究所的综合技术效率。数据来源为院科技年报，指标为表1中14个三级指标(其中投入指标3个，产出指标11个)，时间范围为2012至2018年。数据经分析形成前6个研究所和后7个研究所科研效率变化示意图(由于变化曲线较密，故分别绘制在图2和图3中，研究所由字母替代)。
图3 G，DL，H，N，NH，Y，GC 7个研究所科研效率随时间变化示意图
表2中给出了2012—2018年各研究所总体技术效率，可以看出几个老牌研究所，G，R，D，GC，L，S和H的绩效均靠前，老牌研究所(DL和C)被拆分，新成立的几个研究所(Y，N)由于历史积淀不足导致排序比较靠后。
表2中最后一列将2012—2018年的总投入和总产出进行了区间科研绩效(不是按年度计算)比较计算。数据显示，按年度计算科研绩效平均值小于1的研究所，按区间计算时科研绩效被评为1.即科研绩效表现差的年份，被表现好的年份拉高了。
BT作为有创治疗，对气管结构的改变是永久的，尚未发现ASM的再生和瘢痕现象[10]。因此，在选择患者时应严格遵循适应证和禁忌证，由经验丰富的医师谨慎操作，控制治疗温度、时间和范围，注重围手术期管理。
4 研究与实证分析的局限性
本研究中，仅依据国家计量院的科研投入和产出，设计了机构科研绩效评价指标，并非严格意义上的科研机构绩效评价，即评价过程中，未充分考虑国家级科研机构的功能定位和使命。
乡镇水利工程管理中，存在管理人员素质不高的问题。首先，水利工程施工管理工作量较大，对乡镇地区经济发展有一定的影响。水利工程管理存在一定难度，需要管理人员具备专业的管理知识。在招聘员工时，部分水利工程施工单位没有对员工的专业能力进行细致考察，导致工程管理人员不专业，制约了乡镇水利工程建设水平。其次，在社会经济不断发展的背景下，乡镇水利工程施工标准逐渐提高，需要管理人员相应提高专业技能水平，以严格按照标准进行工程管理。部分企业没有定期对管理人员进行培训，导致施工管理人员对管理标准和方法了解不足，难以提高工程管理效果。
表2 科研效率评价值及标准偏差
研究中回溯收集了2012—2018年的院科技年报数据。鉴于国家计量院内部研究所之间的调整和人员的变动等，早年的数据可能与实际情况有所出入，定量研究准确性有所不足。此外，表1中部分指标(字体未加粗)仅获取到院层面数据，难以搜集到各所的历史数据，影响了分析的全面性。
科研论文是科研的重要表现形式之一。本研究目前仅以SCI论文数量作为考核论文的指标。未来可考虑增加发文期刊影响因子、发文被引频次等指标，提升指标的内涵和评价的意义。此外，文中采用的DEA方法还有很多改进算法，如对指标赋予一定的加权系数等优化方法。未来可以就DEA方法本身进行深入研究，提升评价的准确性。
5 研究启示
国家计量院拥有知识水平较高、数量庞大的科研队伍，是国家计量科技创新的重要力量。文中设计了绩效评价逻辑模型和指标框架，采用DEA方法并基于历史数据，对国家计量院下辖13个研究所的科研绩效进行了评价，得到如下启示。
还有一类是无义介导的mRNA降解机制。“通过内含子保留形成的转录本中，保留下来的这段内含子上如果含有终止密码子，就会导致翻译提前终止，这样的mRNA序列就会被细胞降解掉。”刘海军解释。
1)精细化各项科技管理工作。在文中初步研究成果基础上，应建立和完善研究所科研绩效评价体系，尽快制定绩效评价工作方案。在日常管理中，应注重各类数据的搜集与精细化管理，以充实完善评价指标年度数据。需加大数据搜集管理的信息化程度，将其嵌入日常管理中，尽量避免给研究所和科研人员增加负担。
2)实施经济影响评价。国家计量院在国际上对标的机构，如美国标准与技术研究院(National Institute of Standards and Technology，NIST)[23]，早在2007年就开始了院内同行评议工作，开展了内部项目的经济影响评价。其目的是为管理层提供NIST研究项目特性和重要性信息，并用以向政府预算管理部门和公众展示NIST科研创新活动带来的经济、社会收益。国家计量院在这方面起步尚晚，未来应尽快实施此类评价研究工作。
3)提升科技管理人员的战略思维能力。目前国家计量院非常重视通过交流、培训、借调的方式、切实提升青年科技管理人员的综合能力和管理水平。未来，应通过绩效评价与试点，引导和培育科技管理人员的战略思维能力。使其在管好科研项目的同时，积极利用各类数据和研究方法，深入总结科技管理中的经验和问题，为管理层科学、客观、合理地制定发展规划、设置重点领域、配置院内经费等提供重要的依据，同时进一步优化配置院内科技资源，以达到机构绩效可持续提升的目的。
参考文献：
[1] 邱超凡.科研院所优化科研管理提升科研绩效的建议[J].科技中国，2018(12)：41-42.
[2] 任孝平，陆 梅，杨 帆，等.不断推进计量科技自主创新——中国计量院科技创新团队介绍[J].中国计量，2015(08)：13-20.
[3] 贺天伟，张景林.科研绩效定量评价指标体系的初步设计[J].科技管理研究，2001(06)：58-61.
[4] Coccia M.A basic model for evaluating R&D performance：theory and application in Italy[J].2001，31(04)：453-464.
[5] 张义芳.美、英、德、日国立科研机构绩效评估制度探析[J].科技管理研究，2018，38(22)：25-30.
[6] 罗莎莎，刘德娟，曾玉荣.公益类科研院所绩效评价研究综述[J].农业科技管理，2018，37(06)：71-75.
[7] 张 凤，霍国庆.国家科研机构创新绩效的评价模型[J].科研管理，2007，28(02)：35-42.
[8] 李姣姣，沈祥成，徐娥 .湖北省科研院所绩效考核体系建设的现状及建议[J].湖北农业科学，2018，57(22)：160-163.
[9] Bitman W R，Sharif N.A conceptual framework for ranking R&D projects[J].IEEE Transactions on Engineering Management，2008，55(02)：267-278.
[10] 刘 萌，赵 蔚.科研项目绩效评价中存在的问题与对策研究[J].农业科技管理，2018，37(06)：76-78.
[11] 窦元名.基于平衡计分卡方法的农业科研项目绩效评价指标体系的构建[J].安徽农业科学，2018，46(29)：141-143.
[12] 李沙金，姜中蛟.综合考虑OKR、KPI方法的科研人员绩效评估方法[J].科技经济导刊，2018，26(24)：181-182.
[13] 蒋日富，霍国庆，谭红军，等.科研团队知识创新绩效影响要素研究——基于我国国立科研机构的调查分析[J].科学学研究，2007，25(02)：364-372.
[14] 袁 媛，程 平，刘晓云.高校附院科研绩效评价指标体系的构建与应用效果[J].安徽卫生职业技术学院学报，2018，17(04)：14-15+23.
[15] 徐明珏，赵志梅，肖剑钦.应用型科研机构科研绩效考核评价体系构建研究[J].中国卫生标准管理，2018(23)：15-19.
[16] Salimi N.Evaluating firms’ R&D performance using best worst method[J].Evaluation and Program Planning，2017，66：147.
[17] Salimi，Negin.Quality assessment of scientific outputs using the BWM[J].Scientometrics，2017，112(01)：195-213.
[18] 侯启娉.基于DEA的研究型高校科研绩效评价应用研究[J].研究与发展管理，2005，17(01)：118-124.
[19] 肖晋芬，仲 实.科研投入产出模型在高校科研绩效评价中的应用[J].科技管理研究，2010，30(02)：81-82.
[20] 刘天佐，许 航.我国不同区域高校科研投入产出绩效及其影响因素分析——基于DEA-Tobit模型的实证研究[J].科技管理研究，2018，38(13)：120-125.
[21] 李晓轩.我国国立科研机构绩效评价的实践与思考[J].中国科学院院刊，2005，20(05)：395-398.
[22] 李晓轩，杨国梁.中国科学院研究所评价的逻辑模型研究[J].科学学与科学技术管理，2009，30(04).
[23] 周建中.美国标准与技术研究院的评价实践、方法及启示[J].中国科技论坛，2009(01)：135-139.
Research Performance Evaluation on National Institute of Metrology of China
REN Xiao- ping1，2 ， YANG Yun2， SU Suang1， ZHOU Xiao- lin2， YANG Dong1
( 1.Dept .of Science and Technology Management ， National Institute of Metrology ， Beijing 100029， China ； 2.Dept of International Evaluation and Research ， National Center for Science & Technology Evaluation ， Beijing 100081， China )
Abstract： Carrying out scientific research performance evaluation work of scientific research institutes is beneficial to the management department to scientifically measure the performance of scientific research activities， and provide basis for scientific research management and optimization of resource allocation.Based on the research of performance evaluation methods， this paper proposed a logical model of scientific research performance evaluation and an evaluation index framework based on the characteristics and laws of national- level econometric research activities.In addition to the general scientific research performance evaluation indicators such as papers and patents， the evaluation indicators also include proprietary indicators that reflect the characteristics of measurement science research， such as measurement capabilities， national standards， etc.On this basis， using the DEA method， through the analysis of the collectable and comparable input- output data of the National Metrology Institute from 2012 to 2018， the evaluation and analysis of the research performance of the Institute was carried out empirically and the evaluation suggestions were put forward.
Key words： research performance； indicator system； research efficiency； data envelopment analysis method
中图分类号 ：X 936
文献标识码： A
文章编号： 1672-7312( 2019) 06-0698-05
DOI： 10.14090/j.cnki.jscx.2019.0608
收稿日期： 2019-04-27
基金项目： 中国计量科学研究探索性科技项目“基于大数据挖掘的院科研网络中心度初步研究”(AKYCX1703)；中国计量科学研究探索性科技项目“院科研成果竞争能力初探与分析”(AKYCX1801)
作者简介： 任孝平(1984-)，男，山西太原人，副研究员，主要从事科技管理、科技政策等方面的研究工作.
(责任编辑：张 江)
标签：科研绩效论文; 指标框架论文; 科研效率论文; DEA方法论文; 中国计量科学研究院科技管理部(国际合作)论文; 科技部科技评估中心国际评估与研究部论文;