研究所评价方法研究,本文主要内容关键词为:研究所论文,评价论文,方法论文,此文献不代表本站观点,内容供学术参考,文章仅供参考阅读下载。
科技管理工作中的一项重要内容是对科研机构的评价。如何运用现代科学手段对研究所进行全面、客观、公正、准确的评价,从而达到宏观调控、内部优化之目的,对研究所的改革与发展具有十分重要的意义。
我国对科研机构的评价研究过去很长时间是个空白,由于长期受计划体制的影响,过去很少对科研机构进行评价,既使偶尔需要评价也往往依赖于少数人的主观判断,缺乏公平、合理的评价标准和科学的评价方法。90年代后我国对科研机构的评价才受到广泛的重视。对评价理论和方法的研究异常活跃也取得了一些进展,近几年陆续有一些评价结果公布于世。但总体上讲,我国目前在这方面的研究还处于探索试验阶段。在评价的理论和方法上还没有形成较为完善的体系,在评价思想上也有许多不同的认识和理解。
一、研究评价的本质与特征
研究所评价就其本质而言,是某一社会群体按照自身的价值取向和准则对研究所(评价对象)的社会运行(结果与过程)进行比较、判断、分析的社会行动,是主观对客观的反映。
研究所评价作为社会行为,必然具有目的性。社会群体的价值取向、评价标准与准则是由评价的目的所驱动,是目的性的反映。评价作为一种管理手段,是为实现管理的目的服务的。因此评价的目的性是建立评价体系的出发点。评价的目的性是研究所评价的一个显著特征。
同时,评价是对研究所进行宏观调控的重要手段之一。管理的目的性通过评价来反映。评价本身无疑在试图描绘着研究所的行为规范。从而对研究所的发展产生极大的影响。这种强烈的导向性是研究所评价的另一特征。
此外,不同的社会群体具有不同的价值取向。因此对同一评价对象(研究所)的社会行为会有不同的主观认识和反映,从而导致不同的评价结论。评价结果的这种多重性是复杂性的反映,这是研究所评价的又一特征。
二、研究所评价与研究所结构、功能的相关性
研究所是一个复杂的社会系统,具有多种结构模式和多种功能特点。一般讲研究所具有三项功能(见图1):科研功能、开发功能、社会服务功能。
研究所作为独立的社会实体,有其自身的存在价值和发展目的。研究所的目的性是通过其结构性实现的,而结构性决定其功能,并由价值性来体现。从某种意义上讲,研究所评价既包括对其价值性的衡量,也包括对研究所内部结构及运行过程的分析,用以反映其功能性的效果和实现目的性的程度。
中国科学院的目标是成为国家自然科学基础研究、高层次科技人才培养和高技术产业开发的重要基地。为此,对其研究所的评价,也应集中在这三个主要功能上。
三、研究所评价指标体系的建立
对研究所的评价关键是如何从评价目标出发建构一个评价指标体系(即模型),并能据此加以理解(理论分析),力求指标的覆盖性和理论解释的完整性,从而使模型有很好的稳定性,在评价模型给出之前,首先要根据评价目标选定指标,具体地选定评价指标并确定其相互关系以及同评价目标的影响度,这是关系到评价指标体系(模型)能否建立、如何建立起来,进而能否有效地进行评价的一个重要因素。
图1.研究结构——功能——价值性关系
目前对科研机构评价指标的选定及有关体系的建立,大多借助于系统理论。通常,先将评价对象分解成几个相关的方面,并列出各方面若干项代表类别,然后在各代表类别中筛选出若干指标,加以组合建立指标体系。这些指标一般由统计数据所支持。由于指标的选定及组合方法的不同,最后构建的指标体系也不尽相同,以至得出的结论也相去甚远。
因此,评价指标的选定是研究所评价中具有至关重要意义和值得研究的问题。指标选得太多,往往会把指标对评价对象模拟信息误差放大,且不易操作;同样,指标选得太少,则会把反映对象的重要信息丢失,导致评价结果的差误。此外还应考虑所选定的指标之间存在的相互影响。因此,选定的评价指标一般以少而精为原则。
研究所作为一个社会系统,它不但有其内部结构和功能,而且有投入、产出,因此可以用若干参量来描述一个研究所系统(见图2)。
图2.研究所系统 投入——产出 结构
籍助于系统分析方法和其他数字处理方法,我们有可能对研究对象给出评价结果。
1.研究所评价体系的总体设计框架
①从基础研究、应用研究、开发与产业化三个方面构建研究所评价体系的总体框架(见图3)。
图3. 研究所评价体系的总体结构
2.研究所绩效评价指标(定量)
3.研究所状态评价指标(定量)
四、研究所评价指标统计口径及定义
(一)绩效评价指标与计算方法
1.基础研究绩效指标
(1)获奖成果:(J11)
指获得国家级、院级自然科学奖的科技成果。指标计算方法:
主要考虑四个因素:获奖类别和等级、获奖时间、研究所在该项奖中完成单位的排名次序、获奖数量。
①获奖类别和等级
考虑到O类奖较少,评价中暂时将1个O类奖作为2个A类奖计算。
②获奖时间的影响
(2)科技论文:(J12)
指以书面发表的、最原始的研究与开发成果报道。科技论文应该是:首次或最初发表的研究与开发成果;作者的试验应该能被同行重复并验证;发表后科技界能引用。包括科学技术报告、学位论文、学术报告。
①国内发表论文数
数据取自中国科技信息研究所信息分析研究中心选定的国内期刊。
②国外发表论文数
数据取自中国科技信息研究所信息分析研究中心检索美国《科学引文索引》(SCI)、《工程索引》(EI)、《科学技术会议录索引》(ISTP)三大检索工具检索出我院科技人员在国际上发表论文情况数据。
指标计算公式:
J12=1.5×(国外论文数+国内论文数)
(3)论文引用数:(J13)
数据取自美国《科学引文索引》(SCI)收录我院论文被引用统计数。
(4)科技著作:(J14)
指经过正式出版部门编印出版的科技专著和大专院校教科书。
2.应用研究绩效指标
(1)获奖成果:(J21)
指获得国家级、院级、部委级、省级的科技成果奖。
①国家级成果奖:指获得国家科技进步奖(含军口),国家发明奖。
②中科院院级奖:指获得院科技进步奖
③部委级奖:指获得中央各部委的科技进步奖
④省级奖:指获得省级科技进步奖。
指标计算方法同(J11)
(2)获专利授权数:(J22)
指标定义为:由专利管理机构授予专利权的项数,包括发明专利、实用新型专利和外观设计专利。
指标计算公式:
J22=3×发明专利数+2×实用新型专利数+外观设计专利数
3.开发与高技术产业化绩效指标
(1)所办公司经营总额:(J31)
指标指研究所主管的下属各类公司的经营总额。
经营总额包括产品销售、商品销售、技术收入等全部经营业务活动总额。
(2)所办公司利税总额:(J32)
利税总额:税后利润加上缴税金合计。
(3)科技成果转化:(J33)
年转让科技成果数。
4.经济绩效指标
(1)争取经费能力:(J41)
总收入:本项指标包括政府拨款、技术性收入、生产经营收入、银行贷款和其他收入之和,减去代管经费和转拨经费。
基本事业费:为维持本机构的正常运转由院通过预算的形式拨给各所的经费。
指标计算公式:
(2)研究所自有资产增值率(J42)
指标计算公式:
(二)实力评价指标与方法
1.科研能力
(1)承担国家任务能力:(Z11)
国家任务指承担国家“863”、国家攻关、国家基金、国家攀登、军工及政府其它部门等的任务。
指标计算公式:
(2)登记成果数:(Z12)
指标定为本机构的鉴定成果在本年度已经正式在国家、部委、省级政府科技成果管理机构登记的成果项数。
(3)人均登记成果数:(Z13)
Z13=登记成果数(J12)/从事科技活动人员数
(4)科技成果转化率(Z14)
2.人才状况
(1)院士人数:(Z21)
(2)博士生导师数:(Z22)
按单位统计的具有培养博士研究生资格的人数。
(3)45岁以下高研比例:(Z23)
指标定义为:45岁以下(含45岁)高级职称人数占全部高级职称人数的比例。
(4)有博士、硕士学位的人员比例:(Z24)
指具有博士或硕士学位的人员,占从事科技活动人员的比例
指标计算公式:
3.经费状况
(1)经费总收入:(Z31)
按5年经费累积计算,年均经费总收入。
指标计算公式:
Z31=5年经费总收入之和/5
(2)人均经费(Z32)
按职工总人数计算,5年积累效果、年均人均经费收入。
指标计算公式:Z32=Z31/5年年均职工总数
4.设备与实验室状况
(1)先进设备数:(Z41)
指80年代、90年代制造的科研仪器设备(万元以上)台套数。
(2)指90年代科研仪器设备价值占全部设备价值量的比例。
指标计算公式:Z42=(90年代科研仪器设备价值/全部设备总价值)×100%
(3)开放、重点实验室数:(Z43)
五、研究所定性评价指标
研究所定性评价采用专家评议法,并以此作为定量评价的补充。专家评委由院各有关主管领导及有关学者组成。分别按A(好)、B(较好)、C(一般)、D(差)四档对各研究所的每一项指标定性评价。
六、研究所评价中的数据处理
研究所评价分为绩效评价、状态评价和综合评价三个步骤进行。
绩效评价采用定量方法,得出各指标参量的评价值,并可通过正态分析处理或投影法,将评价值转化为“标准量”,对“标准量”进行处理,得到各项指标参量的排序、分类。不同属性的指标之间一般不宜采用权重方法归并。这样可以比较确切地看出每个所不同方面在科学院的位置,使研究所比较清晰地看到自己的优势和不足,有利于促进研究所的发展。从管理上看,也有利于根据不同的管理要求和一个时期的政策要求,对研究所进行宏观调控和择优支持,实用性较强。此外也可以采用其他数字方法,得到研究所绩效评价的分类排序。
状态评价采用定量与定性相结合的方法进行分析、综合。可以用数理统计方法、Fuzzy法和Ridit法等得出各项指标的评价。
动态分析采用回归分析方法,判断各指标参量的变化趋势,并综合分析出研究所的总体趋势。
综合评价采用专家评议法、Fuzzy法或Ridit分析法得到综合评价结果,包括定性评价和定性分类。也可由绩效评价和状态评价或动态分析结果分别作出研究所综合评价的二维分布(见下图)。
本文是以中国科学院的研究所为研究对象,针对其特点建立了评价指标体系。用本文提出的评价方法,在科学院进行了试评,其评价结果基本符合科学院的实际,得到了院领导和绝大多数研究所的肯定。但文中所提出的评价思想及设计的评价方法并不局限于科学院,可以移植到对其他科研机构的评价上。
总之,研究所评价研究还处于探索阶段,评价方法还需要不断完善。文中提出的观点、方法难免有不甚合理甚至谬误之处,希望与大家共同探讨。
标签:科技论文;