我国科技人员科研业绩综合评估现状与分析,本文主要内容关键词为:科技人员论文,业绩论文,现状论文,科研论文,我国论文,此文献不代表本站观点,内容供学术参考,文章仅供参考阅读下载。
评估是指按照明确的目标,采用非实验的方法,收集主观的资料和描述性统计分析,对人或事物进行价值判断的过程[1]。科技人员科研业绩评估就是对科技人员所从事的科研活动和所取得的科研成绩进行定性与定量有机结合的综合评估,是现代人力资源管理中的一个重点和难点问题,它可以为奖惩、晋升、选拔等多种人力资源管理决策提供重要的信息依据,因此其导向作用、激励作用、监督作用、鉴定作用的意义十分明显。目前许多单位和部门都在探索科学、客观、可量化和高效准确、切实可行的评估体系与评估方法,以达到最大限度地调动广大科技人员积极性的目的。现就有关理论、方法与现行国内评估状况进行简要回顾,以促进本领域的发展。
1 科技人员科研业绩评估现状
1.1 发展概况
评估并不是一个新的概念,从历史的沿革看,非正式的评估有着极为悠久的历史,但是具有科学的、客观的评估标准和制度的科学评估在我国现在还刚刚起步。尽和只是刚刚起步,但人们对其的研究开展得如火如荼,使之在科研管理学领域得到了非常广泛的应用。除评估科技人员外,还包括对科研机构、科研课题、科研成果等科研活动相关因素的评估。虽然几种评估活动在评估的目的、原则、指标体系和组织方法等方面各有侧重,不尽相同,但评估考虑的因素却是异曲同工,因而科研课题、科研成果等单项评估可作为对人员和机构等总体评估的次级评估及辅助手段。
既往评价科技人员的业务绩效仅采取简单的群众和单位荐定办法,这种传统做法的不足之处是评议意见比较笼统、抽象,带有主观片面性;加之科学活动又十分复杂,其形成的业绩不可能用简单的方法体现,这样势必会影响评价的准确性。为改变这种局面,尽可能公平、合理、准确地评价科技人员科研业绩,研究人员进行了积极的探索性尝试。它大致分三个阶段:
(1)同行评议阶段。从理论上讲,同行是指“从事该领域或接近该领域的专家”[2]。我国1986年成立的“国家自然科学基金委员会”(NSFC)即为我国科学史上规模最大的同行评议实践活动。各单位也相继建立自己的学术委员会,由他们对科技人员科研业绩发表意见。但应用中人们发现,专家评估不可避免地受到人为因素的干扰,如主观色彩浓,权威限制,任人为亲等弊端,特别是在当代“隔行如隔山”的条件下,常常出现名义上的“同行评议”,实际是“假内行”评“内行”[3]。因此人们提出要改革同行评议,提高专家评分质量。如把好遴选专家这一关,选择合适的专家参加评议[4],或对不同专家的评分赋予适当的权重系数[5]等。
(2)同行评议加量化打分阶段,其核心的数量方法是一种加权的方法。如同学生的考试卷,为了判别学生之间的优劣而给每道题一个得分标准一样。在这一阶段,人们按定量评价与定性评价相结合,精确量化与模糊量化相结合,全面性与重点论相结合等量化原则,为科技人员科研业绩评估提供了有益的借鉴和参考。如1988年中华医学会福建分会和福建省卫生厅[6],福建省医学科学研究所[7],1990年四川医学院[8],1991年军事医学科学院[9],等先后从不同的角度对各自人员进行评估,调动了科研人员的积极性与创造性。1992年四川省中药研究所[10],1994年天津市滨江医院[11],广州军区武汉总院[12]等也相继应用模糊数学中模糊评判方法进行排序,考评临床科技人员,为人才梯队建设提供依据。
(3)第三个阶段是应用科学计量学、文献计量学及情报计量学的指标和方法评估科技人员科研业绩。在科学活动中,科学文献是重要产出形式之一,与科技人员的成就有着一定的内在联系,这种客观联系正是从科学计量学和文献计量学角度来评估科技人员科研业绩的依据。
在诸多文献计量学指标中,论文、引文和期刊影响因子是重要的考虑因素。论文数量反映科技人员的科研产出力,一般以《科学引文索引》(SCI)的收录数量来衡量。但于由SCI收录中国期刊数量有限,不能满足科研业绩评估的要求,同时目前国内评价论文存在重外轻内,过于重视SCI的倾向[13],针对这种情况,中国科学院文献情报中心研制开发了与美国SCI接轨的《中国科学引文数据库》[14](CSCD),弥补了不足。但在实际工作中人们逐渐发现仅仅以论文数量来评价科研业绩是很不够的,论文质量才是论文价值的核心所在[15]。
论文质量通过引文计量指标体现,如被引次数、影响因子等。被引次数反映科技人员的科研水平和学术影响力,是衡量论文质量的最直接的指标,但影响引用的因素很多,不能把引用作为唯一指标。期刊影响因子从定义上看是评价期刊质量的重要指标,并不是直接评价论文水平的指标。但由于期刊的质量或水平是由其刊载的论文的质量或水平决定,因此反映期刊水平的影响因子在某种程度上可以间接反映出论文质量。但目前学术界对于影响因子用于科技人员评估是否合理争议最大,认为影响因子只是反映期刊所刊载论文的平均水平,并不能代表刊物上每一篇论文的水平[16]。其实,在目前还找不到一种更合适的指标之前,用影响因子来衡量论文质量不失为一种好方法[17]。科研管理人员和文献工作者对论文评价做了大量的研究,与论文评价密切相关的期刊评价也取得了显著成果。
1998年“大学科研评价量化问题国际研讨会暨第五次全国科学计量学与情报计量学年会”在北京召开,大会提交的43篇论文中,有15篇涉及科技人员科研业绩评估,体现科学计量学与文献计量学在评估中的普遍应用。1999年军事医学科学院[18]再次研究科技人员考核的指标体系与方法,2000年中日友好医院[19]应用Delphi法对本院具有主治医师职称以上者进行试评,并将结果与专家主观评估比较[20]。中国地质大学[21]、广东工业大学[22]也设计出高校社科相对实用的科研业绩综合评价指标体系。此外,还有一些针对特定人群所做的研究,如综合评估医院学科带头人[23]、临床科室主任[24]、军队卫生科研管理干部[25]等。
1.2 指标体系
建立良好完备的评价指标体系是科技人员科研业绩评估工作成功的基础,要求应具有科学性,系统性,可行性,可比性及现实性[26]。
(1)指标分类。目前,我国科技人员科研业绩评估所使用的指标有四类[27]:①源生指标,包括论文、专著、专利、成果鉴定、技术转让等科研业绩产出的基本形式;②追加指标,是建立在源生指标基础之上的,如科技奖励、论文专著被引、被索、被摘等;③派生指标,是建立在优秀的源生类指标和优秀的追加类指标基础之上的,包括学会、研究会兼职、入选院士和评委、获得荣誉称号等;④支撑指标(又称投入指标),包括课题来源、课题经费和课题进度等,是科研业绩产出的基本保障。
(2)筛选指标。一般认为评价指标多,则反映的问题全面,但并非指标越多越好,指标数量应适宜。一般原则[28]应是以尽量少的“主要”评价指标用于实际评价。但在初步建立的基础指标集中也可能存在一些“次要”的评价指标,这就需要按某种原则进行筛选,分清主次,合理组成评价指标集。
常用的[29]有系统分析法,文献资料分析优选法,以及应用数理统计方法对指标进行筛选的最小均方差法、多元回归、主成分分析、因子分析、聚类分析等,若能将各方法综合运用效果更好。指标体系的建立是否科学、合理、严谨,是成功开展评估工作的根本,必须慎重研究。(3)权重系数。指标体系确定后,要考虑各指标对评估结果的贡献大小,确定各指标重要程度不同的系数,即权重系数。合理分配权重是评估中量化的关键,通常确定权重系数的方法有三大类[30]:一类是主观赋权法,如专家咨询法、Delphi法、层次分析法等;一类是客观赋权法,如熵值法;一类是主客观结合赋权法,即体现主客观信息综合集成特征的确定权重的方法。
1.3 评估的方法
近年来评估的方法层出不穷,但各有其优缺点和适用范围,应当根据不同的情况具体分析,扬长避短,使得出的评价结果能较为客观、公正、全面地反映科技人员的实际水平。常用的方法有[28]:①线性加权综合法;②非线性加权综合法;③增益型线性加权综合性;④逼近理想解的排序法(TOPSIS法);⑤模糊综合评价法。
2 科技人员科研业绩评估中存在的问题
(1)目前科技人员科研业绩评估研究,其范围基本上是单位性、地区性或在研究上未能够继续与推广。许多工作大都被评估的复杂性、不确定性所局限,尚未形成系统性的深入研究和完善统一的被学术界所公认的标准评估体系,理论探讨较多,实践应用较少。
(2)某些评价指标内涵重复。评价指标体系中往往均包括既往承担科研课题、成果获奖、发表论文数、著作数四项。而成果获奖都是以在某一研究领域中多年发表的系列论文为基础申报的。据北京大学郑英姿所著《北京大学科技论文及其相关因素分析》一文统计[31],北京大学获国家级奖励的等级与其发表在国内刊物上论文数量的相关系数为0.7647,省部级奖的相关系数为0.8785,因此,获奖和论文两项指标内涵重复,必然影响评价结果的科学性和公正性。既往承担科研课题的理论成果往往也都是以发表学术论文或著作的形式产出。据统计[32],期刊论文与著作产出的比例大致为35:1,其中期刊传播了70%以上的信息,体现了论文出版形式的普遍性,再加上大部分著作的雏形是由论文形式表达的,则这种普遍形式就有了更加典型的意义。因此,这三项指标间也存在内涵重复,从而影响评价结果的科学性和公正性。
(3)指标体系过于复杂。如前面所提军事医学科学院[18]于1999年建立的业务考核指标体系(研究系列高级人员)包括承担课题、参与课题、论文、成果、培养人才、创造思维及综合分析判断能力、选题预见能力等共19项指标,后几项指标无法量化,必然会影响评价结果的客观性、科学性和公正性。且19项指标均为一级指标,使彼此间权重系数相差很小,导致评价结果差别小,不利于判别。
(4)选择评估方法的不当。通常使用的一维加权求和法,所得代数和难于直接窥视到各指标实测值的差异,往往还会掩盖有的指标偏高或偏低的情况。有人曾做过研究[33],发现运用多维空间结构模型,特别是以体积表示的模式在数据上的差异远较一维模型显示的差异大,有利于作出判别。
(5)重视论文数量,轻视论文质量。科技论文是科学研究活动,特别是基础性研究和基础应用性研究活动的主要产出形式。在科研绩效评估中,管理者对科研论文的数量已有足够的认识,但对于论文的质量,特别是对衡量论文质量的引文数据的认识有待提高。如评价指标体系中无引文指标,或对引文指标赋予的分值偏小等。
(6)评价指标赋值标准彼此间存在不可公度性,且赋值大小无充分科学依据。如论文的评估,仅在国内核心期刊上发表一项,有的计4分[21],有的计1分[22]等。
3 建议
马克思说过:“一种科学只有在她成功地运用数学时,才算达到了真正完善的地步。”科技人员科研业绩评估就是在引入了计量学科的理论与方法之后,才真正日趋成熟、蓬勃发展。但评估的目标并不是要将所有的东西全部加以量化才够客观,而是要避免评价时的主观臆断、怀疑与测量的偏差[34]。如何在评估中减少主观性,增加客观性,是问题的核心,现提出几点建议。
(1)正确处理定量评价与定性评价的关系。现行的科技人员科研业绩评估不可能以完全的客观量化方法进行,只是趋向于提高量化程度。一般是将定性指标按等级赋分值转化为定量指标,由于划分等级和赋分值是人为的,含定性成分,必须严格、科学、公正,才能保证结果的科学性、公正性。
(2)正确对待不同的来源数据库,坚持同源相比。现科技人员科研业绩评估的部分计量学指标来源于不同的数据库,如SCI、EI、CSCD和CSTPC等。各数据库在期刊源容量和学科结构上存在差异,用不同的数据库去衡量相同的对象会有不同的结果。因此,应坚持同源相比,才能得到客观公正的评估结果。
(3)采取科学的评估方法,提高评估信度和效度。由于评估单位定义模糊或评估人员经验缺乏等多种不确定原因,会造成结果缺乏可靠性(信度)和有效性(效度)。因此,必须采取科学的评估方法,以减少定性评估带来的偏差。
(5)重视开发基于计算机运行的数据化、软件化的评估系统。科技人员的管理与评估是一项难度较大的工作,尤其是科技高速发展的今天,要求有先进的科研管理方法和评估手段与之相适应,而不是滞后于科学的发展。目前在该方面已取得了一些进展,如同济医科大学[35]设计的“软科学学术论文质量评价系统”;中日友好医院[36]开发的“医学科研管理与评估系统”等。
4 结束语
实行科技人员科研业绩评估机制,是为了营造一种“公平合理”的氛围,建立有效的激励机制,鼓励和促进广大科研人员多出成果。但值得注意的是“满意”的概念是模糊的,完全确切、准确地评估是人的实际行为所不可能达到的极限[37],让更多评估者和被评估者满意的科技人员科研业绩评估仍需要进一步深入研究和探讨。