科学计量方法辅助代表作评价的探讨，本文主要内容关键词为：代表作论文,评价论文,科学论文,方法论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
1 引言
在人文社会科学领域，我国当下的学术评价机制是一个颇具争议的话题。所谓学术评价，简单说，是针对学者、学术成果以及学术机构的学术水平的测评、判断与鉴别，是衡量一个学者、一项科研成果、一所学术机构学术水平的主要尺度[1]。一项优秀的学术成果，必然会在引领思想、揭示科学本质、解决理论和现实问题、推动社会进步方面有所贡献。作为科研工作者，参与并接受学术评价是必要的，合理、公正的评价机制也是学术发展的必然要求。公正、合理、规范的学术评价体制，也在调动学术工作者的积极性、激发创新竞争意识、发现和培养优秀人才等方面起着重要作用[2]。
学术评价的方法大体有两种：一种是同行评议，它是同行专家从专业学术角度对学术产品的创新性、前沿性、应用性等方面进行价值判断。它历来是人文社会科学学术评价最主要、最基本的评价方法；另一种是量化评价，是科研管理机构和部门运用科学（文献、信息）计量学的方法，对科研人员进行绩效考核。然而，近几年，我国高校科研人员的科研绩效考评出现了过度使用计量方法的问题，同行评议机制未能充分发挥其功能。具体表现在：在评价标准上，普遍重视学术产品载体的等级和资助的背景，学术评价异化为期刊评价；评价方法上，重量化考评轻同行评议，重数量轻质量；评价导向上，重虚名轻实效，重结果轻过程，重物质轻精神[3]。
人文社会科学科研活动具有复杂性、创新性和不确定性特点，需要进行长时间的探索和验证。过度追求量化指标和期刊级别的结果被异化为学术评价的主要标准的学术评价制度，从根本上违背了人文社会科学研究的本质特性——探索性和创新性，违背了学术发展的规律。因而，过度追求科研量化指标的学术评价机制已暴露出越来越多的弊端，对学术的发展极为有害。
主要表现为：第一，在这种思维影响下，学术评价活动越来越忽视同行评议；第二，不仅没有带来高质量的学术产出，而且违背了学术研究的规律，促生了大量的学术垃圾、大量的学术腐败和学术不端行为；第三，消磨了科研人员追求“独创性”、追求知识增进、获得学术共同体承认的原始动力，并且助长了科研人员急功近利的价值倾向。
针对上述问题，学术界从不同角度做了一些较为深入的探讨。邱均平和谭春辉构建了人文社会科学评价体系的四层结构模型，即学科发展评价、学科研究评价、学科教育评价和学科社会影响评价，指出学科研究评价是重点，研究成果评价是核心[4]。姜春林和刘则渊研究发现，利用引文方法开展科研评价时，对于文史哲等学科成果的引文评价时间应选择成果发表后的5～8年后进行，而经济学等应用性较强的学科则在3～5年后为宜[5]。倪润安认为，我国人文社会科学研究的评价正进入定性与定量相结合的综合评价阶段，指出这一阶段的特点是弹性评价，应遵循综合评价、连续评价、延时评价、创新至上等基本原则，建议将代表作制度发展成为定性与定量评价互动结合的调节器[6]。虞文提出借鉴美国的做法，定性评价与定量评价并重，采用代表作制度和第三方评价制度[7]。国内一些著名高校为克服学术评价中过度追求量化的现象，在学术评价方面也进行相应的改革，其中的措施之一是试行国外运行比较成功的代表作制度。但是，代表作制度也引起广泛的争议，不少学者指出高校学术评价不宜简单采用代表作制度。
本文在充分梳理代表作制克服过度量化问题的实效性和可能存在问题的基础上，提出了代表作评价中同行评议和科学计量方法相结合，以科学计量学方法辅助当前代表作评价的初步设想和基本思路。
2 “代表作”制的试行实践
代表作制度是指对一至几个可以代表评价对象最高水平或最能体现评价对象风格和行为风范的成果进行评价的相关规则，作品的数量不再做硬性要求，数量再多也不加分[8]。在这种制度下，作品的内容和效用成为评价的主要内容：内容评价主要是指同行专家对成果内容进行精读、分析，评价其是否在观点、研究方法、资料、论证等方面有所创新，在学理上、逻辑上是否合理。这种以专家评价为主的方式，对于消解学术评价中的行政化倾向具有直接的抑制作用；效用评价则看成果是否具有学术价值、社会价值和经济价值，是否已被证明或部分证明，对于强化质量与创新评价意识具有现实意义。
代表作制度是国外通行的比较成功的学术评价制度，为此，国内不少高校将引入代表作制度作为破除单纯学术量化评价弊端的重要举措。2005年，北京大学中文系在教师聘岗时已经实施代表作制度，即教师在聘期内只要发表了一篇有较大影响力的论文，经院系学术委员会认定，在相关的学科领域里属于领先地位，对该学者的科研工作就不再进行量化考核[9]。2009年，中国人民大学在全校范围推行论文代表作制，评选教授不再是论文数量多多益善，而是由参评教师拿出有代表性的著作或论文，提交专家组评审[10]。2010年，复旦大学开始试行代表作学术评价制度，2011年扩大到文科领域，2012年在全校推行教授职称代表作评价制度，要求参评者提交1～3篇代表作，学院学术评估通过后，由学校随机选择5位校外具有较高学术声望的学者，匿名对申请人进行学术评估，学校根据专家意见，决定是否同意候选人参加高级职称竞聘[11]。
“铅华洗尽始见金”，“代表作”制度的推行必然会带来过度量化考核的淡化，遏制学术浮躁之风，促进一批具有较大创新性的学术成果出现。但是，代表作制度的推行也会一定程度上固化学者的研究方向和学术视野，减少学术成果数量，并忽视科研活动的效率，以及产生同行评审的不公正问题。因此，在当前我国学术权力行政化、学术腐败没有根本遏制的环境下，代表作制度能否达到预期目标存在一定风险。
3 代表作制的局限性
3.1 代表作评价制度容易忽视科研绩效
国际上对科研人员成果的学术评价大致分为两个方面：一是由同行专家从专业的学术角度对科研论文的创新性、科学性和应用价值进行评价；二是利用科学计量学方法从科研管理角度对科研人员或机构的绩效进行评定（对已发表的论文尽可能做出客观、准确和量化的评价结果），完整的学术评价应该是两方面的有机结合[12]。例如，荷兰标准评价协议（SEP）主要从两个层次对科研活动进行评价：一是对科研机构和团队的评价，侧重于绩效和产出；二是对项目的评价，侧重于质量、学术价值和影响力[13]。
目前我国对科研人员和机构的学术评价制度过度依赖定量指标，以发表在核心期刊上的论文数量作为评价科研人员和机构业绩的主要依据，这种现象严重妨碍了人文社会科学研究的健康发展。但是在学术评价中，如果只采用“代表作”制度将会引发对科研绩效的忽视。虽然人文社会科学研究永远处于进行时，但也应当考虑科研活动的效率。任何一个学术机构在投入国家大量人员和项目经费的前提下，“十年磨一剑”的学术理想与管理部门效率观和纳税人的知情权往往是矛盾的，纳什和钱钟书式的宽容性评价模式在当下显然不具有普遍性和可操作性。片面强调忽视代表作而置科研绩效而不顾，可能会导致学者误以为对某一科研课题持续研究时间越久，单纯封闭性的“我思”就越能形成优秀的学术成果，这与学术评价活动的初衷也是不完全一致的。所以，在学术评价制度的改革浪潮中，不宜盲目单一采用代表作评价制度。
3.2 代表作评价中专家评审潜在的问题
代表作评价是同行专家针对评审成果做出的专业性、实质性的内容评判和鉴定，本质上是同行评议的一种形式。这一制度的成功与否，取决于评审专家的权威性、评审程序的公正性、评审结论的客观性。因而，在国际同行评议领域中容易出现的问题同样也是代表作评价制度中不可避免的问题。为了客观阐述同行评议存在的问题，本文采集了1996～2013年间收录在《社会科学引文索引》（SSCI）有关同行评议的文献数据，利用Citespace软件统计数据中出现的高频关键词（见表1）来加以揭示。
由表1得知，1996～2013年间，同行评议相关文献中出现频次和中心性排前7位的关键词为“质量（quality）”、“科学（science）”、“影响（impact）”、“偏见（bias）”、“可靠性（reliability）”、“绩效（performance）”、“有效性（validity）”。从而，我们可以推断“可靠性”、“科学”、“质量”和“偏见”一直是国际同行评议研究的热点问题。不难看出，基于同行评议的代表作评价制度在推行过程中也可能面临相同或类似的问题。
在国际同行评议领域的高频被引文献中，讨论最多的是同行评议的公平、公正性问题。其中苏黎世的瑞士理工联合研究院社会心理学和高等教育学家Bornmann用实证研究方法大量论证了同行评议存在的问题。如他在《同行评议过程的有效性：在评估化学类手稿中的内部评审协议和预测效度》一文中，通过收集国际化学领域的著名期刊《应用化学》的德语版Angewandte Chemie 1899篇来稿的4593份同行评审专家的评审意见，研究同行评议的效度问题[14]；《编辑专家决定的周期性偏见：通过化学数据的研究》一文中，作者通过分析《心理科学期刊》和《个性与社会心理学报》期刊在不同季节的来稿数量和评审标准，指出了同行评议中存在不公平现象[15]。
此外，瑞典哥德堡大学Christine Wenneras教授在Nature上撰文指出，同行评议容易造成两种不公平现象——裙带关系和性别歧视[16]。美国著名的社会心理学家Herbert W.Marsh教授认为作为学术成果评价的守门员和仲裁者的同行评审专家在对论文的评审过程中存在着夸大事实和容易偏见等问题[17]。而Bohannon于2013年10月发表在Science“科学交流的未来”专题的文章中，以一篇存在科学问题的研究论文所做的大型投稿调查发现，同行评议存在着严重有效性问题（调查结果显示304种OA期刊中退稿的仅占32.2%）[18]。因此，同行评议制度在学术评价中并不是完全可靠和公平公正的。所以，主要依靠同行专家对“代表作品”进行评审的评价制度也存在可靠性和公正性问题。自然科学成果评价尚且如此，更为复杂的人文社会科学评价的公平、公正问题可能会更突出。
3.3 人情社会对代表作制度的影响
中国特殊的人情社会也将会对“代表作”制度的有效实施造成一定影响。分析我国社会经济领域的一些不公平现象，其中的一个重要原因是我国特殊的人情关系的存在。社会上各种人情因素以其极强的隐蔽性、高度的灵活性无所不在，错综复杂地渗透于社会生活的方方面面，并以其温情脉脉的表现形式规避着制度的约束和法律的规制[19]。这种无所不在、错综复杂的人情自觉或不自觉、主动或被动地在现实中将制度，包括法律的规制不同程度地纳入主观任意性的轨道，阻碍着制度的有效落实。科研活动属于社会活动的一部分，在科研活动中同样的问题也是存在的。在具体学术评价活动中，在制度设计尚不完善的环境下，错综复杂的人情因素也会或多或少影响到同行专家对学术成果的评价。而完全放弃了量化指标，只是对代表作品进行同行评价的“代表作”制，将会更加严重地受到人情因素的影响。所以，受我国人情社会的影响，我国的学术评价将更加复杂，“代表作”制能否有效实施也将存在一定的风险。
综上所述，虽然国外运行比较成功的“代表作”制可以在一定程度为纠正我国学术界由来已久的“重量轻质”学风提供镜鉴，但是“代表作”制也并非尽善尽美。科学研究的复杂性与特殊性，决定了对学术的评价不能简单运用某一单一的评价制度。所以，在引进“代表作”制进行学术评价的同时，也不能过度迷信这种评价制度。在运用“代表作”制的同时，也应当考虑定量指标和方法。未来的学术评价制度应该是二者的有效结合。2009年第一届人文社会科学评价暨第五届科研绩效评价学术研讨会上，与会专家一致认为“同行评价与引文评价等计量方法是可以互补且可以相互制约的”[20]。
4 科学计量方法辅助代表作制度评价的必要性
4.1 个人业绩评价中科学计量方法和代表作制的结合
对科研人员科研绩效的评价是对科研业绩和效率的评价，是对学术成果质量和数量的评价，不能片面重数量轻质量，也不能完全依靠质量而忽视数量。国外正在运行的评价体系，大都在专家评审的基础上，辅以科学计量方法（计量指标提供给专家辅以参考）。英国为优化以同行评议为基础的评价体系“优秀评估活动”（RAE），自2007年开始研发“优秀研究框架”（REF），并开展了一系列的咨询和讨论，咨询和讨论的重点是使用信息（科学、文献）计量指标进行评估[21]。在2008—2009年开展的信息计量试验结果表明：信息计量指标的稳健性随研究领域不同而有所变化，信息计量指标还未达到完全代替专家评估的程度，但是引文信息非常值得专家评估时参考[22]。而荷兰的“标准评价协议”（SEP）特点是质量和产出能力并重，重视社会影响和可持续发展能力，重视国际影响力[13]。
借鉴国外的经验，人文社会科学研究的学术评价应该是质量和数量有机结合，在同行专家评审的基础上辅以科学计量方法，二者相互印证，相互补充。作为同行评议的一种实现形式，代表作评价机制也应当辅以科学计量方法。并且代表作评价机制和科学计量方法能够一定程度上弥补各自的缺点，是呈“耦合”关系的。代表作评价机制克服了学术评价中过度量化的问题，而科学计量学方法又反向弥补了代表作机制忽视数量及数量指标的问题。例如，运用代表作制对科研人员进行评价的过程中，可以考虑辅以科学计量评价指标H指数。H指数既能反映学术论文影响力大小，又能同时反映其重要论文产出数量多少[23]，其他的科学计量指标如代表作品的经费投入产出比、他引此次数、即时指数、下载率、下载量、转载量、再版次数等相关数据如果提交给同行专家，将可以弥补代表作数量的限制，也可以帮助专家对被评人员业绩做出全面、客观、公正的评判。由此得知，代表作制和科学计量方法相结合是有合理性和可能性的。
4.2 代表作品评价中科学计量方法和同行评议的结合
代表作制度是典型的定性评价方法，是同行专家对所提交“代表作品”的科研价值进行评判，这样可以充分发挥评审专家的主观能动性，但是也存在主观性强、缺乏客观依据、有失公正的风险。而科学计量方法是对客观存在的数据进行计量和分析，以期做出客观的结论。因而，科学计量方法本身具有同行专家评审所不具备的客观性，科学计量方法能够恰到好处地弥补同行专家评审带来的问题。所以评审专家在对“代表作品”的评价中，也应辅以计量数据，用来弥补专家评审潜在的问题，实现二者的有机结合。
对代表性论文的评价中，常用的科学计量指标有被引频次和所发表期刊的影响因子。被引频次是目前国际上判断一篇学术论文的价值时最常用的科学计量学指标，学术论文的被引用次数越多，说明该学术论文在同行中引起的影响越大，受同行关注的程度越高[24]。影响因子反映了期刊被使用和受重视的程度，影响因子也是评价期刊质量优劣的重要依据和客观标准。影响因子高的期刊，同行专家评审严格，稿件录用率低，论文质量和期刊影响力之间是彼此正反馈的。学术管理部门的科研激励政策催生的马太效应亦会强化论文发表在高影响因子期刊的难度，进而不断推高发表论文的质量。张军等人的研究表明，高影响因子确实可以从一个侧面说明一种期刊在相关领域的重要性[25]。近年来，在我国人文社科科研评价中使用的CSSCI，尽管遭到很多学者的诟病，但是我们不能否认，这些期刊所发论文的质量总体上是高于非CSSCI期刊的。论文的分层和期刊分层是学术发展的必然结果，好期刊不等于好论文，但两者的正相关关系是毋庸置疑的。科学论文的被引次数和所发表期刊的影响因子一样，也是源于客观数据的统计和分析，自身具有客观和公正的特性。尤其他引次数也是一种间接的大同行评价。这种大同行评价很难通过人为操控来推高数据，其相对客观、公正的数据也恰好能够弥补专家评审的主观偏差问题。所以，在评审专家对“代表作品”评价的同时，辅以被引频次和期刊影响因子这样的计量指标，不仅有利于节约评价成本，增强评价的可操作性，而且有利于同行评审专家对“代表作品”做出更为科学、公正的评判；如果把计量结果与专家评审结果进行互相印证，则有利于对专家评审的结果进行比较，或坚持自我、或否定自我，或修正自我。避免因专家偏见或者非人情因素而忽视和遗漏具有重大科学发现和创新的研究成果，使其得到恰当的承认。所以，在同行专家对“代表作品”的评价中，也应当辅以科学计量方法，并且两者也应相互弥补、相互补充。
5 科学计量方法辅助代表作评价的可能性：一则示例
为了说明科学计量方法辅助代表作评价的可行性，本文以同行评议领域的著名学者Lutz Bornmann为分析对象，假定以代表作评价的方式对其成果进行评价。
在评价方法上，本文选择科学计量学领域新兴的Citespace软件为计量工具，通过Citespace统计的各种科学计量数据和以科学知识图谱形式展示的计量信息来辅助对Lutz Bornmann提交的“代表作品”进行评价。科学知识图谱是以科学知识为计量研究对象，隶属于科学计量学范畴的一种新兴的科学计量学研究方法[26]。近年来已广泛用于科学前沿、热点探测和文本挖掘中。通过Citespace软件可以把统计的文献信息和计量数据以图谱的形式形象地展示出来，所以本文采用上述方法来进行说明和印证Bornmann提交作品的创新性和前沿性。首先收集了1996—2013年收录在《社会科学引文索引》（SSCI）中1275篇有关同行评议的文献数据，然后利用Citespace进行处理，制成图表（详细操作步骤略）。
Bornmann的研究方向是同行评议，他自2005年后发表了大量有关同行评议的文章，其中被引次数≥3次有32篇，被引次数≥7次也达到21篇（见表2）。上文述及，高被引频次和高期刊影响因子可以在一定程度上表示论文的影响力、创新性和重要性。而高突现值表示的是在短时间内被引频次突增或突减的文献[27]（本文涉及Bornmann高突现值文献为被引突增文献）。被引频次突增反映的是文献在一定时间内引起广泛关注，而广泛关注的原因通常为该文献具有较高的创新和发现，或在短时间内引起较大的反响和共鸣。孙书军和朱全娥认为论文的被引频次最终取决于论文的内容质量[28]。所以，表2中Bornmann的21篇文献可以在一定程度上认为是具有较高的质量和影响力的文献。而其中前6篇文章既具有高被引频次，又具有高突现值，所以在一定程度上可以认为此6篇代表文章既具有较高的质量和影响力，又具有较高的创新性或引起广泛反响和共鸣的文献。由前文可知，论文的质量和期刊的影响因子总体上是正相关的。表2中的21篇文献大都具有较高的期刊影响因子，因而也可以在一定程度上认为表2中的文章具有较高的质量。
通过上述指标的分析，可以使评审专家对Bornmann学术成果和其“代表作品”有一个初步的了解和评价，同时也有助于Bornmann和评审专家对代表作进行遴选和甄别。
通过Citespace所做的文献共引聚类视图（图1），可以将计量数据和文献信息直观形象地展示出来。图1展示的整个同行评议领域知识发展进程和结构关系，标识出的是Bornmann发表的代表文献。透过图谱，首先可以通过展示的计量信息和文献共被引关系对代表文章在学科领域中的重要性进行初步的判断。图1标识出的文章虽然由于发表时间较近导致被引频次并不突出，但是文章具有较高的突现值，并且文献节点都位于网络结构的核心位置和与其他文献具有较为紧密的共现关系。通过图谱，我们可以初步判定图1标识出Bornmann的代表文献在同行评议和学科领域具有较为重要的位置。其次，通过图1中各个聚类的划分，也可以对所标识出代表文献的研究内容有一个初步的了解。
科学计量学的研究认为文献间的引用关系反映了一种学术传播的现象，被引文献提供了概念、理论或方法上的启发[29]，组成了学科的知识基础，而施引文献代表了该学科正在兴起的理论趋势和新主题，组成了学科的研究前沿。Citespace绘制的时区聚类图谱是由一系列表示时区的条形区域组成，时区按时间顺序从左向右排列，研究前沿指向知识基础[28]。下页图2标识出Bornmann的6篇代表性文献是高频被引文献的施引文献，并且都发表在2005年以后。同时，标识出的6篇文章也都具有高被引频次和高突现度。所以我们可以初步判断，标识出的6篇代表性文献具有一定创新性、前沿性和较高的影响力，这有利于评审专家对代表作从整体上进行了解和评价。
综上所述，科学计量学的Citespace软件工具，可以通过处理计量数据和形象直观的知识图谱来辅助评审专家对“代表作品”进行评价。此外，本文借助Citespace工具验证了科学计量方法辅助同行评审专家对论著进行评价，其他的科学计量学软件工具（如Pajek、Ucinet、Gephi、VOSviewer等）都可在一定条件下为同行专家评审服务。尽管本示例的数据来源是SSCI，评价我国的人文社科成果未必有充分的合理性，但是基于中文的CSSCI和CNKI等数据库为科学计量提供了较为丰富和可靠的数据源，无论从理论上还是从技术上完全可以实现类似的分析。随着我国数据库资源建设的完善，对论文、著作或研究报告等成果形式的代表作评价，科学计量学方法都将大有用武之地。
6 结语
代表作评价是对已有过分倚重数量忽视质量评价的超越，是科研评价同行专家主体性的再次回归。但是完全依靠同行评价评价代表作，会存在诸如公正性、偏见以及忽视效率等问题。科学计量方法具有强调定量、靠数据说话、客观公正的特点，能够在一定程度上解决同行专家评审中存在的问题。因此，引入科学计量方法的代表作评价新机制，有助于完善代表作评价的方法论基础。数字是客观的，但不是万能的，数字往往会掩盖背后的一些实质内容。正如GDP不能说明经济发展的质量一样，科学计量方法对代表作评价功能的实现仍将是有条件的。若干研究已表明，在使用科学计量方法对微观对象和不同类型的成果评价时应慎之又慎。学术评价仍应以同行专家评价为主，科学计量方法起到的仅仅是补充和辅助作用。尤其人文社会科学成果的评价都是以符合评价主体的价值需要为前提的。学术成果的创新性、质量和产生的学术影响力必须要借助专家头脑的思维意识进行评判，这既是科学的评价思路，也是马克思主义主客体辩证统一的思想和充分发挥人的主观能动性思想的必然要求。所以，在代表作制度的实施中，仍要以同行专家的评审为主，同时辅以科学计量方法，而不是相反。
本文以Citespace知识图谱为例提出的结合方法尚属于一种尝试性的探讨。如何将基于同行评议的代表作评价和科学计量方法更好地结合，充分发挥二者优缺点，使其相互补充、相互印证，不仅需要完善方法论，而且需要在代表作制评价的制度设计，如数据库的选择、计量指标的有效性、同行专家遴选、评价的可操作性、降低评价成本、保证评价程序的公平正义等方面还需要在更多理论和实证研究的基础上进行更深入的探讨。
标签：科学论文; citespace论文; 论文发表论文; 同行评审论文; 量化管理论文; 科研评价论文; 文献计量学论文; 影响因子论文; 人文社科论文;