iAuthor面向机构科研评价的应用实现，本文主要内容关键词为：科研论文,评价论文,机构论文,iAuthor论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
分类号 G31 科研评价作为机构科研管理和绩效管理的重要工具和手段，对于优化科研资源配置，提高科研管理水平，促进科研机构的持续健康发展具有重大意义[1]。在面向机构的评价实践中，科研评价通过建立科学合理的评价指标体系，对机构一系列科学技术活动的影响及其作用进行衡量。随着开放学术运动和网络化科学交流的不断深入，传统文献计量的局限日益突显，替代计量、科研成果计量、科研发现计量逐步兴起[2]。ORCID(Open Researcher and Contributor Identifier，开放研究者和贡献者标识符)作为研究者标识符方面的通用国际规范，成为支持丰富的新型评价数据源融汇和互操作的中间件，在学术交流和评价体系变革环境下为机构的多维度评价提供了解决方案，因此，基于ORCID的“中国科学家在线——iAuthor”在机构科研评价工作中具有广阔的应用前景。本文通过调研机构科研评价方法及其指标的发展概况，总结了机构科研评价活动的发展特征，根据ORCID在机构科研评价中的价值和iAuthor的建设机制，分析基于ORCID的iAuthor在机构科研评价中的应用前景，构建基于iAuthor的机构科研评价指标体系，并依此提出iAuthor面向机构科研评价的建设方向。 1 机构科研评价的发展分析 1.1 机构科研评价方法及指标概述 科研成果是反映一个机构科研能力和学术影响力的重要标志，主要包括著作、论文、专利等。文献计量学以这些成果类型为计量单元，对科研活动产出的分析包括“质”和“量”两方面的评价[3]。在“量”方面，通过采用科研成果发表的数量统计指标(例如发文总量和人均发文量)，以及借助一些参照对象(知名数据库收录论文数等)，评估机构的科研产出能力。“质”的方面通常以引文分析法衡量科研成果及机构的学术影响力，根据测度对象的不同，包括被引频次等基于期刊或单篇文献的指标，以及基于科研人员或机构的指标，前者能够测度相应文献的影响力、权威性及被同行关注的程度，后者目前应用较多的是h指数，用于考察作者或机构的学术影响力[4]。面对传统文献计量方法在科研评价应用中存在的时滞过长、影响力片面等局限[2]，一系列旨在考虑评价中高质量论文作用和不同学科领域差异的修正指标被提出，例如，自然指数[5]和g指数[6]分别通过高质量期刊发文和高被引论文反映科研成果的增长情况，相对影响因子和学科平均特征因子[7]则提供了学科标准化后研究影响力评价的视角。随着信息化程度不断提高，网络成为展示机构科研活动和科研成果的重要平台，链接分析、搜索引擎评价等网络计量方法为科研机构评价提供了新途径。网络计量的指标主要基于机构在网络学术活动中的表现情况，如西班牙网络计量学实验室根据科研机构相关信息在主要商业搜索引擎中的网络存量、网络影响力，制定了网页数、反向链接数、文件格式丰富度、学术论文数等指标并赋予相应权重[8]，以科研机构排名的方式反映其学术影响力和国际声誉。 在Web 2.0环境下，科学博客、Facebook、Twitter等社交网络成为学术活动交流和科研成果传播的重要平台，论文层面评价、替代计量学、科研成果计量等新型计量方法逐步兴起。PLoS One为科研用户或其所在科研社群提供了评估单篇文章价值的方式，论文层面计量涉及的指标包括浏览量、保存量、讨论量、推荐量、引用量[9]。替代计量学在论文层面评价等研究的基础上产生，通过捕获Web 2.0环境下产生的信息传播交流数据，对社交网络平台中科研成果的影响力进行计量评价，可弥补引文分析、影响因子等文献计量评价方法的局限性[10]。目前，出现了PIRUS、ImpactStory、Plum Analytics等新一代评价指标计划，PIRUS项目(Publisher and Institutional Repository Usage Statistics Project)为存储期刊论文的机构仓储、出版社记录和整合单篇论文层面的在线使用数据，建立了国际通用标准[11]，ImpactStory为科研人员提供了衡量和共享科研过程全谱段科研产出学术影响力的替代计量指标[12]，Plum Analytics将替代计量指标划分成使用情况、获取情况、提及情况、社交媒介和引用情况[13]。在开放存取与开放科学的大背景下，替代计量学的发展出现了面向科研成果计量的新趋势，计量单元逐步深入，可基于研究对象[14]或科学发现[15]全面而深入地分析科学研究成果。 根据以上对评价方法发展过程的分析，科研评价内容涉及文献计量、网络计量、替代计量等维度的指标体系。由于机构科研影响力所涉及的评价对象较为广泛，除了科技文献产出和科研人员外，奖项、项目、申请资助、基础设施等在机构评价的过程中也发挥着重要作用[7]，这些评价维度围绕科研机构建立指标，用于反映科研机构的科技研发、学术声誉、设施建设等方面的影响力。 1.2 机构科研评价活动的发展特征 随着机构科研评价方法从传统文献计量到科学计量学2.0的转型，评价对象逐步涉及非传统媒介的新型科研成果，并朝着细粒度方向发展。面对分散于不同信息系统的数据集成和互操作的需求，科研评价在发展过程中的关键问题主要涉及评价来源数据的遴选和收集[16]，科研评价活动主要存在如下特征。 (1)机构科研评价需要多维度的评价指标体系 机构科研评价的应用实践中，目前存在普遍依赖引文数据、指标体系单一、缺少多维因素综合评价等问题。面对在线学术交流的新模式，科研评价需要在传统引文分析的基础上，将社会网络环境下新型计量方法的指标体系作为补充评价内容。文献计量、网络计量、替代计量、项目、奖项等评价内容分别从各自的视角测度机构的科研影响力，因此，考虑机构影响力涉及的多种因素、建立多维度的评价指标是实现机构全方位科研评价的基础。 (2)新型科研成果成为重要的评价对象 目前数字科研环境下，科研成果的类型不仅限于论文、专著等常规出版物，还包括预印本、实验室日志、研究报告等灰色文献，以及科学数据、课件、图片、音视频、程序算法、软件产品等非文本资源。这些新型科研成果在数据驱动的学术交流模式中所占比重越来越高，提供了丰富而有价值的分析数据。美国国家信息标准组织(National Information Standards Organization，NISO)在替代指标计划项目中探究了数据集、视频、软件等非传统科研产出的评价方法、最佳实践，并构建评价标准[17]，新型科研成果在科研评价活动中的作用得到了越来越多的重视。 (3)评价对象的唯一标识促进评价数据的准确集成 有效的评价活动要求从不同的内容来源全面而准确地收集数据，因此需要科研人员、学术成果等科研对象的唯一标识符体系作为中间件，贯穿于科研人员的研究过程，支撑分布于全世界机构仓储、预印本系统、开放出版平台、数字图书馆、长期保存系统等数据源的学术交流内容的融汇和互操作。对于机构科研评价，通过将人员唯一标识符集成于科研工作流中，建立各标识符规范之间的相互关联，可精确识别特定机构人员的科研成果，并全面汇聚该成果资源在各来源系统或平台中的使用、获取、引用等数据，从而易于解决特定科研人员评价数据的跨系统集成问题[18]。 (4)评价数据应保证可持续获取并建立关联 评价指标的多维度就意味着需要考虑评价数据源的复杂性，评价的来源数据既要针对具体评价内容遴选权威的数据库、出版社、学术网站等，还要通过合作或开放获取的方式，保证数据是可获取、可理解、可再利用的。面对丰富的评价数据源，在建立数据可持续获取和利用机制的基础上，如何将数据关联并以可视化或融入知识服务的方式呈现，是实现多维指标体系高效、直观地应用于机构科研评价的关键。 2 基于ORCID的iAuthor在机构科研评价中的应用前景分析 2.1 ORCID的发展概况 ORCID作为研究者标识符方面的通用国际规范，通过为研究者提供16位唯一标识符的注册来解决作者名称歧义问题，致力于全球范围科学家与学术贡献的开放、精确关联。ORCID为科研人员提供了识别并连接科研活动及其产出的框架和工具，将其所属机构、出版物、基金组织与科研用户的ORCID标识符关联，并嵌入至科研工作全谱段流程中，支持投稿、基金申请、资助评估、文章发布等科研活动[19]。作为开放、非营利的国际共享平台，ORCID为科学家免费提供持久的国际化标识符，通过开放ORCID接口的方式将标识符集成至合作系统，促进系统间数据的互操作。ORCID对于“人”的更加开放和国际化的唯一标识方案，使其在Elsevier、PLoS等大型出版商，Wellcome Trust、NIH等权威基金组织以及众多高校、科研机构、信息系统中得到了广泛的应用，目前已有超过120家的会员机构实现了与ORCID的合作关联[20]。 2.2 ORCID在机构科研评价中的价值 随着机构科研评价活动的发展，结合ORCID的建设机制和服务特征，ORCID对于机构科研评价活动的应用价值体现在三个方面。 (1)关于“人”唯一标识的国际规范 科研人员是科研机构的主体，文献、奖项等机构评价的大部分测度对象与科研人员存在直接或间接的关系，而且数字环境下逐步向“以人为主”关联组织科研资源的模式转变[21]，因此围绕“人”衡量科研影响力的各方面数据是机构评价的重要依据。ORCID标识符提供了“人”的识别方案，通过确认科研活动的相关人员及其名称变化，提供“人”与“产出”的精确关联，因此可贯穿科研人员学术经历和科研工作全流程，追踪学术成果。作为具有国际通用规范性的唯一标识符，ORCID搭建起关联其他标识符和信息系统的桥梁，建立了与其他作者标识符(Researcher ID、Scopus Author ID)、对象标识符(例如DOI)的关联，实现与CrossRef、DataCite等系统的数据交互[18]。因此，借助ORCID标识符，能够为机构科研评价形成以科研人员为中心的准确而全面的成果列表，并通过汇聚科研成果在各分布系统的使用数据为评价提供丰富的依据。 (2)丰富的数据源关联的开放共享状态 ORCID以开放作为基本的建设原则，通过提供开放接口实现关联系统的数据交互。目前，众多本地仓储(科研管理系统等)、国际信息系统(Scopus等)、大型数据库(Web of Science等)、服务工具(ImpactStory等)通过嵌入ORCID集成和更新数据[22]，这些系统、应用或工具从不同角度反映了科研成果的传播、利用情况，能够为支撑多维度的科研评价提供丰富的数据源。随着国际规范唯一标识符成为促进跨平台内容识别和互操作的重要组件[23]，ORCID作为关联信息系统和服务应用的开源中间件，也将逐步成为各评价数据源关联交互和集成融汇的中枢。 (3)支持多类型科研产出 目前，ORCID支持37种类型的科研产出，划分为常规出版物(期刊论文、专著等)、会议文档(会议论文、海报等)、知识产权(专利等)、其他科研产出(数据集、技术标准等)[24]，支持多种灰色文献和非文本资源的导入、管理、检索。然而，这些新型科研成果无法通过被引频次、影响因子等传统文献计量方法来评价[10]，需要引入创新评价内容来扩展评价体系。在开放科学环境下，以社交网络用户使用行为作为视角的替代计量指标对于评价数据集、代码等原始科研产出具有潜在优势[25]，PIRUS、ImpactStory、Plum Analytics等采用替代计量方法的新型评价应用均通过ORCID接口实现数据的集成和交互[16]，因此，科研人员可通过其ORCID标识符快速获取评价应用中的影响力信息，ORCID通过融汇替代计量评价数据为扩展创新评价内容提供了新契机。 2.3 iAuthor应用于机构科研评价的前景分析 iAuthor是中国科学院文献情报中心于2014年10月建设并推出的国际化科学家标识体系中国服务平台，基于ORCID提供作者唯一标识符，为中国科学家快速融入全球学术圈提供支持[26]。iAuthor的技术框架和核心功能以ORCID作为支撑，ORCID对于科研评价的价值使得iAuthor应用于机构科研评价具有较好的前景。 (1)iAuthor基于ORCID建立中国科学家国际识别体系，借助于ORCID提供的国际性、通用研究者标识符规范，确保机构人员及其研究工作可以被唯一识别，建立机构人员与其科研产出的精确关联，能够保证机构科研评价中关于科研产出和学术活动等评价内容的准确和全面。 (2)iAuthor平台实现了与ORCID系统的交互，通过ORCID这一关联外部系统的中间件，获得的丰富的评价数据源可以为iAuthor所用。 (3)借鉴ORCID通过开放接口集成数据源的方式，iAuthor系统框架中关联服务模块同样支持丰富数据源的融汇，已扩展了与Web of Science、中国科学引文数据库(CSCD)、机构知识库(IR)等系统的开放接口[27]，目前可为机构科研评价提供发文量、被引频次等指标。秉承ORCID建设机制的开放原则，iAuthor通过合作能够继续扩展与更多系统的关联交互，从而支撑机构学术影响力的多维度综合评价。 (4)借助ORCID，科研人员可以快速加入全球学术圈，iAuthor促进了中国科学家学术声誉、科研成果影响力的传播，这种逐步形成的在线科研传播和社交网络环境，也使得未来在平台中扩展和分析评论、推荐、转载等替代计量指标数据成为可能。 (5)为科学家个人的科研产出管理提供了一系列增值服务，通过嵌入自动分析和可视化的工具，可直观地展现和分析评价指标的统计数据和发展趋势，包括论文被引频次的统计分析、研究主题的聚类分析、科研产出的趋势分析等[26]。 3 基于iAuthor构建机构科研评价指标体系 综合考虑机构科研评价的现有研究，并结合iAuthor和ORCID的建设机制和功能特征，依据所制定的评价指标设计原则，笔者构建了多维度的计量指标体系，并设计了iAuthor支撑机构科研评价的系统服务方案。 3.1 评价指标的设计原则 针对科研活动的复杂性和多目标性，需要首先制定科研评价的标准，为科学合理地选取评价指标提供可遵循的依据。 (1)分析体现评价目标的关键性指标 构建科学而有效的评价指标体系，应基于对评价目标和评价对象的分析，并结合评价方法和指标研究的发展趋势，设计主要的、关键性的指标。iAuthor面向科研人员的成果管理模式能够反映其所在机构的学术生产力，因此基于iAuthor的机构科研评价可从学术成果、科研人员、所在机构三个层面进行测度。通过上文对目前重要科研评价方法的综述可知，引文分析等传统文献计量是科学量化分析评价的理论基础，网络计量兼顾了富文本和网页分析，而科学计量学2.0的转型促进了替代计量等新型计量方法的兴起，因此围绕不同测度对象的文献计量、网络计量、替代计量应作为指标建立的关键维度。另外，承担的项目、所获奖项、基金资助等，也是直接反映机构学术生产力的关键要素，因此同样需要纳入机构评价体系中。 (2)参考科学的、权威的指标研究 指标的设计不仅要参考一些国内外较为认可的成熟指标体系，还要把握相关权威管理部门关于评价工作制定的宏观政策和指导意见[28]。由于iAuthor的机构数据源主要为以中国科学院为主的国内研究所和高校，因此，本文以中国科学院科技评价研究组的“中国科学院知识创新工程研究所评价基础指标元素”和中国科学评价研究中心的“中国高校科技创新竞争力评价指标”作为指标体系构建的权威、指导性依据。 (3)选取易于获取的指标 评价指标不仅要求科学、合理、有效，而且需要保证评价工作易操作。关于各评价维度下具体指标的遴选，其来源数据应易于获得，并且是可分析处理的规范数据。基于ORCID的iAuthor平台可选取的指标数据，一方面是目前iAuthor已有或未来可通过手动添加或外部系统关联导入的数据源，例如SCI被引频次、项目基金，另一方面是与ORCID建立合作并具有权威评价内容的数据源，例如ImpactStory的替代计量指标数据，iAuthor可通过与ORCID的同步操作来获取这些外部数据，经过进一步规范、整合、加工后用于科研评价。 3.2 多维度机构科研评价指标体系的设计方案 通过参考目前机构科研评价方法及其指标的研究，并遵循上述评价指标的设计原则，笔者构建了基于iAuthor的适用于国内研究所和高校的评价指标体系，其中各评价维度下的具体指标如表1所示。
