论文层面计量学(Article-Level Metrics):发展过程、特点、指标与应用,本文主要内容关键词为:计量学论文,发展过程论文,层面论文,指标论文,论文论文,此文献不代表本站观点,内容供学术参考,文章仅供参考阅读下载。
修回日期:2015-01-18 DOI:10.13663/j.cnki.lj.2016.02.010 随着期刊开放存取平台及社交网络迅速发展,科研人员的交流渠道及科研成果的传播方式发生了巨大的变化。国际上,各种类型的社交网络(Twitter、Facebook、LinkedIn)和平台(Mendeley、CiteULike、Google+、F1000)得到科研人员的广泛利用。新媒体环境下科研论文的大量非正式传播与讨论促进了科学影响力评价的发展。通过跟踪一篇论文传播的不同计量数据,就可以测定个体论文的影响力。这使得将个体论文的影响力从期刊影响力中分解出来具有了可操作性。论文层面计量学就是在这一背景下应运而生的。 1 论文层面计量学的内涵 Article-Level Metrics,简称ALMs,中文暂译作“论文层面计量学”。维基百科(Wikipedia)有对应词条和解释:“ALMs是测度个体研究论文的使用与影响力的新方法。以往,我们使用书目计量方法来评估研究成果的使用及影响力。但大多数是强调期刊层面的计量,如期刊影响因子(Impact factor)或者强调研究者层面的计量,如H指数(h-index)。而论文层面计量(ALMs),可能从另一方面展示个体论文的使用及影响力。”[1] 开放存取期刊PLOS认为,“论文层面计量学提供一套已建立的计量方法来测度已出版研究论文的整体性能和延伸范围”[2]。引文可能是影响力的最重要的测量,但引文仅代表用户与论文之间交互的一个很小部分。据报道[2],那些下载论文PDF版本的用户中,仅有七十分之一的用户会在论文中引用它。但有大多数人将用其他方式与论文发生交互,可以通过替代计量(Altmetrics)方法捕捉到。 本文作者赞同PLOS的观点,认为ALMs从多个角度,如论文的使用、引用、社会书签和传播活动、媒体和博客覆盖及讨论活动和评级等综合评价个体论文的影响力[3]。这种计量方法具有即时性和社会化的特点,不仅可以即时体现论文的学术可见度(Scholarly Visibility),如使用、引用,还可以通过分析与单篇论文相关的在线讨论,衡量其社会可见度(Social Visibility)。 需要强调的是,论文层面计量学[3-4](Article-level Metrics)与替代计量学[5-7](Altmetrics)不是同义词。它们不仅英文单词相似,而且在研究与应用中有交叉。但它们的内涵与研究范围不同,不能混淆。前者是试图在论文层面测量个体论文的影响力。在测量过程中,论文层面计量学搜集各种各样不同的数据源,包括传统的,也包括新出现的。而后者是利用新型数据源测量包括多种对象,如一篇论文、一本期刊或者一个独立的学者的影响力。论文层面计量学是利用替代计量数据源与传统数据源,在论文层面重新定义论文的影响力。替代计量学是深入研究各种新型数据源的特点、规律与应用,不仅仅是在论文层面对各种数据源的聚合。 2 论文层面计量学的发展过程 从早期论文层面计量学理念的提出到项目的实施经历了一个发展过程。国外的社交网络种类繁多,而且更新相当之快。这给论文层面计量学的产生提供了一个很好的研究背景。越来越多的科研人员在使用社交网络工具辅助自己的科学实验和科学讨论[8-11]。 随后,一些期刊开始在网站上开辟评论专栏或用户交互社区等。如,2007年,PLOS ONE尝试在网站上允许用户对论文进行评论、注释,根据洞察力、可靠性和风格三类标准对论文进行5级排名[12]。Ingentaconnect数据库在网站上添加了社交网络的转发工具栏,鼓励用户对喜欢的论文转发到Twitter、Facebook和LinkedIn,与更多同行讨论[13]。 到2009年,对出版商来而言,鼓励读者与在线论文进行交互活动已经不是什么新鲜事了。和PLOS一样,其他出版集团,如BioMed Central、Cell Press和Nature Publishing Group都曾经鼓励用户对论文按重要性进行评论,但在出版网站的评论中,只有很少一部分的论文得到显著地关注。大部分论文的相关讨论出现在科学博客上,而更多的讨论部分出现在社交网络上,如Twitter、Facebook和Google+。学者们似乎在这些与个人身份不紧密的非正式环境里或者受众明确的小圈子中,对论文进行讨论感觉更舒适[2]。 2009年11月,Cameron Neylon与Shirley Wu在PLOS Biology上发表文章,讨论了论文层面计量学在决定一篇论文的科学影响力方面具有重要价值。文中,作者认为期刊层面的计量方法已经落后,论文层面计量方法由于更具有即时性、体现论文交互的上下文(Context),将在测量论文重要性上面临机遇与挑战。关于读者在出版网站不愿评论论文的原因(与社交网络相比),作者认为可能是读者的一些顾虑。例如,他们习惯于在私人环境中品评论文;晚辈的研究者可能考虑论文评论对职业生涯的影响等[14]。 但问题是这些分布于各种社交网站和博客的学术论文相关讨论太过分散,读者们很难发现;论文作者和编辑也很难回应或跟进交互[15]。在这一背景下,出版商得到了一个帮助读者将论文的相关使用和传播数据进行聚合和加工及在上下文环境(Context)中提供出来的机遇。不仅作者们渴望跟踪其发表论文的计量情况,如果出版商提供良好的论文层面计量服务,读者们就有了一个更好的理由来访问出版商网站,而不是将论文浏览行为终止在PubMed Central数据库上。2011年,Altmetric.com公司合伙人Euan ADIE和William ROE开始鉴别、跟踪和搜集论文层面计量数据[15]。 2011年,Mendeley公司策划的基于Mendeley和PLOS开放应用程序的设计大赛(PLOS/Mendeley API Binary Battle)促进了替代计量和论文层面计量工具的开发[16]。11个获奖作品中,PLOS Impact Explorer不断更新换代,引领ALMs的前沿;而Total-Impact如今已经升级为ImpactStory。到目前为止,论文层面计量(ALMs)工具大致有3类,即PLOS ALMs、Altmetric.com和ImpactStory。这些工具已经被一些著名出版社引进,展示单篇论文的整体使用和影响力情况。 论文层面计量具有开放科学和开放数据的特点,即研究文献的开放存取;研究工具的开放使用;研究数据的开放使用。一些科研人员正在尝试利用数据集研究论文层面计量学的特性和规律。Koon-Kiu Yan和Mark Gerstein利用PLOS数据集,对13 000篇已出版论文的不同使用统计数据之间的相关性进行了研究[17],通过颜色相关图进行展示;而且他们研究了信息传播的衰退规律,发现论文的年龄越大,得到的关注越少;在论文产生的第1~2个月,衰退是最快的,而以后的衰退逐渐减慢。 3 论文层面计量学的特点 3.1 ALMs测量论文传播的即时性与社会化 传统的单篇论文影响力评价指标是侧重于学术共同体内部少量工具对论文影响力的测量,而论文层面计量学是一个多样化数据与指标的工具聚合,这些可以混合、匹配的数据与指标让我们有更多方法在学术共同体界限以外,测量研究成果是如何传播,进而影响它们的观众。即时交流工具显示的论文使用、传播和讨论数据突显论文评价即时性的特点,这是单一引文指标不具备的特点。因此,测量一篇论文传播的即时性[6](Immediacy)和社会化[3](Socialization),是论文层面计量学最显著的特点,而这正是论文影响力评价的关键。 3.2 ALMs拉动了两个独立的数据流:学术可见度和社会可见度 论文层面计量数据类型总体可归纳成两大不同的数据流。第一个数据流强调学术可见度,即论文在Mendeley上的分享程度、在F1000网站上的排名程度、被其他学术论文的引用水平以及在出版商网站上的检索程度。这些勾画了一篇论文在科学共同体内部的传播结果;第二个数据流强调社会可见度,包含了科学共同体界限以外的评价工具,如在Twitter、Facebook、LinkedIn和Wikipedia上的相互交流与提及,将论文受众延伸到一个更广的社会范围。论文层面计量学将对这两类数据流进行捕捉和聚合,更全面、更迅速,在论文的上下文(Context)环境中展现论文的传播与影响力[18]。 3.3 ALMs包括短期与长期评价指标 新媒体和大数据时代,研究成果可以通过更多的渠道,以更迅捷的速度进行传播与分享。论文层面计量学就是尝试在这些社会媒体环境下更好地展现出一篇论文的影响力。论文层面计量学包括短期(Short-term)论文评价指标和长期(Long-term)论文评价指标。短期论文评价指标会随着论文的老化而逐渐衰退,如新闻报道(News Coverage)、博客公告(Blog Posts)、推文(Twitter)及脸书(Facebooks)等;而长期论文评价指标是经过一段时间以后,评价论文的长期影响力,如下载统计、论文评论和论文被引等。 3.4 ALMs是定性与定量评价方法的结合 论文层面计量方法同时体现了定性和定量评价单篇论文影响力的优势。对众多类型数据源中论文的使用、传播、讨论和分享情况进行计数统计,衡量论文的传播量与讨论量,即是定量评价,如Altmetric.com的得分[19];而定性评价是指针对单篇论文,考察其数据源或社交媒体的覆盖范围,衡量论文传播的广度;更有与传统同行评审的评价方法类似的网络同行评价,如来自F1000网站、学术同行博客和社交网站的评价与推荐情况等,例如F1000因子[20]。 3.5 ALMs具有开放存取和开放数据的特点 论文层面计量学本身是开放存取运动的产物。近年来,一些商业机构在出售相关产品,然而论文层面计量学没有被任何一个公司拥有与控制。任何科学共同体可以开发、传播和建立论文层面计量工具,开放影响力评价数据。这些共同体成员的努力是透明的,不仅公开他们跟踪影响力的方法,也包括后台技术。因此,就这些特点来看,论文层面计量学与开放科学、开放数据和开放资源等开放运动均是一致的。ALMs数据和工具可以被研究者免费使用和修改,在科学社区中传播、分享,从而促进论文层面计量学的进步与发展。 4 论文层面计量指标的分类——以PLOS ALMs为例 2009年,PLOS开始实施论文层面计量项目,其计量指标大致包括的类型有5组:论文使用(Article Usage)、引文(Citation)、社会网络(Social Network)、博客和媒体覆盖(Blogs and Media Coverage)以及PLOS读者人数(PLOS Readers)。经过一段时间的尝试和评估后,PLOS研发人员认为原有指标存在重复计量;分类上也缺乏可扩展性,不能兼容新出现的指标;各类目内部指标间相关性不紧密等缺陷,导致最初的读者对PLOS ALMs利用水平不高[2]。 2013年,PLOS对论文层面计量指标的分类进行了调整,新分类不再强调数据资源本身,而是看重数据资源捕捉到的论文层面的传播和分享活动。论文层面计量的基本假定是:通过测量与论文相关的交互程度来考察一篇论文的影响力和覆盖范围。以此为基础,PLOS认为应让论文层面计量与论文交互活动(Engagement)的分类一致。在PLOS的新分类中,将论文层面计量指标分成五个不同类型:阅览、保存、讨论、推荐和被引[2](见表1),经试用和评估后,PLOS研发人员发现新的指标分类使得读者对研究论文的兴趣增加,与研究论文的交互水平提高。 阅览(Viewed):是指用户检索在线论文的活动,包括全文阅览与下载,是论文交互活动的第一步。它能捕捉到读者与论文最初的“接触”。PLOS跟踪论文全文的HTML页面的浏览、PDF和XML格式的论文下载,而且结合PubMed Central数据库的全文浏览与下载;最近,又新加入了Figshare的评分。 保存(Saved):是指将论文保存到在线书目管理工具的活动,这将帮助研究者更好的组织论文和分享论文。 讨论(Discussed):对一篇论文中的研究内容进行讨论,既包括在Twitter上发表短小评论,也包括在博客中深度评论。 推荐(Recommended):一个用户通过在线推荐平台正式地赞赏一篇研究论文的活动。 论文被引(Cited):一篇论文在另一篇科学期刊论文上被正式引用。包括来自CrossRef、Web of Science、Scopus、PMC和Europe PMC等数据库的单篇论文引用。 5 论文层面计量(ALMs)工具及其在出版领域的应用 一些学术信息提供者已经在用户体验里包括了对论文层面计量工具的应用。目前,论文层面计量工具主要有三种(见表2)。标签:mendeley论文; 论文研究方法论文;