论文层面计量学(Article-Level Metrics):发展过程、特点、指标与应用,本文主要内容关键词为:计量学论文,发展过程论文,层面论文,指标论文,论文论文,此文献不代表本站观点,内容供学术参考,文章仅供参考阅读下载。
修回日期:2015-01-18 DOI:10.13663/j.cnki.lj.2016.02.010 随着期刊开放存取平台及社交网络迅速发展,科研人员的交流渠道及科研成果的传播方式发生了巨大的变化。国际上,各种类型的社交网络(Twitter、Facebook、LinkedIn)和平台(Mendeley、CiteULike、Google+、F1000)得到科研人员的广泛利用。新媒体环境下科研论文的大量非正式传播与讨论促进了科学影响力评价的发展。通过跟踪一篇论文传播的不同计量数据,就可以测定个体论文的影响力。这使得将个体论文的影响力从期刊影响力中分解出来具有了可操作性。论文层面计量学就是在这一背景下应运而生的。 1 论文层面计量学的内涵 Article-Level Metrics,简称ALMs,中文暂译作“论文层面计量学”。维基百科(Wikipedia)有对应词条和解释:“ALMs是测度个体研究论文的使用与影响力的新方法。以往,我们使用书目计量方法来评估研究成果的使用及影响力。但大多数是强调期刊层面的计量,如期刊影响因子(Impact factor)或者强调研究者层面的计量,如H指数(h-index)。而论文层面计量(ALMs),可能从另一方面展示个体论文的使用及影响力。”[1] 开放存取期刊PLOS认为,“论文层面计量学提供一套已建立的计量方法来测度已出版研究论文的整体性能和延伸范围”[2]。引文可能是影响力的最重要的测量,但引文仅代表用户与论文之间交互的一个很小部分。据报道[2],那些下载论文PDF版本的用户中,仅有七十分之一的用户会在论文中引用它。但有大多数人将用其他方式与论文发生交互,可以通过替代计量(Altmetrics)方法捕捉到。 本文作者赞同PLOS的观点,认为ALMs从多个角度,如论文的使用、引用、社会书签和传播活动、媒体和博客覆盖及讨论活动和评级等综合评价个体论文的影响力[3]。这种计量方法具有即时性和社会化的特点,不仅可以即时体现论文的学术可见度(Scholarly Visibility),如使用、引用,还可以通过分析与单篇论文相关的在线讨论,衡量其社会可见度(Social Visibility)。 需要强调的是,论文层面计量学[3-4](Article-level Metrics)与替代计量学[5-7](Altmetrics)不是同义词。它们不仅英文单词相似,而且在研究与应用中有交叉。但它们的内涵与研究范围不同,不能混淆。前者是试图在论文层面测量个体论文的影响力。在测量过程中,论文层面计量学搜集各种各样不同的数据源,包括传统的,也包括新出现的。而后者是利用新型数据源测量包括多种对象,如一篇论文、一本期刊或者一个独立的学者的影响力。论文层面计量学是利用替代计量数据源与传统数据源,在论文层面重新定义论文的影响力。替代计量学是深入研究各种新型数据源的特点、规律与应用,不仅仅是在论文层面对各种数据源的聚合。 2 论文层面计量学的发展过程 从早期论文层面计量学理念的提出到项目的实施经历了一个发展过程。国外的社交网络种类繁多,而且更新相当之快。这给论文层面计量学的产生提供了一个很好的研究背景。越来越多的科研人员在使用社交网络工具辅助自己的科学实验和科学讨论[8-11]。 随后,一些期刊开始在网站上开辟评论专栏或用户交互社区等。如,2007年,PLOS ONE尝试在网站上允许用户对论文进行评论、注释,根据洞察力、可靠性和风格三类标准对论文进行5级排名[12]。Ingentaconnect数据库在网站上添加了社交网络的转发工具栏,鼓励用户对喜欢的论文转发到Twitter、Facebook和LinkedIn,与更多同行讨论[13]。 到2009年,对出版商来而言,鼓励读者与在线论文进行交互活动已经不是什么新鲜事了。和PLOS一样,其他出版集团,如BioMed Central、Cell Press和Nature Publishing Group都曾经鼓励用户对论文按重要性进行评论,但在出版网站的评论中,只有很少一部分的论文得到显著地关注。大部分论文的相关讨论出现在科学博客上,而更多的讨论部分出现在社交网络上,如Twitter、Facebook和Google+。学者们似乎在这些与个人身份不紧密的非正式环境里或者受众明确的小圈子中,对论文进行讨论感觉更舒适[2]。 2009年11月,Cameron Neylon与Shirley Wu在PLOS Biology上发表文章,讨论了论文层面计量学在决定一篇论文的科学影响力方面具有重要价值。文中,作者认为期刊层面的计量方法已经落后,论文层面计量方法由于更具有即时性、体现论文交互的上下文(Context),将在测量论文重要性上面临机遇与挑战。关于读者在出版网站不愿评论论文的原因(与社交网络相比),作者认为可能是读者的一些顾虑。例如,他们习惯于在私人环境中品评论文;晚辈的研究者可能考虑论文评论对职业生涯的影响等[14]。 但问题是这些分布于各种社交网站和博客的学术论文相关讨论太过分散,读者们很难发现;论文作者和编辑也很难回应或跟进交互[15]。在这一背景下,出版商得到了一个帮助读者将论文的相关使用和传播数据进行聚合和加工及在上下文环境(Context)中提供出来的机遇。不仅作者们渴望跟踪其发表论文的计量情况,如果出版商提供良好的论文层面计量服务,读者们就有了一个更好的理由来访问出版商网站,而不是将论文浏览行为终止在PubMed Central数据库上。2011年,Altmetric.com公司合伙人Euan ADIE和William ROE开始鉴别、跟踪和搜集论文层面计量数据[15]。 2011年,Mendeley公司策划的基于Mendeley和PLOS开放应用程序的设计大赛(PLOS/Mendeley API Binary Battle)促进了替代计量和论文层面计量工具的开发[16]。11个获奖作品中,PLOS Impact Explorer不断更新换代,引领ALMs的前沿;而Total-Impact如今已经升级为ImpactStory。到目前为止,论文层面计量(ALMs)工具大致有3类,即PLOS ALMs、Altmetric.com和ImpactStory。这些工具已经被一些著名出版社引进,展示单篇论文的整体使用和影响力情况。 论文层面计量具有开放科学和开放数据的特点,即研究文献的开放存取;研究工具的开放使用;研究数据的开放使用。一些科研人员正在尝试利用数据集研究论文层面计量学的特性和规律。Koon-Kiu Yan和Mark Gerstein利用PLOS数据集,对13 000篇已出版论文的不同使用统计数据之间的相关性进行了研究[17],通过颜色相关图进行展示;而且他们研究了信息传播的衰退规律,发现论文的年龄越大,得到的关注越少;在论文产生的第1~2个月,衰退是最快的,而以后的衰退逐渐减慢。 3 论文层面计量学的特点 3.1 ALMs测量论文传播的即时性与社会化 传统的单篇论文影响力评价指标是侧重于学术共同体内部少量工具对论文影响力的测量,而论文层面计量学是一个多样化数据与指标的工具聚合,这些可以混合、匹配的数据与指标让我们有更多方法在学术共同体界限以外,测量研究成果是如何传播,进而影响它们的观众。即时交流工具显示的论文使用、传播和讨论数据突显论文评价即时性的特点,这是单一引文指标不具备的特点。因此,测量一篇论文传播的即时性[6](Immediacy)和社会化[3](Socialization),是论文层面计量学最显著的特点,而这正是论文影响力评价的关键。 3.2 ALMs拉动了两个独立的数据流:学术可见度和社会可见度 论文层面计量数据类型总体可归纳成两大不同的数据流。第一个数据流强调学术可见度,即论文在Mendeley上的分享程度、在F1000网站上的排名程度、被其他学术论文的引用水平以及在出版商网站上的检索程度。这些勾画了一篇论文在科学共同体内部的传播结果;第二个数据流强调社会可见度,包含了科学共同体界限以外的评价工具,如在Twitter、Facebook、LinkedIn和Wikipedia上的相互交流与提及,将论文受众延伸到一个更广的社会范围。论文层面计量学将对这两类数据流进行捕捉和聚合,更全面、更迅速,在论文的上下文(Context)环境中展现论文的传播与影响力[18]。 3.3 ALMs包括短期与长期评价指标 新媒体和大数据时代,研究成果可以通过更多的渠道,以更迅捷的速度进行传播与分享。论文层面计量学就是尝试在这些社会媒体环境下更好地展现出一篇论文的影响力。论文层面计量学包括短期(Short-term)论文评价指标和长期(Long-term)论文评价指标。短期论文评价指标会随着论文的老化而逐渐衰退,如新闻报道(News Coverage)、博客公告(Blog Posts)、推文(Twitter)及脸书(Facebooks)等;而长期论文评价指标是经过一段时间以后,评价论文的长期影响力,如下载统计、论文评论和论文被引等。 3.4 ALMs是定性与定量评价方法的结合 论文层面计量方法同时体现了定性和定量评价单篇论文影响力的优势。对众多类型数据源中论文的使用、传播、讨论和分享情况进行计数统计,衡量论文的传播量与讨论量,即是定量评价,如Altmetric.com的得分[19];而定性评价是指针对单篇论文,考察其数据源或社交媒体的覆盖范围,衡量论文传播的广度;更有与传统同行评审的评价方法类似的网络同行评价,如来自F1000网站、学术同行博客和社交网站的评价与推荐情况等,例如F1000因子[20]。 3.5 ALMs具有开放存取和开放数据的特点 论文层面计量学本身是开放存取运动的产物。近年来,一些商业机构在出售相关产品,然而论文层面计量学没有被任何一个公司拥有与控制。任何科学共同体可以开发、传播和建立论文层面计量工具,开放影响力评价数据。这些共同体成员的努力是透明的,不仅公开他们跟踪影响力的方法,也包括后台技术。因此,就这些特点来看,论文层面计量学与开放科学、开放数据和开放资源等开放运动均是一致的。ALMs数据和工具可以被研究者免费使用和修改,在科学社区中传播、分享,从而促进论文层面计量学的进步与发展。 4 论文层面计量指标的分类——以PLOS ALMs为例 2009年,PLOS开始实施论文层面计量项目,其计量指标大致包括的类型有5组:论文使用(Article Usage)、引文(Citation)、社会网络(Social Network)、博客和媒体覆盖(Blogs and Media Coverage)以及PLOS读者人数(PLOS Readers)。经过一段时间的尝试和评估后,PLOS研发人员认为原有指标存在重复计量;分类上也缺乏可扩展性,不能兼容新出现的指标;各类目内部指标间相关性不紧密等缺陷,导致最初的读者对PLOS ALMs利用水平不高[2]。 2013年,PLOS对论文层面计量指标的分类进行了调整,新分类不再强调数据资源本身,而是看重数据资源捕捉到的论文层面的传播和分享活动。论文层面计量的基本假定是:通过测量与论文相关的交互程度来考察一篇论文的影响力和覆盖范围。以此为基础,PLOS认为应让论文层面计量与论文交互活动(Engagement)的分类一致。在PLOS的新分类中,将论文层面计量指标分成五个不同类型:阅览、保存、讨论、推荐和被引[2](见表1),经试用和评估后,PLOS研发人员发现新的指标分类使得读者对研究论文的兴趣增加,与研究论文的交互水平提高。 阅览(Viewed):是指用户检索在线论文的活动,包括全文阅览与下载,是论文交互活动的第一步。它能捕捉到读者与论文最初的“接触”。PLOS跟踪论文全文的HTML页面的浏览、PDF和XML格式的论文下载,而且结合PubMed Central数据库的全文浏览与下载;最近,又新加入了Figshare的评分。 保存(Saved):是指将论文保存到在线书目管理工具的活动,这将帮助研究者更好的组织论文和分享论文。 讨论(Discussed):对一篇论文中的研究内容进行讨论,既包括在Twitter上发表短小评论,也包括在博客中深度评论。 推荐(Recommended):一个用户通过在线推荐平台正式地赞赏一篇研究论文的活动。 论文被引(Cited):一篇论文在另一篇科学期刊论文上被正式引用。包括来自CrossRef、Web of Science、Scopus、PMC和Europe PMC等数据库的单篇论文引用。 5 论文层面计量(ALMs)工具及其在出版领域的应用 一些学术信息提供者已经在用户体验里包括了对论文层面计量工具的应用。目前,论文层面计量工具主要有三种(见表2)。 一是美国科学公共图书馆PLOS开发的“Article-Level Metrics”应用程序,PLOS集团出版的论文均在页面上提示ALMs情况;二是Altmetric.com公司开发的应用程序。目前,Scopus、自然出版集团(NPG)和BioMed Central购买了Altmetric.com的产品。Altmetric.com可以分析个体论文在Mendeley、CiteULike、Twitter、Facebook、Google+、Pinterest、博客和出版网站中被提及情况,根据其受关注的质量和数量,对文章进行评分[19];Altmetric分数主要基于3种因素:提及该文章的人数、提及的平台(例如报纸、推文)以及某人提及该文章的频度;三是Impact Story开发的应用程序。目前,HighWire采用了Imapct Story开发的产品。下面将举例介绍PLOS、Scopus、NPG与HighWire如何在用户体验中应用论文层面计量工具。 5.1 ALMs在美国科学公共图书馆(PLOS)的应用 开放存取出版商科学公共图书馆PLOS,在2009年开始论文层面计量应用程序的开发与应用。PLOS为所有旗下期刊进行论文层面计量,包括下载、引文和替代计量(Altmetrics)的信息,根据实施效果逐渐进行程序更新。PLOS出版的每篇论文均可在其开放存取平台上找到其论文层面计量信息,包括大量的即时快照和累积信息。PLOS也将它的论文层面计量应用程序界面(APl)免费提供给研究者使用。这使得其他内容提供商和感兴趣的同行可以使用后台数据,进一步开发ALMs工具。 5.2 ALMs在Scopus数据库的应用 Scopus数据库与Altmetric.com公司合作,将ALMs合并到它的检索结果中,建立了应用程序“Altmetric for Scopus”[20]。ALMs拓展了传统索引提供的信息范围,包含了即时性和社会化的理念。数据资源的范围包括政策和指导文献、主流媒体、社交媒体数据、在线参考文献管理者和出版商网站的下载计量数据。社交媒体网站,如Twitter、Facebook、Pinterest、Google+和Reddit、Sina Weibo、PubPeer and Publons、LinkedIn Groups、Blogs、Sites Running Stack Exchange(Q&A)、Reviews on F1000[21]及YouTube;参考文献管理者和社会书签网站,如Mendeley、CiteULike;科学出版者如Scientific American;主流媒体网站,包括New York Times、The Guardian;非英语出版物,如Die Zeit和Le Monde。 每篇论文的侧边工具条可以告诉读者论文的替代计量(Altmetric)数据以及论文得到全部关注(Attention)的来源,见图1[22]。点击彩图,可以进入详细页面,考察论文的替代计量学评分。它的算法很简单,就是关注次数乘以关注来源的默认权重(见表3[19])之和。而默认权重是由公司征集不同研究人员关于不同关注来源对论文整体影响力的重要性评级确定的。它们对论文不同计量指标来源赋予一定的默认权重,用来反映每种资源类型的相对重要性,并且Altmetric.com强调分数不代表论文的质量[19]。 图1 Altmetric for Scopus的侧边工具条 5.3 ALMs在自然出版集团(NPG)的应用 自然出版集团(Nature Publishing Group,简称NPG)出版的期刊,如Naure、the Nature Research Journals、Nature Communications和Nature Scientific Reports均应用了ALMs应用程序。与Scopus一样,NPG利用Altmetric.com工具展示一篇论文的社会与学术传播的定量与定性数据。不同的是,Nature选择了Altmetric.com的浏览器(Altmetric Explorer),而不是免费的侧边工具条(Altmetric Bookmarklet)。Nature的单篇论文的计量页面显示了Web of Science、CrossRef和Scopus的论文被引次数、替代计量学得分及在线关注情况。 5.4 ALMs在HighWire的应用 HighWire是一个通过学术团体、大学出版社和其他出版商传递学术知识的出版平台。2012年12月,HighWire出版公司与Impact Story合作,允许旗下数10个学术团体和非营利内容提供商实施ALMs。其中,首先应用ALMs的HighWire出版商是eLife。Impact Story的论文层面计量数据包括:HTML浏览和PDF下载量;CiteULike和Mendeley的论文存储量;CrossRef、Scopus、PubMed Central、Europe PubMed Central和Google Scholar的论文被引量和单篇论文的论文层面计量情况。 6 论文层面计量学的应用前景 论文层面计量学具有广阔的应用前景[23]。研究者不仅可以实时跟踪已出版成果的影响力,还可将其与大多数的合作者、基金管理者、管理机构和研究社区分享,而且可以成为强大的发现与识别同行最新研究成果的工具。 6.1 研究者 对于研究者,论文层面计量可以跟踪科研成果的影响力,并且将其提供给基金管理者和人事招聘、职称晋升管理人员;透过论文层面计量数据,可以导航和过滤研究成果,方便科研人员及时找到最符合需要的内容;通过论文层面计量查找他人科研成果的影响力及与本人研究方向的相关性,迅速找到国际科研合作者;通过对学术内容的检索、过滤与聚合,实现了在论文层面对论文影响力的测量,取代以往在期刊层面对论文影响力的测量。 6.2 研究机构 对于研究机构,可以跟踪机构成员已出版论文的传播渠道,传播的增长速度;可以检索学院成员的研究成果影响力的最新信息,有助于岗位聘任与职称晋升的关键人事评定;不仅可以通过数据观察单篇论文出版后的影响力,也可以对数据进行汇总,汇报某个部门研究成果的整体影响力。 6.3 基金管理者 对于基金管理人员,可以选用最相关的评价指标,自动、有效地跟踪基金获得者研究成果的影响力情况;可以获得研究成果广泛传播与讨论的证据;监控和提高某个受资助者的科研参与水平;更及时地获得、识别具有较高影响力的研究成果;分析过去和今后基金项目的研究趋势;采用网络分析法评估某个研究社群。 6.4 出版者 对于出版者,可以通过观众的研究兴趣提供论文层面数据,吸引作者投稿或订阅期刊与数据库;跟踪已出版论文的传播情况;为内容经销商提供出版物的下游影响力数据;通过论文层面计量,获得出版物传播与检索的丰富数据;按照商业需要报告论文的使用情况等。标签:mendeley论文; 论文研究方法论文;