常用Altmetrics工具比较，本文主要内容关键词为：常用论文,工具论文,Altmetrics论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
收修改稿日期：2014-08-27 分类号：G350 1 引言 伴随着社交网络的发展，当前学术交流环境发生着巨大变化，越来越多的科研工作者通过Twitter和Facebook等社交网站与同行进行学术探讨，利用Zotero、Mendeley、CiteULike等在线文献管理系统记录管理工作流程。同时，开放存取和云计算的兴起，促使学术成果不再拘泥于以论文的形式发表在正式出版物上。演示文稿、实验数据、灰色文献、软件，甚至是实验视频都作为新的科研产出形式发布在科学博客、在线数据仓储(Dryad、Figshare)或视频网站上，Piwowar[1]将这些种类繁多的学术成果称为Alternative Products。随着新兴技术的启用，研究成果评价方法、学术成果传播途径、科学家学术成就测度等学术交流模式也不断演化[2]。2013年1月，NSF(National Science Foundation)修订其项目申请条件中部分条款，首次明确申请者可以用学术“产品”(Products)代替学术出版物证明自己的学术水平，用来作为立项或结项的依据。这些产品包括数据集(Datasets)、软件以及其他新型的科研产出，如何评价这些学术产品的影响力引起了学术界的关注[3]。 Altmetrics(Alternative Metrics)是一种基于社会网络的学术影响力评价方法[4]，国内学者将其译作补充计量学[5]。该方法利用Altmetrics工具收割文献管理系统和社交网络中涉及某一研究成果的相关信息(下载量、引用次数、浏览次数、评论、转发等)，通过对这些数据进行聚类分析和统计计算，进而达到评价该研究成果学术及公共影响力的目的，具有即时响应、评价指标全面细致、处理对象多样化、公共广泛参与[6]等特点。Priem等[7]指出Altmetrics将会成为下一代测量学术成果影响力的重要形式。 学术活动已经从基于纸质论文向基于网络产品的形式转变，在转变过程中，使用Altmetrics工具能够分析过滤信息并测量研究结果的影响力[8]。2012年6月，匹兹堡大学图书馆系统和Plum Analytics展开合作，由后者提供PlumX工具，利用补充计量指标评估学校的科研产出[9]。2014年1月，EBSCO宣布收购Plum Analytics，双方将合作开启Altmetrics推广、利用的新时代[10]。此外，Nature、PLoS、Science、Elsevier等传统出版社利用Altmetric.com，在其在线出版的论文页面上整合Altmetrics计量指标，作为论文学术影响力的早期潜在指标[11]，从而提升文章的揭示度。 对Altmetrics测量工具的研究利用逐渐引起科研人员、出版商和研究机构的重视[12-13]。在此背景下，本文选取4款国外常用的Altmetrics工具进行比较，分析各自的优势与不足，对其发展过程中面临的挑战进行总结，希望能对学者研究Altmetrics工具时提供参考。 2 Altmetrics工具介绍 Altmetrics工具种类很多，分类方式也很多，如可分为商业软件和免费软件、开源和非开源等，每种工具都有其自身的优缺点和特色。本文选择国外较为成熟，具有代表性的工具作为比较对象，包括Altmetric.com、ImpactStory、Plum Analytics以及PLoS ALMs。 (1)Altmetric.com Altmetric.com[14]是一款分析评估单篇论文Altmetrics指标的工具，由Digital Science公司开发，包括浏览工具(Altmetric Explorer)、书签工具(Altmetric Bookmarklet)、应用程序接口(Altmetric API)、分数显示器(Altmetric Badges)4个模块。覆盖了Elsevier、Kluwer、Springer、Wiley等大型商业数据库和PLoS、BioMed Central、F1000等开放获取期刊出版的130万篇论文[15]。该工具综合计算某一篇学术论文在Twitter、Google+、CiteULike、Mendeley、博客以及主流新闻媒体等信息源的引用数据，得出该论文Altmetrics影响力值，目前新浪微博也成为Altmetric.com跟踪的数据源[16]。 (2)ImpactStory ImpactStory[17]是一个免费开源的资源工具，主要面向个人用户，支持基于URL方式聚合在线的Altmetrics信息。由Priem和Piwowar共同开发，目的是通过提供一个更宽广的影响力视角，让研究者掌握哪些人对他的研究成果感兴趣。用户可以通过Google Scholar Profiles、ORCID、DOIs以及PubMed IDs等方式向ImpactStory上传文章、数据集、软件或其他形式的科研产出，创建自己的作品集[18]。ImpactStory收集关于这些作品集的统计数据并将这些数据归并至不同的评价指标，例如保存、引用、推荐、讨论等，以标准的格式生成报告。 (3)Plum Analytics Plum Analytics[19]将传统引用量和Altmetics数据整合在同一界面上，向学术机构管理者提供该机构科研成果影响力鸟瞰图。Plum Analytics可以追踪多样化的数据源，从这些数据源自动收割相关数据。它的API可以在GitHub上免费获取，研究者可以利用API将Plum Analytics整合到机构页面上。使用的数据源主要面向自然科学，尤其是生物医学学科，能为该领域的图书馆提供更好的服务[20]。 (4)PLoS ALMs PLoS作为著名的高质量OA期刊出版者和OA运动倡导者，推出基于测量单篇论文Altmetics指标的工具PLoS ALMs(PLoS Article-Level Metrics)。该工具能够追踪PLoS出版的所有学术论文影响力的相关信息，包括每一篇论文的下载量以及该论文在社会媒体和博客上被提及的次数，同时也可以追踪这篇文章被评论、标注、评级等内部数据[21]。PLoS ALMs被认为代表了计量学发展的新方向，个人用户可以免费使用。 3 Altmetrics工具比较 虽然Altmetrics被认为是一种能够全面、即时反映多样化学术成果影响力的重要指标，然而作为新兴理论，还处于探索发展阶段。何种类型的研究成果应该被测量？哪些指标数据应该被收集？这些数据来自哪些数据源？通过何种算法计量研究成果的影响力？当前学术界对以上问题还未形成明确统一的认识，也没有通用标准。这种情况造成Altmetrics工具的开发人员都按照自己对Altmetrics概念的理解开发设计软件，但是他们都能够从不同层面实现对研究成果影响力的评估功能。本文尝试从用户角度出发，分别从评价策略、涵盖数据源、评价指标、数据收集发布等方面对这4款工具进行分析和比较。 3.1 评价对象、面向用户等基本情况 不同的Altmetrics工具支持的评估对象和面向用户群都不相同，具体如表1所示。可以看出，4种工具支持的评价对象在数量、种类方面有很大差异。Plum Analytics处理能力强大，能够对超过20余种不同类型的研究成果进行影响力评估。ImpactStory处理的对象包括论文、软件、演示文稿、数据集。其余两种工具评价对象比较单一，只针对论文进行评价，被认为是进行论文级别计量(Article-Level Metrics)[22]研究所采用的重要工具，通常被出版集团用来测度社交网络对其出版论文的关注度，但是二者处理论文的范围有所差别，Altmetric.com主要评估与其签约合作的出版社出版的学术论文，例如Nature、Science、Elsevier等，PLoS ALMs则评估PLoS出版的以及存储在PubMed Central上的学术论文的影响力。 从这4款工具面向的用户类型来看，PLoS ALMs支持的用户种类最多，覆盖面最广；ImpactStory面向的用户较为单一。4种工具针对个体研究人员都提供免费服务，值得注意的是非营利机构需要向Altmetric.com提供能够证明其非营利性的相关文件，获得授权后才能使用该工具。 4种工具都是以Web App形式提供服务，使用时不需要下载安装。 3.2 评价策略比较 不同类型的用户看待影响力的角度不同：研究人员通常在意他们的研究成果能够给同行带来怎样的影响；项目资助者更看重受资助项目的再次利用情况以及公共参与程度，而学术机构通常需要其他竞争对手的对比数据。不同Altmetrics工具的数据来源可能相同，但是他们的评价策略却并不相同，评价策略的差异主要归结于适应不同用户需求的实际考虑。 通过表2可以看出，4种工具采用的评价策略主要划分为两类：一类基于聚合度量指标；另一类则采用分类的策略确立评价对象的影响力。
Altmetric.com借鉴文献计量学中期刊“影响因子”(Impact Factor)的定义，首次提出聚合度量指标Altmetric Score概念，利用Altmetric Score值描述科技论文的影响力。该工具从一系列数据来源网站自动计算相关提及数量并总结概括关于一篇论文所有的在线关注度，根据每个数据源相关影响的强弱为其赋予不同的权重，通过设计算法创建聚合度量指标。一篇论文的Altmetric Score值越大，说明其受到的网络关注度越高，该文章的影响力越高。 其余3款工具采取分类的评价策略，例如Plum Analytics将网络关注总量分为使用量、获取量、提及数、社交媒体、引用数5个维度[23]，每个维度底层包含相应的评价指标，从不同的角度反映评估对象的影响力。分类评价方法具有高度的有效性、可靠性、简明性和广泛的适用性[24]，需要依靠研究者综合分析、判断待评估对象影响力的高低，在某种意义上可以视作是一种定量评价与定性评价相结合的评价方法。此外，不同工具可能会定义相同的分类，比如ImpactStory和PLoS ALMs都定义了被保存(Saved)这个维度，但是二者收集的指标数据有所差别，同时处理这些数据的方式也并不相同，用户会选择跟踪他们感兴趣的影响力数据。 3.3 涵盖数据源比较 如何选择底层数据是设计软件时需要考虑的关键问题，不同来源的数据被用来测量不同类型的影响力，比如测量政策的影响力需要从政府出版的文献中寻找数据，而测量论文的学术影响力则需要从各个引文数据库中获取数据。根据数据的有用性决定哪一类数据源需要被收集，在很大程度上需要依靠开发人员的主观判断。总体而言，Altmetrics工具覆盖的数据源越多，收集多样化数据的能力越强，其评价结果就越客观、越精确，同时也降低了人为操作评估结果的可能性。本文将主要的来源数据库按照功能不同划分为社交网络、文献管理系统、引文数据库、在线数据仓储、出版平台等9大类，每种工具涵盖的来源数据库如表3所示。
4种工具对数据源的覆盖程度有所不同，Plum Analytics支持的数据源无论是类别还是数量上都排在第一位，共收集接近30余种数据源的数据信息。ImpactStory覆盖了18种数据源。Altmetric.com和PLoS ALMs覆盖的数据源同为15种。 Altmetric.com尤其值得关注，其底层数据不支持任何学术引文类数据库，表明该工具评价论文影响力的指标完全脱离了引文分析的范畴，Altmetric Score是一个对在线关注度可能的、主观的测量结果，需要人们打破传统的论文评价思维模式，认识到一篇论文通过引文分析和通过Altmetric.com两种方式得出的影响力概念有所区别。 3.4 具体评价指标 构建合理的评价指标，对数据源上的各种信息资源进行选择，其根本目的是科学、准确地反映社交网络对学术成果的在线关注程度，从而更好地满足用户的信息需求，表4列举了部分评价指标。
ImpactStory、Plum Analytics、PLoS ALMs根据评估策略确定具体的评价指标，从不同数据源收集到的数据需要被聚类归并至这些评价指标，Priem[7]将这种归并方式称之为细粒度(Fine-grained)聚类算法。细粒度聚类是实现Altmetrics的基本策略，Altmetrics工具收集的数据包含大量关于对象描述信息，如分类标注、浏览量、内容标签、评述等，为了能够从不同的粒度上观察和分析同一问题，需要选取适当的粒度将描述对象的数据进行聚类，尽可能地找出同类粒子，采用细粒度聚类算法，提升了计算效率，降低了结果的复杂性，同时也提高统计结果的准确性和完备性。 即使对于相同的数据源，不同工具收集的指标数据不一定相同，例如Altmetric.com收集Google+user数量，ImpactStory则收集Google+plugs posts数量，面对不同的研究对象，需要采用适合的、不同的指标进行评价[25]。同时，4种工具对所有涉及测量结果的在线活动保持一个清晰的审计跟踪，鼓励用户尽可能深入到底层数据。所有相关的Tweets数量、引用量或其他类型信息都会被直接观察到，用户可以自行对这些数据做定量分析，甚至可以创建一个新的指标或工具测量他们感兴趣的、特殊的影响力元素。 3.5 数据处理和发布功能对比分析 高效的数据处理和发布功能能够让Altmetrics工具更简易、迅速地处理数据，更适应用户需求和使用习惯，本文从数据处理和数据发布两个方面对4种工具进行比较，结果如表5所示。 在数据处理环节，核心技术是归并出现在不同平台上的同一资源的统计数据，关于某一资源所有的描述信息都应该被捕获，为达到这个目标，需要从全网域[27](Web-Scale)的角度设计系统。4种工具都采用DOI(数字对象唯一标识)技术标记对象，实现数据跨平台链[28]。此外，4种工具都提供开源的API脚本和算法，允许用户将其集成在本地应用服务系统，利用API接口进行数据收割，所有数据资源的DOI记录、元数据及其URL信息都会以XML的形式自动收割至元数据库。通过API，数据可以在数天或数周内被自动收割[29]，提高了数据收割的效率。 在数据发布环节，如何解释每个指标表示的意义成为软件设计者面临的难题，可以肯定的是对于某一学术成果，其获得的网络关注总量与Altmetrics指标呈正相关，因此，如何确定阈值以判断待评估对象有较高的影响力就成为关键问题。对此，ImpactStory和Altmetric.com通过引入基于语境的计量方法(Context-based Metrics)解释测量数据的意义，也就是常说的相对影响力概念。ImpactStory在每一个维度会根据基准计算一个百分比值，以论文为例，这个基准就是当年被Web of Science收录的所有论文，如果一篇2009年发表的文章被17个Mendeley读者保存，ImpactStory会根据当年所有被SCI收录文章的Mendeley读者数进行统计排序，得出该文章Mendeley读者保存数排在87%-98%之间，当排名阈值大于75%时，系统会自动将这篇文章标记为“highly saved by scholars”标签，这个标签不仅能够让作者获得自己作品影响力的直观印象，同时有助于提高作者个人主页的影响力[30]。此外，Altmetric.com、Plum Analytics、PLoS ALMs三种工具都提供可视化分析服务，通过对评估结果的可视化分析，研究者能够更直观地了解数据及其结构关系，大大提高情报分析的效果。 总体而言，Altmetric.com在数据处理和发布环节表现最为出色，体现出其良好的易用性和成熟度。ImpactStory对数据发布环节的各项服务支持度还不够。 4 比较结果 从以上多个方面对Altmetrics工具进行比较，总体来说，每个工具都有自己的独特之处： (1)Altmetric.com与其他三种工具相比在开发设计时更偏离传统，颠覆性地引入Altmetric Score展现学术成果的影响力。工具的易用性和成熟度出色，提供了比较全面的检索、跟踪和对比功能，支持不同文章之间的数据比较，它强大的可视化分析能力能够展示不同时间、地区数据的变化情况。Altmetric.com提供丰富、实用的插件，例如用户利用“Altmetric it！”插件，可以轻易获取一篇论文的评价数据，通过“Altmetric Bookmarklet”，用户可以对论文进行保存、标注、添加书签等操作。同时，作为一种信息过滤器，Altmetric Score还能够筛选出最前沿、最有价值的研究信息并将这些信息推送给研究者。
有别于其他工具，Altmetric.com支持的评估对象较为单一，无法追踪多样化的学术成果。它没有收集引文类数据信息，因此不能利用Altmetric Score直接测度科技论文的学术影响力[31]。由于该工具主要面向商业用户提供服务，对单个研究人员来说，使用该工具存在困难。 此外，采用聚合指标最大的优点是分析结果以数值的形式呈现，简单明了，但是在聚合指标计算过程中一些关键问题需要注意：如不同来源的底层数据权重如何配置，怎样设计合理、高效的算法，如何建立科学有效的验证模型等。 (2)在4种工具中，ImpactStory最适合单个研究人员使用，它面向用户提供完全免费的计量服务，服务方式比较灵活。研究人员利用该工具实施测量的过程非常简单，只需通过注册认证和URL映射，就能够创建一个作品集的主页。它支持多种测量对象，提供免费开源的API，基本能够满足个人用户的需求，测量结果并没有简单的罗列，而是通过排名百分比的形式解释各类数据的含义。遗憾的是ImpactStory可扩展性较差，二次挖掘、分析数据能力不足，不提供数据可视化分析服务。笔者分析出现这种情况的原因有两点：缺乏资金和技术支持，相比其余三种具有商业背景的软件，ImpactStory只是一个由基金会资助的非营利项目，缺乏对软件做个性化改进的能力；对单个研究者而言，往往更看重反映其研究成果影响力的原始数据，而机构或商业用户更在意对数据的二次处理和分析。 (3)Plum Analytics能够提供最大限度和最全种类计量科研产出服务，与同类工具相比，覆盖的底层数据源最多，数据收集能力最强。它对于机构用户的支持度较好，用户利用API能够轻易嵌入研究机构的服务体系，将Plum Analytics整合到机构页面上，例如研究机构通过它可以提供机构知识库的下载量和浏览量等信息。它提供可视化分析工具能够展现详细的引用分布图，帮助用户进行对比分析，最大限度满足用户需求。它还拥有灵活的统计功能，支持用户按照对象或指标自由组合统计结果，灵活度较高。不足之处在于用户界面比较简单，提供的增值服务较少，尤其在数据检索和展示方面，Plum Analytics不支持布尔查询，欠缺信息检索功能，也没有提供基于语境的计量方法解释指标数据，有待进一步加强。 (4)PLoS ALMs是最早提出利用Altmetrics指标进行单篇论文影响力评价并成功将这一理论付诸实施的工具。与Altmetric.com相比，PLoS ALMs覆盖了Web of Science、Scopus、CrossRef等引文数据库，可以推断该工具对科技论文的评价结果兼顾学术性与公众参与。它的易用性和可扩展性都比较出色，最大限度地提供论文的相关统计数据，数据更新频率高，以标准的格式生成报告。然而PLoS ALMs只能处理PLoS出版以及存储在PubMed Central上的论文，制约了它的应用范围。 5 Altmetrics工具的研究意义 5.1 培养研究人员信息素养 Altmetrics工具一方面为研究人员提供了开放、即时和个性化的信息过滤方式，方便研究者获取大量信息，使其与最新的研究前沿保持同步。另一方面，研究者通过Altmetrics工具追踪自己的研究成果，掌握这些学术成果被下载、引用、讨论等情况，广泛收集他人的评论和意见，对研究过程和研究结果做出评估。同时，研究者可以利用社交网络发表见解，与同行进行实时交流，及时反馈不同意见，在这一系列过程中加深对问题的看法，激发创造力。 Altmetrics对研究者的影响不仅仅是孤立的信息检索和信息获取，更重要的是通过使用这些工具，帮助用户实现对信息的搜索、分析、创新和分享，在这个过程中提高了用户信息表达和信息交流的能力，增强了他们的信息意识，进而提升研究人员的信息素养，积累终身学习的能力和经验。 5.2 拓展图书馆的服务 日益增长的在线学术行为改变了研究者利用信息、创造知识的方式，这些变化迫使图书馆在服务上不断创新，对于图书馆自身的发展是一种挑战，也是一个机遇。 (1)通过Altmetrics指标帮助图书馆甄别、选择高质量OA资源。OA资源作为馆藏资源的重要组成部分，越来越受到人们的重视，但是图书馆在收集OA资源特别是面对数据集、演示文稿等新型学术成果时，往往缺乏评判的标准，收集资源的质量难以保证。Altmetrics指标能够反映这些学术产品的影响力，在一定程度上为采访馆员提供参考，帮助他们筛选高质量的学术资源。 (2)利用Altmetrics工具加强情报分析服务。学科馆员进行情报分析的过程中，结合Altmetrics指标，能够快速跟踪学术交流体系中的其他环节(推荐、注释、驳斥、标记、使用、获取、评价等)[32]，有效改善传统引文分析时效性差，指标单一等弊端[33]，大大提高分析的质量。 (3)可以在机构知识库整合Altmetrics指标，不仅能测量本机构研究成果的学术影响力，更重要的是追踪这些成果在学术网络中传播的途径，了解传播的深度和广度，利用这些信息帮助机构管理者制定发展目标，发现合作伙伴，规划发展策略。 5.3 有利于构建全方位学术成果评价体系 现行学术评价体系，主要采用期刊影响因子、引文分析和同行评议等方法度量研究成果的学术影响力，然而这些评价方法存在一些缺陷：期刊影响因子利用期刊的平均影响力评价单篇论文学术水平的理论并不能让人信服；引文分析无法体现施引文献的引用动机[34]；同行评议存在很强的主观性。 Altmetrics工具能够针对单个学术成果收集引用数据，拥有基于内容的数据挖掘能力，强调公共参与，支持评价多种类型研究成果，更适应在多元化的学术生态系统下对研究成果进行评估。在学术评价过程中引入Altmetrics指标，结合同行评议、引文分析、期刊影响因子等传统的影响力评价方法，共同构成反馈时间更短、评价指标更丰富的学术评价体系。 6 结语 Altmetrics工具在开发过程中面临众多亟须解决的难题，相关理论研究不完善以及关键技术未突破都是产生这些难题的原因，要解决这些困难，可以从以下三个方面进行改进： (1)通用标准的制定对Altmetrics工具的设计开发至关重要[35]，工具和数据的标准化，可以让不同的工具轻易混合搭配相关数据，灵活满足不同群体的需要。然而迄今为止，开发这些标准还未被提上日程。 (2)成熟的Altmetrics系统需要强大的数据算法对数据进行聚类、计算、解释以及验证，分析海量数据在预测研究趋势方面非常有用，随着技术进步以及学术交流、出版环境的改变，Altmetrics工具需要提高数据收集、测量能力，完善测量指标，提高数据质量，提供基于语境的信息数据解释，加强指标间相关性展示。 (3)需要各方面展开合作，加强对Altmetrics的推广和利用，图书馆员需要熟悉Altmetrics理论，掌握相应工具，能够对所在机构的科研产出进行评估。同时，学术机构管理者和科研人员也需要变换角度，勇于尝试并接受新的学术成果影响力展现形式，完善学术成果评价体系，提升科研竞争力和学术成果揭示度。
标签：用户研究论文;
