基于情感分析的altmetrics学术质量评价方法研究，本文主要内容关键词为：学术论文,评价论文,质量论文,方法论文,情感论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
Altmetrics是以Web为特征的定量研究方法，起源于网络计量学和文献计量学，通过收集新闻、博客、论坛等社交媒体提及量和分享量评价科研产出的影响力[1]。Altmetrics的目的是测量科研产出的影响力大小，并为科研质量评价提供建议。其主要功能是论文过滤器[2]，追踪科研产出在社会网络的浏览量、获取量、提及量、评论量等数据，并按照不同指标的权重计量影响力分值，从而对在线科研产出的影响力作出评价。Altmetrics的应用涉及图书馆管理、数据库知识管理、期刊影响力排名、学者影响力评价、科研资助等不同领域。但是，altmetrics存在缺陷，忽视学术互动的内容，不能用于评价学术质量。为此本文提出基于情感分析的altmetrics学术质量评价方法。 1 前言 1.1 Altmetrics评价学术质量的优势 Altmetrics的应用价值在于追踪学术成果的网络影响力，通过影响力分值的大小为读者、学者、图书馆、科研资助机构等提供评价学术成果排名信息。然而，读者们在了解学术影响力的同时也希望知道研究成果的质量如何。例如，如果PLOS ONE某篇文献的影响力分值明显高于其他类似的文献，那么读者可能会认为该文献的质量高。根据altmetrics分值推断学术成果质量有一定的合理性，主要原因有： (1)altmetrics的测量指标具有质量评价的属性。提及、评级、喜欢、点赞、评论、推荐等，这些指标不仅具有主观评价的倾向，还具有广泛的同行评议特征，因此可以作为质量评价的方法。 (2)altmetrics较传统文献评价方法有明显的优势。体现在：①评价及时，可以跟踪和收集学术成果一天内的影响力；②可以评价多种类型学术成果，不仅可以评价学术文献，还可以评价数据集、软件、博客、视频等。 (3)适应Web 2.0环境下学术评价的需求。学术出版已不仅仅局限于传统学术出版物，开放获取资源、微博、博客、数据集和源代码等在线科研交流逐渐成为科学家学术交流的主流方式，最新学术成果的在线发布受到越来越多学者的关注和支持[3]，altmetrics可以反映这些学术成果的关注度和认可度，为学术质量评价提供借鉴。 (4)评价指标和数据源的多样性。Altmetrics数据来源包括主流新闻、博客、社会媒体、参考文献管理网站、同行评议网站等，指标包括获取、浏览、保存、提及和社交媒体等。Altmetrics提供的是对于学术文献的质量和影响力的即时反馈，丰富的指标和数据源可以提高学术影响力评价的公正性，避免片面性，多维度反映学术文献质量和影响力[4]。 1.2 Altmetrics评价学术质量面临的问题 Altmetrics指标体系作为评价学术成果网络影响力的工具，没有区分影响力的性质，在评价学术质量方面存在一定的不适宜性： (1)评价结果不准确，忽视了评价参与者态度的多元性。引用行为可以是对引用内容的赞同态度，也可能是作为反面例子的引用，需要进一步的分析和判断。学术成果的影响力很高，但是质量并不一定很高，比如altmetrics指标测量的学术评价内容不一定总是意味着积极的学术评价，特别是对于有争议的出版物，评论者的态度通常是多样性的。因此，有必要对社会媒体评论的内容进行情感分析。 (2)缺乏质性评价内容。定量方法在评价质量方面存在不足，容易产生偏差，altmetrics分值侧重度量学术成果的关注度，而不是质量[5]。Altmetrics通过量化指标对科学文献的影响力进行评价，忽视了质性分析对评价的重要意义。 (3)社会媒体指标的数据源和权重结构不够科学规范。有研究认为部分社会媒体指标在评价学术影响力方面的价值还无法确定。如推文量可以预测引用量但不一定反映学术影响力[6]；书签、收藏、点击或阅读等指标不一定是以学术研究为目的，而且这些测量结果不一定总是意味着积极的学术评价，因此不能作为评价标准。 综上，定量指标数据可能会降低altmetrics质量评价的准确性。为了提高altmetrics的科学性，需要借助内容分析工具，分析学术互动内容的情感，判断学术交流的态度。为了尝试解决质性与量化结合评价学术质量的问题，本文提出基于情感分析的altmetrics学术质量评价模型。 1.3 Altmetrics指标情感分析理论 1.3.1 基本思想 情感分析是对微博、Twitter、论坛等社交媒体平台用户的观点、喜好、情感等主观性文本内容的分析挖掘，提取有用的数据[7]。Altmetrics与情感分析结合评价学术质量的基本思想：利用altmetrics工具追踪Twitter、微博等社交媒体平台关于目标事件的提及、讨论、评价和引用指标，收集相关的数据和文本信息，分别建立文本集和数据集。根据数据集信息计算传统的altmetrics分值，该分值可用于评价学术成果的影响力；同时，借助情感分析的方法对文本集的内容进行情感倾向判断，将定性的情感因素转化为定量的情感值，然后根据指标权重及情感的平均值计算altmetrics加权综合情感分值。Altmetrics加权综合情感分值与原有的altmetrics分值相结合，实现了定量与定性评价的结合，为评价学术质量提供参考。 1.3.2 相关研究 国内外学者很重视从社交媒体情感分析的角度研究altmetrics指标。K.Holmberg等[8]研究了天文物理学家微博的情感态度与链接内容的关系，认为学者们倾向于分享知识，而不是发表评论，对推荐内容的态度通常为积极的，但是不同微博提及的情感程度是不同的，因此需要根据特定语境分析altmetrics指标。N.Friedrich等[9]分析了链接科学论文的推文情感态度，发现目前的情感分析工具还不能精确的判断推文对科学论文的情感极性，应该提高假积极情感的识别能力。Canvasser E[10]分析了Twitter和LinkedIn对腔道泌尿外科年度会议(WCE)的情感标签，认为社交媒体推荐和提及可以增加会议内容在网络上的曝光率。在国内，邱均平等[11]提出捕获学术互动的具体内容，对学术成果进行质性和量化双重评价。刘春丽[12]认为不能单纯比较altmetrics分值的大小，应该考虑在什么样的语境下论文或其他内容被使用、评价和讨论，并利用这些数据进行定量和定性评估。余厚强等[13]认为科研成果是被谁的微博提及和以怎样的方式被提及，比起单纯的数字更加有价值。 社交媒体提及、文献引用、论坛讨论、学术网站评论等是统计所追踪学术内容对他人行为的影响。但是不同社会媒体行为的发布者对同一学术内容或学者的态度可能各不相同，特别是对于有争议的评价对象[14]。例如两个学者在博客中都提及了同一篇学术文献，但是他们的态度可能不同；即使同一个读者，在不同时期对同一篇文献的态度也可能是不同的。然而，现有的altmetrics分值计算方法忽视了评论发布者对评论对象的态度因素，没有计算情感认可度。因此，altmetrics指标情感分析具有理论和现实意义。 1.4 情感分析的指标类型 学者们已经习惯使用许多不同的社交媒体网站交流学术问题，博客针对紧迫的科学问题提供权威意见[8]，学术论坛是共同感兴趣的人沟通交流学术问题的平台，微博具有快速便捷的特点。Altmetrics指标和数据源多样，但并不是所有的指标都需要情感分析。其中分享数、喜爱数、推荐数、书签数、保存数、订阅数、点击量、读者数、下载量、浏览数等定量指标缺乏对应的情感分析文本，不具备情感分析的条件。提及量、引用量、讨论数、评论数量化指标存在链接的文本内容，可以分析读者的情感态度，确定情感分值。因此，本文情感分析的指标类型为：提及、引用、讨论和评价，具体指标和情感分析说明如表1所示。
本文的研究目的和意义在于探索altmetrics与社交媒体情感分析相结合的方法，并尝试构建altmetrics社交媒体指标情感分析的方法模型，以实现altmetrics指标定量与定性评价相结合，使评价结果全面而细致，为学术质量评价提供借鉴。 2 Altmetrics情感分析模型构建 2.1 模型构想 本文根据加权综合运算法提出基于情感分析的altmetrics指标评价模型。本文以学术引用、学术网站评价、新闻博客提及和论坛评论文本为例，收集学术互动文本数据集，建立情感分析数据库，并采用基于情感词典的方法对发布者的观点、态度进行情感极性分析。根据原来altmetrics指标的权重和情感分析的平均值，计算altmetrics加权平均情感值分值的计算过程。Altmetrics指标情感分析模型如图1所示。
图1 Altmetrics指标情感分析模型 模型设计的科学性和合理性分析如下：学术成果的质量要通过追踪提供的链接去阅读相应的评论来判断[5]。Altmetrics影响力分值体现学术成果的被关注度，altmetrics情感分值反应关注者的态度，两者从不同的层次和方面分析学术互动信息。因此，将提及、评价、讨论、引用指标的文本内容情感分析嵌入altmetrics评价模型是合理的。 2.1.1 指标替代 情感分析可以将潜在可量化统计的提及、讨论、引用、评论指标的文本集转化为情感分值，将这些情感分值分别替代原始的altmetrics指标中的提及数、讨论数、引用数、评论数，这样就可以实现定量与定性评价相结合。例如，所有评论文本的情感分值可以代替评论数指标，具体内容如表2所示。
2.1.2 社交媒体指标权重值 由于不同类型的指标和数据源对学术成果影响力和质量评价的贡献度是不同的，因此altmetrics情感分析指标的权重参照原有的altmetrics指标的权重值。部分指标的权重如表3所示[15]。
2.2 实施步骤 新闻媒体、学术社交网站、学术论坛、文献数据库、学术微博和博客都会提及、引用、讨论或评论学术研究成果，并且评论文本内容短小，易于追踪和分析，因此将它们作为本文altmetrics社会媒体情感分析模型的研究对象。情感挖掘的过程非常繁琐，简单归纳为3个部分：文本预处理、情感信息提取和情感分类。Altmetrics社会媒体情感分析的框架模型由文本集数据库、数据预处理、文本情感分类、altmetrics分值计算4个模块组成(见图2)。
图2 Altmetrics情感值产生过程 2.2.1 文本集数据库 提取社交网站、学术论坛、学术微博和博客情感信息的步骤如下所述：①通过API链接学术社交网络、学术论坛、学术数据库、微博、博客等数据源。②利用关键词、唯一标识符或文本串对应方法[16]，将追踪对象在所链接的数据库中收集提及、评论、引用和讨论的语句，并将所追踪内容组成文本集。收集文本时需要选择文件分别储存社交网站、学术论坛、文献数据库、学术微博和博客收集的提及、评论、引用、讨论文本集。③收集的文本从第一行开始，在每条结尾处添加“EOT”以区分不同的内容。 2.2.2 数据预处理 数据源不同，数据预处理的方法也不相同，如对论坛文本，在预处理步骤中要去除不必要的文字，删除常用词、错字、数字、符号和特殊字符。文本预处理包括分词、词性标注、句法分析等[17]，按照语法规则对社交网站、学术论坛、学术微博和博客的提及、评论、引用、讨论等信息内容进行分词。采用Stanford Parser句法分析工具，对文本集中的每一个句子进行句法分析。情感词与评价对象存在依存关系，则保存并标记该文本内容与情感词。例如，一条微博记录中提到“某治疗方法非常有效”，则保存该记录，并标注情感词“非常有效”。 2.2.3 情感分类 对预处理后的文本要进行情感极性判断，通过构建语义词典和机器学习的方法对文本进行情感分类[18]。使用HowNet作为情感词典，并根据需要对情感词典进行人工扩展，情感词举例如表4所示。分析单句中的情感信息，将每个单句分词后的结果与扩展后的HowNet词典进行逐一匹配，并记录其情感极性值[19]。由于修饰词可能改变主观词的强度或极性，因此需对初步确定的情感极性进行调整。如果否定词是对另一个否定词进行否定，则表示该处为双重否定(即肯定)，因此，情感极性保持不变；如果否定词是对情感词进行否定，则将其情感极性进行反转；如果是对包含程度副词的词组进行否定，则将其表示的程度进行调整。如果程度副词与情感词存在依存关系，则调整情感词的情感极性；如果不存在，则保持情感极性[20]。
情感极性的量化需要考虑修饰词的级别[20]，“或许、稍微、大概、一定程度”等轻度修饰词或没有程度词修饰的情感词默认程度词级别为1或-1。“非常、很、特别”一类的词定义为2或-2。把情感值分为5个等级[9]，积极情感的情感值设为1，强烈积极情感的情感值设为2，消极情感的情感值设为-1，强烈消极情感的情感值设为-2，中立情感的情感值设为0。最后将所有量化后的情感值分类别导入到Excel表格或其他统计软件中，计算平均情感值，并根据不同情感词的权重计算情感分值。程度副词的权重设置如表5所示。
2.2.4 Altmetrics情感分值的计算 原始altmetrics分值的计算公式为：
其中AC表示altmetrics分值，N、B、Q、F、W分别表示新闻、博客、论坛、朋友圈、微博社交媒体。Nmax、Bmax、Qmax、Fmax、Wmax分别表示各类型社交媒体具体网站选取的数量；Nni、Nbi、Nqi、Nfi、Nwi表示在各类型社交媒体上的第i个网站上的提及量或分享量等指标类型；Wnij"、Wbij"、Wqij"、Wfij"、Wwij"表示各类型社交媒体第i个网站第j次提及(或评论、引用、讨论)调整后的权重值。 Altmetrics情感分值的计算方法与原始altmetrics分值的计算原理相同，将提及、评论、引用、讨论的平均情感值代替提及数、评论数、引用数和讨论数纳入原有altmetrics分值的计算过程，平均情感值代表读者对这篇文献的情感值的集中趋势。Altmetrics加权综合情感分值的计算公式为：
其中AS表示altmetrics加权综合情感分值，Nmax、Smax、Fmax、Mmax、Bmax分别表示新闻媒体、社交网站、学术论坛、微博和博客具体网站选取的数量；Sni、Ssi、Sfi、Smi、Sbi分别表示新闻媒体、社交网站、学术论坛、微博和博客的第i个网站上的提及、评论、引用、讨论的平均情感值。WSnij"、WSsij"、WSfij"、WSmij"、WSbij"分别表示各类型社交媒体第i个网站第j次提及(或评论、引用、讨论)调整后的权重值。最后，AS分值为学术成果质量评价提供借鉴，为文章排序、科研资助、信息筛选和过滤提供帮助。 3 讨论 3.1 基于情感分析的altmetrics评价模型的应用前景 由于社交媒体工具的快速发展已经影响到人们生活的方方面面，人们已经习惯于借助社交媒体发表个人观点和寻求帮助，互动交流信息在社交媒体中的大量存在具有高度的可研究性。基于情感分析的altmetrics评价模型将定量评价与定性评价相结合，具有广泛的实践性和适用性。Altmetrics情感分值不仅可以为学术质量评价提供建议，还可以将读者的情感和态度反馈给被研究对象，为他们的自我学术评价提供参考。此外，应用基于情感分析的altmetrics评价模型还可以尝试解决网络检索排名问题。 3.2 基于情感分析的altmetrics评价模型面临的挑战 基于情感分析的altmetrics评价方法模型在实施过程中将会面临更多问题。目前可以预想的主要挑战有： (1)情感值与其他altmetrics指标结合的复杂性。情感值可能对原有的altmetrics指标产生影响，如果altmetrics社会媒体情感值为负值，会对其他的指标如浏览、保存、获取、推荐等产生什么影响?如果微博、博客、社交网站的altmetrics提及、评论、引用、讨论指标的积极和消极情感值十分接近，那么如何评价学术质量?特别是针对那些有争议的文献。 (2)技术实施的困难性。这个模型的实施过程相比原有的评价模型更为繁琐和不易操作，研究者要在追踪altmetrics量化指标的同时，分析社会媒体学术互动文本的情感倾向，并将情感值转化为altmetrics的量化数据。此外，数据的清洗过程也很重要，这样明显会增加工作难度。 (3)缺乏模型有效性验证。该模型尚不成熟，需要在实证研究的过程中检验模型的可靠程度，否则会让学者难以接受，产生质疑。Altmetrics具有广泛同行评议的特征，建议将altmetrics情感值排名结果与专家评审结果进行比较分析。由于上述的技术问题尚未解决，因此本文没有进行模型有效性验证。 (4)累加了情感分析的altmetrics加权评价模型还需要修正。由于缺乏实证研究，因此不能准确判断该模型的局限性。该模型区分学术研究热点与学术质量的能力还不能证实，分值结果只能为学术质量评价提供借鉴。
标签：文本分类论文; 文本分析论文; 情感计算论文; 情感分析论文; 社交媒体论文;
