大数据时代基于统计特征的信息关键词提取方法*_大数据论文

大数据时代基于统计特征的情报关键词提取方法*，本文主要内容关键词为：情报论文,关键词论文,特征论文,方法论文,时代论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。

大数据时代的来临，给网络情报研究带来前所未有的机遇和挑战[1]。一方面使情报研究拓展到更为广阔的领域，带来新技术和新方法，重新定位了情报研究工作的价值。另一方面，大数据本身使得政府、企业和科研机构等各行各业更加重视情报研究工作。然而，大数据带给情报研究者的不仅是结构化数据，更多的是非结构化数据。2012年，全球被创建和被复制的数据总量达到2.7ZB（1ZB=10亿TB），是2002年全球数据总量的2亿倍，其中文本、照片、音频、视频、医疗影像等非结构化内容超过85%[2]。互联网数据是大数据的重要组成部分，成指数增长的用户和网页使得网络成为信息的集散地、舆论的放大器、科研情报的产生地。伴随中国经济社会的转型，各种矛盾将会更充分地展现在网络上，国家和地方政府如何有效地利用海量的网络信息资源，尽早发现热点话题和突发事件，合理引导社会舆论走向，成为政府决策情报研究的重要议题。面对激烈的市场竞争，企业如何通过网络获取竞争对手的信息，进行市场预警、策略制定来取得竞争力优势成为企业竞争情报研究的重要议题。同时，科研人员如何在纷繁复杂的网络信息中提取研究价值点成为研究情报的重要议题。关键词提取是网络中热点话题发现和网络情报监测的基础性工作，一个质量好的关键词可以直击热点话题的核心，成为情报监测的重要线索，提升政府决策情报、企业竞争情报和研究情报发现的能力。

首先，从决策情报监测中最常用的网络舆情监测来看，网络舆情是人们关于现实社会中各种现象，某些焦点问题所表达的态度、言论、意见和情绪等在网络虚拟空间中的表现总和，主要通过网络新闻媒体、论坛、博客和微博的形式加以传播。查看网络舆情监测系统使用文档可知，几乎所有的网络舆情监测系统均设置关键词提取功能，而关键词提取也成为网络舆情监测系统中首要的一个环节。网络舆论的源头来自一系列现实生活中的事件，事件可以进一步分解为话题，话题又是由关键词组成。相关研究表明：两个关键词可以表示一个话题，三个关键词可以确定一个话题。可见，在网络环境下迅速找到合适的关键词来发现话题，进一步确立事件的源头，对于舆情监测是非常重要的一个过程。

其次，从企业竞争情报的监测来看，企业竞争情报监测内容包括对内和对外两部分，对内监测的内容主要是企业在社会中的形象、企业文化的社会认同度等企业舆情状况；对外监测的内容主要是企业经营动向、经营收入、战略动向、市场运营状况等。竞争情报已经成为网络环境下企业核心竞争力之一，目前市场上也有专门用于企业情报监测的系统，对外情报监测多建有丰富的关键词目录，而对内企业舆情监测内容有较大的不确定性，需要专门对网络中的信息进行关键词自动提取来确定舆论导向。

最后，从研究情报，特别是社会科学研究情报监测来看，传统的文献情报分析可以部分满足科研人员了解某一领域的现状和发展趋势的需要，科研人员只需按照学科分类来进行文献检索和分析即可。而对于非文献型情报，其内容已不限于某一科学领域的情报，同时涉及经济、政治、文化及社会等方面的综合情报，关键词提取将对该类型情报收集、鉴别筛选提供可行性的线索和素材。

于是，网络环境下关键词提取方法的研究对于支撑决策情报、竞争情报和研究情报监测具有重要的应用价值，是情报学中的理论研究前沿，并朝着交叉科学的态势发展。

1 相关研究的现状及其存在的问题

一般而言，关键词是对表述论文主要内容有实质意义的词汇，是为了满足文献标引或者检索工作而从论文的题名、摘要和正文中选取出来的词或词组。本文将关键词的含义限定为是能够表示网页主要内容的相关词语。关键词提取是通过对核心词语的统计和语义分析，从单个网页或者一个网页集（语料库）中选择合适的、能够完全表达主题内容的特征项集的过程。由于关键词是表示网页主题意义的最基本单位，所以在自动摘要、信息检索、文本聚类、自动问答、话题跟踪等自然语言处理和中文信息处理领域通常都要先进行关键词提取，而且关键词提取对于情报监测和跟踪也有着重要的线索价值，促使情报工作从不确定性向确定性转变。

关键词的提取方法主要分为以下四类：

（1）基于语义的方法。在词典的帮助下，通过词法与句法分析进行自动分词、词性标注，使计算机能够理解多种信息片段、词汇间的语义关系，进而通过复杂计算来获得关键词。文献[3]提出一种SKE算法，该算法运用词语语义相似度构建一个词语语义的相似性网络，再结合社会网络理论，使用居间密度词语语义的关键度，最后将词语语义关键度和词语的统计特征值加权来获得关键词。

（2）基于机器学习的方法。通过对大量训练语料库进行训练，获得各项系统参数和模型，再将模型应用于测试语料库来检验关键词提取效果。在训练集中，把关键词提取看作是有监督的分类问题。常用的模型有支持向量机、朴素贝叶斯、最大熵、决策树等。

（3）基于复杂网络的方法。根据候选特征词之间的关系，按照既定规则构建一个复杂网络或者加权复杂网络模型，计算节点权重系数和介数来表示节点综合值，综合值大的即为关键词。这个方法的计算量往往过大，面对海量文档或者考虑网页效率时，这种方法的缺陷显而易见。

（4）基于统计的方法。通过词语的统计信息来提取关键词，最常用的是词频一逆向文本频率（TFIDF）指标和N-gram方法，这类方法只需统计相关词语的词频和使用过滤技巧，缺点在于提取精度不高。文献[4]提出一种改进的TFIDF网页关键词提取方法，结合网页内容的结构和词语词性特征，对经典TFIDF公式进行改进，构建了一个候选特征词的综合评价公式来提取关键词。

这四种方法的本质区别在于从自然语言理解、机器学习、复杂网络和统计等不同领域和角度来处理关键词的提取问题。本文提出的关键词提取算法是属于统计方法的范畴，是基于词语统计特征的方法，对传统TFIDF方法有较大的改进。它首先采用词语TfDf指标的离散系数的办法来过滤网页文本的噪声词，然后对产生的候选关键词进行词共现概率分布偏度的分析，再结合TFIDF和候选关键词出现的位置信息构建新的关键词提取评价函数TFIDF-SK，最后对函数值进行排序，即实现关键词提取。

2 关键词提取方法的构造

2.1 中文词语的特征及自动分词

中文句子是词语和单字的组合，句子主干部分是由名词、动词、形容词、代词、量词等实词构成，而介词、连词、助词等虚词没有实在意义，一般不能充当句子主要成分。所以在进行中文关键词提取时应当剔除虚词和单字。

中文不像英文那样，词与词之间有天然的分隔符，单个字就可以作为一个关键词。中文词汇大多是由两个或两个以上的汉字组成的，并且句子是连续书写的，这就要求在对中文文本进行自动分析前，先将整句切割成小的词汇单元，即中文分词。中文分词是自然语言处理的热点和难点，目前已有比较成熟的分词系统，如中国科学院的ICTCLAS系统、CRF中文分词系统和盘古分词等，这些分词系统均能自动标注词性，为自动过滤虚词和停用词提供了可能性。

2.2 网页文本的结构特征及词语统计特征

Web页面大部分是以HTML的形式编写的，有着较为严格的结构。HTML是用于描述网页文档的一种标记语言，通过成对的标记符号来标记要显示网页的各个部分，如标签定义HTML表格，