基于主题模型的科技监测方法及应用研究，本文主要内容关键词为：模型论文,方法论文,主题论文,科技论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
doi:10.3772/j.issn.1000-0135.2015.008.007 1 引言 在知识经济和大数据时代环境下，随着科技的蓬勃发展，科学技术已经广泛渗透到各个领域并发挥着越来越重要的作用。面对众多的科技创新和科研管理问题，科技监测在追踪科学技术的发展态势、为科学研究和技术提供科学依据方面发挥着巨大的作用[1]。随着科技创新环境和关联要素的日益多元化和动态复杂化，如何从海量文献中准确而快速地梳理相关领域研究的发展动态、挖掘出研究热点主题与演化趋势，找到科技创新突破口，成为科技监测发挥重要作用的基础。 科技监测是指以科学信息、数据分析为基础，以数据挖掘、信息抽取、知识发现等技术为手段，对科学技术活动进行动态监测、分析及评估的方法。其目标是：监测技术发展状态、把握技术机会、降低科研风险，从而提高创新效率[2]。科技监测的相关研究已经得到了众多研究人员的关注，主要围绕着学科前沿与学科热点监测、技术机会监测、数据挖掘等方向展开。学科前沿与学科热点监测主要集中于主题发现与追踪和新兴趋势监测两方面。其中，主题发现与追踪是指监测某主题，分析该主题国内外研究现状和发展趋势，包括对研究热点、主题分支、论文增长情况、各国竞争态势、领先的学术研究机构及研究者进行监测研究等；新兴趋势监测是指科学研究中极具发展潜力的研究方向，包括对有效性和关注度显著增加的主题领域进行的监测[3]。技术机会监测是指通过对某领域内已有技术在横向和纵向的发展趋势及相互关系的挖掘，推断该领域即将可能出现的技术形态或技术发展点，其开展需要结合监测技术与文献计量分析[4]。数据挖掘是通过分析大量数据来揭示有意义的新的关系、趋势以及最终可理解的模式的过程[5]。数据挖掘一直是科技监测中的热点研究领域，同时也是面向科技监测的基于科技文献内容中产生价值效用的最高利用。 主题模型是指将一篇文档理解成由若干隐含主题组合而成的，这些主题由文本中的特定词汇体现。每篇文本是主题的混合分布，而每一个主题是一组词汇的混合分布[6]。主题模型能够在不需要计算机真正理解自然语言的情况下提取可以被人理解的、相对稳定的隐含语义结构，从而为大规模数据集中的文档寻找一个相对较短的描述。 随着科技监测应用对象与范围的扩展，迫切需要创新与完善现有科技监测方法体系，以突破现有研究素材主要来源于科技期刊论文、主题表达简单、文本加工方法受限于文本技术处理制约、研究方法依据主要以文献计量和共引共现为主等局限。基于此，本文拟将主题模型方法引入科技监测方法研究中，以科技报告为研究素材，利用主题模型中的主题演化判定，以及主题强度度量和主题衍生应用等方法完善科技监测技术方法体系，以为科技监测研究提供新的研究思路与方法支撑。 2 有关主题模型与科技监测方法研究概述 2.1 主题模型的有关研究 主题模型刻画了文档的概率生成过程，是一种产生式概率模型。近年来随着各种主题模型的不断深入发展，其在自然语言处理文本分类以及信息检索等方面都有广泛的应用，在科技创新、科技管理等研究领域也得到了相关学者的关注。 国外的Deerwester等在1990年提出的LSA(Latent Semantic Analysis)模型[7]，是主题模型的早期代表。该模型主要是利用文本集合中词与词之间的共现信息来定义潜在语义关系的方法。随着潜在语义分析模型在文本表示应用的不断发展，Hofmann在潜在语义分析的基础上提出了概率潜在语义分析模型[8]，它假设每篇文档是由多项式随机变量(主题)混合而成，而文档中每个词由主题产生，文档中不同的词可有不同的主题。David提出了隐含狄里克雷模型(Latent Dirichlet Allocation，LDA)[9]。LDA模型是一种对文本数据的主题进行建模的三层贝叶斯产生式概率模型：文档层、主题层、特征词层。LDA模型假设一个文本是由一个或多个隐含主题混合组成的，同时每个主题由文本中的特征词体现。其中，隐含主题看做是词汇的概率分布(Topic-Word)，单个文档可以表示为这些隐含主题的概率分布(Doc-Topic)。 国内的张晨逸等提出了MB-LDA模型，他们将Twitter中的RT和@两种关系对应于文本关联与联系人关联，把这些因素考虑到主题模型中，从而建成具有微博社区特色的主题模型[10]。此外，周朝菲提出了TF-LDA模型，该模型将新浪微博的文本集按照用户领域与发表时间进行聚合，从而减轻短文本带来的噪声，并以相对熵计算各个微博主题分布向量之间的相似度以实现推荐算法[11]。 2.2 科技监测方法的有关研究 到目前为止，学术界对科技监测的界定仍然没有达成共识，因此采用科技监测的方法也是多种多样，其中有些方法是针对热点分析中存在的问题进行一系列的改进；有些方法是侧重于新兴趋势的发展。通过对国内外相关文献的检索与归纳分析，本文总结的科技监测所采用的基本方法分为以下五类： (1)基于统计的科技监测方法。该方法是通过如题名、关键词、作者、机构、年代等进行实体外部特征的分析，进而从时空角度阐释相关演化情况、研究发展，从而追踪科技动态信息的一种方法。这种方法简单易行，被较多研究人员所采纳。例如，马费成和张勤采用词频统计分析的方法对国内外的知识管理研究热点进行了分析[12]。但是弊端也是显而易见的，词频的阈值确定比较困难，研究结果主观性较强。 (2)基于复杂网络的科技监测方法。复杂网络理论已经在不同领域得到了较大发展，在科技监测方面的研究正在日益受到关注。例如，刘宁宁等对复杂网络理论在科技监测过程中的多个应用点进行了研究[13]。首先，研究了一种利用实体网络属性进行作者重名分析的方法。其次，通过分析主题词共现网络快照序列中节点网络动态特征，研究了融合复杂网络理论的用于科技领域监测的学科演化分析方法。最后，运用传统的文献计量模型，通过主题词共现网络中实体的网络属性分析，研究了基于度、中介性等个体属性，评估作者的学术影响力及领域权威性的方法；Rajaraman和Tan利用自适应谐振理论ART算法来改进目前主题监测和追踪中存在的聚类问题[14]。该算法主要包括：初始化网络和参数、加载网络和聚类结构、利用模糊ART学习算法训练网络、修整网络并剔除低置信度分类节点、保存网络和聚类结构等。 (3)基于共现的科技监测方法。上世纪末，科技情报研究人员开始将共现分析方法大量地应用到科技监测活动中，主要基于文献耦合、共词分析与共引分析三个方面展开研究。文献耦合是指同时引用同一篇文献的两篇或多篇文献的现象，两篇或者多篇文献共同拥有相同的参考文献的数量被称为耦合强度[15]。如Morris等基于此原理设计并开发了基于文献耦合的研究前沿探测系统DIVA[16]；共词分析方法是内容分析方法的一种，其原理主要是对一组词两两统计它们在同一篇文献中出现的次数，对这些词进行聚类分析，并通过引入时间轴分析这些词所代表的学科和主题的知识结构变化[17]；共引分析方法是指通过文献的引用或被引用来研究文献之间的联系与变化，进而研究文献内容之间的关联、渗透与交叉等关系，是从文献外部特征项来间接描述科学文献内容的变化[18]。通过共现分析方法监测科技活动，能够获得该领域学科的研究结构以及与相关领域的知识联系，并可以从时间序列上比较不同时期的学科研究结构，以此获得该研究领域发展、渗透、交叉和兴衰等趋势的知识。但是，文献耦合与共引分析主要以文献的外部特征为主，而共词分析方法一般将单个概念作为分析对象，无法准确表示词汇的语义关系。 (4)基于爆发词的科技监测方法。Kleinberg在2002年提出爆发监测的算法，其主要思想是寻找文献集合中突然增加的词汇[19]。爆发监测技术是基于概率机对不同时间段上出现的关键词词频进行建模。概率机的状态确定了某一时间点上词出现频次的期望值，其状态的改变由概率模型控制。与在一个时间段里的词频阈值监测热点的出现不同，爆发监测主要是对某些低频词但却有一定的情报意义的词进行监测。 (5)基于文本挖掘的科技监测方法。文本挖掘方法是利用自然语言处理技术从文本中抽取显性或隐性知识，并在抽取的知识信息的基础上探寻知识间有意义的关联或模式的过程。人们对知识的需求越来越迫切，利用文本挖掘方法进行科技监测活动已经成为一项重要的任务[20]。在科技监测中，利用该方法可以有效地进行监测项目的相关的现状和发展趋势，并对其进行持续的跟踪。同时，通过专利文献等载体形态中的技术内容掌握竞争对手的优势、劣势，制定相关科研策略。 3 基于主题模型的科技监测方法的构建 将主题模型方法应用到科技监测中，可以突破现有的主题表示和文本处理的局限，通过“文档——主题——特征词”三层拓扑结构进行文档建模和样本的训练，以推断和识别出主题的强度变化，从而解决科技监测中的主题演化分析问题。 科技文献元数据是指描述科技资源的一种结构化的数据，是对科技文献信息资源的结构化的描述，包括标题、作者、关键词、引用文献、文献发表的期刊名或学术会议名等描述性元素。对科技文献元数据进行统计形成随着时间序列的分布，可以清晰地描述科技文献信息的特征。基于此，本文在主题模型中引入科技文献元数据的时间分布，即主题随着时间序列而形成的变化，得到主题在时间序列上的演化脉络，可以更好地协助科技监测中的主题演化、追踪等工作。此外，由于主题模型的应用不局限于主题挖掘、主题追踪、主题演化等方面，还可以通过一些距离公式(如KL距离)计算出两篇文档的语义距离，从而产生相似度监测、推荐监测等衍生功能，为科技监测的扩展衍生应用提供发展的空间。 综上所述，本文构建基于主题模型的科技监测方法，该方法的核心是以主题为研究对象，其基本的思路是：首先，以“文档——主题——特征词”拓扑结构为依据构建文档表示空间，将收集的某领域文档集合进行时间片划分和文档预处理工作；然后，依照主题建模方法对己处理的文档集合和所形成的特征词进行主题建模，从中挖掘出隐含的主题；再次，对主题强度进行量化计算，探索在时间序列维度内不同的主题强度变化和主题内部演化规律；最后，结合具体的科技监测服务内容扩展基于该方法的衍生应用。基于主题模型的科技监测方法的构建思路与结构设计如图1所示。 其中，主题强度度量、主题演化判定和衍生应用是基于主题模型的科技监测方法的三个主要构成，下面将对这三个主要内容进行详细的论述。 3.1 主题强度度量的涵义与模式 科技监测任务中对主题分析主要是挖掘主题的强度及变化，即对主题强度进行量化。依据LDA模型中的“文档——主题”概率分布和“特征词——主题”概率分布处理，主题强度可以利用“文档——主题”概率分布以及与主题相关联文档在各个时间窗口内散布状态的计算来实现。通常情况下一篇文档包含多个主题，一个主题存在于多篇文档中。假如采用文档d中主题k所占的比例来代表主题强度，该比例由主题抽取后得到的“特征词——主题”概率分布和“文档——主题”概率分布计算得到。 根据对文档的度量范围与时间长短，将主题强度度量模式划分为全局主题强度度量和局部主题强度度量。 (1)全局主题强度度量 全局强度度量是指通过Gibbs抽样推理算法直接获得抽取的全局主题以及两个最重要的概率分布[21]：“特征词——主题”概率分布
和“文档——主题”的概率分布θ。本文以“文档——主题”作为衡量全局主题强度。
图1 基于主题模型的科技监测方法的构建思路与结构
其中，M为与主题k概率分布相关的文档数量。在此模型框架下，每篇文档是多个主题的不同比例混合，即每篇文档按概率属于多个主题。 (2)局部主题强度度量 局部主题强度度量是通过对每个文档给出的所含主题的概率强度，在每个时间窗口内根据文档出现的频率来度量，即在每个时间窗口计算其所含全部文档的“文档——主题”概率的平均值。这样得到的每个主题在不同时间窗口内的活跃程度就是局部主题强度。
其中，N为t时间窗口内与主题k概率分布相关的文档数量。 3.2 主题演化判定的涵义与类型 主题演化是指对所发现的主题在时间序列维度上的研究，即在主题模型中引入科技文献元数据的时间分布，然后挖掘各个时间段内不同的主题强度变化情况和主题内部演化规律情况。本文通过探讨主题演化方式中子主题与全局主题经过主题相似度计算后可表现出的形式，将主题演化方式分为无效演化、脉络演化和新生主题演化三种类型，主题演化的特征、阐释和图例如表1所示。 上述三种的主题演化方式各有各的优点，无效演化可区分主题演化是否具备某种规律性，脉络演化可剖析全局核心主题在各个时间窗口分布的局部细微动态变化。在脉络演化的基础上，新生演化可确定某个研究主题的诞生时间窗口。
3.3 基于主题模型的科技监测方法的衍生应用 主题模型如何结合科技监测任务，有效扩展其衍生应用的范围，是基于主题模型的科技监测方法研究的关键。下文主要对相似度监测和文献推荐两种典型的衍生应用进行研究。 (1)相似度监测 在“特征词——主题模型”表示框架下，主题的特征词分布就是主题空间的概率分布形态，计算两个主题之间的相似度可以通过计算与之对应的特征词概率分布来实现[22]，本文提出的文档相似度监测方法是将文档看做是主题概率分布的空间结构，利用“文档——主题”概率分布作为计算的概率密度，采用Jianhua Lin提出的相似度算法[23]，公式如下：
其中，JS(Jensen-Shannon)是指两篇文档的相似程度值，p和q分别表示两种概率密度，其衡量的是两个概率密度之间的差异，也称为相异度。当两个概率密度相同时，其值为0；否则为非负。p和q分布越接近，相似程度就越高。 (2)基于用户兴趣主题的科技文献推荐 推荐研究最早的应用领域是电子商务系统[24]，随着推荐系统的深入研究，其应用领域也得到了广泛的延伸。国内相关学者针对其在科技文献查询推荐中的应用进行了大量的研究。在综合分析科技文献推荐研究现状的基础上，结合主题模型的特定方法，本文提出基于用户兴趣主题的科技文献推荐算法。
图2 基于用户兴趣主题的科技文献推荐模型 推荐算法的基本思想是将用户的兴趣表示成一个主题，用户希望被推荐的某类科技文献所蕴含的主题尽可能地与用户兴趣主题相匹配。由此，将科技文献的推荐过程转化为监测该类所有科技文献文档集中文档主题与用户兴趣主题相似度超过阈值
或者排名前N位的过程，这是科技文献相似度监测研究应用的一部分，其推荐模型如图2所示。 该兴趣主题由两部分表示组成：一是用户感兴趣的词语，作为兴趣主题的特征词部分；二是用户对该词语的感兴趣程度，作为兴趣主题特征词的概率分布。由此，用户的兴趣主题偏好特征表示为：
4 基于主题模型的科技监测方法应用的实验研究与结果分析 本文基于JGibbLDA平台和SQLServer2008数据库平台，设计了基于主题模型的科技监测方法应用为主，辅以文献计量学方法和社会网络方法的多元化科技监测原型系统。实验的思路如下：首先，以“微波功率放大器”领域的美国政府四大科技报告为数据来源进行数据的采集，在数据筛选和清洗后，按照时间片原理划分数据样本，为实验结果的对比分析提供基础；其次，构建实验平台，应用主题模型工具对文档进行主题抽取，在抽取过程中量化特征词的主题表达强度，以及计算并对比分析不同时间段中的主题强度；再次，在主题强度计算的基础上，进行主题监测与识别，并运用主题演化判定方法，进行新生主题和脉络演化类型的判定；最后，结合主题强度度量和主题演化判定，充分利用主题模型的相似度监测和文献推荐两种典型应用，扩展科技监测的衍生应用范围。具体实验验证的流程如图3所示。
图3 实验验证的流程 4.1 实验数据准备 实验数据准备是实验验证的基础环节，首先进行的是实验数据采集与预处理。在本文中，选取科技报告作为研究的实验数据来源，采集的原始数据来源于国家科技图书文献信息中心(NSTL)数据库中的美国政府四大报告，选择“微波放大器”(Microwave amplifier)和“功率放大器”(Power amplifier)两个领域，检索字段包括题名、关键词、文摘三类特征项，检索时间截止日期为2013年9月30日。经筛选后，得到436篇科技报告文档集合。将科技报告中题名、关键词、文摘作为主题模型特征词构成空间。在已有的研究中，如大连大学的侯剑华等以新兴技术为主题词，在CNKI数据库中进行检索，通过文献按逐年分布情况和关键词聚类分析结果等，探索我国新兴技术研究不同阶段的研究主题及其动态演化过程，实现了对新兴技术研究文献的动态监测分析[25]；大连理工大学的吕一博等主要选取公路工程为关键词的发明专利作为数据源，以专利的各项逐年分布状况将科技监测的结果进行图谱展示，从而判别科技领域的深层次结构[26]。在现有成果基础上，本文扩展了主题模型构成的特征项与数据来源的文献类型。 其次对实验数据文档进行时间片的划分，鉴于选择的两个领域成长周期相对较长，同时考虑到主题模型的总样本数量，以两年划分可更为直观地展现出主题强度和演化脉络等。所以，本文按照两年为一跨度的原则划分，样本时间横跨1949～2012年。并结合具体数据表现，将1949～1956年作为初始年份时间窗口、将2011～2012年作为截止年份时间窗口，如图4所示。 4.2 主题抽取、主题强度计算及其监测识别 (1)主题抽取与强度计算 首先应用主题模型对文档进行主题抽取，获取文档总词汇数为1823个。设置主题数目为10个，迭代次数设为1000次进行实验，对每个主题使用概率最大的15个词进行表示，主题模型的参数值为：alpha=0.01，beta=0.05，ntopics=10，niters=1000，savestep=100，twords=15。在抽取出主题的同时，采用人工判定的方法对主题词所构成的主题总结出主题标签，同时依据“特征词——主题”概率分布进行完善。 在主题抽取的基础上，按照式(1)计算出各个主题的整体强度，如图5所示。从图中得出10个主题在全局整体上的强度，且各个主题强度之间区别明显。其中，强度大于0.1的有Topic0和Topic8，它们的强度明显高于其他主题，这两个方面主要是有关“微波放大器”与“功率放大器”领域基础和应用研究的，其研究优势相对较强。Topic1、Topic3、Topic6、Topic4、Topic7和Topic9等主题主要是面向新材料、光学、半导体、热能等前沿性与创新性研究的，而主要面向模拟、数字电路、信号系统等研究主题的Topic5强度相对较弱。 (2)主题监测与识别 在十个主题中，从中挑选该领域具备代表性的Topic0、Topic8、Topic3和Topic9这4个主题进行监测与识别分析，通过计算，其主题概率分布如表2和主题强度演化如图6所示。
图4 按时间片划分的文献数量分布图
图5 全局主题强度 图6清晰地描绘了四个主题不同的分布与强度演化趋势：①Topic0电磁滤波和Topic8电路通信作为微波功率放大器领域的基础研究部分，在各项主题的研究中整体强度明显占据高位，同时在各时间窗口内的主题强度变化不大；②Topic3声学效率和Topic9热能材料作为微波功率放大器领域某类子领域研究项目，在各项主题的研究中整体强度中等，但从各时间窗口的主题强度演化可以明显看出，这两类主题的研究明显具有偏向性，Topic3声学效率的研究持续处于增长之中，Topic9热能材料作为高新技术的一个产业技术方向，其研究也已经得到了显著而持续的关注。
图6 主题强度演化示例
4.3 主题演化应用 在主题强度演化的基础上，运用主题演化判定方法，从原始文档中抽取两种主题演化方式。目前，对于主题相似度阈值的界定还没有形成权威的统一，本文根据先前的经验，设定全局主题相似度阈值Y[，1]为0.3，前驱主题相似度阈值Y[，2]为0.2，后继主题相似度阈值Y[，3]为0.2。两种演化方式如下： (1)新生演化 Topic3是声学效率方面的主题，是微波功率放大器领域的一个水下应用的重要方向。对Topic3内容的主题研究判定，在前三个时间窗口内并没有形成有效的主题脉络演化，自第四个时间窗口内1971～1972年形成新生Topic3主题，并脉络演化至2011～2012年时间窗口。由于数据量较多，本文以最新年限为例，其新生主题演化如表3所示。 (2)脉络演化 Topic5是有关模拟、数字电路信号等技术的主题，其研究发展贯穿了所有时间窗口，经主题抽取和计算符合脉络演化形态。由于数据量较多，本文以最新年限为例，其各时间窗口的主题演化如表4所示。 根据表1主题演化判定的规则，表3中的相似度值与新生演化条件中的阈值相比较得知，是满足新生演化的。依据阈值判定结果，在非首个观测时间窗口内，存在与全局某个核心主题密切相关，同时与上一时间窗口相似度最高的主题非密切相关，与后一时间窗口主题相似度最高的主题密切相关。同理，依据表4中的相似度值与脉络演化的判定条件得知，表4是符合脉络演化的。即在各个局部时间窗口内总存在某个子主题与该核心主题密切相关；同时，相邻的时间窗口内的这些若干子主题之间也密切相关。 综上所述，上面两张表清晰的展现了“微波放大器”和“功率放大器”两个领域的新生演化和脉络演化趋势。结果表明，该方法能够在主观因素、专家知识有限干预的情况下，较好地完成相关领域科技监测任务中的科技文献的主题演化判定任务。 4.4 衍生应用 当用户输入的兴趣主题如下：
该主题是关于“微波放大器”和功率放大器应用到导弹、飞行、空间及防御方面的兴趣主题，并将各系数设计为用户兴趣的权重分布，在模型中理解为兴趣主题的特征词概率分布。经过主题模型计算，本文所设计的原型系统根据用户兴趣主题推荐出的科技报告结果前5条见表5。 从上表中得出，该领域的兴趣主题按相似度排序，推荐了前五位的科技报告，该实例验证了本文提出的相似度监测和基于用户兴趣的科技文献推荐方法能有效地实现对科技监测任务中科技文献的推荐功能。 4.5 研究结果及评估 综上，本文选取“微波放大器”和“功率放大器”两个领域内的科技报告为数据源，将收集的文档集合进行时间片划分和预处理工作，然后应用本文提出的基于主题模型的科技监测方法及开发的原型系统进行了实验研究。经过上述研究，本文实现了初步的研究设想，并得出如下的关于科技监测结果评估的结论：①利用本文提出的主题模型识别出的不同主题，其强度值有着明显的区分度。所以，可以通过主题建模的方法对主题强度进行量化，挖掘出隐含的主题，进而实现对热点主题不同分布与强度演化趋势的研究。②典型的Word-Topic分布符合所提出的主题演化的判断，并随着时间的变化呈现出一定的规律性。所以，可在主题模型中引入科技文献元数据的时间分布，以探究科学研究主题的动态变化。③基于主题演化的新生演化与脉络演化的相似度计算结果与设定的阈值比较，符合所提出的演化状态的判断。其结果可以很好地展现“微波放大器”和“功率放大器”两个领域的新生演化和脉络演化趋势，揭示该领域科技监测任务中的科技文献的主题演化规律。④基于用户兴趣主题及其权重模型，所推荐的文献具有较高的相似度，其题名和关键词与用户兴趣主题切合度较强。其结果最终可以有效地实现科技监测任务中的推荐功能。 5 结语 本文在大量调查和文献分析的基础上，通过归纳分析现有的科技监测方法，提出将主题模型引入到科技监测活动中，利用主题模型方法所独有的主题演化等功能来挖掘相关领域的发展趋势及研究热点主题，以发掘科技文献中潜在研究价值，从而帮助科研管理部门有效地进行科研管理和科技工作并把握具体相关科技发展细节，进一步提高科技文献的科研利用质量和价值，并最终提高科技创新效率。但是，本研究在应用中仅将科技文献的题名、关键词和文摘作为数据分析的对象进行实验研究，而对于科技文献的正文内容如何解决主题建模的复杂性和有效性问题是今后值得进一步研究的。此外，如何验证该方法应用的科学性以及如何将语义结合到主题模型的相关任务中，也将是后续研究工作面临的一大挑战。
标签：科技论文; 主题模型论文; 文本分类论文; 概率分布论文; 相关性分析论文; 概率计算论文; 数据抽取论文; 文本分析论文; 时间计算论文; 用户分析论文; 功率放大器论文;
