基于数据挖掘的企业竞争情报智能采集策略研究(I)——采集现状调查与分析，本文主要内容关键词为：数据挖掘论文,策略论文,现状调查论文,智能论文,企业竞争情报论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
1 引言
企业竞争情报(enterprise competitive intelligence)是指为满足企业竞争决策需求，实现其竞争战略目标所需的关于竞争环境、竞争对手和竞争策略等内、外部知识性信息，是提升企业竞争力的关键因素。企业竞争情报采集在企业竞争情报的理论与应用研究中备倍受关注。
伴随着社会信息化进程和资源数字化的不断发展，网络信息资源已成为企业和政府部门的主要竞争情报来源。面对海量的网络信息环境，如何有效地采集有价值的情报以支持企业的战略决策，成为一个亟待解决的难题。本文首先对国内外重点行业领域中的有关企业以及管理与研究机构进行多方面的现状调查，并在此基础上详细分析其情报采集的特点、不足之处以及未来的发展趋势，为后文探讨企业竞争情报智能采集策略提供支持。
2 调查对象及调查方法
鉴于竞争情报工作性质的特殊性，本文主要采用网上调查方法，通过查阅竞争情报系统提供商所提供的产品应用案例介绍以及竞争情报业界所发表的实践报告、文献著作等，在收集并综合分析有关信息的基础上，力图全面了解目前企业开展竞争情报采集工作的现状。由于调研主要建立在第三方信息介绍的基础上(只有少数资料来自于企业或企业员工对外的宣传介绍)，并且信息本身会有一定的滞后性，因此不可避免地存在与具体某个企业的现实状况有所出入的情况，本文力求从总体上把握、分析企业竞争情报采集现状与特点。由于政府机关、组织团体等也密切关注并广泛开展竞争情报采集，本文也将其列入调研范围。表1列出了部分调查对象(排序不分先后)。
3 调查结果与分析
3.1 调查结果
表2是对调查结果的汇总，按照表1所列举的调查对象，对其竞争情报需求及其采集现状进行了简要介绍。
3.2 企业竞争情报采集特点
下面根据调查结果，从企业竞争情报需求和企业所采取的竞争情报采集方法两方面分析企业竞争情报采集特点。
(1)企业竞争情报需求的特点
从总体上看，企业的竞争竞争需求体现在如下三个方面。
1)企业内外结构化信息的深层挖掘与分析的需求。目前企业都已实现了信息源的浅层开发与利用，但也意识到企业内外数据库所蕴含的潜在价值，希望从这些结构化信息的挖掘与分析中采集到深层次的情报。
2)企业内外非结构化信息和实时动态情报的获取与利用的需求。企业内外通常拥有许多文献资料、研发报告、交互消息等非结构化信息和实时动态情报。目前，大多数企业都重点采集互联网上的非结构化信息和实时情报；少数企业，特别是国外的企业，尤其重视从内部非结构化信息源这笔无形知识资产中寻找企业发展的内在动力。
3)跨平台、跨网络的分布异构海量信息的集成处理与利用的需求。大部分企业都希望能构建一体化采集平台，集成企业内外部信息，并从中提取有价值的情报。
(2)企业竞争情报采集方法的特点
为了满足上述多方面的情报需求，大多数企业利用相关的竞争情报采集工具展开了系统化的情报采集工作。其中，所采用的采集技术与方法可以归纳为如下几类。
1)基于关键词的在线信息检索。这种方式属于一种被动式的自动收集方式，需要花费大量的时间利用通用搜索引擎或采用企业自行开发的软件系统从网络上检索信息。这种方式被所有企业所采用，并与其他方式综合使用。
2)基于主题的信息定制检索。这种采集方式属于主动式信息检索，但与“基于关键词的在线信息检索”方式有所区别的是，它可以借助相关软件系统进行特定主题的自动搜索或主动式的个性化检索。不少企业使用这种方式开展竞争情报采集工作。
3)自动采集、自动标引、自动分类、自动摘要、智能检索等智能化处理方式。调查中发现，大多数企业都开始采用不同程度的智能化手段辅助情报采集，基本上都实现了信息的自动采集，大部分还实现了自动去重，少数企业还实现了基于自动标引和自动摘要的情报采集。智能检索和自动分类是目前企业情报采集中最受关注的一类智能化采集方式。
4)采用一定的研究模型进行情报析取。少数企业采用定性和定量相结合的途径，设计了若干竞争情报分析模型，用于从数据库中析取情报。
5)数据库挖掘。少数企业目前已开始或计划采用数据库挖掘技术，从企业内部结构化数据源中通过联机分析处理和数据挖掘技术进行深层情报的提取。
6)文本挖掘。文本挖掘方法可以帮助企业从海量的内外部文本信息源中提取有用的情报。目前这种方式在所调查的国外企业中已被广泛采用，而国内企业基本上还未将其作为一种正式的竞争情报采集手段。
从总体上看，这六类采集方法沿着从易到难的线路在发展，其所发挥的作用也是逐层上升。目前，大部分企业都是采用自动搜集、自动分类的处理方式采集情报，少数企业开始将数据挖掘技术引入到情报采集中。
3.3 企业竞争情报采集中存在的主要问题
信息资源的开发与利用给企业提供了丰富的信息来源，但信息的指数级增长同时也造成了“信息过载而情报稀缺”的困扰，给企业竞争情报采集能力的提高带来了挑战，归纳起来，目前企业竞争情报采集中主要存在如下问题与不足之处。
(1)信息源的选择范围不全面。企业内外存在各种丰富的信息资源。由于受技术和其他条件的影响，大多数企业在实际的情报采集中总出现顾此失彼的现象，不能科学地、全面地选择情报来源。
(2)信息源的集成度不高。全球信息化环境中，信息源的类型多样、结构复杂、分布广泛，如何最大限度地整合各种信息源对情报分析至关重要。一次采集行为所得到的数据，往往是关于某一个事物或主题的碎片，是局部的、片面的，如果不对其进行高度集成，易形成一个个信息孤岛，使得信息零散，缺乏系统性，不利于对信息进行全面准确的综合整理利用。虽然不少企业在采集过程中采用了自动排序和去重等技术对信息进行了整合处理，但是缺乏对文本、图片、多媒体、数据库等不同形式信息之间以及企业内外部不同来源信息之间的横向与纵向的深度集成。
(3)采集过程缺乏连续性和协作性。竞争情报工作是一个连续性很强的工作，因此信息的采集也应该具有连续性。目前，很多企业只有在企业有需求时，才通过有关的情报机构进行情报收集、处理、分析工作。这样就无法对企业所处的竞争环境以及竞争对手予以连续监视，企业就不能及时洞察政治、经济、社会、市场的变化以及预测这些变化对企业可能构成的威胁和机遇，无法使企业保持持续的竞争优势。情报采集过程缺乏协作性，突出表现为信息收集与信息分析工作的分离。目前在信息收集工作中，借助搜索引擎等检索工具自动化收集的结果数量大且质量差，给信息的处理和分析带来了极大的困难，信息的收集和分析由此而断裂。
(4)采集处理缺乏智能性。虽然大部分企业已采用自动搜集、自动去重等自动化机制实现了竞争情报的自动采集，但是缺乏对所采集信息的智能化分析处理。有的企业完全由竞争情报工作人员承担分析处理工作，这种人工定性分析方式一方面加重了工作人员的认知负担，并且经验判断方式存在较多的不确定因素，直接影响分析结果；另一方面，面对海量的信息，人工分析处理无法及时对企业提供全面的情报支持，进而影响企业对竞争环境的敏感度和反应速度。
(5)采集结果质量差。信息采集结果质量差主要表现在信息的非相关性和表层化上。基于关键词的搜索引擎，只能实现信息源词语层的信息收集，搜索结果数量巨大、相关度低、零散冗杂、甚至是无用的或虚假的信息，给情报利用带来极大的困难。信息源深层所蕴藏的高价值知识有待于进一步挖掘开发。
3.4 企业竞争情报采集的发展趋势
随着信息量的日益增加，现在的竞争情报采集所面临的难题不再是信息的数量问题，而是如何从海量信息中智能化地获取有价值的信息并从中挖掘有用的知识，挑选出对企业有益的关键性情报，提高情报采集的质量和效率。调查中发现，企业竞争情报采集存在深层次情报获取的潜在需求，少数企业已将数据挖掘技术应用于竞争情报采集工作中。基于数据挖掘技术开展竞争情报智能采集是国内外的普遍发展趋势。吴晓伟等从事竞争情报研究工作的学者曾指出：为了实现竞争情报系统的高层次发展，融合数据挖掘、神经网络等技术，是提高竞争情报系统质量的关键因素之一[18]。包昌火教授也认为基于智能分析和知识提炼过程的竞争情报采集在一定程度上能够解决竞争情报发展走向中预分析需求增长的问题[19]。同时，国内外少数专门为企业提供竞争情报服务的顶级机构也开始将目光投向了数据挖掘领域，通过引入数据挖掘技术开发高端的竞争情报系统，如ClearForest公司开发的ClearResearch Suite产品通过采用数据挖掘等方法可以从大量的非结构化的文本中动态地提取并分析不同的人物、公司、事件间所存在的关系，使竞争情报分析人员发现他们原本可能忽略的情报[20]。
数据挖掘技术之所以成为企业实现竞争情报采集的有效途径，是因为它提供了一种将分析与获取相结合的自动化、智能化的采集方法，在情报采集中具有如下优势：
(1)智能化。通过采用数据挖掘技术，可以从大型数据库、数据仓库和互联网等信息源中自动提取有用情报。
(2)标准化。通过清理、转换、过滤和去重等预处理方法，可消除数据的模糊性和冗余性，将零散、无序的信息标准化、规范化。
(3)集成化。基于数据挖掘的企业竞争情报智能采集可以将企业内部和外部的各种信息源进行有效集成，为企业的竞争情报活动提供统一的全局视图，实现竞争情报的有效共享，极大地提高企业的竞争水平。
(4)全方位。数据挖掘技术可为企业的竞争情报采集工作提供全方位、全过程的支持。企业的竞争情报工作蕴含于企业的整个生产运作过程。从产品研发到生产过程的改进、从市场营销到客户关系的管理，数据挖掘技术可以用于产品生命周期的整个循环体系中，辅助企业从内、外部各种形态的数据源中获取有益情报和知识。
(5)科学性。基于数据挖掘的智能采集融合了人工智能、数理统计、信息科学等多学科的理论与方法，可以增强企业情报采集的科学性。
(6)知识性。通过概念描述、关联分析、时序模式、聚类、分类、偏差检测、预测等智能方法，可以对海量的结构化和非结构化数据源进行微观、中观乃至宏观的统计、分析、综合和推理，揭示出公司、产品、人物、事件等多实体之间的内在关联，获取隐性的、深层次的情报和知识。
(7)增值性。基于数据挖掘的情报采集通过数据集成等工作可以推理出新的情报和知识，发现情报工作者自身无法发现的增值信息。
4 结束语
由调查分析可知，由于受多方面因素的影响，目前竞争情报采集质量、效率并不理想，而融入数据挖掘等高新技术，构建科学的、智能化的采集机制、策略与方法，是获取高质量竞争情报的有效途径。后文将在调研的基础上，针对企业竞争情报需求特点和采集信息源的现状，综合应用数据挖掘、人工智能、本体论等先进思想与方法，全面探讨企业竞争情报的智能采集策略。