不同领域的情报分析及其在大数据环境下的发展，本文主要内容关键词为：情报论文,领域论文,环境论文,数据论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
中图分类号：G250.2 文献标识码：A 文章编号：1003-6938(2014)05-0007-06 1 前言 不同研究领域有其自身的研究对象、理论源流、学术习惯以及概念框架体系，它们会深刻影响各领域对同一术语的界定和理解。如竞争情报、商业管理、生物医学、政府治理及军事情报等领域不仅都会涉及“情报分析”这一概念，而且都是围绕着情报分析而开展相关研究工作的。但是，这些领域中的情报分析的内涵与外延、实施情报分析的过程等均有其自身的特点，不可一概而论。本文的目的是分析竞争情报、商业管理、生物医学、政府治理及军事情报五个领域中“情报分析”概念与实践的特点，以及大数据环境下这些领域中情报分析的发展动向，揭示情报分析的学科差异，为建立统一的情报分析方法体系提供理论素材。 2 不同领域的情报分析及其在大数据环境下的发展 信息与情报是不同概念，情报是对信息进行深度加工或从各种文本中挖掘的知识，可以是一种产品、活动、组织，或是一组知识的专门表达形式[1-2]；生成情报所采取的分析方法与执行过程称为情报分析研究。对于竞争情报、商业管理、生物医学、政府治理及军事情报等学科领域而言，它们的产生与发展与情报分析研究在具体问题域中的应用有着直接、密切的关系，尽管这五个领域对情报分析的概念理解及实践特点不尽相同，但情报分析都是这些领域知识的核心内容，也是支持该领域研究的关键，而且，在大数据环境下，大数据理念与方法正在对这五个领域产生着深刻的影响。这是本文选取竞争情报、商业管理、生物医学、政府治理及军事情报等领域作为研究对象的重要原因。 2.1 竞争情报领域 “竞争情报”(Competitive Intelligence，CI)是企业用来提高竞争优势的情报分析工作，它通过感知外部环境变化、竞争对手的技术跟踪等手段，建立一个关于竞争对手或外部环境的预警系统，并支持决策服务，使企业在激烈的竞争中维持优势地位[3-5]。由此可见，CI是对外部竞争环境进行全面监控的过程，是一种“知己知彼”的交互分析过程。与其他领域的情报分析相比，通过CI分析所得到的情报更具有目的性、针对性及对抗性等特征，同时对自身跟对手的差距、潜在的机会等问题给出了解答。 企业进行CI活动时，合法性是开展整个活动的基础，即CI活动必须遵守法律或商业道德规范。竞争对手或市场的相关信息主要是通过公开信息来源(如出版资料、科研报告、互联网、新闻、数据库、政策法规等)获得，其他在不违法的前提下所能获得的非公开发表的信息(如通过第三方获取的信息、录用对手公司的离职人员所获得信息、人际网络等灰色信息等)也是CI的重要信息来源[3][6]。也就是说，CI主要的信息来源是基于“文本形式”的科技文献、网络信息、政府信息、新闻、政策研究、产品信息等类型，并结合灰色信息来提高CI分析的有效性及真实性。从分析方法来看，因外部竞争环境复杂性与竞争对手多样性而产生出多种CI方法，常见如定标比超、SWOT、专利分析、五力分析、财务分析等方法[5]；此外，朱德利[7]根据五力分析与SWOT分析拓展出基于竞争要素的CI四维分析框架。在技术工具方面，分析人员可选择数据挖掘、文本挖掘、网络挖掘、可视化技术、信息抽取、一般统计分析、代理软件等方法或工具[8]，将数据或信息转化为“可操作的情报”(Actionable Intelligence)，再根据企业的不同需求(如管理决策、营运能力、市场监控等)形成各种情报产品(如每月情报通讯、咨询报告、竞争对手文档、形势分析等)，提供企业作为战略行动依据、危机预警判断、商业谈判等重大决策参考。 大数据环境下，公开信息来源越来越多样化，考验着企业的情报获取与分析能力，特别是企业对外部环境变化的及时感知与动态应变能力，CI在企业战略预警与危机管理等方面发挥着越来越重要的作用[9]。从当前的研究与实践来看，CI面临着“全信息源获取”、“分析复杂化与实时化”两个急迫解决的问题，就前者而言，企业可以通过信息技术解决全信息源获取的技术性问题；对后者来说，随着企业可以获取越来越多的异构的数据及信息，要求CI能够处理更加复杂的分析对象，其分析方法需要结合更多智能化技术，工作流程需要结合多种方法来解决问题[10-11]，例如，除了上述常见的分析方法之外，非结构化数据处理、关联关系分析、网络挖掘(如舆情分析、观点挖掘等)、实时分析及云计算等方法或技术都是企业进行CI分析的新挑战[12]。此外，除了获取公开信息来源之外，由社交媒体产生的社会化数据[13]，也引发了企业CI对竞争对手进行实时监控与分析的需求。总言之，从基本目的来看CI分析在大数据环境下的发展，会发现CI正从对现有竞争对手和外部环境进行分析以辅助企业保持竞争优势，转向对实时数据或信息进行快速分析响应，通过多种分析方法的结合做到知识发现以及构建适应外部环境的持续应变分析模式[14]，用来支持企业在竞争环境中做出高效精准决策。 2.2 商业管理领域 商业管理领域所涉及的情报分析是指“商务智能”(Business Intelligence，BI)或商业情报。BI通常被定义为由数据仓库、ETL、联机分析、数据挖掘、客户关系管理、知识管理等多种技术融合而成的方法及系统，用来管理企业内的相关商业数据、专家信息及知识。不同于CI关注外部情报，BI针对企业内部的各种数据及信息进行分析，从而达到企业绩效管理、客户关系优化、监控商业活动等管理目的[15-16]。由此可见，BI是一种用来提高企业营销管理能力的一套集成分析方法与系统，分析所得的情报被应用在解决客户及产品的需求趋势、潜在服务与产品的关系、销售预测、营销策略创新等问题。 从实践角度看，BI的实施包括了输入、流程及输出三个主要步骤：①输入是指数据来源，BI的信息源是基于“数值型形式”的业务数据、客户相关数据、专家信息、检索日志记录等，或是企业内部现有数据仓库的存储内容。②流程是指数据处理与分析过程，在BI的实施过程中，利用ETL等技术方法将企业的各种业务数据导入数据仓库、或是进行数据集成，并进行数据分析与挖掘，再将分析结果结合企业的战略、运营、关键绩效指标或模型库等加以实践应用，最终达到组织层次的商业绩效管理、以及战略层次的战略规划[17]。③输出是指BI系统或平台产生的各种情报产品，如产品销售报表、客户分析报表、产品定价方案、绩效管理报表、财务报表等。从技术角度来看，Chen等人[18]认为BI分析经历过三个演化阶段：第一个阶段是BI1.0，其技术基础是结构化数据管理与数据仓库；到了2000年的互联网出现后，BI进入了BI2.0阶段，即以网络环境为主的商业情报分析，BI开始重视实时数据分析、集体智慧、观点挖掘、关联数据、网络分析或文本挖掘等技术[19]，表明了基于企业内及结构化数据的情报分析已无法满足决策要求了，而是需要结合更多的企业外部及非结构化数据，来挖掘用户对企业业务开展、市场活动的想法；第三阶段是BI3.0阶段，它是在移动终端、RFID及情景感测等技术发展背景下产生的，对企业而言，如何高效处理这类移动性强、与位置相关、以人为中心、情境敏感的数据，将是BI分析的巨大挑战。 大数据环境下，各种新型信息技术改变了企业的营销决策与商业模式，也对BI的架构、功能和所要发挥的作用产生了巨大的影响。冯芷艳等人[20]从管理学角度提出大数据背景下现代企业商业管理研究的前沿课题，例如，企业应利用智能化技术等手段，挖掘提炼出社会化网络环境中典型的行为模式、个性化行为，其中对新型数据源的实时清洗、实时挖掘、实时建模、实时舆情监测等都是值得发展的分析技术，同时，还要在精准性与实时分析之间寻求企业绩效管理的平衡点。由此可以看出，企业的BI分析在大数据环境下，正从过去基于历史数据的情报分析向“实时分析”(Real-Time Analysis)的方向转变。具体来说，BI若要进行实时分析，必须先解决数据采集、数据分析、决策支持及信息反馈等环节中的滞后问题，Seufert及Schiefer等人[21]认为必须通过信息集成设施与商业环境集成来解决这些问题，包括以事件(Events)驱动机制替代周期性的批量处理方式来解决数据采集滞后的问题，利用联机分析或数据挖掘来解决分析滞后的问题等等。此外，Lim等人[22]强调新型数据源对BI分析的影响，并指出现有的BI系统与大数据分析技术(如Hadoop、MapReduce)、文本挖掘(如从搜索引擎转向企业搜索系统、从情感分析转向观点挖掘、从信息抽取转向Q&A系统)、网络分析(如链接挖掘、社区发现、社会化推荐)等技术进行整合，是最值得深入研究的内容。 2.3 生物医学领域 生物医学领域中的情报分析主要是指“生物医学信息学”(Biomedical Informatics，BMI)[23]，它是由信息计量学、医学信息学(Medical Informatics)与生物信息学(Bioinformatics)等多种学科融合而产生的新兴领域，主要利用情报学、护理学、生物工程、统计学和计算机科学等领域的分析方法与技术来研究生物医学问题，支持卫生保健、临床实验及医学知识发现过程中的决策与服务。具体来说，BMI分析的基本目的在于了解生命的起源、进化、遗传和发育的本质，通过相关分析方法或技术挖掘出潜藏在众多生物信息数据库中的新知识，辅助或直接开展基因组序列分析、基因进化分析、药物设计、预测蛋白质分子结构与功能、基因区域预测及基因功能预测等工作[24-26]。 BMI的分析对象是生物医学数据(Biomedical Data)，包括患者的叙述性数据(如病征描述内容)、数据测量的文本数据、遗传信息、记录信号、图纸或影像数据等[27]，这些素材除了可从综合数据库(如Web of Knowledge、Science Direct等)获得之外，BMI领域的专业数据库(如Genebank、EMBL、DDBJ、Swiss2Port等)、医学中心或生物信息中心(如EBI、EMBL、NCBI、NIH等)也是主要的获取渠道。由于生物医学领域的数据复杂性，促使人们必须开发更新、更灵敏的计算机技术或算法来处理及分析生物医学数据。从分析方法来看，BMI除了沿用生物医学领域的专门分析方法(如序列对比、结构对比、功能对比预测等)之外，也借鉴了数据挖掘、文本挖掘、本体构建、知识发现等相关方法和技术[25][28-29]，借鉴相关领域的分析方法原因有二：一是帮助加快及改进生物计算分析效率，并降低人工分析及物力投入成本；二是解决遗传语言中存在的语义鸿沟(Semantic Gap)、生物医学本体构建及其概念分类与检索等障碍。通过BMI分析所得到的情报产出有各种形式，如研究论文、特定主题分析报告、诊断报告书、基因表达图谱等，其产出结果可用来解释生命进化、人体生理与病理关系等现象，同时对疾病诊断、药物研发或遗传解码等实践应用提供了有效支持。 大数据环境下，数据分析及信息处理方法已经成为BMI分析的基础工作，同时，大数据理念与方法，对BMI分析从“发现及关联”转向“组合及预测”、从系统层次的分析转向分子层次的分析，起到了重大影响[28]。Miller[30]也认为BMI面对急速增加的生物医学数据数量的问题，特别是下一世代的序列分析技术，将能解析出更多的基因序列，致使数据结构更加复杂化，因此需要在全基因组层面上开展多中心、大样本、反复验证的基因关联研究(Genome-wide Association Studies)，从而辅助科研人员对基因组或疾病做深入的科学探究。此外，BMI也开始关注生物医学数据与网络数据的结合，通过社会网络分析、网络分析或云计算等方法来鉴别、预测或追踪药物治疗、不同地区人口的关注疾病等问题[31]。总言之，为了能支持上述BMI分析，分析前的预处理工作必须做到真正意义上的“整合”，即情报分析活动的第一步骤，对多源数据进行抽取、比对、清洗与转换，从而提高及保证生物医学多源数据融合的效率与质量。 2.4 政府治理领域 Web2.0与开放数据(Open Data)对政府治理产生了许多刺激作用，说明了公共数据(Public Data)开放对提高政府运作的透明度、治理效率及影响决策等的重要性。目前，政府治理领域所指的情报分析尚无公认定义，整体来说，更倾向通过“政府数据挖掘”(Government Data Mining，GDM)，即通过对税务、就业、执法、国家安全(如航空运输、金融交易、恐怖分子监视等)等相关数据的深入挖掘，分离出潜藏在数据中的噪音及有价值的情报，用来提高政府治理的水平[32]。由此可见，GDM的基本目的是促进公共治理与解决社会服务问题，即强化数据—治理—服务三者之间的关联关系，并涉及了信息公开与共享、信息增值与再利用、数据访问与存取、数据保密、数据整合等研究课题。 GDM的分析对象是政府开放的公共数据，如，美国政府以数据共享及再利用为目标，建立了开放美国政府数据的Data.gov网站，对用户提供多种数据集和输出接口，以方便政府数据再利用及增值开发，并结合Data.gov与云计算，构建了面向美国所有政府部门的Apps.gov云服务门户[33]。以美国Data.gov网站开放的数据类型为例，截至2014年7月5日，网站上共开放了110875个数据集，涉及了企业、地球观测、教育、地理空间等21类。从分析方法来看，数据挖掘是GDM的关键技术，常见如统计分析、分类、聚类、关联规则、决策树、神经网络等。刘典文[34]梳理了数据挖掘在公共管理领域的各种应用，如通过孤立点分析找出诈欺行为的特征、通过聚类分析找出城市交通系统规划及站点分布等，而电子政务、政府绩效管理、公共危机管理等也是广泛运用数据挖掘来找出更多有价值的情报。通过GDM分析得到的情报，可通过每月统计报表、问题解决方案、特定事件监测汇报等形式呈现结果，向决策者或管理者提供政府信息资源增值、信息孤岛与社会服务问题解决、城市管理与监控等方面的治理支持。 大数据环境下，Yiu[35]认为大数据分析是改变政府治理与社会服务的重要方法或技术，它强化了跨部门之间的数据共享与关联、支持组织学习与绩效管理，并将管理颗粒度细化到个人，从而可广泛地应用于各种政府服务管理，如实时信息管理、多源数据融合分析税务诈欺、个性化服务、城市人口监控与预测等。为了解决部门条块分割的管理碎片化及资源分配问题，陈美[36]认为可以通过建立集成各种交通数据的综合多维交通信息体系，实现各种政府数据的综合分析，快速解决交通事故、应对恶劣气候对交通的不良影响、及时实施道路养护等等。王志军[37]以北京石景山区的城市供水管网漏损应用示范点为例。以流量法、压力法和噪音法分析该区的供水管网相关数据，找出漏损情况及匹配适合的检漏方法，达到了精细化分析、智能化管理，并取得了节约耗能的效果。除了分析公共数据外，喻国明[38]利用数据挖掘及社会语义分析工具分析百度搜索词，探讨了中国社会的舆情现实的走势与发展，发现社会民生、公共安全、卫生及环境生态是近年来中国社会舆论持续关注的基本问题，对于社会管理和社会协调有重要的启示。由此可见，在大数据环境下GDM分析的发展重点在于，从公共数据或其他开放数据分析中，精准、及时掌握政府部门在各种社会服务中的运行规律，以及深刻察觉其中的治理问题，并提供以数据为支撑的决策情报与问题解决方案。 2.5 军事情报领域 军事情报(Military Intelligence，MI)是指是为了保障军事斗争，有目的地搜集敌方、我方、友方、中立方等相关方面的素材信息(包括公开信息、秘密信息、部队及技术侦察情报、军事战备相关情报等)，再经深入的综合分析后得到的情报[39]。在这种情报分析中。特别强调要避免因忽视危机信号、过度过滤信息、信息交流不畅、情报政治化等因素造成的情报失察(Intelligence Failure)或情势误判[40]。也就是说，MI分析的基本目的在于情报保障及避免情报失察，其分析任务是面向国家安全的情报侦察探测、分析模拟、战略研拟、决策参考等方面。 MI的分析对象依据不同标准而划分不同类型，按真实程度可划分真假情报；按性质可划分军事指挥、后勤、装备等情报；按载体可划分文字、声像、实物等情报[40]。具体来说，MI是从公开与非公开数据源、军事信息系统、卫星预警系统等各种渠道取得的基于“战事局势”的侦查情报、传感数据、地理数据、照片、声音、武器装备等等相关素材。从分析方法来看，MI除了一般的基础分析方法(如数学方法、文献研究等)之外，情报素材鉴别方法(先期过滤工作)、作战想定方法(基于军事任务)、成果评估方法(确定军事情报价值)都是体现军事情报领域研究特点的专门分析方法[41]。经过MI分析得到的情报，可通过战略分析评估报告、战情模拟分析报告、特定目标监控报告等形式呈现内容，并支撑军事情报单位的军事斗争准备，达到战事情况监控、战胜对手、及时预测客观情况等各项目标。 大数据环境下，面对公开信息来源及新型网络环境的数据过剩问题，情报人员没有足够时间筛选潜在的有价值情报[42]，例如，军事情报单位得知恐怖分子可能在某日下午发动网络攻击，但这样的情报量是不足够的，必须具体知道何人、何时、何地及如何阻止他们，而该网络恐怖事件即将发生，不允许情报人员花费时间分析该网络攻击的时间、地点与人物。又例如，2012年美国国防部高级研究计划局推出XDATA项目，目的是开发大数据处理与分析相关的计算技术与开放源码软件，用来满足国防军事需求。但除了开发软件工具包之外，项目更涉及了可拓展的分析与数据处理技术、可视化用户界面技术、软件集成研究及评价等等技术，将来可以具体应用在网络科技、电子战、电子防护、数据决策、大规模杀伤性武器防御、工程化弹性系统及监视侦察系统等[43]。上述例子说明，大数据环境给MI分析智能化带来巨大的挑战，研究的课题包括但不限于：信息情报的自动监控与关键信息的自动识别定位；不同来源的数据与同一事件的对应关系发现；非关键信息之间的隐藏关联规则等等。 3 结语 本文梳理了竞争情报、商业管理、生物医学、政府治理及军事情报五个领域中情报分析的概念与实践的特点，揭示了不同领域的情报分析的特征，以及大数据理念与技术对五个领域中的情报分析带来的影响。为更加清楚起见，本文从基本目的、问题情景、研究任务、数据类型、数据来源、分析活动、分析技术、产出形式、结果价值以及大数据的影响十个方面列出了不同领域情报分析的特征(见表1)，期望能帮助我们更加清楚地认识情报分析的内涵和外延。