（国家电网公司信息通信分公司 北京 100761）
摘要：随着企业规模不断扩大，现代大型企业中信息化程度不断提升，由此产生的信息系统运维工作量也在快速增加。同时，现代信息化技术日新月异，对于运维人员工作水平和强度要求日渐增强，因此开展基于大数据技术的信息系统运维辅助平台成为了必要需求。
关键词：大数据；运维；智能分析；辅助决策
1 研究背景
大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
与传统规模的数据工程相比，大数据的感知、获取、存储、表示、处理和服务都面临着巨大的挑战。这归因于大数据具有几个突出的特征：
1）数据集合的规模不断扩大，已经从GB、TB再到PB，甚至已经开始以EB和ZB来计数。
2）大数据类型繁多，包括结构化数据、半结构化数据和非结构化数据。现代互联网应用呈现出非结构化数据大幅增长的特点，至2012年末，非结构化数据占有比例达到整个数据量的75%以上。
3）产生速度快，处理能力要求高。根据IDC的“数字宇宙（Digital Universe）”报告，预计到2020年，全球数据使用量将达到35.2ZB。
4）数据真伪难辨，可靠性要求更严格。大数据的集合和高密度的测量将令“错误发现”的风险增长。
5）数据价值大，但密度低、挖掘难度大。价值密度的高低与数据总量的大小成反比。
随着企业信息技术水平不断提高，信息系统应用越来越广泛，信息设备数量急剧增加，信息系统应急处置工作复杂度也与日俱增。为保证生产系统安全稳定运行，信息系统应急处置工作中要求运维人员能够快速、准确、有效地进行应急处置，因此计划实现一个基于大数据技术的运维辅助平台系统。
2 大数据相关技术
2.1 大数据的复杂性和计算模型
针对大数据的计算理论和算法的研究目前主要集中在大数据机器学习的基础理论、参数估计方法、优化算法等方面，形成的一系列成果为大数据高效计算提供了理论支持。普林斯顿大学的Blei等人针对大规模网络文本数据的主题建模，提出了在线学习算法，为大数据下非参数模型的高效估计奠定基础。斯坦福大学的Mahoney提出了随机算法实现快速矩阵近似分解，并给出了近似值和真实值差距的理论边界。法鲁托斯等人提出了大规模张量分析方法，可以比原算法速度提高两个数量级。美国加州大学伯克利分校Jordan等人开展了大数据分析的理论基础研究，目前已有的成果包括分布式优化算法和大数据非参数估计方法等。
2.2 大数据的感知与表示
为了有效利用网络大数据，需要将异构、低质量的网络数据转化为结构统一的高质量数据，因此业界提出了一系列数据抽取算法以应对大数据的异构性，应用经过扩展的传统数据集成技术从多个异构数据源集成数据，并开始将过去一些数据清洗和数据质量控制方面的研究应用于网络数据质量控制。但总的来说，将这些技术直接用于大数据处理，在数据处理的规模和得到的数据质量方面还不能令人满意。另一方面，人们很早就认识到了动态性和时效性是大数据的重要特性，数据流（data stream）]和时间序（time series）是表示和处理数据动态性和时效性的主要技术。同样，从数据的可处理规模和功能上，传统数据流和时间序列技术还无法满足大数据处理的需求。
2.3 大数据的内容建模与语义理解
由于大数据的规模巨大、高维、异构、多源等特性，当前在大数据内容建模方面的工作主要集中在数据的实体、类别和属性的提取与分析等方面。在语义理解方面，语义网作为语义的核心载体，已经得到了实际应用，利用语义网研究语义理解，也开始得到学术界的关注。通过众包的方式，借助群体智能，来分析和理解互联网上的各种信息。
2.4 大数据的存储与架构体系
大数据的架构体系研究首先需要关注的问题就是大数据如何存储。在数据存储的基础上，为了应对大数据的快速以及高效可靠处理，需要建立大数据计算的编程模式以及相关的优化方法。大数据存储的形式包括分布式的文件系统、分布式的键值对存储以及分布式数据库存储。
3 基于大数据的运维辅助支撑工具设计
3.1 关键技术
a日志信息采集及预处理
日志信息采集及预处理模块，将各业务系统的各种日志、告警信息进行采集、解析和管理，通过flume平台进行日志的采集、传输，并将日志信息保存到告警日志库中。
b 日志信息分析
日志信息分析模块，将采集到的日志信息、告警日志内容以及预案知识库和系统配置库进行关联，通过日志解析引擎进行日志分析和告警文本解析，从而分析得出告警日志的处理预案。
c 应急处置辅助支持
应急处置辅助支持模块，提供告警日志辅助分析的可视化部分，将告警分析结果、应急预案信息提供给运维人员，进行查询、维护。
4 总 结
目前实际工作中，应急处置工作水平主要由运维人员经验及知识储备水平等因素决定，存在应急处置流程待细化、应急处置知识整理待完善、处理过程中重复操作多等缺点，通过使用基于大数据的信息系统运维辅助工具，实现应急处置工作标准流程化、知识库完备化、处理可视化。
参考文献：
[1]刘莹.基于数据挖掘的商品销售预测分析[J].科技通报.2014（07）
[2]姜晓娟，郭一娜.基于改进聚类的电信客户流失预测分析[J].太原理工大学学报.2014（04）
[3]李欣海.随机森林模型在分类与回归分析中的应用[J].应用昆虫学报.2013（04）
[4]朱志勇，徐长梅，刘志兵，胡晨刚.基于贝叶斯网络的客户流失分析研究[J].计算机工程与科学.2013（03）
论文作者:来风刚,毛一凡,张攀
论文发表刊物:《电力设备》2017年第12期
论文发表时间:2017/8/31
标签：数据论文; 日志论文; 信息系统论文; 语义论文; 算法论文; 信息论文; 提出了论文; 《电力设备》2017年第12期论文;