国家电网山西省电力公司太原供电公司 山西太原 030012
摘要：在大数据时代，随着电网信息系统架构的不断扩展，IT设备的数量越来越多，网络也变得更加复杂，信息通信系统中的状态数据、运行数据以及故障数据等体量越来越大，且具有典型的大数据特征，如果数据未经过处理，则对运维没有任何意义和价值。综合运用大数据采集技术、实时数据流处理技术、关联分析挖掘技术、状态评估技术、趋势预测及风险评估技术，建立科学的分析模型，实现信息通信风险态势全面感知、运维数据全面分析、运维风险实时预警，达到在故障发生前解决问题的主动运维效果，有助于提升信息通信故障监测和风险预警能力，对提高信息通信系统的安全性、稳定性及其服务能力具有重要的理论价值和实际意义。本文分析了大数据的电力信息通信预警技术。
关键词：大数据；信息通信；风险预警；电力行业
1基于大数据的电力信息通信风险预警架构研究
1.1基于大数据电力信息通信风险分析及预警架构
Hadoop和Spark作为开源的大数据处理平台，近年来得到了快速发展，出现了许多相关应用与解决方案。Hadoop支持大规模集群操作，在集群上可以方便地增加多至上千个节点进行并行计算，其计算速度会随着集群数量相应增加，可解决传统日志分析系统无法处理海量日志数据的问题，但Hadoop并不擅长处理实时应用。Spark是一种与Hadoop相似的通用并行计算框架，是对Hadoop的补充，它采用内存并行计算技术与流式处理技术，在实时处理方面表现得更加优越。本文针对电力通信特点所设计的大数据分析平台架构采用了Spark的并行计算及流处理技术。
1.2基于大数据的电力信息通信数据处理
在数据处理框架中完成对各类日志的汇聚、处理和集中管理，其中日志收集模块采集各自不同系统的日志、网络日志、防火墙日志等，采用Hive建立业务分析模型，实现日志的智能多维度查询，完成对数据的初步清洗。在数据存储层完成对数据的进一步清洗和转换，将数据分类存储于HDFS中，利用Sqoop工具将数据从HDFS中导出到Oracle中。最后按照业技术完成相关数据的关联分析和模式挖掘，采用数据清洗和压缩归并等手段对系统指标、安全状况以及运行状态的实时动态预警信息进行判定，最终在对预警信息进行深入分析的基础上实现电网信息通信系统的主动预警。基
为了实现对客服工单数据的统计分析、文本挖掘、聚类分析，进一步辅助用户决策，采用了大数据可视化工具Tableau进行数据分析，并对信息通信系统设计相应的数据分析页面，实现数据分析结果的可视化展示，对项目数据进行全方位的科学分析来评估信息通信运维效果，为领导决策提供科学、严谨的依据，降低决策失败的风险。
2.3基于大数据的电力信息通信趋势预测
趋势预测可利用数据本身的变化情况以及外部需求因素的影响规律进行分析和研究，在对故障的产生原因与传播不建立复杂模型的情况下，实现对信息通信需求的估计和预测。由于信息通信网络容量具有不确定性的特点，预测工作一般必须在一定的条件下才可进行。本文考虑了两种时间序列预测模型：ARIMA模型和Holt-Winters模型。其中ARIMA(p,q)模型包括一个自回归模型AR(p)和一个移动平均模型MA(q)，ARIMA模型的建模方程为：
式中，i为时间步长，xi为前i个状态，si为前i个数据的平滑值，α，β，γ为平滑参数，且α，β，γ∈[0,1]，具体数值通过试验效果确定；t,p分别表示二次和三次平滑后的趋势，且pi表示周期长度。在本文实验中，使用Holt-Winters进行预测时采用的是累乘三次指数平滑进行预测。
2场景应用验证与结论
采用本文所提架构及算法对电力行业流量数据进行大数据分析与危险预测。原始数据采集于电力系统各单位之间的流量总和，数据的时间范围为某年7月8日—9月5日，每个点是1个小时内的平均值。
将原始数据中工作日的流量数据提出单独分析并做预测。第40天到第50天之间某天（实际为9月8日）的数据与其他工作日的数据有明显的不同，初步判断为异常。上述模型编程使用R语言完成，步骤如下：1）用timeSeries包中的ts()函数将采样的数据转换为时间序列。2）用forecast中的STL函数把时间序列分解为周期性成分、趋势成分以及残余量。3）使用forecast包中的Holtwinters函数和arima或auto.arima函数进行预测。使用arima函数需要给出系统阶数，可根据特征的分布判断系统是否稳定。此处分别选用两种方法进行预测，使用前40天的流量数据来预测之后10天的流量。4）对于不同预测算法的效果可以通过计算其RMSE进行比较，RMSE越小则效果越好。从两种方法中都可以看到9月8日的流量与预测值完全不一样。其中RMSE（STL）=6422703125，RMSE（Holt Winters）=14392074663，其中，Holt Winters RMSE较大一方面是因为流量数据本身就很大，另一方面是因为9月8日的流量数据存在异常。因此，STL预测的RMSE较小，预测的效果更好。
3结语
随着国家电网公司SG186、SG-ERP、三集五大等信息化建设的不断深化，电力业务越来越依赖于信息通信系统。如何提升信息系统的服务能力，让信息化建设和运维投入更加有效和合理成为当前亟需解决的问题。本文主要研究了基于大数据的信息通信风险预警架构与算法，并设计了基于提出的架构及算法的信息通信风险预警系统，通过综合运用大数据关联分析技术、信息通信状态评估技术、信息通信趋势预测技术，实现对运维数据的分析和挖掘，帮助运维人员根据大量运维数据发现系统的潜在问题，实现风险实时预警和趋势准确预测，达到变被动维护为主动预防的运维效果，将工作重心转向风险分析和故障处理方面，有效规避风险，提高运维人员的工作效率，提升公司的整体信息通信故障监测和风险预警能力。
参考文献:
[1]周平,马斌,韩冰,等.基于大数据平台的日志分析预警技术研究[J].电脑知识与技术,2016.
[2]付萍萍,马勇,李路明,等.以风险防控为中心的大型电网企业信息安全管理体系研究[J].电力信息与通信技术,2015.
论文作者:李,良,冀虎生
论文发表刊物:《防护工程》2017年第30期
论文发表时间:2018/3/7
标签：数据论文; 信息论文; 通信论文; 风险论文; 模型论文; 技术论文; 电力论文; 《防护工程》2017年第30期论文;