摘要:随着社会经济的发展进步,科学技术水平的不断提高,我国智能电网建设日益完善,电力信息网络所承载的数据信息及业务系统迅速发展,在大数据基础上加强电力信息网络流量异常检测机制建设,有利于提高基于大数据的电力信息网络流量异常的检测水平。笔者根据自身相关从业经验并结合广泛的社会实践调查研究,就基于大数据的电力信息网络流量异常检测机制展开了相关探究,望能为基于大数据的电力信息网络流量异常检测机制建设提供参考性建议。
关键词:电力信息网络;流量异常检测;大数据;机体制机制;探究
随着电力信息网络规模不断发展,其发展也越来越复杂,在信息网络基础上的各类应用业务也愈来愈广泛,数据信息量也越来越庞大,这一定程度上增加了电力信息网络流量异常发生的概率。基于大数据的电力信息网络中,一旦出现信息网络流量异常问题,很难及时找出其问题的根源,进而造成没有经过诊断的网络异常进一步传播,并影响到正常的网络信息传播。所以要重视基于大数据的电力信息网络流量异常检测机制的建设,重视对网络流量实施实时检测及风险评估,进而及时发现网络的异常,并提出相应的解决措施。
1.基于大数据的电力网络流量异常检测的相关概述
当前,一般网络异常诊断较为常规的方法是按照网络运行质量监测及评估的指标来观察其运行规律,进而发现并排除异常。但目前我国电力信息网络流量异常的检测能力比较弱,对电力信息网络的流量分析手段处理水平较低,颗粒度也比较大,这很容易造成电力信息网络数据盲视以及流量数据信息黑洞,导致在网络拥堵或流量饱和状况出现时,不能及时对网络流量异常原因进行排查分析。除此之外,我国电力网络信息中心管理各种各样的数据信息,要处理的故障信息也非常多,这需要耗费大量的人力资源进行管理,而且需要一定的实践经验,处理难度非常大,这就需要建立电力信息网络流量异常问题的预警机制,在出现流量异常问题时,及时、有效的解决。而智能电网运行的应用,有利于及时、准确、综合、全面的了解电力信息网络的实时情况,智能电网中还应用了很多的流量探针、传感器等一些采集设备,有利于电力信息网络流量异常检测水平的提高。
基于大数据的电力信息网络流量异常检测一般都是基于知识的检测方法,比如在事例的推理、粗糙集方法、人工神经网络、模糊逻辑和信息融合等的基础上构建电力信息网络流量异常检测机制。在电力信息网络数据中,要先在网络采集一些样本,并进行异常标注,进而将这些样本用来训练模型,并把模型应用于实际电力信息网络流量异常检测,这是有监督的学习方法。虽然这种检测方法有利于电力信息网络异常检测,但面对非常复杂的实际网络情况,庞大的电力信息网络数据,很难判断出哪些电力信息网络流量为异常流量。较之有监督的学习方法,无监督的学习方法有利于解决不能精准判断电力信息网络流量异常的问题,可以从丰富的数据中学习较为正常的模式,是当前我国电力信息网络流量异常检测常用方法。
2.电力网络流量异常检测机制分析
2.1采集样本数据信息
电力信息网中的数据信息主要来源于智能电表、相量测量单元和传感器设备所采集的数据信息,电力信息网中的这类数据信息的数据分组非常小,但是其数据信息规模比较大,结构相对复杂,而且数据信息的传播速度很快,所以要准确的获得这些数据信息,要重视部署交换机或路由器上的流量设备采集样本信息数据,所采集到的数据信息要分组,并包括分组头的各个字段的信息。
2.2预处理数据信息
数据信息的预处理技术是开始数据信息挖掘前非常重要的一步,这在数据的预处理过程中,要重视数据信息的转换长模型要求的向量格式,以及数据源中的重复的、脏数据的彻底清除,以防止其影响数据信息的处理。一般数据的预处理主要有数据特征选取、数据的筛选、降维以及标准化等工作。
2.2.1数据的特征选取
一般电力信息网中的电力信息网络信息流量数据的维数是比较大的,要直观的显现出数据信息的分布,要重视利用建立坐标的方法来进行数据的观察,这过程中可以剔除没有关系的维度。平行坐标是一种比较通用的可视化方法,主要用来对相对较高维几何以及多元数据的可视化。在数据的特征选取过程中,一般特征的选取单位时间粒度的取值时间为10分钟,这样就能有非常足够的信息来判断流量异常。数据特征五选取如果时间粒度比较小,应该会造成检测算法的失误,若误报率上升,则会发出预警。
2.2.2数据的筛选及降维工作
多维度分析是比较常用的数据分析法。多维度数据分析法可以利用成对样本间的相似性来构建相对比较合适的低维度空间,可以有效保证样本在相对较低的维度空间里距离的相似性与高维度空间里的距离相似性一致。
2.2.3数据的标注化处理
因为每个向量空间上的维度单位是存在差异的,所以若输入分组、输出分组以及输入字节数、输出字节数单位是不一样的,则需要对数据进行标准化的处理,标准化的处理可以利用离差标准化的方法处理。处理公式如下:
通过离差标准化公式,可以将各个维度的数据转化为[0,1]区间上的值。
2.3基于大数据的异常检测算法
2.3.1改进局部异常因子检测算法
在利用无监督异常检测方法中,因为没有一类样本是可供学习的,所以最简单、最直接的方法就是利用参数化方法或非参数化方法来评估训练样本的密度模型,且要设置密度阀值,一般小于密度阀值的被认为是异常的。参数方法的原理是假设样本信息数据是符合某项分布的,比如多元高斯模型,就是以测试样本和均值的距离来判断其是否异常的。参数方法比较简单,操作相对容易,但是也存在维度灾难问题,比如时间成本和样本成指数关系,若样本数过高时,则时间成本耗费非常大。而因电力信息网络有着较高的可靠性的要求,所以对业务流量异常的检测的时效性要求非常高,所以在电力信息网络流量异常检测过程中,参数方法不是很适合检测的方法,一般选用局部异常检测算法作为无监督异常的检测算法。局部异常检测算法主要是根据样本点和局部邻域样本点分隔程度的局部异常来进行电力网络流量异常检测。
2.3.2支持向量域描述算法
支持向量机算法主要是指主流的两类分类方法,可以利用一个超平面把两类样本用最大间隔隔开,但在电力信息网流量异常检测过程中,一般都只有一类样本,所以支持向量机是不适用电力信息网络流量异常检测的。而支持向量域描述算法是单类方法,可以用来处理电力信息网络流量异常检测领域中仅有一类样本的问题。
3.结语
随着我国智能电网的不断发展,电力信息网的规模也不断扩大,而电力信息网络流量异常故障也不断增多,直接影响着电力信息网的正常运转,所以要重视基于大数据的电力信息网络流量异常检测机制的探究,建立健全基于大数据方法的电力信息网络流量异常检测机制,促进电力信息网络流量异常检测机制优化,进而促进我国智能电网进一步发展。
参考文献:
[1]基于大数据的电力信息网络流量异常检测机制[J].电信科学,2017(3).
[2]黄高攀,张明明,郑海雁,et al.一种基于大数据流的网络流量异常检测系统及方法:.
[3]蒲晓川.大数据环境下的网络流量异常检测研究[J].现代电子技术,2018.
论文作者:萨如拉
论文发表刊物:《电力设备》2018年第33期
论文发表时间:2019/5/16
标签:数据论文; 异常论文; 电力论文; 信息论文; 网络流量论文; 样本论文; 信息网络论文; 《电力设备》2018年第33期论文;