摘要：针对于电力行业而言，主要是国民经济发展的一个重要的支柱产业，同时也是支撑着现代文化建设的一个公共事业，当今伴随着我国的社会在全面的发展，不管是工业的生产或者是人们的日常生活都是没有办法可以离开电力行业的支撑，在全新的时代背景下，生产以及生活的方式对于电力行业的依赖性在全面的提高。所以如何才能够使其电力行业写下新的历史篇章已经是成为了社会较为广泛关注的热点话题。在本文之中，主要是针对了自动化运维中的大数据分析研究，在这个基础上提出了下文中的一些内容，希望能够给与同行业工作的人员提供出一定价值的参考。
关键词：自动化；运维；大数据；分析
1 导言
由于目前企业网络设备种类繁多、品牌和型号各异，且现代的企业不再满足于网页浏览、电子邮件、ERP/ERM、OA等初级信息应用，已经进入到远程视讯会议、IP电话等网络通讯、移动办公、物联网信息交互为象征的企业社交和企业协作的新历史阶段，产生的日志数量非常庞大，一般中等规模的网络（1000~5000台设备），日志量可达到每日数百万至上千万条。因此，分析和挖掘海量日志，从中发现网络异常或隐患，对实现网络运维智能化、完善网络保障体系具有重要作用。本文主要探讨利用日志大数据挖掘分析，对日志事件进行分级和关联，学习并研究网络日志关联、网络安全审计，根据实际的日志挖掘结果来定义智能化分析策略，发现网络异常或隐患，以实现网络运维智能化、完善网络保障体系。
2 大数据的技术概述分析
2.1大数据的技术概念分析
所谓的大数据技术而言，其主要是为Big data，同时也是伴随着技术技术以及信息技术所出现的一种能够将其海量的信息资源进行有效的搜集和整理等处理的方式，在进行信息搜集和整理的时候，也是存在着比较强的调配功能，大数据的技术产生也是为科学技术进步的一个全面的体现，也是作为人类在改造自然过程中的一个重要的智慧结晶。
2.2大数据技术的特点分析
在人们发展的历史之中，大数据的技术主要是凝结了世界高薪技术的一个成果，并且将其优势能够充分的展示给世人，通过进行了时间的磨砺，大数据的技术目前在国际舞台上已经是展现出了较为独特的魅力，其特点主要是可以概括成为“4V”；一是为Voltme，是大量的意思；二是为Velocity，是高速的意思；三是为Variety，是多样的意思；四是为Value，是价值的意识。所谓的大量主要是指可以承接海量的数据；然而对于高效则是为数据处理的速度十分快；对于多样来说则是为包罗万象；价值便是为应用大数据的技术进行工作的过程中，能够使其社会中的各个领域所出现的生产经营带来不可估量的价值。
3 大数据的技术以及电力行业发展之间的关联性分析
在电力行业之中，主要是作为支撑我国经济发展以及人们生活的能源基础建设事业，当今在我国经济的发展和人们生活水平的不断提高，农业的生产以及工业的生产和日常生活等各个方面对于电能的需求都是在不断的提高。首先在信息化的时代来临之际，一个有效的电力信息主要是电力供应部门进行决策和战略以及规划的基础所在，同时也是作为电力企业建立起现代化的电力企业的实际需求，在大数据技术的来到，正好的为电力部门以及电力企业提供出需要的一些信息，所以对于大数据技术而言，主要是和电力的管理部门以及电力企业的发展存在着一种必然的联系。持伴随着我国现代化建设的顺利进行，国家的电力中心在对电力设施进行建设和整合的过程中也是需要根据具体的数据作为依托，同时大数据进行有效的整合和收集，能够为电力中心发送出相应的数据报告，使其电力中心在进行基础设施建设的过程中可以合理的对资源进行配置，达到资源利用的最大化，避免出现人力、财力和物力方面的损失。通过上述分析，大数据的技术和电力行业的发展各个环节都是存在着一定程度的管线性，根据其现实发展的角度来分析，是要求电力行业能够提高对大数据的应用，可以更好的去实现电力事业的高速发展。
期刊文章分类查询,尽在期刊图书馆
4 日志实时监控分析
4.1端口或链路类日志的实时分析
网络设备的sys-log日志显示端口或链路产生up down事件，在规定时间内又产生down up事件，即可判定为一次端口或链路抖动；超过规定时间未恢复，则可判定为中断事件。事件发生后，根据事先定义端口字典表进行对照，将对应内容组合成精确的告警信息发送给用户。发生端口或链路抖动事件，一定时段内累计至设定阀值，即生成抖动告警。发生端口或链路中断事件，马上生成中断告警。
4.2异常访问的实时分析告警
异常访问主要包含两类：一类是病毒、木马以及黑客攻击行为，对网络特定端口扫描，对单台主机所有端口扫描，或对特定应用的持续攻击；另一类是接入网络的设备配置有误，访问了错误的IP或端口。防火墙、IDS、IPS、UTM等设备可检测到上述异常访问，每次异常生成一条日志记录。当异常访问频繁时，可以通过日志分析平台，生成有效规则，在病毒扫描或异常流量到一定阀值时，进行自动分析触发报警，管理员只需根据报警信息检查异常主机，提高处理效率。
4.3故障处理时限的告警策略
针对指定的一个或多个网络事件、网络故障的组合，制订告警策略。从故障发生时间开始触发计时，自定义多个恢复时间阀值。如故障发生后，超过设定阀值A未收到指定日志（恢复日志）则发送告警信息一。如超过阀值B未收到指定日志（恢复日志）则发送告警信息二。以此类推，直至故障解决，发送系统恢复信息。
4.4建立不同时间段的实时告警策略
针对每组关联分析规则，区分不同时间段，制订相应的规则表。如可导入每年工作日时间表，可区分工作日和休息日不同监控时段的日志，按照对应规则进行报警和报表汇总。
5 定制自动关联及智能化分析策略
5.1关联映射表信息的智能关联
已知的关联信息可以通过关联映射表导入系统。关联映射表包括：网络设备互联信息表、广域网链路信息表等设备或系统相关性的信息。网络设备互联信息表包含的是所有网络设备以及服务器的端口互联信息。当一个广域网链路总头发生中断，所有在该总头的链路会发生上百条up down的日志，通过自动关联，可匹配到参数化预定义的报警内容，生成一条报警信息。主备端口或链路均发生中断，或同一个区域发生大面积链路中断，则根据影响面，反映出不同的告警级别。
5.2日志的自学习信息智能挖掘和关联
未在关联信息表中的日志信息，也可能存在关联性。未定义日志的智能挖掘和关联涉及到分析平台的自学习能力。对常规日志进行一定周期的汇总分析后，通过与人工相结合，完成基线建模并持续跟踪，根据不同时段实际日志的数量和类型进行动态调整，形成“自学习—调整—自学习”的基线闭环，逐步完善系统对日志基线演变的自学习能力与关联能力。
6 结论
经过实际的应用实践，对各种网络日志进行综合的大数据分析能够更加有效的扩展和延伸对网络运维管理，为信息部门综合的保障使用部门对信息化网络运维的实际需要拓宽了视野，也找到大数据在信息化运维中实际应用的思路。在大数据管理的网络运维中我们不再用单一设备故障的可能性排查系统性的问题，而是以系统涌现的观念来看待某一系统层面的问题与其发生的各个构件之间的相互影响。
参考文献
[1]杨威.基于NGDC技术的数据中心监管系统设计与实现[D].复旦大学,2010.
[2]徐峰.基于遗传算法的网络运维中资源调度的研究与应用[D].广东工业大学,2016.
[3]罗伯恩.移动IP承载网自动化巡检系统的设计与实现[D].电子科技大学,2013.
[4]吴国龙.面向云数据中心的工作流自动化系统设计与实现[D].中山大学,2015.
论文作者:杨霞
论文发表刊物:《电力设备》2017年第15期
论文发表时间:2017/10/12
标签：信息论文; 日志论文; 数据论文; 技术论文; 链路论文; 网络论文; 端口论文; 《电力设备》2017年第15期论文;