摘要：众所周知，智能电网是电网发展的必然趋势，通过资源的整合和利用，对电网的各个环节进行实时、在线的监控，以便减少电力生产和传输阶段的能量损耗，及时发现并处理设备和线路的故障问题，确保电网运行的安全性和稳定性。本文将对基于智能电网的大数据及其特点加以探讨和分析，并提出当前大数据处理技术运用发展过程中面临的机遇和挑战，以期充分发挥大数据处理技术的优势，从而实现智能电网的自动化、智慧化管理。
关键词：智能电网；大数据处理技术；困境；发展路径
随着科技的快速发展，各种先进的、智能化的设备和技术涌现而出，给智能电网的建设增添了新的活力，其中最为突出的要数大数据处理技术。该技术能够对电网相关的数据进行采集、分析、处理、存储，为电网的维护和管理提供了可靠的依据，电网的运行因而更加的安全、高效，大大减少了电力企业的管理成本，扩大了企业的经济效益。可以说，在智能电网中应用大数据处理技术具有至关重要的意义，需要电力企业切实加强对大数据处理技术的改进和优化，促使其能够更好的为智能电网的建设而服务。
一、智能电网大数据及其特点
1、智能电网中的大数据
一般来说，电网的业务数据可分为三个类别，即设备数据、营销数据和管理数据。设备数据是指电网中全体电气设备的监测和维修数据，营销数据包括电力价格、销量、用电户的信息等，管理数据则是指电力企业生产和管理的相关数据。这些数据既有结构化数据，又有非结构化数据，前者主要储存在数据库中，可使用二维逻辑表来表现，是智能电网运行管理的基础，后者是监控视频和图像处理后生成的数据，在智能电网中占据的比例相对较大。大数据在智能电网中的应用主要体现在以下几个方面：
第一，实时采集设备数据，利用物联网将设备、监测装置及传感器连接起来，并将采集到的数据准确传递到数据中心；第二，由于监测和存储的数据量非常庞大，传统的监测系统无法满足要求，运用大数据处理技术可以很好的实现不同采样频率下的监测任务；大数据处理技术能够真实记录智能电网运行的整个流程，体现了动态的、变化的采样过程，在智能电网的所有环节中都有着不可替代的作用。
2、智能电网中大数据的特点
（1）数据体量巨大。从TB级别，跃升到PB级别。常规SCADA系统10000个遥测点，按采样间隔3～4s计算，每年产生1.03TB数据；广域相量测量系统（WAMS）10000个遥测点，采样率可以达到100次/s，按上述公式计算，则每年产生495TB的数据。
（2）数据类型繁多。电网数据广域分布、种类众多，包括实时数据、历史数据、文本数据、多媒体数据、时间序列数据等各类结构化、半结构化数据以及非结构化数据，各类数据查询与处理的频度和性能要求也不尽相同。
（3）价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有1～2s。在输变电设备状态监测中存在同样问题，所采集的绝大部分数据都是正常数据，只有极少量的异常数据，而异常数据是状态检修的最重要依据。
（4）处理速度快。在几分之一秒内对大量数据进行分析，以支持决策制定。对在线状态数据的处理性能要求远高于离线数据。这种在线的流数据分析与挖掘同传统数据挖掘技术有本质的不同。
期刊文章分类查询,尽在期刊图书馆
二、智能电网大数据处理技术面临的机遇与挑战
1、大数据传输及存储技术
在数据存储方面，智能电网中的海量数据可以利用分布式文件系统来存储，比如利用Hadoop的HDFS等存储系统，然而这些系统虽然可以存储大数据，但很难满足电力系统的实时性要求。因此必须对系统中的大数据根据性能和分析要求进行分类存储：对性能要求非常高的实时数据采用实时数据库系统；对核心业务数据使用传统的并行数据仓库系统；对大量的历史和非结构化数据采用分布式文件系统。智能电网中的数据格式与传统商业数据具有很大的不同，拥有自己的特点。比如在故障录波及输变电设备状态监测中，波形数据较多，数据生成速度快。因此需要研究面向智能电网大数据存储的格式，从而有利于后续的数据分析和计算。与此同时，智能电网对异构和复杂数据的处理效率较低，但是对同质数据的处理效率非常高，所以如何将异构数据变为同质数据也是未来一段时间内电力企业急需解决的重要问题。
2、实时数据处理技术
对大数据而言，数据处理速度十分重要。一般情况下，数据规模越大，分析处理的时间就会越长。目前的云计算系统可以提供快速的服务，但有可能会受到短暂的网络拥塞，甚至是单台服务器故障的影响，而不能保证响应时间。基于内存的数据库越来越受到关注。内存数据库就是将数据放在内存中直接操作的数据库。相对于磁盘，内存的数据读写速度要高出几个数量级，将数据保存在内存中比从磁盘上访问能够极大地提高应用的性能。在大数据集中进行关键字的查询也是一个重要挑战。通过对整个数据集进行扫描来找到符合要求的记录的方法显然不可行，即使通过类似MapReduce这样的并行处理技术加快扫描，也不是很合理。而通过事先为数据建立索引结构来帮助查找是一种比较快速同时节省系统资源的方法。目前一般索引结构的设计仅支持一些简单数据类型，大数据则要求为复杂结构数据建立合适的索引结构，这也是一个巨大的挑战。
3、异构多数据源处理技术
未来智能电网要求贯通发电、输电、变电、配电、用电、调度等多个环节，实现信息的全面采集、流畅传输和高效处理，支撑电力流、信息流、业务流的高度一体化。因此，首要功能是实现大规模多源异构信息的整合，为智能电网提供资源集约化配置的数据中心。电网各信息系统大多是基于本业务或本部门的需求，存在不同的平台、应用系统和数据格式，导致信息与资源分散，异构性严重，横向不能共享，上下级间纵向贯通困难，使用云平台实现各独立系统的集成，可实现这些分散孤立系统之间的信息互通。在智能电网异构多源信息融合和管理中，建立类似IEC61850或IEC61970的信息互操作模型，综合运用统计学习、支持向量机、相关向量机和关联规则挖掘等理论，研究异构数据融合与挖掘的集成方案以及实时挖掘算法。由于设备状态的劣化是一个由量变到质变的过程，像多年积累的油色谱这样的时序数据的挖掘更有意义，目前这种大数据挖掘虽有一些研究成果，但实用化程度不高。
4、大数据可视化化分析技术
面对海量的智能电网数据，如何在有限的屏幕空间下，以一种直观、容易理解的方式展现给用户，是一项非常有挑战性的工作。可视化方法已被证明为一种解决大规模数据分析的有效方法，并在实践中得到广泛应用。可视化通过一系列复杂的算法将数据绘制成高精度、高分辨率的图片，并提供交互工具，有效利用人的视觉系统，并允许实时改变数据处理和算法参数，对数据进行观察和定性及定量分析。这方面的挑战主要包括可视化算法的可扩展性、并行图像合成算法、重要信息的提取和显示等方面。
结语
综上所述，大数据处理技术在智能电网中具有其他技术所无法比拟的巨大优势，其发展前景十分广阔，需要电力企业加强对大数据处理技术的研究，针对当前技术中的缺陷，制定相应的解决方案，确保大数据处理技术在智能电网中的应用价值能够最大化的展现出来，从而为我国电力事业的发展提供可靠的技术保障。
参考文献：
[1]王广辉，李保卫，胡泽春，宋永华.未来智能电网控制中心面临的挑战和形态演变[J].电网技术.2011（08）
[2]范文欣，李娜.智能电网的现状和发展前景分析[J].科技创新与应用.2013（32）
[3]蔡爽，赵莹莹.对智能电网中的智能输变电技术的探究[J].电子技术与软件工程.2013（22）
论文作者:陈昊剑,梁晨,王飞
论文发表刊物:《电力设备》2017年第22期
论文发表时间:2017/12/1
标签：数据论文; 电网论文; 智能论文; 数据处理论文; 技术论文; 实时论文; 系统论文; 《电力设备》2017年第22期论文;