摘要：智能电网需要全景的状态数据。电网运行、检修和管理过程中会产生海量异构、多态的数据，也即大数据。如何对它们进行高效、可靠、低廉地存储，并快速访问和分析，是当前重要的研究课题。
关键词：智能电网；大数据
一、引言
近年来，随着全球能源问题日益严峻，世界各国都开展了智能电网的研究工作。智能电网的最终目标是建设成为覆盖电力系统整个生产过程，包括发电、输电、变电、配电、用电及调度等多个环节的全景实时系统。而支撑智能电网安全、自愈、绿色、坚强及可靠运行的基础是电网全景实时数据采集、传输和存储，以及累积的海量多源数据快速分析。因而随着智能电网建设的不断深入和推进，电网运行和设备监测产生的数据量呈指数级增长，逐渐构成了当今信息学界所关注的大数据，这需要相应的存储和快速处理技术作为支撑。
由于云计算平台的广泛应用，积累了海量、多源异构数据，这急需人们研究这种大数据的分析技术和理论。目前，大数据已成为学术界和产业界共同关注的研究主题，在很多领域获得了应用，具有广阔的应用前景。
二、智能电网大数据
电网业务数据大致分为3类：一是电网运行和设备检测或监测数据；二是电力企业营销数据，如交易电价、售电量、用电客户等方面的数据；三是电力企业管理数据。根据数据的内在结构，这些数据可以进一步细分为结构化数据和非结构化数据。结构化数据主要包括存储在关系数据库中的数据，目前电力系统中的大部分数据是这种形式，随着信息技术的发展，这部分数据增长很快。相对于结构化数据而言，不方便用数据库二维逻辑表来表现的数据即称为非结构化数据，主要包括视频监控、图形图像处理等产生的数据。这部分数据增长非常迅速，互联网数据中心（Internetdatacenter，IDC）的一项调查报告指出：企业中80%的数据都是非结构化数据，这些数据每年都按指数增长60%。在电力系统中，非结
构化数据占到了智能电网数据的很大比重。
智能电网与传统电网存在很大的不同，具有更高的智能化水平，而实现智能化的前提是大量实时状态数据的获取，目前智能电网中的大数据主要是因为以下几个方面：
1）为了准确实时获取设备的运行状态信息，采集点越来越多，常规的调度自动化系统含数十万个采集点，配用电、数据中心将达到百万甚至千万级。需要监测的设备数量巨大，每个设备都装有若干传感器，监测装置通过适当的通信通道把这些传感器连接在一起，由变电站的数据收集服务器按照统一的通信标准上传到数据中心，这实际上构成了一个物联网。而物联网的后端采用云计算平台已被认为是未来的发展趋势。智能电网设备物联网同云计算平台的基础设施层互联，进行数据交换。
2）为了捕获各种状态信息，满足上层应用系统的需求，设备的采样频率越来越高。比如在输变电设备状态监测系统中，为了能对绝缘放电等状态进行诊断，信号的采样频率必须在200kHz以上，特高频检测需要GHz的采样率。这样，对于一个智能电网设备监测平台来说，需存储的监测或检测的数据量十分庞大。
3）为真实完整记录生产运行的每个细节，完整反映生产运行过程，要求达到“实时变化采样”。
三、智能电网中大数据的特点
智能电网中的大数据具备“4V”特征，即规模大（volume）、类型多（variety）、价值密度低（value）和变化快（velocity）。
1）数据体量巨大。从TB级别，跃升到PB级别。
2）数据类型繁多。电网数据广域分布、种类众多，包括实时数据、历史数据、文本数据、多媒体数据、时间序列数据等各类结构化、半结构化数据以及非结构化数据，各类数据查询与处理的频度和性能要求也不尽相同。
3）价值密度低。在输变电设备状态监测中存在同样问题，所采集的绝大部分数据都是正常数据，只有极少量的异常数据，而异常数据是状态检修的最重要依据。
4）处理速度快。在几分之一秒内对大量数据进行分析，以支持决策制定。对在线状态数据的处理性能要求远高于离线数据。这种在线的流数据分析与挖掘同传统数据挖掘技术有本质的不同。
另外，智能电网中的数据处理，对数据质量有一定的要求，可以考虑为各类智能电网数据引入一个新的属性：数据的真实性。数据的真实性是指与特定类型数据相关的可靠性级别。高质量数据对于数据分析结果的正确性有重要影响。然而即使最好的数据清洗方法也无法去除某些数据固有的不可预测性。承认不确定性需求，并将数据的真实性作为智能电网大数据的一个维度是可行的。
四、大数据处理技术
4.1 大数据处理的价值和复杂性
近年来，大数据已经成为科技界和产业界共同关注的热点。2012年3月，美国政府宣布投资2亿USD启动“大数据研究和发展计划”。美国政府认为大数据是“未来的新石油”，将“大数据研究”上升为国家意志，对未来的科技与经济发展必将带来深远影响。一个国家拥有数据的规模和运用数据的能力将成为综合国力的重要组成部分，对数据的占有和控制也将成为国家间和企业间新的争夺焦点。
与大数据在商业及互联网领域的广泛研究和应用相比，大数据在智能电网建设的研究中还有待进一步加强。由于云计算平台具有存储量大、廉价、可靠性高、可扩展性强等优势，但在实时性方面难以保证，故它不适合于作为电网调度自动化系统的主系统，但可用于调度自动化系统的后台，也可用于智能电网数据中心（营销、管理和设备状态监测）。
云平台环境下的通用大数据处理和展现工具正在不断涌现，为减少软件开发工作带来了好处。然而，数据挖掘通常是与具体应用对象相关的，大数据挖掘是一个不小的挑战。如故障录波数据初次筛选等一些基于聚类方法的应用，在面对海量数据时，传统聚类算法在普通计算系统上无法完成。
期刊文章分类查询,尽在期刊图书馆此外，在数据处理面临规模化挑战的同时，数据处理需求的多样化逐渐显现。相比支撑单业务类型的数据处理业务，公共数据处理平台需要处理的大数据涉及在线/离线、线性/非线性、流数据和图数据等多种。
4.2 并行数据库
关系数据库（如Oracle等）主要存储结构化数据，提供便捷的数据查询分析能力、按照严格规则快速处理事务（transaction）的能力、多用户并发访问能力以及数据安全性的保证。通过SQL查询语言及强大的数据分析能力以及较高的程序与数据独立性等优点获得了广泛应用。然而随着智能电网建设的加速，数据已远远超出关系型数据库的管理范畴，地理信息系统以及图片、音视频等各种非结构化数据逐渐成为需要存储和处理的海量数据的重要组成部分。面向结构化数据存储的关系型数据库已不能满足智能电网大数据快速访问、大规模数据分析的需求。
4.3 云计算技术
大数据技术的需求是伴随着云计算平台的出现而出现的，故有必要介绍一下云计算技术。实际上目前云计算技术是大数据存储与处理技术的重要组成部分。由于大数据的数据量和分布式的特点，使得传统的数据管理技术难以胜任这种海量数据。云计算的核心是海量数据存储和数据并行处理技术。其核心思想包括分布式文件系统（distributedfilesystem，DFS）和MapReduce技术，主要思路由Google公司提出。DFS有着高容错性的特点，并且是为部署在价格低廉的硬件上而设计的，而且它为应用程序提供高吞吐量的数据访问，适合那些有着超大数据集（largedataset）的程序。Hadoop提供了DFS的一种开源实现（HDFS），该分布式文件系统放宽了POSIX的要求，可以实现流的形式访问文件系统中的数据（streamingaccess），并具有高可靠性、高可扩展性以及负载均衡等能力。
五、智能电网大数据的机遇与挑战
5.1 大数据传输及存储技术
随着智能电网建设的逐步推进，在电力系统各个环节的运行数据及设备状态在线监测数据被记录下来，由此产生的海量数据传输和存储问题不仅对监控装置造成极大的负担，而且也制约着电力系统智能化的跨越式发展。
通过数据压缩可以有效减少网络数据传输量，提高存储效率。因此数据压缩技术获得了广泛关注，探讨了基于提升格式的故障暂态过程信号实时数据的压缩和重构算法，利用线性整数变换小波双正交滤波器组合哈夫曼编码方法对电力
系统的实时数据进行压缩和解压缩。
智能电网环境下各类数据异构，不能用已有的简单数据结构来描述，而计算机算法在处理复杂结构数据方面相对低效，但处理同质的数据则非常高效。因此，如何将数据组织成合理的同质结构，是大数据存储处理中的一个重要问题。另外，智能电网中存在大量的非结构化和半结构化数据，如何将这些数据转化为一个结构化的格式，是一项重大挑战。
5.2 实时数据处理技术
对大数据而言，数据处理速度十分重要。。一般情况下，数据规模越大，分析处理的时间就会越长。传统的数据存储方案是为一定大小的数据量而设计的，在其设计范围内处理速度可能非常快，但不能适应大数据的要求。未来智能电网环境下，从发电、输变电环节，到用电环节，都需要实时数据处理。目前的云计算系统可以提供快速的服务，但有可能会受到短暂的网络拥塞，甚至是单台服务器故障的影响，而不能保证响应时间。
基于内存的数据库越来越受到关注。内存数据库就是将数据放在内存中直接操作的数据库。相对于磁盘，内存的数据读写速度要高出几个数量级将数据保存在内存中比从磁盘上访问能够极大地提高应用的性能。
5.3 异构多数据源处理技术
未来智能电网要求贯通发电、输电、变电、配电、用电、调度等多个环节，实现信息的全面采集、流畅传输和高效处理，支撑电力流、信息流、业务流的高度一体化。因此，首要功能是实现大规模多源异构信息的整合，为智能电网提供资源集约化配置的数据中心。针对海量异构数据，如何构建一个模型来对其进行规范表达，如何基于该模型来实现数据融合，以及对其进行有效的存储和高效查询是亟需解决的问题。
电网各信息系统大多是基于本业务或本部门的需求，存在不同的平台、应用系统和数据格式，导致信息与资源分散，异构性严重，横向不能共享，上下级间纵向贯通困难。使用云平台实现各独立系统的集成，可实现这些分散孤立系统之间的信息互通。
5.4 大数据可视化化分析技术
面对海量的智能电网数据，如何在有限的屏幕空间下，以一种直观、容易理解的方式展现给用户，是一项非常有挑战性的工作。可视化方法已被证明为一种解决大规模数据分析的有效方法，并在实践中得到广泛应用。智能电网各类应用产生的大规模数据集，其中包含高精度、高分辨率数据，时变数据和多变量数据等。一个典型的数据集可达TB数量集。如何从这些庞大复杂的数据中快速而有效地提取有用的信息，成为智能电网应用中的一个关键技术难点。可视化通过一系列复杂的算法将数据绘制成高精度、高分辨率的图片，并提供交互工具，有效利用人的视觉系统，并允许实时改变数据处理和算法参数，对数据进行观察和定性及定量分析。
这方面的挑战主要包括可视化算法的可扩展性、并行图像合成算法、重要信息的提取和显示等方面。
六、结论
未来的智能电网将是依托大数据处理分析技术的全景实时电网。云计算为这种异构且多样化的数据提供了存储和分析的平台。平台运行一段后必然产生大数据，云平台和大数据分析将会为电力设备的状态检修、电网自愈、孤立信息系统的互通提供支持，并成为重要的候选方案，具有低成本、好的系统扩展性（存储容量无限）、高可靠性、并行934宋亚奇等：智能电网大数据处理技术现状与挑战分析等优势，在国际上已有几例系统投入实际运行，但在实时性、数据一致性、隐私性和安全性方面仍有不少的挑战，需要找出相应的解决方法。大数据的处理技术还很欠缺，有待人们去探索。
参考文献：
[1] 张文亮，汤广福，查鲲鹏，等．先进电力电子技术在智能电网中的应用[J]．中国电机工程学报，2010，30（4）：1-7．
[2] 李国杰．大数据研究的科学价值[J]．中国计算机学会通讯，20128（9）：8-15．
论文作者:阮浩洁,俞立梅
论文发表刊物:《电力设备》2017年第18期
论文发表时间:2017/11/6
标签：数据论文; 电网论文; 智能论文; 数据处理论文; 结构化论文; 技术论文; 实时论文; 《电力设备》2017年第18期论文;