摘要：智能电网是建立在集成的、高速双向通信网络的基础上，通过先进的传感和测量技术、先进的设备技术、先进的控制方法以及先进的决策支持系统技术的应用。本文从大数据与传统研究方法综述了国内外智能电网大数据研究和工程应用现状，总结了大数据的理论基础和技术构成；并对智能电网大数据的技术发展提出建议。
关键词：大数据；智能电网；技术发展；关键技术
引言
智能电网是包括发电、变电、输电、配电、用电及调度等多个环节的全景实时系统。由于全球经济的高速发展，智能电网的研究直接关系到一个国家的电力能源的供给问题。支撑智能电网安全、自愈、绿色、坚强及可靠运行的基础是电网全景实时数据采集、传输和存储，以及累积的海量多源数据快速分析。因而随着智能电网建设的不断深入和推进，电网运行和设备检/监测产生的数据量呈指数级增长，逐渐构成了当今信息学界所关注的大数据，电力大数据由结构化数据和非结构化构成，随着智能电网建设和物联网的应用，非结构化数据呈现出快速增长的势头，其数量将大大超过结构化数据。
1.大数据特点及价值
1.1大数据特点
⑴规模性与多样性
互联网、社会计算和移动计算等新兴技术的飞速发展，智能电网数据的来源和规模正呈现出爆炸式增长态势，数据类型也呈现出多样性，主要包括历史数据、时间序列数据、实时数据、及跨媒体数据等各种结构化数据、半结构化数据以及非结构化数据。
1.2 电力大数据价值
电力大数据规模大、类型多不论在企业内部还是外部都有很高的应用价值，对于电力企业盈利与控制水平有很好的利用价值，据统计数据利用率每提高1倍，可以使电网利润提升2～5倍；在电力行业以外，电力大数据在经济建设、能源配置和民生改善等方面展现出巨大的综合价值
1.3目前智能电网大数据存在的障碍
⑴ 对智能电网大数据价值缺乏认同。
电力系统是一个传统的行业，并且智能电网大数据的研究起步不久。电力专业人员对大数据的基本概念，大数据在智能电网中应用价值缺乏共识，甚至存在着一定程度的怀疑，需要有令人信服的结果才能得到普遍认同。
⑵通信信息架构的一致性
受通讯信息覆盖面影响，有些地区信息不能实现实时上传，但是通讯体统的改造则需要跨行业投入新的资金。
⑶数据的隐私、安全及获取。
电力公司有些内部数据不能公开，有的又涉及到安全问题，上传受到限制。并且公开数据的获取也受到硬件、管理机制等方面的影响。
2.大数据的关键技术
从信息的处理流程上大数据在智能电网中的应用可以分为：数据的采集、数据筛选、数据存储及初级处理、数据分析、数据解读和数据应用等6个环节，其中关键技术为数据集成技术、数据存储技术、数据处理技术和数据分析技术。
2.1数据集成技术
电力行业智能能电网大数据具有分散性、多样性、复杂性等特征，这些特征给大数据处理带来一定的困难。智能电网大数据的集成应按照一系列流程经行规范操作：数据抽取→转换→剔除→修正等处理，才能建立起正确、完整、一致、有效的智能电网大数据。
2.2数据存储技术
智能电网中的大数据大多数是机构化数据，同时也存在文本、音频、图形、视频等非结构化数据。对非结构化数据可采用分布式文件系统进行存储，对结构松散无模式的半结构化数据可采用分布式数据库，对海量的结构化数据可采用传统关系数据库系统或分布式并行数据库。
期刊文章分类查询,尽在期刊图书馆
2.2.1分布式文件系统
Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。
2.2.2分布式数据库
分布式数具有很好的扩展性和协同性，在大规模数据存储和管理中得到广泛的应用。
HBase是一个分布式的、面向列的开源数据库，HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。
2.2.3关系型数据库系统
Oracle是一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的 适应高吞吐量的数据库解决方案。
2.3数据处理技术
智能电网大数据的应用类型较多，需要根据不同的业务需求采用不同的数据处理技术。包括流处理、批处理、内存计算、凸计算等。
2.3.1流处理
目前应用的流处理系统有Twitter Storm和Yahoo S4。Twitter Storm是分布式实时计算系统，主要用于流数据处理，可以简单、高效、可靠地数据流。它能够处理源源不断流进来的信息，处理之后将结果写入到某个存储中。Storm的优点是全内存计算，因为内存寻址速度是硬盘的百万倍以上，所以Storm的速度较快。
2.3.2批处理
MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。用来保证所有映射的键值对中的每一个共享相同的键组。
3.大数据的发展建议
根据目前智能电网大数据存在的一些问题，本文提出以下建议：
⑴提高电力行业对大数据的认识，做好大数据理论知识普及工作。
⑵目前大数据的研究处于起步阶段，需要初步制定行业标准及发展方向。
⑶加大资金投入到智能电网试运行中，发现问题，分析问题、并进行技术攻关。
⑷智能电网相关的设备接口的统一，信息采集、归类方法的统一。
⑸由于智能电网信息量会逐渐增大，需要采用更新的大数据处理技术来支撑。
4.结论
本文阐述了智能电网中大数据的数据特点以及应用价值，重点介绍了目前智能电网中大数据集成、分析处理以及数据分析的关键技术，在最后对大数据的发展提出一点建议。希望能为我国智能电网大数据处理提供参考。
参考文献：
[1]宋亚奇，周国亮，朱永利.智能电网大数据处理技术现状与挑战[J].电网技术，2013，37（4）：927-934.
[2]潘明惠.内存计算技术验证项目与应用研究[J].电力信息化，2012，10（10）：29-34.
[3]王德文，宋亚奇，朱永利.基于云计算的智能电网信息平台[J].电力系统自动化，2010，34（22）：7-12.
[4] 刘振亚．智能电网技术[M]．北京：中国电力出版社，2010．
论文作者:杨小龙,郑涛
论文发表刊物:《电力设备》2018年第1期
论文发表时间:2018/5/31
标签：数据论文; 电网论文; 智能论文; 分布式论文; 技术论文; 结构化论文; 数据处理论文; 《电力设备》2018年第1期论文;