摘要：工业和信息化部发布了《大数据产业发展规划（2016－2020年）》。参照该规划指导思想、发展目标、重点任务、重大工程、保障措施等内容，聚焦电力大数据与大电网智能监控领域，以期促进大数据技术在全球能源互联网建设中的深度应用和创新发展
关键词：电力大数据；大电网；智能；监控
1 智能电网大数据及其特点
1.1智能电网中的大数据
智能电网数据的处理不是单一的存在，它有着自身独特的特点，大体上可把这种往来数据分割为3类：一类是在电网的运作状态下，利用设备来检测和监测数据；二类是把电字的销售，还有价格及电量，根据不同情况、不同客户做出数据判别，后进行整理；三类是电力企业数据的管理。
1.2智能电网中的大数据特点
智能电网中的大数据具备“4V”特征，即规模大（Volume）、类型多（Variety）、价值密度低（Value）和变化快（Velocity）。
2 大数据处理技术
2.1大数据处理的价值
大数据的存在价值在这些年来，被广泛用于商业、科技等领域，俨然成为了社会的重要角色之一。法国执政党在2013年5月，法国投资大数据产业的金额高达1.6亿欧元。法国政府预测大数据对将来的科技与经济发展有着前所未有的深远影响。大数据目前已广泛应用于我国及世界各国，如京东每天新增的交易数据达8TB；大数据分析平台日处理数据量高达90PB，这个平台处理量相当于美国纳斯达克交易所一个星期的数据处理量；再者就是沃尔玛曾经是最早运用大数据来分析并获得受益的企业之一，其曾创造了“啤酒与尿布”的不可取代的神话，现如今的沃尔玛处理100万件交易需要1h，存入的数据大约2.5PB在数据库中，这些数据量是美国国会图书馆的167倍；微软花了20年，耗费数百万美元完成的Office拼写检查功能，谷歌公司则利用大数据统计分析直接实现。
2.2并行数据库
并行数据库（如Oracle等）主要功能为存储结构化数据。
2.3云计算数据
由于电力系统中海量数据的云集，大数据借助云计算高效的计算功能，对智能电网中的数据进行解析，使其能呈现数据分布情况，了解一手资料，做出合理的应对方案。
2.4云计算在智能电网中的应用
云计算运用其高效的服务技术、多样化的监测系统、可靠的实时获取数据，将智能电网中的记录数据进行整理分析，降低其缺失率，能够更为精准地捕捉数据技术难点，将复杂性化为简化。
3 数据的采集
3.1存储在传统数据库中的电网数据采集
集群部署阶段安装的Sqoop服务提供了数据转化的功能，该服务可以将存储在数据库中的电网数据抽取到分布式的存储架构HDFS中，已有的数据就可以很方便地被拉取到集群中。为便于后期对数据进行分布和挖掘，我们可将抽取到HDFS中的数据导入Hive中。Hive针对表中数据提供了一种类sql查询和分析语法，只要掌握简单的sql语法即可对海量的数据进行分析，而不必掌握复杂的大数据技术。
3.2网络中的电网数据采集
Internet上有许多电力企业用户的行为数据，这些数据中蕴含着丰富的价值，采集和分析这些数据也成为企业发展的重要内容。
期刊文章分类查询,尽在期刊图书馆目前网络上的数据主要通过专业的爬虫团队从个网站上爬取，爬取的数据大多数是非结构化的。爬取到的网络数据先将其上传到HDFS中，针对这些非结构化的数据可将其导入HBase表中，HBase对非结构化的数据提供了一种列式存储的分布式技术，该技术不但方便存储复杂的数据，且因其列式存储的特点，非常利于大量数据的压缩存储。
4 数据的分析和挖掘
数据的采集和存储是大数据应用的前提，对大数据进行分析和挖掘，找出数据中蕴藏的规律来指导企业的规划和发展才是我们的最终目的。目前，对存储在分布式架构中的海量数据已经集成了一套数据分析和挖掘的组件：
数据预处理阶段，Hive提供的类sql功能可用于数据的过滤和清洗，初步筛选数据，减少数据的处理量以提高数据的处理速度。数据的分析和挖掘阶段，mahout框架提供了一系列数据挖掘相关的算法，如分类算法、聚类算法、协同过滤算法、模式挖掘算法等，可针对数据运用相应的算法，挖掘数据中的规律，为商业活动提供指导。机器学习阶段，Spark的MLlib包中提供了一系列机器学习的模块，包括朴素贝叶斯、SVM、随机森林等，深度学习数据中蕴藏的规律，利于对企业的发展做预测。
5 数据的应用
通过大数据技术对智能电网海量数据的分析和挖掘所获得的规律，可以指导决策者在企业运营中做出更加合理的决策。如根据分析所得的结果，调整时间段的供电量，减少资源的浪费。通过这一系列的科技手段，既有效的提升了电力部门的绩效，又降低电力信息管理的成本，相应的也减少了电力系统运行带来的环境污染。尤其是智能电网的大数据技术已经发展成为促进电力系统发展的重要因素。大数据技术不仅可以协助智能电网进行用户数据采集，该可以借助大数据的挖掘分类技术，将这些信息分门别类，发送到各个不同的部门以减轻工作人员的工作压力，或借助大数据可视化技术，在纷乱复杂的海量数据中，实现的智能在线监控、可视化调度、趋势分析、预测与报警、事件应急处理和辅助决策等智能应用。
6 重点任务和重大工程
促进大数据与智慧能源系统的新机理新体制与标准体系建立大电网智能监控的信息流形态、功能架构及标准，大电网智能监控的能量流形态、功能架构及标准，多能流融合建模仿真及分析方法。大电网智能监控的信息流和能量流融合及交互机制，抽象与统一，耦合特性建模、仿真和安全特性分析。形成巨型能源互联系统的综合能量管理系统框架及标准体系。强化大数据与智慧能源系统的全景状态感知智能传感产品研发大电网综合环境监测技术，在已有的广域同步测量技术基础上，针对不同工况和场景态势评估与控制需求，提出能源互联网所涉及的各种电源侧、电网侧、负荷侧、环境等信息广域同步测量方案。智能测量终端对设备状态、系统安全水平、潜伏故障及风险具有智能分析与诊断，并支持实时数据的远传。
7 数据与智慧能源系统的时空一体化信息组网技术攻关
由于能源互联网的广域、紧急和工业控制对空间和时间的要求苛刻，需要采用高安全、高可靠的大颗粒业务传输模式。分布式高精度全景同步录波数据融合与反演技术，高性能大电网智能监控时空一体化特种通信和组网技术，面向大电网智能监控的智能云端协作关键技术及系统。同时采用分层分域（核心、骨干、接入）、大容量低时延的网络架构。推进大数据与巨型电网智能监控系统的新型软件平台建设针对巨型能源互联系统的智能管控问题，突破可信云计算服务器和安全技术，研究可信网络和可信实体框架，大电网可持续演化的智能化软件理论、方法和技术，大电网智能驾驶系统的软件体系结构和支撑技术，面向大电网调控的智能化集成化软件互操作平台。
结束语
做好智慧能源系统的大数据宏观产业布局和顶层框架设计，促进智慧能源系统信息采集、网络通讯、大数据平台、智慧应用和人机交互等产业链的龙头企业和创新型中小企业。推动电力大数据基础设施和支撑服务平台建设，完善大数据智能分析和综合服务体系。创造良好的电力大数据和智慧能源产业发展环境，推动建立智慧能源系统良好生态体系。助力“一带一路”“互联网+”和全球能源互联网建设。
参考文献
[1]唐聪岚,卢继平,谢应昭,张露.基于改进数据流在线分割的超短期负荷预测[J].电网技术.2014(07).
[2]于恒友,刘波,彭子平.基于HBase的输电线路综合数据存储方案设计[J].电力科学与技术学报.2014(02).
论文作者:罗晋,李少博,苏玉京,樊锐轶
论文发表刊物:《电力设备》2017年第17期
论文发表时间:2017/10/23
标签：数据论文; 电网论文; 智能论文; 技术论文; 能源论文; 互联网论文; 系统论文; 《电力设备》2017年第17期论文;