摘要：应用云存储、大数据、分布式计算等技术，集成电网运行中的营销、调度、生产等部门的业务数据与实时数据，构建电网生产大数据平台，实现了元数据建模。利用电网生产大数据平台，针对电网生产运检管理中存在的问题，实现对各种电网异常情况进行监测、管控、分析的省市县一体化电网生产实时管控系统，实现了故障跳闸管控、停运管控、负载管控、低电压管控、三相不平衡管控、配网风险评估与预警、配网可靠性效益分析等功能，为电网运维检修管理提供有利的技术支撑。
关键词：大数据；电网生产实时数据；供用电可靠性；风险评估与预警
国网公司在电网运行的管理上是省、地、县调控分级管理所辖电网，省（市）公司难以完全掌握所属地市及县公司电网真实运行情况，电压等级越低电网运行数据的真实性越难以辨识。同时，随着相关业务应用系统的不断建设及完善，配电网自动化、信息化水平不断提升，反映电网运行水平的数据平均每天以百万级乃至千万级的增速增长，传统技术已难以解决电网运检管理中存在的问题。
鉴于当前的信息系统及传统的信息技术已难以满足电网生产运检管理要求，我们研究与建设了电网生产大数据平台，融合营销、调度、生产部门的业务数据及实时数据，实现实时数据海量存储，并为生产管理（运检管理）的掌控真实的故障跳闸、重过载、低电压、过电压、三相不平衡等全景信息与各种基于电网运行数据的专业分析提供数据及算法支撑。利用电网生产大数据平台，针对电网生产运检管理中存在的问题，实现了对各种电网异常情况进行监测、管控、分析的省市县一体化电网生产实时管控系统，并通过电网生产大数据平台提供的各种数据及算法服务，采用云存储、分布式计算、数据挖掘等技术，开展故障跳闸管控、停运管控、负载管控、低电压管控、三相不平衡管控、配网风险评估与预警、配网可靠性效益分析等功能研究与实现，为电网运维检修管理提供技术支撑。
1电网生产大数据平台的实现
应用云存储、大数据、分布式计算等技术，集成营销、调度、生产等部门的业务数据与实时数据，构建电网生产大数据平台，实现了元数据建模、数据清洗、数据抽取、数据挖掘、数据分析、数据展现、数据服务等功能，为生产大数据应用提供了数据支撑平台。
1.1电网生产大数据平台的总体技术路线
首先，采取云存储、HDFS分布式文件存储技术、Hbase、Hive数据库技术，构架大数据分布式存储系统，结合关系型数据库、实时数据库、列式数据库等建立混合式存储系统，并实现离线计算、实时计算、分布式计算功能。其次，基于Kafaka、Spark、Hadoop MapReduce、Quartz、Oozie、Flume、Sqoop、JDBC、Phoenix、Alchemy Database的控件，采用JAVA开发技术，研究与开发大数据技术支撑平台工具，具备元数据建模、数据抽取（ETL）、数据治理、数据挖掘、数据展示、数据服务、数据搜索等功能，使其不仅能访问底层的混合式存储系统，而且能通过数据抽取、数据治理功能，从不同的系统抽取数据并进行数据清洗、补偿与治理；而且能进行针对混合式存储系统中的数据进行计算、加工、挖掘分析与数据展现，并提供数据访问服务。采用大数据技术支撑平台工具的多元数据采集功能，将分散在营销管理系统、用电采集系统、生产管理系统（PMS）、能量管理系统（EMS）、调度运行管理系统（OMS）、配网自动化系统（DMS）等基础业务数据及电网实时数据，抽取到混合式存储系统中，并根据电网生产应用所需要的数据要求，按变电站-配电线路-配电变压器-用户电网拓扑架构进行融合组织，形成营配调融合的电网生产大数据库。深入研究电网检修管理中所需的数据要求，通过大数据技术支撑平台的数据加工、分析、挖掘功能，对电网生产大数据库的数据进行加工计算、专业计算、挖掘分析，利用大数据技术支撑平台工具的数据服务，灵活发布各种数据服务，用于支撑电网的运行检修管理。
期刊文章分类查询,尽在期刊图书馆
1.2电网生产大数据平台的平台总体架构
电网生产大数据技术支撑平台工具采用JAVA开发，可以满足Windows、Linux两种操作系统。融合JDBC及Phoenix数据访问技术，使其能异构访问关系型数据库如Oracle与国产达梦数据库，也能访问基于HDFS的Hbase、Hive数据库。电网生产大数据技术支撑平台不仅实现了底层的分布式计算、任务调度、规则校验、数据交换、数据挖掘、智能搜索核心计算运行引擎，而且在功能上实现了元数据管理、数据治理、ETL、数据挖掘、数据分析、数据展现、数据服务等大数据平台功能。
1.3电网生产大数据平台的平台技术架构
（1）数据存储层。平台采用混合存储系统，使用基于HDFS的Hbase、Hive数据库存储海量实时采集的数据；使用关系型数据库存储营销、调度、生产系统的结构化数据。（2）数据访问层。数据访问层主要包括统一SQL访问构件与文件访问构件。（3）计算层。采用Spark技术用于Redis数据库的实时数据计算，采用Hadoop Map Reduce技术用于HBase、Hive数据库的非实时性计算，采用Quartz技术实现计算任务的调度，采用Oozie技术，实现MapReduce计算过程的编排及调度。（4）应用层。实现了元数据建模、异构数据采集、数据挖掘、数据治理、数理分析与数据挖掘、数据分析与展现等功能。（5）服务层。利用开源的ESB产品进行二次封装，使其能满足电网生产大数据平台的数据对外发布服务及访问外部服务的功能，主要包括：协议转换、消息转换、消息路由、服务编排、服务注册、服务查找、服务监控等功能。
2电网生产大数据平台的应用
利用大数据技术支撑平台工具的多元数据采集功能，形成融合营、配、调的电网生产大数据库。电网生产大数据平台主要集成了生产管理系统、用电信息采集系统、营销管理系统、能量管理系统、调度管理系统、配电自动化系统、故障指示器主站系统、智能开关主站系统的实时数据，数据采集频率为每日或每5分钟。
国网某公司的电网生产大数据平台已集成了自2015年以来的数据，形成的营配调融合的电网生产大数据库当前约10T的数据。结合电网生产运检管理中的亟待解决的问题，深入分析现有的数据资源，江西公司实现了基于电网生产实时数据的，对电网故障跳闸、重过载、低电压等各种电网异常情况进行监测、管控、分析的省市县一体化电网生产实时管控系统。
结语
国网某公司的电网生产大数据平台集成了覆盖电网生产营、配、调的生产实时数据，同时基于电网生产大数据平台的生产实时管控系统已在该省电力公司本部、12个地市公司、96个县公司得到全面应用，现已运行近2年的时间。系统已实现了全省2864条输电线路、2307台主变、10285条配电线路、138497公变、40629台专变、2641组10kV母线的立体化全面实时管控，使用范围覆盖全省12家地市、97家县公司、897家供电所。电网生产大数据平台在该公司运行检修管理上的实际应用，该公司配电网总体管控能力明显加强，各项配网指标有了长足进步，配网运行水平和供电服务能力明显提升。
参考文献：
[1]宋亚奇，周国亮，朱永利.智能电网大数据处理技术现状与挑战[J].电网技术，2013（4）：927-935.
[2]孟祥君，季知祥，杨祎.智能电网大数据平台及其关键技术研究[J].供用电，2015（8）：19-24.
[3]朱艳伟，黄森炯，蔡一骏，等.电网大数据时代调控管理应对策略研究[J].浙江电力，2015（7）：30-32，61.
论文作者:王卓然
论文发表刊物:《电力设备》2018年第36期
论文发表时间:2019/6/11
标签：数据论文; 电网论文; 平台论文; 实时论文; 技术论文; 数据库论文; 管理系统论文; 《电力设备》2018年第36期论文;