摘要：随着相关业务应用系统的不断建设及完善，配电网自动化、信息化水平不断提升，反映电网运行水平的数据平均每天以百万级乃至千万级的增速增长，传统技术已难以解决电网运检管理中存在的问题。利用电网生产大数据平台，针对电网生产运检管理中存在的问题，实现对各种电网异常情况进行监测、管控。本文分析一体化电网生产实时管控系统，实现了故障跳闸管控、停运管控、负载管控、低电压管控、三相不平衡管控、配网风险评估与预警、配网可靠性效益分析等功能，为电网运维检修管理。
关键词：大数据；电网生产实时数据；雷电大数据应用
数据分析域是全业务、全类型、全时间维度电网数据的汇集中心，是为电网公司各类分析决策类应用提供完备的数据资源、高效的分析计算能力及统一的运行环境，改变过去分析型应用数据反复提取、冗余存储的局面，实现“搬数据”向“搬计算”的转变，支撑企业级数据分析应用的全面开展。当前的信息系统及传统的信息技术已难以满足电网生产运检管理要求，我们研究与建设了电网生产大数据平台，融合营销、调度、生产部门的业务数据及实时数据，实现实时数据海量存储，利用电网生产大数据平台，针对电网生产运检管理中存在的问题，实现了对各种电网异常情况进行监测、管控。
一、电网生产大数据平台的实现
应用云存储、大数据的业务数据与实时数据，构建电网生产大数据平台，实现了元数据建模、数据清洗、数据抽取、数据挖掘、数据分析、数据展现、数据服务等功能，为生产大数据应用提供了数据支撑平台。
1、电网生产大数据平台的总体技术路线。首先，采取云存储、HDFS分布式文件存储技术、Hbase、Hive数据库技术，构架大数据分布式存储系统，结合关系型数据库、实时数据库、列式数据库等建立混合式存储系统，并实现离线计算、实时计算、分布式计算功能。其次，基于采用JAVA开发技术，研究与开发大数据技术支撑平台工具，具备元数据建模、数据抽取（ETL）、数据治理、数据挖掘、数据展示、数据服务、数据搜索等功能，使其不仅能访问底层的混合式存储系统，而且能通过数据抽取、数据治理功能，从不同的系统抽取数据并进行数据清洗、补偿与治理；而且能进行针对混合式存储系统中的数据进行计算、加工、挖掘分析与数据展现，并提供数据访问服务。采用大数据技术支撑平台工具的多元数据采集功能，将分散在营销管理系统、用电采集系统、生产管理系统（PMS）、能量管理系统（EMS）、调度运行管理系统（OMS）、配网自动化系统（DMS）等基础业务数据及电网实时数据，抽取到混合式存储系统中，并根据电网生产应用所需要的数据要求，按变电站-配电线路-配电变压器-用户电网拓扑架构进行融合组织，形成营配调融合的电网生产大数据库。深入研究电网检修管理中所需的数据要求，通过大数据技术支撑平台的数据加工、分析、挖掘功能，对电网生产大数据库的数据进行加工计算、专业计算、挖掘分析，利用大数据技术支撑平台工具的数据服务，灵活发布各种数据服务，用于支撑电网的运行检修管理。
2、电网生产大数据平台的平台总体架构
电网生产大数据技术支撑平台工具采用JAVA开发，可以满足Windows、Linux两种操作系统。融合JDBC及Phoenix数据访问技术，使其能异构访问关系型数据库如Oracle与国产达梦数据库，也能访问基于HDFS的Hbase、Hive数据库。电网生产大数据技术支撑平台不仅实现了底层的分布式计算、任务调度、规则校验、数据交换、数据挖掘、智能搜索核心计算运行引擎，而且在功能上实现了元数据管理、数据治理、ETL、数据挖掘、数据分析、数据展现、数据服务等大数据平台功能。
期刊文章分类查询,尽在期刊图书馆
3、电网生产大数据平台的平台技术架构
（1）数据存储层。平台采用混合存储系统，使用基于HDFS的Hbase、Hive数据库存储海量实时采集的数据；使用关系型数据库存储营销、调度、生产系统的结构化数据。（2）数据访问层。数据访问层主要包括统一SQL访问构件与文件访问构件。（3）计算层。采用Spark技术用于Redis数据库的实时数据计算，采用Hadoop MapReduce技术用于HBase、Hive数据库的非实时性计算，采用Quartz技术实现计算任务的调度，采用Oozie技术，实现MapReduce计算过程的编排及调度。（4）应用层。实现了元数据建模、异构数据采集、数据挖掘、数据治理、数理分析与数据挖掘、数据分析与展现等功能。（5）服务层。利用开源的ESB产品进行二次封装，使其能满足电网生产大数据平台的数据对外发布服务及访问外部服务的功能，主要包括：协议转换、消息转换、消息路由、服务编排、服务注册、服务查找、服务监控等功能。
二、雷电大数据技术
1、高可靠性海量数据采集。数据采集是雷电大数据平台运行的基础条件，可分为源数据获取和消息持久化2 步操作。采用Netty 网络通信框架与监测子站建立TCP/IP 通信，连接采集监测类数据，应用Flume 获取气象以及电网设施相关数据，最终将数据转交给Kafka 消息队列进行持久化操作。
Netty 多线程网络通信框架封装了底层Socket协议提供对TCP/UDP 网络传输的支持。首先，对监测子站启动独立线程以选定被动监听/主动连接网络通信模式；其次，在过滤器中定义编/解码及数据校验规则；然后，在业务处理类中对原始监测数据帧解析并提交给Kafka 消息总线持久化。Kafka 作为高吞吐量发布/订阅消息队列，由数据生产方、中间缓存代理、数据消费方组成。对Kafka处理的消息源进行不同业务分类，形成了物理上的各个分组，每个组是一个有序的队列。数据生产方可向主题发布消息，数据从生产方发送至承担中间管道和分发作用的缓存代理Broker，依据订阅主题分发至各个业务模块中的数据消费方。
2、分布式实时/离线快速计算。为合理配置计算资源，结合实际业务需求，将雷电数据计算分为实时与离线计算，应用Spark 内存计算实现实时监测、短时预警、自动诊断业务的快速计算以满足实时性要求，应用Map/Reduce 编程模型实现参数统计、状态评估等业务的离线计算，采用最大限度错峰使用计算资源。Spark 将数据存放在内存中提供快速实时流计算，数据结构采用弹性分布式数据集RDD，每个RDD 都支持Map/Reduce 类操作。Map/Reduce 分布式计算框架包含Map 函数和Reduce 函数，以键值对（Key/Value）作为其输入和输出，Map/Reduce 编程计算模型。在进行Map 计算之前，会根据输入文件计算分片，每个输入分片对应一个Map 任务。Map函数接收一组键值对，根据用户定制的函数对输入数据进行处理生成中间键值对，将所有Map 函数产生的中间键值对按照相同Key 值进行Shuffle 聚合和排序操作，传递给Reduce 函数。Reduce 函数接收一个中间键值对的Key 值和对应Value 值集合，按照定义的函数对Value 值进行处理，并输出处理后的键值对以完成Map/Reduce 操作。
3、数据安全多级防护策略。电网雷电大数据平台部署在网络环境中，须建立健全的多级信息安全防护体系。在物理设备层配置企业级防火墙、安全隔离装置和入侵检测设备；在网络感知层对数据通信加密并采用无线APN 专网传输，应用网络隔离装置实现数据的安全穿透；在平台支撑层对数据进行冗余保存多个副本自动备份；在应用服务层采用服务接口签名认证，并针对不同的用户分配合理的读写权限，从而保证数据业务的有序调用和安全运行。
参考文献：
[1] 陈毅波，陈乾，眭建新.基于大数据技术的电网运营分析决策系统研究[J].电力信息与通信技术，2015，13（8）：1.
[2] 刁柏青，步万峰.浅谈构建集中统一的电网集团数据中心[J].商，2016（4）：24.
论文作者:徐永辉
论文发表刊物:《电力设备》2018年第16期
论文发表时间:2018/10/1
标签：数据论文; 电网论文; 平台论文; 实时论文; 技术论文; 数据库论文; 业务论文; 《电力设备》2018年第16期论文;