（湖北民族学院 湖北恩施 445000）
摘要：当前，大数据的飞速发展严重冲击着传统的数据流存储和数据流处理方式。这是一种实时的数据记录序列，它的数据记录不但有序而且数据量巨大，越来越多的应用领域将不得不考虑如何对这种海量数据进行实时处理。本文就针对电力大数据的实时流数据处理技术进行简要分析与探讨，仅供参考。
关键词：电力大数据；实时流数据；处理技术
电网输电设备每天产生数据有数千万条，设备终端以不间断的形式将设备的实时和准实时状态的监测值传递给数据处理中心，再将处理结果发送到上层应用。接下来将以电力大数据为基础，对流数据实时处理技术进行研究。从数据采集终端对报文数据进行规约解析，再到将数据写入Hbase存储，最后将处理结果实时反馈于上层应用，实现终端实时在线心跳监测。在这过程中涉及到数据采集终端报文的解析、上送、数据的存储以及终端实时在线心跳监测。
1 物联网终端报文数据规约解析技术
针对输变电设备实时/准实时数据的种类和特性，开展物联网终端与服务器通讯的报文解析技术研究及应用，以保证不同类型实时数据的高效处理。主要包含数据采集、解析、数据过滤、模型配置、数据上送、数据存储，服务器端模型转换等步骤，详细信息如下：
1.1数据采集、解析
数据采集的核心部分规约库主要由101、103、104、CDT、DISA和61850开发平台构成，以实现变电站传感器多数据的融合。
IEC61850开发平台以IEC61850为核心架构，采用了面向对象的数据存储方式，支持SCL配置文件，支持MMS、GOOSE和采用，支持ACSI通讯接口。
除了IEC61850所规定的内容之外，IEC61850开发平台还支持多种规约和通讯方式，内置数据处理、事件监控、任务管理、系统维护等功能，同时支持Server端和Client端功能，可以灵活的进行配置和扩展，运用到智能变电站的各种智能电子设备或服务器上。
从变电站现场传来的包含监测数据的报文通过规约库进行数据转换进入数据交换区，通过一体化智能监测集成装置分析处理后由RJ45、RS485等硬件通道传送给上层应用系统，如MIS等。
1.2 数据过滤
通过采集的数据，结合数据过滤策略，对数据进行相应的处理。
1.3 数据上送
根据需要及时上送数据（诊断结果、原始数据、事件信息等），上送方式主要为：定时上送、响应主站请求上送以及主动上送。
定时上送数据功能主要依据一体化智能监测集成装置配置的任务列表，定时向主站上送数据。同时设置离线任务机制，当上送失败（通信不稳定等问题），则把需要上送的数据添加到上送队列中，当网络正常的时候继续上送。
响应主站请求是通过主站向终端发送数据请求命令，终端对主站的身份、命令等进行验证，验证通过之后就对其请求的命令进行解析，同时采集主站所需要的数据，回复给主站。
主动上送是当设备关键运行状态发生变化时，终端将评价、诊断结果进行主动上送到主站，分级通知相关人员，进行对应处理。
1.4 数据存储
按照数据的需要在终端对采集的数据、分析的结果等进行定时的存储，以备主站的请求。另一方面存储离线任务数据，当离线任务数据的过多时，说明已经跟主站有较长时间没有联络上，这时就需要把这些数据存储起来，以备主站连接上的时候可以同步。
1.5 终端间互感知、互识别以及互诊断
为了提高工作稳定性，一体化智能监测集成装置提供了终端间的自组网，互感知，互识别以及互诊断功能。功能包括：1、终端使用工业级WIFI，以太网双网通信，提高通信稳定性；2、终端进行运行状态感知，实时反馈整个网络运行状态；3、终端对变电站一次设备进行冗余监测，实时验证数据有效性，保证数据完整性；4、终端自主完成故障诊断、设备重连以及故障上报功能，保证监测不间断进行。
1.6 服务器端数据模型转换
终端上传数据格式示例：
海量的物联网终端将实时/准实时数据发送到分布式消息服务MQ中，JStorm分布式流式计算程序从消息中间件中读取终端上报数据，开展数据模型翻译转换、终端到电网设备台账映射、数据异常预警、数据存储Hbase，最终实时海量实时和准实时数据的分布式存储，以及数据的高速查询。
3 终端实时在线心跳监测技术
基于实时流数据处理框架，开展终端进行定时轮询的心跳监测技术研究及应用，以保证对已注册终端的在线情况进行实时监控。实现过程如下：
在服务器端进行监测终端的核心基本信息维护，主要包含终端在线状态、数据上报频率，IP地址（SIM卡）地址、最近上报数据时间等信息。
在MQ消息队列中间件中建立终端消息监听队列，将翻译后的终端数据消息内容转发到终端消息监听队列中，供JStorm中的终端监控程序使用；JStorm中的终端监控程序核心逻辑为，在接收到终端的消息数据，先对比该终端最近上报数据时间，如果时间间隔超出监测终端的采集频率，即认为终端处于掉线状态。
针对长期没有数据上报的终端，服务器端根据终端的IP地址（SIM）卡号，进行试连接操作，定期感知物联网终端的状态。
结语
综上所述，本文先对物联网终端报文数据进行规约解析，其次对流数据处理，然后在将数据实时/准实时的写入Hbase，最后对终端的实时在线心跳监测技术进行研究。项目中采用物联网终端+分布式消息中间+JStorm流式处理+Hbase（Oracle）存储的架构，实现了电力大数据实时流数据的处理，可以有效的解决电力数据处理缓慢和存储困难问题。
参考文献
[1]周国亮,朱永利,王桂兰,等.实时大数据处理技术在状态监测领域中的应用[J].电工技术学报,2014(s1).
[2]杨力平.智能电网大数据实时流处理方法研究[D].华北电力大学,2016.
论文作者:陈艳红
论文发表刊物:《电力设备》2017年第35期
论文发表时间:2018/5/14
标签：终端论文; 数据论文; 实时论文; 在线论文; 主站论文; 数据处理论文; 规约论文; 《电力设备》2017年第35期论文;