摘要：随着“全覆盖、全采集、全费控”目标提出和计量大数据全面深化应用的迫切需求，以及国家电力监控系统安全防护新要求，现有省级计量系统的传输效率和响应时间等性能水平较低，无法满足应用需求，严重阻碍供电服务水平的提升和智能用电技术的推广，迫切需要开展对超大规模省级计量自动化系统的分布式架构和安全防护技术研究，并从安全防护体系、网络通道、终端接入等技术方面进行改造。
关键词：超大规模；计量自动化系统；高效集中采集技术
引言
伴随电力事业发展进步，社会电能供应求量逐渐增加，电能计量设备的维护以及检查工作难度逐渐升高，而伴随自动化工艺的持续进步升级，各个领域行业当中对自动化系统的运用的研究也在持续的扩大以及深入，在计量设备日常的维护以及检查工作当中运用计量自动化系统，不仅能够在材料资源及人力资源方面使得成本支出得到极大减少，而且还能够使维护以及检查的工作变得更有效率。
1计量自动化系统概况
为提升研究实践价值，以计量自动化系统作为研究对象，该系统基于可靠性和稳定性优先、数据集中和数据共享、先进性和实用性结合、安全性、易维护性、可扩展性、开放性等原则建设，整个系统由系统管理、数据分析、日常运行、高级应用组成，其中数据分析包括电量分析、报表管理、电能质量分析、负荷分析、线损分析等具体功能，日常运营则包括运行管理和告警管理，高级应用包括客户节能评估和综合数据展现。系统功能的实现需得到数据共享服务、数据抽取服务、数据质量审核服务、计量故障诊断服务支持。整个计量自动化系统采用分层开发方式与J2EE软件架构技术，具体由数据抽取层、数据处理层、应用服务、展现层四个层级组成，采用的技术包括基于优化自由结构OFA的数据库优化技术、基于数据库连接池技术的数据处理优化技术、合理分解数据计算流的多线程技术、基于嵌入式数据库的缓存技术、基于计算服务器集群与数据库服务器集群的集群技术、海量数据处理技术。系统拥有电能量数据收集功能、基础数据管理功能、电能量数据处理功能、异常数据监测功能、异常数据分析处理功能、电能量数据统计报表功能。
2超大规模计量自动化系统的高效集中采集技术
2.1分层集群协同处理技术
（1）前置采集分层集群技术
终端设备通过负载均衡器统一接入通讯接入层（前置机集群），通讯接入层负责终端的连接管理，包括终端连接、路由信息、终端信息管理等。
通讯接入层负责将报文发送到规约解析层（采集处理服务器），负责规约封装、解析、命令处理等，规约解析程序采用分布式部署方式，各服务器终端档案的信息通过消息机制进行同步负责，保持数据的一致性，可以通过负载均衡器或者负载均衡软件按照优先级策略进行报文分发给各服务器。分布式缓存主要负责入库前数据缓存，防止报文丢失、提升报文入库效率；引入指令队列机制，采用异步方式处理下行指令，一方面提升指令处理效率，另一方面在大批量指令下发的情况下，由于采用异步处理，从而提升了指令处理稳定性。
（2）多集群协同处理技术
传统的后台采集模块之间的通讯，全部是通过点对点的管道传输实现的。存在下面缺点：
1）占用资源较大，一条管道需要上百兆内存，整个采集需要上百个管道，对机器要求太高；
2）管道缺少流控机制，断点续传机制，完全依赖TCP层来保障；
3）管道性能也稍微欠缺，一秒大约几千条报文。
期刊文章分类查询,尽在期刊图书馆
本技术有以下优点：
1）一类报文使用一条TCP长连接方式传输，占用资源不到100k；
2）包含心跳检查僵死TCP连接、流控机制，断点续传机制、重传历史报文；
3）包含主备机制，后续增加集群负载均衡机制；
4）采用开源高性能网络库libevent（libevent的介绍、优点可百度），编写出一套高并发、高性能网络通讯框架，框架内含心跳功能、主备切换功能；
5）实现了一套可扩展的数据层协议，支持二进制、文本，内含流控机制，断点续传机制。
基于此网络通讯框架，可以很快开发出采集系统需要的各类数据传输，大批量终端接入等模块。
2.2大并发采集接入技术
（1）基于Epoll的大批量终端接入
为了提高前置采集程序的接入量和并发处理能力，需选用高性能的的I／O多路复用的技术。通过引用Epoll技术提高了单台前置机的采集能力，经测试单台前置机接入终端的数量在15万台以上。
I／O多路复用有很多种实现：在Linux2．4内核前主要是Select和Poll，自Linux2．6内核正式引入Epoll以来，已经成为了目前实现高性能网络服务器的必备技术。
Epoll除了提供Select／Poll那种IO事件的水平触发（LevelTriggered）外，还提供了边缘触发（EdgeTriggered），这就使得用户空间程序有可能缓存IO状态，减少epoll＿wait／epoll＿pwait的调用，提高应用程序效率。与Select相比，Epoll分清了频繁调用和不频繁调用的操作。例如，epoll＿ctrl是不太频繁调用的，而epoll＿wait是非常频繁调用的。这时，epoll＿wait却几乎没有入参，这比Select的效率高出一大截，而且，它也不会随着并发连接的增加使得入参越发多起来，导致内核执行效率下降。为了提高前置采集程序的接入量和并发处理能力，我们选用Epoll的I／O多路复用的技术，显著提高程序在大量并发连接的情况下的系统CPU利用率，主要特点如下：单进程最大连接数多，2G内存的机器可以打开20万左右的连接；I／O效率高，只有活跃的Socket才会主动的去调用，不会随着集合增加而出现性能问题；内存拷贝消耗低，核和用户空间通过mmap共享一块内存来实现的，省去不必要的内存拷贝。
（2）基于Netty的高性能异步通讯
Netty是一个高性能、异步事件驱动的NIO框架，它提供了对TCP、UDP和文件传输的支持，作为一个异步NIO框架，Netty的所有IO操作都是异步非阻塞的，通过Future－Listener机制，用户可以方便地主动获取或者通过通知机制获得IO操作结果。作为当前最流行的NIO框架，Netty在互联网领域、大数据分布式计算领域、游戏行业、通信行业等得到了广泛的应用。为实现和终端之间的高性能通讯，采用Netty框架，通过研发高性能的压缩二进制编解码算法，精心设计Reactor线程模型，实现和终端之间的高性能通讯，通过此项技术可以保证前置服务器集群实现大批量终端的高并发Socket连接，保证百万级高吞吐量的Socket连接数据传输需求。
结语
本文从前置集中采集业务出发，在满足安全防护要求的基础上，前置服务采用分层处理集群、大规模并发接入等技术优化现有前置采集服务。提高了前置采集程序的接入量和并发处理能力，满足了集中采集后对大量终端并发接入以及高效数据采集性能的要求。
参考文献：
［1］王和栋，杨劲锋．省级电能计量自动化系统海量数据的分布式并行处理［J］．广东电力，2014，27（4）：82－85.
［2］周宇，刘水，何莎．用电信息采集系统关口数据接入设计与实现［J］．江西电力，2015，39（6）：67－71.
［3］郭起霖，陈宝仁，张斌．基于电力无线专网的海量数据并发接人性能分析［J］．南方能源建设，2015，2（1）：77－80.
［4］党三磊，武占河，肖勇，等．家庭分布式能源计量自动化系统的设计与实现［J］．电测与仪表，2014，51（14）：12－16.
论文作者:龚俊华
论文发表刊物:《基层建设》2020年第1期
论文发表时间:2020/4/20
标签：数据论文; 技术论文; 终端论文; 集群论文; 报文论文; 自动化系统论文; 高性能论文; 《基层建设》2020年第1期论文;