（123国网山东省电力公司临沂供电公司 山东临沂 276000）
摘要：用电信息釆集系统是营销管理现代化的有力技术支撑，是“大营销”体系下实现营销精益化管理的有效手段，是提升优质服务水平的一项重大举措。随着智能电网建设的开展，不断增长的海量数据使得传统数据库无法满足当前用电信息采集系统的需要。国网山东临沂供电公司抓住机遇，充分发挥人才密集、技术过硬、创新能力强、县公司基础好的优势，率先实现用电信息釆集系统全履盖。本期以此专题，介绍了用电信息釆集系统建设和应用等方面的先进经验。
关键词：云计算；大营销；电力企业；用电信息采集系统建设
引言
用电信息采集系统作为在电能计量中使用得较为成熟的专业服务系统，在宏观结构、通讯协议、进程控制和管理算法方面有一定的积累。但是，不管是面对电力网络用户本身，以平均每年增加700万智能计量终端的规模，还是拓展到互联能源网络的计量采集需求，系统都面临较大的挑战。云计算作为当前领先的大数据存储、处理和分析运算技术，已经集中运用于输配供电系统和软件仿真方面。
1用电信息采集系统现状
用电信息采集系统物理架构包括主站、通信信道和采集设备3部分；逻辑架构分为主站层、通信信道层和采集设备层3个层次。截止到目前，用电采集系统已经囊括了国家电网27个省级电力公司的1.82亿只智能电表，基本实现了“全覆盖、全采集、全费控”。随着用户用电端的智能化，计量仪表和其他需采集设备还在不断增加。面对海量化、多类别和共享性日益增强的系统大数据，用电采集系统面临的困境主要体现在：（1）海量数据的入库、读取和分析处理速度缓慢。采集终端和监控设备剧增，导致数据入库和存储的压力剧增。现有的基于中小型机关数据库集群方案，受到传统关系数据库的制约，不能调动使用闲置的分布式资源，使得数据入库和存储速度缓慢，无法满足许多必须的规模性服务质量。同时，单一的数据结构，数据规模的扩充，在进行数据查询、系统运算和分析时，耗时量大，效率低。（2）硬件设备的扩充，网路开销加大。开放能源网络建立后，能源路由器和其他多类兼容网络设备接入同步，会增加大量的通信服务器和采集前置机，数据漏采，不完整、差错性加大，网络地址转换连接池管理困难，采集网络开销加大。（3）数据容灾备份预防困难。现有的数据库系统，难以保证出现单点故障后仍维持正常运行，从而降低了系统可靠性，而由于数据量的大幅增加，数据备份的速度以及备份数据的存储恢复都已出现困难。
2云计算的技术特点
云计算模式主要体现在分布式、并行和效用计算，具有虚拟化、负载均衡、冗余热备份和网路化存储等特点。其按服务方式可分为公有云、私有云和混合云，用在大数据处理方面，有多进程服务、共享资源、按需付费、快速伸缩和网络面广的优势。
2.1存储管理
云计算中的存储内核为分布式文件系统，可进行并发读写操作，突破了传统分布式文件系统在存储容量和扩展性上的瓶颈，同时可提供良好的容错机制，大大提高了存储系统的可靠性。对于上层应用，云计算采用的分布式文件系统提供统一应用接口，可屏蔽底层系统的异构特性，能使上层应用透明地访问文件系统。目前已经使用的可靠分布式存储系统有GFS、HDFS、FastDFS和GPFS等。
2.2数据库管理
传统的关系型数据库，存在高并发读写速度慢、支撑容量有限、扩展困难、建设运维成本高等缺点。为弥补这些不足，云计算环境主要采用2种数据库：NoSQL数据库和NewSQL数据库。NoSQL数据库主要采用键值对数据模型，可弱化数据之间的关联性，便于对数据的分布式存储、管理和并行处理，已经成型使用的包括Bigtable、Hbase和Redis等。NewSQL数据库是各种新型可扩展高性能数据库系统的统称，要求具有NoSQL的海量数据管理能力，又必须支持ACID规则和一般SQL检索。
2.3并行处理和调度机制
云计算在大数据应用领域广泛采用分布式并行计算技术，其主要包括Hadhoop、Spark和Storm三大系统。Hadhoop是MapReduce并行计算框架的开源实现，主要用于离线大数据的并行处理，基于磁盘存储，用于任务执行起始阶段，要执行大量磁盘IO操作。Spark是基于内存计算的批处理系统，采用可恢复分布式数据集转换方法，在离线数据处理时，计算效率比Hadhoop更高。Storm主要采用微批处理技术，针对在线实时大数据流并行处理。这3种系统都具有系统容错功能，在出现节点故障时，可重启节点或转移计算任务，从而保证系统仍能正常运行，能提高系统运行的可靠性。在进行资源调度时，云计算将分布式资源转换为虚拟机的方式提供给用户。有多个计算框架并存时，仅依靠虚拟化技术难以实现对资源的细粒度高效管理，衍生出了MESOS和YARN集群资源调度管理系统。从而，实现动态地分配和调度计算资源，对CPU和内存等资源进行细粒度的调度，保证不同计算框架之间资源的隔离以及系统容错。
3云计算在用采系统中的应用
使用云计算构建用电信息采集系统，能够有效改善数据存储、查询和计算的性能，提升系统综合效率。但仍需要按照用电信息采集系统的概念模型，处理好基于云计算的用电信息采集系统与传统应用之间的关系，支持智能电网用电信息采集系统向云平台的平滑过渡。云计算采集系统结构，从功能上大致可以分为采集集群、云数据存储环境、并行ETL环境、并行分析计算环境、数据查询组件、前端接口以及用于开发的映射工具。其总体架构如图1所示。
采集集群周期性地从用户终端中采集信息，并通过调用存储接口将数据存储到云存储与查询环境中；数据存储与查询环境负责对采集到的信息进行高并发的存储，并向上提供用电数据索引和高效查询功能。并行ETL环境负责原有关系型数据库中档案信息与云计算环境的数据交换；开发用户需要利用ETL管理工具建立数据表映射关系以及任务的执行策略，系统通过并行ETL工具对关联系统中的数据进行实时跟踪、获取和一致性校验。并行分析与计算环境负责运行用电信息采集系统的应用算法，提供丰富的任务调度和监控工具，以实现整个环境的运行时优化。前端接口包括类SQL接口、Web服务、客户端包等，面向外部系统提供查询和分析计算的服务。映射工具采用了基于查询重写的SQL到Map/Reduce的优化技术，将原有SQL转化为查询图，并利用重写规则演变为多种形式，实现原有存储过程形式的应用程序向云计算环境的辅助迁移、正确性验证和性能优化，能够大幅度降低关系型数据库应用到云计算的迁移成本，提高开发效率，提升并行计算的总体性能。
结束语
云计算以其大数据处理的优势可以为用电采集系统和能源互联网信息采集提供新思路和方法，但是在实现过程中，还有一些实际困难。当前能源系统数据服务基本都是建立在关系数据库之上，使用数据表模型，而云计算使用键值对数据模型，二者必须有效匹配转换。同时，面对不同能源网络的复杂业务需求，NoSQL分布式数据库实时性仍旧较低。其次，云计算在并行处理和计算分析时，要求数据之间的关联性要尽可能低。如何解耦数据之间的相关性，设计合适的并行分析算法，是应用云计算技术的难点。
参考文献
[1]董俐君,张芊.数据处理与智能分析技术在用电信息采集系统中的应用[J].华东电力,2013,12:2556-2560.
[2]马梦轩,闫舒怡,许艾明.基于EPON技术的用电信息采集系统建设[J].电气自动化,2013,01:43-46.
[3]刘伟.淮北地区电力用户用电信息采集系统的建设与应用研究[D].华北电力大学,2013.
论文作者:彭丽1,刘超2,吕文3
论文发表刊物:《电力设备》2017年第13期
论文发表时间:2017/9/19
标签：数据论文; 系统论文; 采集系统论文; 分布式论文; 信息论文; 环境论文; 数据库论文; 《电力设备》2017年第13期论文;