摘要：随着经济和社会发展水平的不断提高，人们对电网安全和优质供电的需求越来越高，电力已然成为社会发展的重要基础。根据我国的实际情况分析发现，电力企业的数据一般主要来源于在生产电力过程中的用电、调度和配电等相关环节和电能使用环节。根据这些环节，电力企业的数据来源可以分为三类，分别是在营销过程中电力企业的相关数据，其中有销电量、用电客户和交易电价等数据；在对电力企业进行管理过程中收集到的数据；在运行过程中电网和设备监测以及监测过程中的数据。在使用不同智能终端对电力系统运行中的数据信息进行收集后，可以对收集到的数据进行系统的分析，全面的管理和处置，保证电网监控目标的实现。
关键词：电力调控；大数据；集成管理技术；应用
1电力大数据的集成管理技术概述
电力大数据的集成就是把不同来源、格式、特点性质的数据在逻辑上或物理上有机的集中，从而为用户提供全面的数据共享。目前电力企业各部门的数据运行管理大多是竖井模式，信息采集与管理系统是相对孤立构建的，这也就导致了很多问题的出现，数据多源异构、信息冗余、统计分析模型不一致、数据质量参差不齐等问题。这对电力大数据的集成管理提出了很高的要求，必须能够有效解决企业内部系统之间的数据冗余及部分数据信息无法实现关联的问题。大数据处理过程中非常关键的一个技术就是存储技术，可以采用NoSQL(泛指非关系型数据库)技术，可以很好的解决大规模数据集合多重数据种类带来的挑战，应用时，不需要事先定义数据模式，数据中的每条记录都可能有不同的属性和格式。NoSQL将数据划分然后存储在各个本地服务器上，从本地磁盘读取数据的性能往往要好于通过网络传输获得，系统的性能得到了大大的提高。
2电力调控大数据集成及管理技术的主要应用分析
2.1分布式存储技术
2.1.1 HBase数据库
HBase作为开源数据库之一，通常被用作存储非结构化的数据，特点主要以分布式以及面向列为主。HBase数据库的基础一般为Hadoop分布式文件系统，进一步提高了数据读写的时效性，因而具备较高的可靠性。具体来看，HBase数据库在实际应用过程中的主要优点包括：（1）可以自动切分相关数据信息，进一步提高了数据存储的水平可伸缩性；（2）由于该数据库的模板为HDFS文件系统，因此具备高并发读写操作功能；（3）虽无明确索引，但可以实现自动分析，并能够对实现线性扩展或者对新节点进行自动处理，因而具备极高的容错率。而HBase数据库的缺点也十分突出，涉及：（1）不具备条件查询功能，只能借助RowKey实现查询；（2）当HRegion在实施压缩或者分裂的时候，会出现短暂读写堵塞的状况。
2.1.2 Hive工具
Hive是基于Hadoop的数据仓库工具。Hive使用MapReduce、TEZ、Spark等来执行，并使用HDFS作为数据存储。Hive的优点有一下几点：（1）兼容多种结构化数据类型，如structs、lists和maps；（2）可以在不同的数据和文件格式上直接执行查询；（3）提供类SQL的查询功能作为标准的分析工具；（4）支持扩展以及输入格式松耦合；（5）支持数据挖掘和优化。面对海量结构化数据的存储问题，MapReduce很难解决SQL查询的问题。因为Hive的操作接口采用SQL语法，提供了快速开发的能力，避免了去写MapReduce程序，减少了开发人员的学习成本，同时Hive的扩展功能也很方便。
期刊文章分类查询,尽在期刊图书馆
2.1.3 HBase数据库
HBase作为一个开源数据库，适合存储非结构化的数据，特点是分布式的、面向列的。HBase建立在Hadoop分布式文件系统上，可以做到实时地读写数据，可靠性高，性能好。HBase有以下优点：（1）列动态增加，并且存储数据之后才占用空间。（2）自动切分数据，使得数据存储具有水平可伸缩性。（3）由于基于HDFS文件系统，可以提供高并发读写操作的支持。（4）没有真正的索引，自动分区，线性扩展和对于新结点的自动处理，普通商用硬件支持，容错，批处理。HBase有以下不足：（1）不能支持条件查询，只能支持RowKey来查询。（2）因为HBase必须使用很大的内存，因此YGC(对新生代堆进行GC)和FGC(全堆范围的GC)的问题很麻烦。FGC可能长达数秒钟，也就是说用HBase的系统可能会有数秒钟不可用。这影响了HBase在线上的部署使用。如果关键系统时不时要几秒钟不可用，常常是难以接受的。（3）当HRegion在进行压缩或者分裂会出现短暂的读写堵塞。
2.2电力调控大数据存储方式
2.2.1电力调控大数据系统统一数据仓库数据
电力企业使用的电力调控大数据系统，都需要借助HDFS分布式文件系统对数据仓库的数据进行存储，在对仓库中的数据进行管理和查询时需要使用Hive工具。这主要是因为HDFS分布式文件系统和Hive工具都可以提高相关工作的效率，HDFS分布式文件系统可以实现海量数据的存储，Hive工具和常规数据库的使用相同，使得对数据的管理和查询更加方便、快捷。
2.2.2电力调控大数据系统统一数据仓库数据
电力调控大数据系统中的数据仓库以HDFS分布式文件系统作为存储手段，并使用Hive工具对数据仓库中的数据进行查询及管理等操作。原因是HDFS文件系统能够进行海量数据的存储，并且使用Hive能够像使用一般的关系型数据库一样方便地对数据进行操作。
2.2.3电力调控大数据系统的指标管控应用相关数据
就当前实际状况而言，电力调控大数据指标一般涉及同业对标指标、专业管理指标、关键绩效指标以及电网运行分析指标等。指标定义的数据通长包括业务处室、计算周期、计算公式以及维度等方面，存储对象一般为MySQL数据库，其优势在于查询效率较高。指标计算所涉及的分钟级量测数据往往存储最近一年内的全部数据。量测数据的典型特征就是数据量大，同时指标计算应当对量测数据实施查询操作。基于此，一般需要通过HBase数据库对量测数据进行储存。这是由于HBase数据库是以HDFS文件系统为基础，具有存储巨量数据的功能。不仅如此，HBase数据库和Hive工具相比，前者数据查询的效率显著高于后者。
3结束语
综上，在信息技术发展日新月异的形势下，大数据时代已经来临并在影响着社会发展，电力建设管理的自动化和数字化发展也迎来了崭新的局面。笔者结合实际工作经验并查阅相关资料，对电力调控大数据集成及管理技术展开详细论述。首先分析了大数据集成及管理技术的重要作用；然后详细讨论了电力调控大数据集成及管理技术中几个关键基础；最后，介绍了不同类型数据的对应存储方法。望通过本文的探究，给同行一些启发与参考。
参考文献
[1]刘青,卓越.基于电力调控大数据平台的指标展示应用研究[J].科技风,2018,27:179.
[2]姜丽珍,耿胜魁,路正霞,董淑杰,王世松.大数据技术在电力调控中的应用研究[J].电子制作,2018,12:62+81.
[3]陈文伟.面向调控大数据的数据分析挖掘方法研究[D].华北电力大学(北京),2017.
论文作者:王卫峰
论文发表刊物:《电力设备》2019年第15期
论文发表时间:2019/12/9
标签：数据论文; 电力论文; 数据库论文; 分布式论文; 文件系统论文; 指标论文; 技术论文; 《电力设备》2019年第15期论文;