摘要：本文结合实际工作经验，讨论电力调控大数据技术的重要性，并以此为基础对电力调控大数据技术展开详细分析与讨论，望借此为相关工作提供参考依据。
关键词：大数据技术；电力调控；应用
1电力调控大数据技术在电力调控中的重要性
1.1提高运营效率，优化客户体验
大数据技术能够显著提高电力企业的运营效率并优化客户体验。对于电力企业而言，运营效率主要涉及支撑功能优化、资产管理、需求预测、产品与网络管理以及收益保证等方面的内容。而通过大数据集成及管理技术对客户关系进行优化、定制优惠服务政策、创新主动营销策略，能够优化客户体验。以实际案例来看，某电力公司使用大数据集成及管理技术发现，当停电之后，若是恢复供电的实践可以比用户预期的时间提前十分钟，则客户反馈的满意度最高；但是，如果电力系统恢复供电的时间比用户预期的时间早两个多小时，则会降低客户的满意度。而客户满意度直接决定了客户的留存率。事实说明，电力企业使用大数据集成及管理技术能够降低客户的流失率，从而降低成本损失[1]。
1.2大数据技术显著提高电力企业营销服务水平
用电客户可以通过永洪一站式大数据分析平台，把大量详细的数据信息上报给电力企业业务部门，之后由业务部门自动完成数据分析、管理、应用等工作。通过对电能信息采集、电能计量、电费管理、客户服务、市场和综合管理、新兴业务以及有序用电等不同方面的分析，企业管理人员能够全面掌握电力营销服务工作落实的实时状况，从而有效监测营销稽查工作指标、新兴业务工作质量指标、有效用电落实、能效管理成效、智能电表、电费管理以及客户服务等各项营销服务工作实施状况。
2电力调控大数据技术分析
2.1电力调控大数据存储需求
电力调控大数据往往包括模型数据、历史数据以及实时数据等结构化数据；语音数据、DTS教案、波形文件、电网综合故障报告、CASE断面等非结构化数据以及高频变化的时间序列数据。不同的业务对数据访问性能的要求也存在差别。一个数据一般不能满足全部需求；因此，应当研究将不同种类的数据库技术相结合，使其能够适应各类特点与场景，相互补充。数据存储的设计关键在于保证使用高效、科学、正确的数据存储结构，确保不同种类的运行数据能够正确划分到与之对应类型的数据库中，符合相对应的设计原则；这样就能够最大限度对程序应用的有关工作进行简化，包括代码、报表以及查询等。电力调控系统中的数据类型大致可以划分成四大类，其中有文档资料、基础数据、电网模型以及运行数据；这些数据都存储在分布式文件库、关系数据库以及时序数据库中[2]。
2.2分布式存储技术2.2.1Hadoop系统结构
在分布式系统中，Hadoop是一个基础结构；其实现了分布式的文件系统（下文简称为HDFS）。HDFS可以为巨量数据提供存储空间，其是Hadoop结构中至关重要的一项核心设计。HDFS具有诸多优点，其中包括：
（1）能够通过用流的形式对文件系统中的数据进行访问；
（2）其提供了高吞吐量，从而实现了应用程序数据的访问；
（3）具有较高的容错性。除HDFS之外，对于Hadoop结构而言，其核心设计还包括MapReduce。
2.2.2Hive工具
Hive是以Hadoop为基础的一种数据仓库工具；Hive日常运行过程中需要得到Spark、TEZ、MapReduce的支持，同时使用HDFS当作是数据存储。
期刊文章分类查询,尽在期刊图书馆其主要优势在于：
（1）支持数据的优化与挖掘；
（2）支持扩展与输入格式的耦合；
（3）能够提供与SQL相似的查询功能，并当作是标准的分析工具；
（4）能够在不用的文件或者数据格式上直接进行查询；
（5）兼容maps、lists以及sturcts等不用种类结构化数据。针对大量结构化数据的存储问题，MapReduce在及时解决SQL查询问题方面，难度较大。这是由于Hive的操作接口通常使用SQL语法，提供了快速开发的能力，省去了编写MapReduce的程序，大幅降低了开发技术人员的学习成本，并使Hive的功能得到一定的扩展[3]。
2.2.3HBase数据库
作为开源数据库的一种，HBase主要用来存储非结构化的数据，其主要特征包括面向列以及分布式。HBase通常是以Hadoop分布式文件系统为基础，从而实现了读写数据的实时性，具有较高的可靠性。而HBase的优点在于：
（1）不含有确定的索引，能够自动分区，并可以自动处理新节点或者线性扩展，具有较高的容错率；
（2）因为是以HDFS文件系统为末班，所以具备高并发读写操作功能；
（3）能够对数据进行自动切分，显著提高数据存储的水平可伸缩性；
（4）列动态数据增加，同时只有在存储数据之后，空间容量才会变化。而其缺点也十分明显，包括：
（5）当HRegion在进行分裂或者压缩的过程中，会出现暂时性读写堵塞的现象；
（6）不具备条件查询功能，智能通过RowKey进行查询。
2.3电力调控大数据存储方式
2.3.1电力调控大数据系统中分结构化类型数据的存储
针对前文所述的非结构化类型的数据，这些数据除了必须的存储之外，部分数据还要求能够进行数据备份或者数据共享。基于此，需要利用HDFS分布式文件系统来对这类非结构化类型的数据进行存储。其一方面能够切实满足巨量数据存储的实际需求，另一方面也可以提供较高的吞吐量来对这部分非结构化类型的数据进行访问。
2.3.2电力调控大数据系统统一数据仓库数据
对于电力调控大数据系统而言，其所包含的数据仓库通过需要借助HDFS分布式文件系统进行存储，同时通过Hive工具实现数据仓库中相关数据的管理与查询。这是因为HDFS文件系统可以实现巨量数据的存储，同时使用Hive如同使用普通的关系型数据库相同，数据操作十分便捷[4]。
2.3.3电力调控大数据系统的指标管控应用相关数据
就当前实际状况而言，电力调控大数据指标一般涉及同业对标指标、专业管理指标、关键绩效指标以及电网运行分析指标等。指标定义的数据通长包括业务处室、计算周期、计算公式以及维度等方面，存储对象一般为MySQL数据库，其优势在于查询效率较高。指标计算所涉及的分钟级量测数据往往存储最近一年内的全部数据。量测数据的典型特征就是数据量大，同时指标计算应当对量测数据实施查询操作。基于此，一般需要通过HBase数据库对量测数据进行储存。这是由于HBase数据库是以HDFS文件系统为基础，具有存储巨量数据的功能。不仅如此，HBase数据库和Hive工具相比，前者数据查询的效率显著高于后者。
3结论
综上所述，本文结合实际工作经验并查阅相关资料，对电力调控大数据技术展开详细论述。首先分析了大数据技术的重要作用；然后，阐述了电力调控大数据技术中电力调控大数据的存储需求；接着详细讨论了电力调控大数据集成及管理技术中几个关键基础；最后，介绍了不同类型数据的对应存储方法。望通过本文的探究，给同行一些启发与参考。
参考文献：
[1]王玎，余秀丽，刘晓峻.基于云计算的电力大数据分析技术与应用[J].移动信息，2015（12）：00079-00079.
[2]张栋.基于云计算的电力大数据分析技术与应用[J].企业技术开发旬刊，2015，48（7）：78-78.
[3]沈玉玲，吕燕，陈瑞峰.基于大数据技术的电力用户行为分析及应用现状[J].电气自动化，2016，38（3）：50-52.
[4]岳阳，张晓佳，高一丹.基于Hadoop的电力大数据技术体系研究[J].电力与能源，2015（1）：16-20.
论文作者:冯素菊,刘建波
论文发表刊物:《电力设备》2019年第5期
论文发表时间:2019/7/8
标签：数据论文; 电力论文; 技术论文; 分布式论文; 指标论文; 文件系统论文; 结构化论文; 《电力设备》2019年第5期论文;