国网新疆电力公司信息通信公司 830002
摘要：随着我国经济水平的发展，物联网、云计算、电子商务等技术在电力行业得到了广泛的应用。电力大数据需要按需获得计算资源，快速进行应用部署，以适应大数据数量大、类型多、变化快等特性。云计算将资源虚拟化、池化，可以为大数据提供资源支撑和保障。本文先介绍了大数据中心整体架构，接着简述了大数据中心应用实例，以供参考。
关键词：大数据；数据接入；数据挖掘；内存计算
一、大数据中心整体架构
大数据是对具备数据体量大、数据类型多、处理速度快、价值密度低的数据集合进行分析、处理、管理的科学体系，涉及方法论、基础理论、关键技术等多个层面，保证数据的效能得到最大化体现，并实现对公司业务的辅助决策和趋势预测。电力大数据是在大数据时代背景下，以公司业务的提升和增值服务为目标，利用数据存储、实时计算、离线计算、计算分析与挖掘、数据管理与服务和数据展示等方面的核心关键技术，构建实时处理、交互式分析、辅助决策、趋势预测、价值挖掘的大数据体系，电力大数据的应用将推动公司业务发展和管理水平提升。公司大数据中心在建设时应选用适用的Hadoop 版本作为核心，通过有机集成方式融合内存计算、流计算、分析挖掘、可视化等第三方开源软件，在较高的起点上建设大数据平台。大数据平台以数据整合及分布式存储为基础支撑，包括数据采集、存储、数据处理、数据应用4 个主要功能层面和安全、运维辅助功能。平台的部署视图如图1 所示。
大数据中心以Hadoop 技术体系中分布式存储（分布式文件系统（Hadoop Distributed File System，HDFS）、HBase、Hive）、分布式计算框架（MR）为基础，使用Spark、R 等开源产品或技术与之形成互补，新增安全管理机制和配置管理功能，提升改造现有可重用的SG-ERP 组件，从而完成整个技术架构的组建。参考业界大数据平台的实践经验，公司大数据中心的部署可分为2 个阶段开展。
（1）两级部署：现有的数据中心以两级部署模式建设，大部分业务在网省层次部署，少量业务在市县部署。因此，为了更好地以现有数据中心为数据源，充分利用前期的建设成果，大数据中心第一阶段采用分布式两级部署模式，总部作为核心数据汇集点，网省公司作为区域数据汇集点进行建设，两级部署具体方案如图2 所示。
（2）一级部署：随着数据中心与大数据平台的逐渐融合，平台应向一级部署模式[3]演化（见图3）。一级部署、全网数据集中存储更加有助于公司大数据价值挖掘和业务创新。
大数据中心物理上由多个集群组成：数据接入集群、服务接口集群和数据存储计算集群。数据接入集群部署包括分布式消息队列、流计算节点以及其他数据交换节点等服务，服务接口集群包括R 语言服务、开放数据库互连（Open Database Connectivity，ODBC）/Java 数据库连接（Java Database Connectivity，JDBC）服务、Web HTTP/ 表述性状态转移（Representational State Transfer，REST）服务、文件传输协议（File Transfer Protocol，FTP）服务、网络文件系统（Network File System，NFS）服务等，数据存储计算集群包括数据存储、计算、分析集群，物理部署集群如图4 所示。
二、大数据中心应用实例
国网山东省电力公司依托大数据引擎的数据分析与模型预测能力，基于用户用电信息、电网负荷信息实时采集同步，结合国民经济增长速度、产业结构调整、消费水平、工业与居民电气化程度、电价政策、气候/ 气温变化等外部因素，实现用电负荷大数据分析模型的构建，通过对各周期用电负荷曲线、负荷时间和空间分布等的预测，为电网规划、电能调配等提供决策支持。
依托大数据引擎的数据分析预测能力和历史数据，可以实现未来1 h 以内、1 日内、1 周、1 月内、1 年乃至3~5 年的负荷预测，从而为电网预防控制、紧急状态处理、机组启停、水火电协调、设备检修/ 大修等提供依据。
大数据平台能够以日、周、月、年为粒度收集用电负荷的内外部数据，采用支持向量机方法进行样本分类，具有高精度、高效率、高可用等优势。以月平均负荷为例。
国网电力公司基于用户用电负荷、用户档案、电网设备台账等业务数据，利用分布式计算、数据挖掘分析等技术，结合气象信息、GDP、各产业值等外部因素，构建用户月平均负荷聚类模型及日负荷聚类模型，以及区域最大负荷、最小负荷及平均负荷长短期预测模型，实现了下一阶段的用电负荷情况预测。通过预测未来电力需求量、未来用电量、用电负荷曲线、负荷时间和空间分布等，使电网公司提前了解到用户未来的用电需求量，为保障正常供电提前做好准备，有利于电网削峰填谷、平稳运行。同时，通过数据分析，为公司电网规划、设备检修、电能调配等提供决策支持，切实促进了从“以电力生产为中心”向“以客户为中心”的转变，提升了供电服务满意度以及企业的社会形象。
三、结束语
总之，随着电力行业云计算应用的不断成熟，云计算数据中心支撑电力大数据的能力将得到不断的提升。电力大数据依托云计算快速敏捷地部署各类数据的应用，将更广泛地与经济社会各类数据融合，促进资源节约和环境友好。
参考文献
[1] 王德文. 基于云计算的电力数据中心基础架构及其关键技术[J].电力系统自动化, 2012, 36(11): 67-71.
[2] 孙大为, 张广艳, 郑纬民. 大数据流式计算：关键技术及系统实例[J]. 软件学报, 2014, 25(4): 839-862.
[3] 国家电网公司. 大数据技术现状与发展趋势调研分析报告[R].201.
论文作者:运凯,陈建新,马宗达
论文发表刊物:《电力技术》2016年第5期
论文发表时间:2016/10/14
标签：数据论文; 数据中心论文; 集群论文; 负荷论文; 电力论文; 公司论文; 分布式论文; 《电力技术》2016年第5期论文;