唐蔚海1 王利鑫2 沈兵兵2
(1. 海南电网有限责任公司信息通信分公司 海南海口 570203;2.江苏瑞中数据股份有限公司 江苏南京 210000)
摘要:随着电网的运行,积累了海量的历史数据,而相关应用系统对历史数据的整合、共享、访问存在迫切需求。本文提出了海量准实时数据服务平台设计方案,建立了企业级的准实时数据服务平台,建立了统一的实时数据模型与视图,实现企业历史数据的统一管理,从而满足电网监控、生产管理、经营管理对实时信息准确性、完整性、一致性及安全共享的需求。
关键词:准实时数据、海量大数据、服务平台
1 平台概述
海量准实时数据服务平台构建,将于结构化数据管理平台、非结构化数据管理平台以及电网GIS数据管理平台共同构成公司企业级数据中心,将按照统一的规范,实现安全I/II区和III区的各类业务系统历史/准实时数据的整合与集中,构建了贯通安全I/II区和III区的实时数据桥梁。
随着海量准实时数据服务平台的建设完成,将实现以下五大目标:
1、完成对准实时数据的统一接入
完成对调度自动化、计量自动化、配网自动化、OMS系统、设备在线监测及电压在线监测等系统准实时数据的统一接入。
2、建立统一的电网实时数据模型和视图
集成电网运行状态数据、设备检测数据、用电计量数据、电能质量数据等,建立统一的准实时数据模型和视图,为跨部门、跨专业的综合应用提供标准规范的实时/历史数据共享服务。
3、实现对电网准实时数据的统一管理
依托时序数据库,通过提供元数据管理、数据预处理、数据加工、资源监控、配置管理等功能,实现对准实时数据的全过程统一管理。
4、实现对外部访问和分析应用的有力支撑
基于统一模型开展数据整合,利用先进的信息技术实现各种实时/历史数据快速处理、高效存储和稳定运行,为跨部门、跨专业的实时数据综合展示和分析应用提供有利的数据支撑。
5、建立健全公司准实时数据管理和服务标准体系
数据接入、存储规范、测点映射规范、访问接口规范、数据交换规范、平台扩展规范和数据安全规范等管理和应用标准。
2平台的设计与实现
2.1 平台架构
海南海量准实时数据服务平台主要实现以下4方面功能。
1、各地市生产大区及信息大区的业务系统产生的准实时数据通过平台的实时数据总线汇聚并接入到省公司侧的海量准实时数据服务平台的时序数据库中;
2、将数据资源管理平台中的设备模型数据接入到平台关系数据库中,并保持实时同步更新;
3、海量准实时数据服务平台与GIS平台、结构化数据平台等共同构成企业级数据中心;
4、海量准实时数据服务平台通过企业服务总线向“6+1”业务系统及其他高级应用提供数据支撑。
2.2 平台功能模块
海量准实时数据服务平台具体功能模块主要包括数据接入、数据处理、数据存储、元数据管理、平台管理、数据加工、数据访问、支撑工具、高级应用支撑及大数据技术架构预留接口等主要功能模块。
1、元数据管理:负责实时数据测点的手工和自动维护,以及实时数据模型的管理与维护。具体包括全局测点管理、测点维护以及实时数据模型管理等模块。
2、数据接入:负责横向和纵向各业务应用实时数据和历史数据的接入方式、内容、参数的定义,规约库、异常情况的处理,各接入进程的集中监控管理等。具体包括接入管理、接入异常处理、接入监控管理等模块。
3、数据处理:负责接入实时数据的整合以及规范化标准化处理,同时对数据的质量、合理性进行校验,对不合理的数据以及重要的变化数据产生告警。具体包括质量码处理、数据校核、告警事件、多数据源处理、同步处理等模块。
4、数据存储:负责数据的压缩设置、压缩处理、压缩存储以及实时/历史数据库与关系数据库之间的按需转储;另外,负责告警数据、日志、配置等数据的存储管理。具体包括数据压缩、数据存储和数据转存管理等模块。
5、数据加工:负责对源数据的二次加工,根据具体需求在平台本身生成更加有价值的信息,供其它业务应用和分析辅助决策类应用使用。具体包括计算规则库、计算引擎、分析统计服务等模块。
6、数据访问:负责提供标准、统一的实时/历史数据访问服务,例如WebService访问接口、CIS访问接口、UAPI等,以及访问服务的定义、监控,同时提供订阅服务。具体包括访问服务监控、数据查询服务以及数据订阅服务等模块 。
7、平台管理:负责保证海量准实时数据服务平台正常运转所需的各项管理功能。具体包括群集管理、资源监视、权限管理、配置管理、备份恢复、主备冗余切换、迁移扩容等模块。
8、支撑工具:负责提供二次开发所需的接口、组态、WEB发布等工具,通过这些工具支撑分析辅助决策类的综合应用的实现。具体包括二次开发接口、组态工具、曲线工具、报表工具、WEB发布等模块。
9、高级应用支撑:依托海量准实时数据服务平台存储的历史/准实时数据及其提供的高效数据访问服务,为高级业务应用提供数据预处理机制,支撑客户全方位、资产全生命周期、电能量全过程三条主线高级应用的定制开发。
10、预留接口:其他预留大数据处理接口。
2.3 平台实现
海南电网公司作为海量准实时数据服务平台推广单位之一,完成了平台的搭建与部署,实现了海南全省18个地市县调度、计量数据的接入、模型比对、数据处理与加工等。如图1所示。
通过海南海量准实时数据服务平台的搭建,实现对准实时数据的统一接入与管理,建立统一的电网准实时数据模型与视图,实现了外部访问与分析应用的有力支撑。在管理信息大区,构建了先进、安全、高效、可扩展的海量准实时数据服务平台,实现对营配信息集成等“6+1”系统应用有力支撑,成为协助精益化管理的重要基础信息平台。
图1 海南海量准实时数据服务平台
3 结束语
开展海量准实时数据服务平台的建设,采用松耦合的技术架构、多语言跨平台的技术、统一多样的接入访问以及稳定健壮的部署架构等亮点技术,建立了标准化实时数据的数据接入格式,统一了电网内系统间的数据通信协议,消除了以往通信接口、数据存储接口以及服务接口相互孤立的缺陷,形成了标准化的不同系统数据交互的海量准实时数据的服务平台,能够将海南电网各业务应用最新釆集的能够准确反映当前电力生产运行状况的数据有效整合,将统一集中管理电力系统各领域生成的海量历史数据,可以为地理信息系统、线损管理系统等跨部门系统和应用提供统一数据支撑, 并为跨部门、跨专业的高级应用莫定基础,从而进一步促进数据共享融合。能够提升电力系统整体的稳定性、安全性和可靠性,为电网中各系统间海量数据的挖掘、分析、交互、共享提供途径,极大的节约了电力生产中系统集成成本,对于电网信息的整合起到了重要作用。
参考文献:
[1]后跃兴,杨哲,杨云翠.电网海量实时数据服务平台设计[J].云南电力技术,2014,42(2):35-40.
[2] 陈乾,陈毅波. 海量历史准实时数据管理平台建设研究[J]. 电力行业信息化优秀论文集2014.
[3]王永才,余永忠,翟鸿荣.电力计量自动化海量实时数据管理平台的设计与实现[J]. 企业技术开发,2013, 32(14):117-118.
论文作者:唐蔚海1,王利鑫2,沈兵兵2
论文发表刊物:《电力设备》2016年1期供稿
论文发表时间:2016/4/18
标签:数据论文; 实时论文; 海量论文; 服务平台论文; 电网论文; 海南论文; 历史数据论文; 《电力设备》2016年1期供稿论文;