摘要:随着电力业务精细化管理的要求越来越高,信息化支撑能力不断提升,数据管理已成为业务应用集中建设、大数据应用、智能分析决策应用的重要基石。元数据管理作为数据管理所必须的基础能力,可为数据质量、数据标准、数据安全等管理活动提供重要依据。因此,本文通过介绍元数据背景、现状、思路等方面简要阐述元数据管理体系在电力行业的研究及应用,实现元数据快速检索定位、流转追踪,质量监控的有效管理,促进元数据在企业的深化应用。
关键词:元数据管理;数据地图;数据字典
1背景
2019年国网公司“两会”提出建设“三型两网”世界一流能源互联网企业的战略目标,要求加快泛在电力物联网建设。在新的形势下,数据管理是泛在电力物联网的重要内容,贯穿泛在电力物联网建设应用的各个环节,数据管理要实现从“纵向专业内数据应用”向“全流程全覆盖数据综合应用”转变,这对公司数据管理提出了新的要求。
2元数据管理现状
1)元数据管控机制不健全,缺乏统一管理
目前各专业系统元数据管理不健全,未形成统一管理,管控机制也未形成。源端系统元数据变更后,未有同步更新机制,容易造成关联系统的数据缺失或者数据异常,直接影响到数据质量。
2)元数据获取困难,抓取方法不统一
不同类型的大数据平台存在差异,抓取元数据的方法不一致,获取完整的元数据信息困难,时常出现元数据对象、数据模型之间的关系、数据指标的统计口径等无法获取的现象,进而导致血缘关系断裂,不利于血缘分析、影响分析等工作开展。
3)元数据缺失严重,数据质量有待提升
通过技术手段自动化获取的元数据只描述了技术相关信息,缺乏业务类的元数据信息,对SG-CIM模型起不到辅助验证的作用。
从这些问题之中亦反映了一个普遍存在的现实:电力企业在数据化进程中,更多着重于专业系统的建设,忽视了数据管理的重要性,通常是在后期数据使用、数据分析和应用时才发现困难重重。
3元数据管理体系建设思路
随着泛在电力互联网和数据中台等工作深入推进,各业务部门正在调整或者优化专业系统,使各专业系统的专业化程度越来越高,但各专业系统之间仍缺乏的数据协同机制,横向协调起来困难比较大。公司需要打破各专业系统之间的壁垒,从规划计划、营销、供应链、设备投入与运行、财务精益核算等不同管理环节实现数据流横向贯通。从元数据获取、存储、功能和应用层开展不同阶段对数据进行管控与分析。基于图1元数据管理体系,进行元数据采集、清洗、归类、功能应用等方式,实现数据管理全覆盖,信息全共享,流程全贯通,数据动态全掌握。
图1元数据管理体系
1)建立元数据管控机制。建立元数据新增、变更、删除、发布的审批流程,实现元数据版本管控。通过数据管理平台,管控元数据质量,起到实时预警的作用,跟踪、落实具体责任部门、责任人。
2)建立元数据存储库。采集各业务系统的元数据,进行分析、整理,补充缺失的业务描述、技术说明、属性、数据分类、业务含义、业务规则等信息,形成元数据存储库。监控元数据的新增、变更、删除等情况,确保元数据实时反映业务系统最新状态,便于公司全局管理各业务系统的数据实况。
3)建立元数据知识库。结合公司数据模型和管理要求,按业务场景确定出核心元数据,并将其从元数据存储库中提取到元数据知识库中,通过场景迭代方式,形成公司核心数据知识库,为构建公司数据资源共享目录提供重要依据。
4)拓展元数据应用。根据元数据存储库、知识库,提供企业级数据字典,便于内外部客户更好地了解企业数据概况;提供全局元数据查询检索,便于用户快速定位元数据;提供元数据详细描述,使用户了解数据组成、结构及数据流向;提供分析功能,便于用户进行分析判断、问题定位。
4结语
通过元数据管理,采集到前端业务数据的实时变化,及时把握最新业务流向,掌握公司管理重点的方向。利用元数据知识库,增强对数据掌控能力,提高数据横向贯通共享能力,加强了各业务部门协同合作能力。利用数据地图、数据使用情况分析、影响分析等功能应用确保数据质量提升,实现数据流向动态全覆盖管控。高质量元数据知识库实现了数据高效归集,促进数据资源目录体系构建,为数据中台建设奠定数据基础,通过数据分析和数据挖掘技术,推动数据在线应用,发挥数据最大价值,实现公司数据经济效益。
参考文献:(Antony)
[1]DAMA 数据管理知识体系指南,DAMA International著马欢、刘晨等译,2017.
[2]衡星辰,陈丰,张诗军,甘杉.元数据管理系统在电力企业的研究与实践[J].自动化与仪器仪表,2017(04):101-103+107.
[3]赵钊林,刘莞.基于CWM模型的电力数据仓库元数据仓储设计[J].福建工程学院学报,2010,8(03):273-275
[4]阴皓,李路远,刘伯宇.电力数据管理关键技术研究与应用[J].电力信息与通信技术,2019,17(01):25-30.
[5]杨琳,高洪美,宋俊典,张绍华.大数据环境下的数据治理框架研究及应用[J].计算机应用与软件,2017.
[6] 张绍华, 潘蓉, 宗宇伟. 大数据治理与服务[M]. 上海: 上海科学技术出版社, 2016.
[7]宋亚奇,周国亮,朱永利.智能电网大数据处理技术现状与挑战[J].电网技术,2013,37(4):927—935.
[8]程广明.大数据治理模式与治理成熟度评估研究 [J].科技与创新,2016 (9):7-7.
[9]杨琳,高洪美,宋俊典,张绍华.大数据环境下的数据治理框架研究及应用[J].计算机应用与软件,2017.
[10] 张绍华, 潘蓉, 宗宇伟. 大数据治理与服务[M]. 上海: 上海科学技术出版社, 2016.
[11]李国杰.大数据研究:未来科技及经济社会发展的重大战略领域——大数据的研究现状和科学思考[J].
作者简介
封恒军,男,汉族 1971年12月 计算机科学与技术,清华大学 ,高级咨询顾问。
论文作者:封恒军,杨晨
论文发表刊物:《电力设备》2019年第13期
论文发表时间:2019/11/12
标签:数据论文; 数据管理论文; 业务论文; 系统论文; 电力论文; 公司论文; 知识库论文; 《电力设备》2019年第13期论文;