数据质量管控平台应用的研究论文_余小晴

(广西电网有限责任公司 南宁 530023)

摘要:南方电网有限责任公司(以下简称“南网”)企业管理信息系统2.0(CSGII)已全面上线,数据质量已成为影响信息系统实用化水平提升的关键因素,“加强数据清理,开展数据质量治理专项行动”是全区各单位的重点工作任务之一,通过全面的数据质量治理,有效提升数据质量完整性、规范性、准确性以及数据的一致性,为提升企业信息管理系统实用化水平打下坚实基础。

关键字:数据质量管控数据治理数据质量考核

数据质量现状

目前,企业管理信息系统数据质量考核方法是由各分省公司按南方电网接口规范要求,从业务系统中抽取、转换数据,并生成接口文件后上传到南方电网数据中心进行数据加载、校验、考核,分省公司在数据上传之前可先对数据进行预校验,有效保障了上传数据的质量。随着南方电网公司企业管理信息系统(CSGII)逐步推广应用,对于单轨运行的系统数据质量考核,将由南方电网数据中心直接从系统数据库抽取数据后进行考核,各分省公司无法了解数据质量存在的问题,并且很难对考核报告发布的问题进行分析、追溯,这将给数据质量提升工作带来很大的难度。

数据质量管控平台主要内容

1、依据南网电网数据中心标准,在本地完善企业级考核指标分析系统有关功能,包括:

1)依据南方电网数据中心存储模型标准,完善数据存储模型;

2)依据南方电网数据中心数据采集标准,完善数据采集功能;

3)遵循南方电网企业级信息管理系统数据质量考核规则要求,完善数据质量校验功能,实现对本地数据质量管控系统中的数据项进行校验;

4)依据南方电网数据中心考核指标的统计规则,实现指标统计程序,为指标级数据质量校验提供支撑;

5)完善一体化业务系统数据模型监控功能,对业务系统数据模型变更进行监控,并与南方电网一体化系统模型标准进行比较,存在不一致时及时预警。

2、根据南方电网公司考核要求,将数据采集到企业级考核指标分析系统,按考核要求对采集的数据进行数据质量校验,将校验出的数据质量问题,提交至数据质量工作小组,并协助进行分析、定位、解决,使数据质量得到保障和提升。

3、依据南方电网公司数据质量考核政策变化情况,及时变更数据质量管控系统的接口、模型、考核规则,保证数据质量管控的有效性。

数据质量管控平台逻辑架构

1、数据层

数据层存储从一体化系统抽取到的数据、指标统计数据;保存企业级数据考核指标分析系统功能支撑数据。

2、应用层

数据质量校验:实现对一体化数据的质量进行预校验;

数据质量问题分析:实现对数据质量预校验发现的问题进行分析、定位、登记;

数据模型监控:监控一体化业务系统数据模型与南方电网一体化系统标准模型的差异情况。

3、展现层

向用户展现系统的各类应用,包括:数据质量检验情况、数据质量分析情况、数据质量问题跟踪情况、数据质量问题解决情况、数据模型异常监控情况、数据模型异常处理情况。

数据质量管控平台实现的功能

1、数据质量预校验的需求

数据质量有效管控的先决条件是明确管控内容、范围、时间,因企业级管理信息系统单轨运行后,南方电网数据中心直接采集一体化业务系统数据进行考核,分子公司进行数据质量管控的内容、范围、时间都必须遵循南方电网数据中心的标准,采用相同的标准确保管控对象、校验规则等一致,才能最彻底地知道问题所在、如何解决问题、确认问题是否解决,最终有效保障数据质量水平。因此,可基于数据质量管控平台,遵循南方电网数据中心标准完善系统功能,实现数据采集、存储、指标统计、校验等功能,在本地对数据进行预校验和管控,在南方电网数据中心采集数据之前将数据质量问题整改好,杜绝问题数据被抽取、考核。

2、数据质量问题分析及溯源的需求

南方电网数据中心直接抽取一体化业务系统数据进行考核,并发布相应的考核结果,但往往因源业务系统数据已经发生变化而无法溯源并分析问题所在,因此需基于数据质量管控平台,遵循南方电网数据中心标准完善数据预校验功能,实现数据采集、存储,为后续分析定位问题提供支撑。

3、一体化业务系统模型监控需求

因一体化业务系统由南方电网公司统一建设和推广,各项项目建设管理工作由南方电网直接负责,包括一体化业务系统数据模型的管理工作。各分子公司一体化业务系统模型如与南方电网一体化业务系统标准模型不一致,将导致南方电网数据中心采集数据失败,并会被扣除数据质量考核中的接口健康水平分数。因此,为有效保证接口健康水平,需对一体化业务系统数据模型进行实时监控,监控发现与南方电网发布的一体化业务系统标准不一致时及时告警,启动相应的处理流程,包括:申告、触发数据模型变更申请流程、向下游相关系统发布模型变更消息等,有效保证不影响接口健康水平得分。

数据质量管控平台的成果

基于数据质量管控平台,实现在本地对一体化业务系统数据质量考核进行预校验,及时有效解决存在问题,为提升数据质量提供有力的支撑。

1、依据南方电网公司企业级信息管理系统数据质量考核方案要求,在本地完善企业级考核指标分析系统数据质量管控功能,成立数据质量管控组织,开展数据质量管控工作,保障各大业务系统的数据质量水平;

2、针对南方电网企业级信息管理系统数据质量考核指标,包括:数据接口、数据项、指标等方面保证数据的及时性、准确性、一致性、规范性、完整性,及时发现存在问题并做出相应调整,不断推动数据质量水平的提高,并最终达到南网公司的要求。

参考文献:

[1]党芳芳.电网企业业务数据质量管控技术的研究.《华北电力大学》,2014.

[2]胡波.电网业务系统数据质量管理平台的设计与初步实现.《中国电子商务》,2010(12):28-30

[3]江疆,黄剑文,杨秋勇.基于广东电网大数据的数据质量管理方法.《现代计算机》,2016(7):88-91.

论文作者:余小晴

论文发表刊物:《电力设备》2017年第6期

论文发表时间:2017/6/13

标签:;  ;  ;  ;  ;  ;  ;  ;  

数据质量管控平台应用的研究论文_余小晴
下载Doc文档

猜你喜欢