基于大数据调度管理运行体系的研究与应用论文_张小敏1,李方军2,祝唯微3,孙沛4,金铭5

(1.国网甘肃省电力公司 甘肃兰州 730030;

2.国网甘肃省电力公司信息通信公司 甘肃兰州 730030)

摘要:本文针对现有数据调度管理运行体系传统,不能满足当前业务形态变化的现状,本文在现有数据治理业务模式基础上,积极创新,提出了构建大数据调度管理支撑机构,通过参照电力调度的业务模式,以解决业务痛点为目标,以基础数据治理为抓手,积极探索“”大数据调度管理工作体系,发挥调度的“全盘监视”、“异常处置”、“闭环管控”等优势,按照“管理责任明确化、业务运转清晰化、数据流向可视化、问题定位快速化”的理念,配套建立组织保障、技术保障和制度保障机制,从而实现业务数据的全过程统一管控。

关键词:数据调度;运行体系;调度平台;

1 引言

构建大数据调度管理运行体系,减轻业务部门对数据的管理负担,为公司大数据应用的构建、分析、计算提供支撑,建立数据共享和脱敏开发服务体系,对数据使用、发布进行安全认证和分级授权,保障数据安全。为此,本文提出一种基于大数据调度管理的运行体系,实现从组织、流程、技术等方面全方位支撑业务协同、数据共享、数据治理等工作。

2 大数据调度管理运行体系的研究

“大数据调度”(以下简称“数调”),是大数据的常态化技术及安全支撑机构,对在运行的大数据涉及的相关公司组织机构进行组织、指挥和协调,是数据安全运行、数据质量监控、数据共享应用、业务横向协同的核心与枢纽,是大数据全局性管理的关键技术力量,是大数据应用共享的重要支撑机构。大数据调度体系架构图如下所示。

图 大数据调度体系架构图

对电网大数据的采集、存储、应用进行全流程管理,为大数据应用的构建、分析、计算提供支撑。建立数据共享和脱敏开发服务体系,对数据使用、发布进行安全认证和分级授权,保障数据安全。

2.1构建思路

为满足数据安全运行、数据质量监控、数据共享应用、业务横向协同的需要,主要做法如下:

(1)构建以“业务部门为主导,信息化部门为支撑”的数据治理体系。业务部门参与程度事关企业数据治理工作的成败,电网企业数据治理工作需要业务部门全面参与并进行专业主导,业务部门负责制定本专业牵头业务的数据治理目标、治理标准、治理措施等。信息化部门发挥技术优势,为数据治理提供技术支撑。

(2)构建“常态化”数据治理支撑力量。数据治理是一项长期、反复迭代的工作,需建立常态化治理力量,对问题数据的发现、整改、检验、评价的全过程进行闭环管理,真正建立横向支撑各业务部门、纵向支撑各地市公司的治理体系。

(3)构建以“主管部门+数据用户”的数据评价体系。一方面采用“自上而下”的数据评价方式,由数据主管部门对基层单位数据治理情况进行评价;同时也采用以“用户为中心”的数据评价方式,由省公司层面数据使用部门以及地市层面数据使用单位(人)对数据管理(生成)部门的数据质量进行评价。

(4)以“横向协同业务”为重点对象的治理策略。数据治理策略必须紧密结合企业特点及当前工作需要而制定,公司为解决“专业内部数据质量好,专业协同数据治理差”的问题,同时结合当前跨部门、跨专业类业务需求大的特点,从国网公司开展的重大“横向协同业务”入手,由“点到面”推动企业数据治理。

(5)构建“统一高效”的数据治理工具。基于统一的数据治理工具,一方面可以提高数据治理的效率,降低人工成本,避免“前清后乱”情况发生;另一方面通过对业务数据的统一治理及集中管理,较大程度上可以解决信息系统分散建设、数据“烟囱”林立的情况,提高公司对核心数据资源的集中管控。

3大数据调度管理运行体系在电网业务中的应用

(1)除跨专业数据标准差异,协同业务管理大幅提升。按照“业务流程清晰化,数据流向可视化;管理责任明确化,问题定位快速化”思路,对协同业务及共享数据进行全过程监控,两级协同原因分析、跟踪整改等工作。

(2)改进协同业务支撑模式,处理周期大幅缩减。由原来的的“长链条”工作模式,简化为“短链条”工作模式,对问题数据的定位、分析、处理时间从原来的以“周”为周期,变为以“天”为周期,效率得到极大提升。

(3)快速定位问题责任归属,数据 “溯源”及“认责”效率全面提高。从原来的“运动式”和“事后分析”模式,转变为以调度平台为核心的 “常态化”和“事前预警”模式,实现了问题数据的“实时”溯源与定责,有效解决了各业务部门间的问题数据管理界面不清晰、数据溯源难等问题。

4结语

本文介绍的构建大数据调度可视化管理平台,甘肃电力公司信息通信工作从“面向设备与系统”转向“面向业务与数据”,全面服务于公司发展。打通了业务人员与信息人员的工作壁垒,优化数据管理工作流程,提升数据管理工作效率,省去原有的多部门、多人员、多操作、多流程、多频率的数据质量巡检工作,大大减轻了一线工作人员工作负担,提高了效率。

参考文献:

[1]宋亚奇,周国亮,朱永利.智能电网大数据处理技术现状与挑战[J].电网技术,2013,37(4):927—935.

[2]周晓方,陆嘉恒,李翠平,等.从数据管理视角看大数据挑战[J].中国计算机学会通讯,2012,8(9):16—20.

[3]彭清卿,向力,卢长燕.国家电力调度数据网组网研宄[J].电力系统自动化,2004,28(8):10-14.

作者简介:

张小敏(1967-),男,汉族,甘肃天水人,清华大学本科,教授级工程师,从事信息通信管理工作;

论文作者:张小敏1,李方军2,祝唯微3,孙沛4,金铭5

论文发表刊物:《电力设备》2018年第32期

论文发表时间:2019/5/16

标签:;  ;  ;  ;  ;  ;  ;  ;  

基于大数据调度管理运行体系的研究与应用论文_张小敏1,李方军2,祝唯微3,孙沛4,金铭5
下载Doc文档

猜你喜欢