大数据环境下的数据治理框架研究及应用论文_李建

大数据环境下的数据治理框架研究及应用论文_李建

湖南软件职业学院 湖南省湘潭市 411100

摘要:在互联网技术和大数据技术的加持下,如今数据共享的程度不断提高,推动着组织业务数据化、数据业务化的创新发展。而通过对不同业务产生的不同数据的分析可以为组织决策的制定提供有效数据基础和指引,但在这种先进化、便利化发展趋势下数据的风险问题也伴随而来,常给许多人带来不同程度的不良影响。对此,数据治理便在人们强烈的需求中衍生出来,其可有效提高数据质量、增强数据的安全性。基于此,本文主要对大数据环境下的数据治理框架研究及应用进行分析探讨。

关键词:大数据环境;数据治理;框架研究;应用

1、前言

大数据为组织带来巨大商机的同时,也向传统数据治理提出挑战。半结构化、非结构化数据的高效处理和应用对技术架构提出更高要求。数据集成、分析处理时的数据质量问题更加严峻,数据开放与共享使安全隐私问题更加突出。海量、多源异构的数据不仅仅对数据管理、存储、处理和应用带来了挑战。组织在寻求新技术来支撑大数据的应用,获取更大应用价值的同时,数据开放与共享将个人隐私暴露在平台前端。数据开放与隐私保护、数据应用创新与风险合规等已成为当前数据治理领域面临的巨大挑战,越来越多的组织开始重视数据治理,将数据治理视为组织发展的重要战略。

2、大数据背景下数据治理框架的研究

目前,数据治理尚未形成一个统一的概念,但总体来说,其本质还是在综合考虑了企业的发展状况以及利益相关者需求的基础上,对组织的行为发挥指导、控制、监督、评估等方面的服务功能,提升数据质量的同时为其创造更高的价值。随着大数据时代的深入,数据治理引起了业界和学界的关注与重视,他们从多篇文章的内容中对数据治理进行了深度研究,并分析了其未来的核心发展趋势,逐渐形成了大数据治理框架。例如国际数据治理研究所从组织、规则和过程三个层面总结出了数据治理的十个关键性要素,并形成了一个从方法到实施的框架和系统。

我国对于数据治理研究的起步相对较晚,至今在概念上具有一定的模糊性,并且常将数据治理与数据管理等同,都是对相关数据实行收集、加工、处理、传输、保存等一系列的活动。这些差异的存在使得数据治理在大数据背景下一直是一个热门研究话题。

3、大数据环境下的数据治理需求分析

国内外在数据治理模型和框架研究方面,已经取得了丰硕的成果,基本都形成了相对完整的数据治理理论体系、涉及到数据治理的原则、范围和方法等。同时基于原则驱动的数据治理思想、以治理为核心的数据管理方法论、数据治理成熟度模型等都已经得到了广泛的认可。但对通信、金融、互联网等领域的大数据应用实践的深入分析可知,还存在许多传统数据治理无法解决的问题。

传统的数据治理要求设立数据治理委员会,负责建立数据治理的制度和流程,大数据环境下则提出了更高的要求,需要数据质量管理、数据安全管理、数据风险和合规管理等管理体系的协同,实现以应用带动管理,以管理保障应用,最大程度地体现了数据为业务带来的价值。具体到数据治理域,传统的数据治理构建了基于主数据、元数据、数据规范的数据仓库管理系统,实现了应用级别的数据质量管理。但无法满足大数据环境下所面临的海量、异构、多源的组织级数据整合、数据业务化和应用创新的需求,需要在数据战略、组织和架构层面,对数据质量建立组织级的管理制度、流程和规范,建立信息化部门和业务部门共同参与的企业级的数据质量保障体系。另一方面,数据与业务的结合为业务洞察、业务创新带来了新的机遇,但也带来数据误用和滥用的风险,需要在成本和业务创新之间建立基本的应用保障措施,满足战略一致性的需求,建立自顶而下的数据治理体系和策略。

期刊文章分类查询,尽在期刊图书馆

4、大数据背景下数据治理框架的应用

4.1完善数据治理框架

通过上述分析可以发现,在大数据背景下,数据的质量、安全隐私以及统一标准是当前大数据治理中亟待创新和改变的重要问题。因此,为有效提升数据治理框架的有效性,还应强化对该框架内容的认知,并从创新角度逐渐完善大数据治理框架,从而满足当下市场上对数据治理准确性、一致性和完整性的要求,并为该框架的实际运用提供良好的先决条件和保障。其具体应用方法有:

第一,明确数据治理目标。目标的制定是有效实施大数据治理的重要前提,主要内容包括治理战略一致、增强风险可控性、确保组织运营合规、实现组织发展价值。在治理过程中,应充分考虑组织的发展需要,提高数据的价值性,降低其风险性,从而为组织提供更加科学的决策,减少其经济损失。同时,还应确保组织的运营与发展符合相关法律法规以及其他相关的规范等,从而增强组织的竞争力,最终实现其运营价值。

第二,强化数据治理保障。它主要包括促成和内外部环境因素,前者是指对大数据治理实施成果具有促进作用的影响因素,如治理流程、方式等。后者则是指在实施大数据治理时其所处的内外部环境,如市场环境、企业运营环境等。在具体实施时,还应整合相关的促成和内外部环境因素,不断优化其治理技术和方式等,全面提升其效率。同时,还应为大数据治理的实施构建良好的文化氛围,共同减少相关成本的支出,以促进组织服务的创新、实现组织的价值。

第三,优化治理域。治理域主要是指大数据治理的主体,其中包括组织与战略,元数据、主数据、数据生命周期、质量的管理以及数据的安全与合规、数据的创新应用等。不同层面的治理域其数据治理的程度和方式也会有所不同,因此,为提升大数据治理的有效性,并提升数据的质量,还应不断优化治理域,对相关的治理对象进行合理划分,并实施大数据的收集、分析、处理、传输、保存与应用等方面的功能,全面分析数据的价值,从而为组织数据的应用提供更加创新的服务。

4.2在数据治理规划阶段的应用

在数据治理的规划阶段,首先组织应明晰数据治理的框架,并从数据的质量和安全隐私方面着手,充分考虑大数据治理在组织决策中的作用与价值。其次,还应结合组织的目前存在的数据方面的问题,进而制定针对性的战略与方法,以促进大数据治理的顺利实施。同时,还应提高组织数据治理人员的专业素养,如治理战略的制定者、管理者和实施者等,并不断强化数据治理的执行力度。

4.3在数据治理实施阶段的应用

在大数据治理的实施阶段中,可根据组织数据的实际情况采取统一建模的方式对元数据等进行管理,明确数据的统一标准,并建立相应的数据管理库。同时还应充分结合具体业务的需求实施大数据治理,并确保数据来源的真实性、域完整性,从而真正提高数据的质量。在此过程中,应优化数据治理体系,如引入NOSQL数据库的应用等。

4.4在数据治理评估优化阶段的应用

最后还应利用数据治理对其结果进行评估和优化,若发现其中存在尚未达到组织需求和目标的数据,应及时进行重新治理,以增强数据的有效性和应用价值,以帮助组织提高风险的可控性。同时,可利用数据治理后组织内部不同部门间的不同数据系统进行集成式管理,以提高数据的协调性,增强数据的应用价值。

5、结语

在大数据治理框架的实际应用中,首先应不断完善该框架的内容,随后将其应用于数据治理的规划、实施、评估优化阶段中,从而在提高数据质量与安全性的同时,促使数据能够更好地为各领域的业务进行创新服务,充分发挥出数据的实用性,从而创造出更多的经济与社会价值等。

参考文献:

[1]张义祯.树立大数据治理意识[J].中国科技奖励,2014(12):75-75.

[2]王宇德.企业大数据治理研究[J].互联网天地,2014,1(1):20-24.

论文作者:李建

论文发表刊物:《基层建设》2018年第35期

论文发表时间:2019/3/27

标签:;  ;  ;  ;  ;  ;  ;  ;  

大数据环境下的数据治理框架研究及应用论文_李建
下载Doc文档

猜你喜欢