大数据背景下统计数据质量影响因素分析论文_黄陆光

大数据背景下统计数据质量影响因素分析论文_黄陆光

空军军医大学第一附属医院 陕西省西安市 710032

摘要:当今社会大数据已经在各个行业中得到广泛的应用,海量数据的质量参差不齐,高质量的数据需要政府相关部门和企业一起挖掘。大数据时代的来临既是机遇也是挑战,对各行各业的发展具有关键作用。大数据的海量、实时化、电子化易处理、数据多元化等特点为企业和政府带来了巨大的机遇和挑战,一方面极大的方便了各行业的数据处理和查找,是企业和政府做出合理的决策的数据基础;另一方面,微不足道的数据质量问题如果不及时得到解决,会严重影响数据的整体质量。所以影响数据质量因素的研究不仅是统计部门的任务,也是各部门的要求。

关键词:大数据;统计数据质量;影响因素

1影响因素分析

1.1流程维度的影响

从该维度对数据进行分析,主要从数据收集,数据存储,数据使用三个阶段来进行,这是数据的整个生命周期在不同阶段的处理功能。

1.1.1数据收集阶段

在数据收集的方式和统计标准上,大数据时代因为智能设备,传感器以及社交协作技术的应用和普及,使得数据的来源发生了很大的变化。如今网页,搜索引擎,社交媒体论坛,主动和被动系统传感器成为大数据的产生来源,海量数据的产生,让统计数据在广度上无限接近“总体”,这样的大数据收集明显地优势就是会增加统计的准确性,但是数据接触范围的扩大会带来许多以前未曾出现的问题。另一方面数据的时效性比以前大大缩短,而有效的数据收集,才能保证统计数据的质量,这也是一种新的挑战。

1.1.2数据存储阶段

传统的数据存储结构已经无法满足大数据存储的要求,大容量及高扩展性,高可用性,高性能和访问接口的多样性都要求改变单一的数据存储结构。现在的数据存在着大量视频,图片等非机构化数据,使用以往的存储要经过复杂的转换过程,将其转换为结构化的数据,但是这个过程不可避免地会出现转化方式不合适,直接导致数据的完整性和准确性。实现大数据效益的最大化就必须将这些非结构化的数据与结构化的数据有机结合,建设新型的数据库。

1.1.3数据使用阶段

大数据时代数据成为一种共享的资源,不再由某一个人或者某一个部门单独使用。数据的提取和更新愈加频繁,这中间的任何失误都将造成数据质量的下降。社会信息化的发展使得数据的产生和传播加快,许多事情的产生都是瞬息万变的,因此对数据进行及时处理分析,才能保证数据的价值不过期,作为决策者才能做出合适的决策。

1.2技术维度的影响

大数据技术包含数据库技术,数据质量检测识别和数据分析技术这三个方面,它是准确预测未来的保障,体现了数据分析的真正价值。

1.2数据库技术

企业数据在大数据时代最明显的特征就是数据量的增加,这种增加的速度是以往难以想象的,呈现出了指数级的增长。增长的内容既有信息量的增长,也有数据结构的增长,因此数据的统计越来越复杂。传统的数据检测技术在检测结构化的数据时很方便,但是非结构化数据的出现使得传统的检测技术出现了难以应对的情况。数据中错误,缺失,无效或延迟的情况时有发生,这极大地增加了检测的时间成本。企业需要配备更高端的检测设备,引进或者研发新技术来处理大数据,保证数据质量。

1.2.1数据质量检测和识别技术

数据质量的准确性,适用性和及时性检测依靠人工判断,会越来越难,必须引进有效的数据检测技术,及时发现数据存在的不足和缺陷,同时在实践中完善数据质量检测技术,满足大数据时代数据检测的要求。

期刊文章分类查询,尽在期刊图书馆

1.2.2大数据分析技术

数据收集之后,经过分析才能得出数据的价值。可视化分析成为目前大数据分析技术中的主流,数据挖掘算法可以有效处理不同类型和格式的数据,对传统的数据分析进行完善和促进这些都是数据分析能力的提升。

2提高大数据背景下统计数据质量的对策

从多数的研究来看,我国的统计数据的质量还需要得到提高,我国统计数据部门没有充分挖掘大数据的潜在价值;企业内部的数据仅限于内部分享的做法导致资源无法充分共享;专门的数据统计人员数量较少,多数工作人员的工作能力达不到要求,无法进行统计数据工作,导致我国的统计数据质量亟待提高。

2.1不同主体的应对之策

国家方面:国家站在我国的基本国情上制定统计管理体制,改变当前的统计管理体制。党和政府充分发挥带头作用,肩负提升统计数据质量的责任。企业方面:企业统计数据部门要将大数据的潜在价值充分发掘,将内部的数据信息及时分享,提高数据的利用效率。个人方面:统计人员是提高统计数据质量的直接推力,统计人员要加深自己对大数据的了解,创新统计方式,在数据标准的规范下推广应用统计数据。

2.2在各因素方面的解决对策

流程因素方面:在数据搜集、数据维护和数据使用方面要遵守国家制定的标准规范,降低在过程中的干扰因素,避免数据封闭,将资源在数据统计过程中充分共享,尊重客观实际。技术方面:充分引进统计专业技术人才,提高整体统计数据水平,将各项统计数据的技术进行完善,注重开发新技术,提高技术能力。管理方面:领导人员要树立管理意识,大数据所带来的变化要充分关注,保证在大数据背景下统计数据的质量得到提升。

2.3注重建设统计数据的专业化团队

统计数据质量得以提升的基本条件是建设一支优秀的统计数据的团队。为此,企业需要建设统计数据的队伍,实现统计数据工作者素质的持续提升。一是需要根据固有统计工作者的能力和水平等实际情况,对统计工作者开展专门的培训事宜,完善企业的培训体系,启发统计数据的工作者学习新型的统计数据的技能、知识,实现统计工作者业务水平的持续提升。二是企业需要吸收优秀的统计数据方面的人才,以使统计数据团队的年龄结构与知识结构优化,从而建设高素质的统计数据团队,确保统计数据工作者具备源源不断的人才。三是需要实现统计数据工作者稳定性的提升,提高统计数据工作者的福利待遇,实现统计数据工作者工作条件的优化,以及注重对他们进行人文关怀,从而使统计数据工作岗位吸引力得以提升。

2.4建设与健全企业统计数据的相关制度

企业需要强化统计工作中统计制度的规范性功能,实现企业统计数据制度的积极完善。因此,企业的管理工作者需要结合企业的生产经营实际情况制定适宜自身的统计制度,从而确保企业顺利地进行统计数据的工作。一是企业需要制定有效的规章制度,从而对统计部门的责任与任务等进行规范,以使统计部门清楚自身的权限和职责,防止统计部门在发生状况的情况下做出不负责任的行为。二是企业需要结合统计数据的各种种类对报送的时间、内容、方式等进行确定,清楚统计数据的程序,确保顺利地进行统计数据的工作。三是企业需要完善统计台账与原始的数据记录,确保真实的数据来源,以及保障通畅地传送数据。

结束语

总而言之,随着信息化时代的到来,统计工作对于企业的发展也变得越来越重要。针对这方面的内容,无论是企业的管理人员,还是一线的执行人员,都应该给予高度的重视,从根本上提升企业统计数据的质量。

参考文献:

[1]魏瑶.统计调查中数据质量控制对策研究[J].中国高新技术企业,2017(04).

[2]罗放华.大数据时代的统计主体利益均等化路径研究[J].统计与决策,2017(02).

[3]郭彦君,魏婷.统计数据质量问题研究[J].现代经济信息,2017(02).

论文作者:黄陆光

论文发表刊物:《基层建设》2018年第24期

论文发表时间:2018/9/12

标签:;  ;  ;  ;  ;  ;  ;  ;  

大数据背景下统计数据质量影响因素分析论文_黄陆光
下载Doc文档

猜你喜欢