数据挖掘技术在经济统计调查中的应用
杨留华
(浙江树人大学,浙江 杭州 310015)
摘要: 随着我国社会经济飞速的发展、科技水平快速的提高,大规模的经济数据统计变得尤为重要,这不仅可以体现表达出目前经济发展的状况,更能为以后的发展的方向和调控的力度提供有力的数据支持。而对于庞大的数据,从中在最短时间内提取有效、隐藏数据的方法变得尤为重要,这不仅可以节约人力、物力,更能在激烈的经济竞争中抢占先机,本文主要对数据挖掘技术在经济统计调查中的优势及应用做出简要的分析。
关键词: 数据挖掘技术;经济统计调查;应用
数据是经济发展的核心之一、是决策者的灯塔。随着社会进入网络时代,随着社会经济的飞速发展,各式各样的数据在日积月累中组成了庞大的数据库,这无论对于国家、企业还是个人来说都是一笔宝贵的财富,然而更重要的是从大数据中提取出背后所隐藏的真实有效的信息,如何从这些有效信息中找到经济发展的规律,从而对曾经的发展做出正确完整的总结,对未来发展的方向以及调控的力度做出正确的参考,由于数据库越来越庞大,传统的知识获取技术以及速度早已无法满足大数据的查阅,由此在不断的探索之中诞生了数据挖掘技术,并且通过不断的发展以及创新得到了合理的完善。
一、经济统计概述
经济统计是日积月累的结果,可以让人们对本地区、周围地区、整个国家、其他国家,乃至全世界的经济发展状况,经济发展趋势看得更深、更广,大规模的经济统计可以使人们看到社会经济活动的内部,从而使人们可以发现并掌控社会经济变化的规律以及未来发展的趋势,这便可以为政府、企业决策者提供重要的理论依据,对曾经社会经济发展的状况及时做出相应的总结,找出其中的缺陷以及不足,对以后发展的方向以及所掌控的力度做出相应的规划以及调整,抢占先机,避开经济危机,减少利益上的损害[1]。
林露白搬过去那天,老何帮了很多忙,把她细碎的行李一件件搬上楼,她回家取漏掉的东西回来,老何把她除了衣物以外的东西全都整理好了。
二、数据挖掘技术概述及其功能
1.数据挖掘技术的概述
数据挖掘又称资料勘探、数据采矿,是在大数据时代因为普通的、传统的知识获取技术无法满足的情况下产生的一种新型的、有效的、快速的采集数据的方式。在一般情况下,庞大的数据一般都被认为是模糊的、随机的、有效性占百分比低的、不全面的,并且完全没有经过处理的信息,但是经过数据挖掘后,这些看似庞大的、无用的、摸不出头脑的数据,逐渐呈现出一种有效的、有条理性的状态,被管理者以及决策者根据自身情况对其采与参考,为其做出正确的决策指明方向,提供有力的基础,为人们的生活以及生产提供便利。
2.数据挖掘技术的功能
数据挖掘可以被理解成在一些大量的观察数据或事实情况中找出其中所隐藏的可供支持正确决策的过程,再简单一些可以理解为数据转换的一个过程,这个过程简单、有效、迅速。数据挖掘技术是一个涉及方面较为广泛的的交叉学科,不仅仅只包括数据转换,还包括了机器学习、模式的识别以及统计、数理统计学、数据库、模糊数学以及神经网络等多方面的相关技术。数据挖掘主要有数据聚合、数据分类、预测变换、发现关联等多方面的功能,因为功能众多,根据其作用以及特点来看,其优点更为众多,能够从海量的数据库中提取出有价值的信息,能够对有价值的信息做出相应的分析以及评判,并且即为快速,对过去做出总结,对未来发展的方向以及规律做出科学性的预测。
数据挖掘这个词从字面上可以理解为从大数据中对所需求的数据进行挖掘,对大数据进行过滤,对大数据进行更深一程度的开发以加以利用,而这些大规模的经济数据一般都有大量型、复杂性、不确定随机性以及部分数据不完整性等特点,大数据一般以最基础的统计并保存,因为以上大数据的特点,所以这些宝贵的大数据得不到更好的利用以及更好的发挥,以至于这些大数据被贬值。以前也有相应的处理方法,但是随着社会经济发展迅速,数据大规模飞速的集成,传统的知识获取的速度早已无法满足大数据的查阅的需求,传统的知识获取技术不仅浪费人力、物力,更浪费决策者的宝贵时间,甚至超出大数据的有效期。而之后数据挖掘技术的出现,彻底改变了大数据的命运,改变了数据处理的格局,使大数据的价值得到了升华,为决策者提供更有用的帮助,数据挖掘可以迅速的对大数据中的有效数据真实性的、有序的、全面的呈现在决策者面前,以供决策者对所收集保存的数据的提取以及应用,数据挖掘就是对数据进行整理以及在开发的过程。与此同时,数据挖掘还可以理解为对大数据进行观察和创立参照物,以供决策者寻找到最适宜的决策过程。数据挖掘是数据分析的一个大突破口,分为准备、挖掘、分析等步骤。
服务特点:1)文献服务使用链接SD等数据库产品;2)可以用化合物名称、分子式、CAS登记号、结构式、化学反应等进行检索,并具有数据可视化、分析及合成设计等功能,提供专利的文本检索;3)一般用来查询合成、物性;4)内容经科学家们一再筛选,针对化学学科深入编制索引,这意味着您可以立即得到您所需要的数据,而不是简单的文献引用信息;5)从检索结果到决策辅助,从多步反应研究、反向合成分析到合成路线设计,实现无缝对接,是优化化学合成路线的研发工具。
三、数据挖掘技术在经济统计调查中的内涵、特性以及应用
经济实力的提升为国家强化养老服务职责提供了必要的基础和支持,这个阶段,养老问题作为重要的社会问题被加以重视,“养老服务”成为一个独立的、专有的概念开始被使用。
四、数据挖掘技术在经济统计调查中的适用性分析
1.较高的有效性
沃尔玛作为全球零售业的巨头,当然有着庞大的消费者购物行为数据库,而想从中提取有价值、准确的信息,当然少不了数据挖掘技术的应用,经数据挖掘并分析显示,往往由父亲为孩子购买尿不湿时,常常会顺便买几瓶啤酒,于是根据这一发现,沃尔玛便把啤酒和尿不湿放在相近的柜架,并且常常进行啤酒和尿不湿的双重促销活动,通过数据挖掘并分析,使公司的决策者快速的做出正确的决定,使尿不湿的以及啤酒的销量大大增加,从而为公司带来了巨大的效益。
2.综合应用性强
数据挖掘的工具主要分为通用性工具、综合型工具以及面向特定应用。通用性工具:包括着SGI Mineset、SAS Enterprise、SPSS Clementine等多种软件,在市场上也是较为广泛应用的,其主要优点为实用性较为广泛、操作性较为简单;综合工具:包括着Congnos Scenario、Business Objects等多种软件,主要用于快速的、及时的与需求相关的数据情况及其管理报告,主要用于商业活动;而面向特定应用因种类繁多并且对于不同数据的处理方法有不同的针对性,所以就不一一介绍了。
五、数据挖掘的工具
综合应用性强,数据挖掘技术已经被广泛应用于统计工作的各个领域中,并在各个领域中发挥着不可替代的作用,数据挖掘不仅仅可以作为综合性应用性强的一个技术手段,更能满足决策者的种种需求,有较强的个性化,针对不同的数据有不同的分析,对不同的决策者提供不同的有效信息。因此而言,数据挖掘是对社会经济所统计的大数据进行整理以及合理地、适当地开发,为决策者可以提供更好的服务。
一般而言,在社会经济活动中管理者对于经济大数据有两个要求:一是为所统计数据的真实性;二是为所统计数据的有效性。如果单论这两个经济数据统计的要求而言,数据挖掘技术可以很大程度的满足经济数据统计的需要,并且能在数据有效期内以最短的时间提取到有效信息,数据挖掘技术因此成为一种适用性极强,适用范围极其广泛的一种应用,一般为以下方法。
六、数据挖掘技术在经济统计调查中的应用
磨矿时加入2 000 g/t CaO后,再分别加入100 mL不同pH值的缓冲液,磨矿6 min后考察 pH对方铅矿矿浆电位的影响,试验结果见图7。
1.预处理方法
一种叫做预处理方法,预处理方法作为经济数据统计活动中最基础的方法之一,其原理以及应用方法都较为简单,因为对于数据挖掘本身来说,它是一种需要在有基础信息的基础上的一种智能分析,因此技术挖掘本身就受基础信息的限制,不可能无中生有从大数据中提取隐藏的有效信息,因此所有将要进行数据挖掘的大数据都要事先进行最基本的预处理,以排除大数据中的不正确性、不准确性、不真实性、不相关性以及与同类大数据中差别较大的信息[3]。对于这些大数据中存在的种种问题被处理的过程,便称之为数据清理,就目前而言,数据清理的主要方法有平均取值发、平滑法以及进行预测法等,而平均取值法仅仅作为现代技术挖掘分析中一种模糊不清的理论形式,平均取值法可以用于大数据中的某一个数据点是空值或者为噪声数据时才能使用,通俗解释为用大数据中某些已知的属性平均后来填补某一数据空白区,从而可以保证数据挖掘能够合理、正常的进行,因此此方法得出的有效参考数据也相对准确度较高一些。
2.决策树方法
而另一种叫做决策树方法,决策树方法就目前经济统计以及发展而言,是使用较多的一种方法,其优点为可以直接反应准确的情况以及速度足够快。决策树方法最关键的部分即为构建一颗决策树,而构建决策树一般情况下分为以下两步,利用原有的、可靠的、真实的、可以反映目前情况的训练集在精简的条件下建立这个可供进行输出并分析的模型数据,下一步即为将构建完好的决策树进行充分的、恰当的利用。如果想做好此类数据分析,需要的是一种递归的过程,通俗解释而言,即为从决策树的根部开始进行,将输入的数据填充进入树的枝干、树的枝杈,知道输入的数据足够量以至于可以满足某种条件后停止。而对于具体点应用中有两个条件作用于停止分割,其中一个是已经没有分类属性通俗而言指没有必要在对已输入的数据进行再分割,而另一个是一个节点上的所有输入的数据都是同一类别的时候。在决策树构建完成后,还要依据使用者的需求对决策树进行删改以及优化,此目的为更直观的体现数据所展示的内容以及训练集本身对决策树产生的影响。
七、数据挖掘技术在统计调查中应用的经典案例
1.啤酒+尿布=销量增加
较高的有效性,数据挖掘的产生以及应用的历史相对大数据的产生而言并不是很长,却在经济统计调查中起到了不可替换的效果,因为其稳定的工作性能、筛选数据的有效性高、筛去数据的全面性、筛去数据的准确性等诸多优点,从而使其可以不仅仅对经济统计的数据进行整理和分析,还能更深程度的开发出经济统计数据中所隐藏的大量的有效数据,以至于在实际的应用中使其有效性能够较高的展示[2]。
2.英国撤军伊拉克
在数据挖掘中,数学起到了不可代替的关键作用,大数据往往具备较强的时效性,工作人员必须在最快的条件下提高大数据的质量以及有销量,因此工作人员可以充分并且合理利用专业数学知识中的各种统计方法,例如,描述性分析法、回归分析法、相关性分析法等多种有效的分析方法对大数据在最短的时间内进行处理,以此来提高数据分析结果的科学性、准确性以及针对性,以供决策者更好的利用。
3.Google成功预测流感以及乔布斯癌症的治疗
2009年临冬之际,Google通过对上千万条美国人民敏感检索词汇的大数据进行有效数据挖掘,并结合美国疾病中心对以往年流感的报告,建立了一个有效的特定的数学魔板并加以分析,成功的预测出冬季流感特定的地区和大致时间;乔布斯支付了数十几万美元的高昂费用,通过数据挖掘技术获得到自身的DNA排序和肿瘤DNA的排序以及整个基因的数据文档,医生正是通过此数据,对其病情进行合理性针对性治疗,使其寿命延长了好几年。
通过以上几个经典的案例,可以看出数据挖掘技术所应用的方面之广泛以及数据挖掘技术的重要性,数据挖掘技术改变世界的发展,促进人类社会的进步。
八、数据挖掘技术所应用的学科以及创造的就业
数据挖掘技术可以称的上一个比较传统的研究方向,而数据挖掘的过程是通过计算机、算法以及统计学知识对大数据中决策者所需要的有效数据从中筛选出来和找出大数据中所隐藏的有价值的数据以及过去发展的规律以及未来发展的趋势[4]。综上所述,一般的数据挖掘应用到的学科有数学、统计学、计算机学等学科,但是由于数据挖掘的阶段不同以及数据挖掘的方法不同,因此所侧重的也往往不同。
1.数学
《卫报》在2010年10月23日参考维基解密的大数据发表了一篇震撼人心的报道,主要内容为一张地图,这张地图记录着在伊拉克战争中所发生的所有的死伤事件,以及详细的人员伤亡人数、时间以及原因,密密麻麻遍布整的地图,有39万地点之多。正是因为此篇报道,加快了英国做出撤军伊拉克的决定,维护了地区的和平。
影视对白音质缺陷检测方法·················吴 昊 张 莹 毛润坤 董雪婷 (4,545)
2.统计学
数据挖掘其实就是统计学的一部分,是统计学更为细腻、更为有深度的分支,因此统计学与数据挖掘技术息息相关,因此统计学的重要性更加不言而喻,因为统计学本身就与经济学、管理学、金融工程学的诸多学科相结合的甚多,从而使数据挖掘技术的方法变得多彩多样,涉及范围也较为广泛,使所得数据更加科学性、准确性、全面性,数据挖掘的所需要的时间也大大减少[5]。
1.3 观察指标 ①医院感染防控情况:记录实施前后医院感染发生率、多重耐耐药发生率、医疗纠纷发生率、患者满意率情况。患者满意率采用自拟的《患者满意度调查问卷》进行评价,问卷共10个条目,每个条目采用1~4级评分法,总分>30分为满意。②护士医院感染防控知识:采用自拟的《护士医院感染防控知识调查问卷》进行评价,包括感染科护士院感流行处置知识、病房院感预防与控制知识、感染重点项目管理知识、手卫生知识、院感防控知识,护士所有知识答对则为知晓。
3.计算机学
计算机往往是统计学最基础的工具,因此计算机学对于数据挖掘技术有着不可代替的作用以及地位,正是因为科学技术的进步,计算机的出现,使较为复杂、较为庞大的数据的计算从人工变成了机器,这不仅大大降低了工作人员的使用量,更大大减少了数据挖掘所需要的时间,并且计算机能够更好的对大数据进行有效的储存,以及之后因特网的出现,使全球范围内的大数据得到交流与共享,使大数据的传播速度得到飞速的提升,因此同样也促进了数据挖掘技术的出现以及发展,同时为统计学专业提供了更多、更有利的就业环境。
数据规划师、数据工程师、数据分析师、数据应用师、数据科学家等这些在大数据经济下的热门职业,因为数据挖掘技术的应用,从而使大数据变得更有价值,因此这些职业的岗位越来越多,也越来越重要,这些热门职业将会在之后的经济发展中所分化的更为细腻,起到的作用越来越明显。
九、结束语
随着互联网的发展以及经济的全球化,各式各样的经济大数据得到了飞速的传播以及完美的交融,大数据时代已经到来,在最短的时间内抓住有效的数据并合理的应用成了成功的前提,但由于数据的过于庞大,以致其无法发挥出最关键的作用,而数据挖掘技术的出现,则改变了其命运,从其中能够以最快的时间提取出最有效、最科学、最完整的信息,以供给所需要的决策者进行参考,对过去的发展做出总结并发现其中的不足,对未来的发展指明道路,引领了方向。
参考文献:
[1]邢静.数据挖掘技术在经济统计调查中的应用研究[J].现代经济信息,2019,(07):132~132.
[2]洪鹏飞.数据挖掘技术在经济统计中的应用[J].中国集体经济,2018,(31):160~161.
[3]孙海军.数据挖掘技术在经济统计中的应用探讨[J].时代金融,2018,(09):198~198.
[4]张丽丽.试析数据挖掘技术在经济统计中的应用[J].中国商论,2018,(01):13~14.
[5]柴世伟.数据挖掘技术在经济统计中的应用分析[J].全国流通经济,2017,(22):11~12.
中图分类号: F22
文献识别码: A
文章编号: 2096-3157(2019)26-0055-03
作者简介: 杨留华,浙江树人大学讲师,硕士;研究方向:产业组织,产业经济。