大数据的时代变革论文_盛海

大数据的时代变革论文_盛海

重庆工贸职业技术学院 重庆 408000

摘要:时间进入21世纪,随着计算机网络技术的进步以及移动互联、万物互联、5G移动通信网络等技术的飞速发展,人-机-物三元融合的趋势日益明显,新兴应用和网络相关产业不断出现,引起数据的爆炸式增长,大数据(big data)一词越来越多地被提及,人们用它来描述和定义信息爆炸时代产生的海量数据,并命名与之相关的技术发展与创新。

关键词:大数据时代 思维变革 数据价值 产业崛起

在全球范围内,大数据(big data)一词越来越多地被提及,人们用它来描述和定义信息爆炸时代产生的海量数据,并命名与之相关的技术发展与创新。大数据虽然已经发展到现在的云时代,但是业界还没给出一个公认的定义。维基百科(Wikipedia)给出的定义是规模庞大,结构复杂,难以通过现有商业工具和技术在可容忍的时间内获取、管理和处理的数据集.大数据时代的到来正在改变人们的生活方式、思维模式和研究范式。

一、决策方式由原来的目标驱动型逐渐转变为数据驱动型。在传统的科学理论中,管理者做出的决策通常是由“期望目标”或“决策模型”来制定的。然而,大数据时代出现了新的思维模式,即数据驱动型决策,大数据分析成为管理人制定决策方案的重要依据,他们往往根据所做项目与所处的数据环境,随时动态调整工作方案和人事岗位。

二、大数据给传统的数据模式带来思维模式的改变:

1、采样与全样:尽可能收集全面完整的数据

在大数据之前,由于数据收集的难度较大,传统的统计方法通常是进行随机采样分析,例如人口普查、质量管理等.但是现实中实现真正的随机性又非常困难,往往造成分析结果的错误和偏离.由于当时的时代背景,随机采样其实就是为了用较小的数据得到最多的有价值信息,大数据时代的到来,各种传感器、网络爬虫帮助我们获得海量的数据信息,这时候随机采样的方法就没太大的意义了.我们对数据的要求变的大而全,云计算的发展使得普通企业也能拥有一定的大数据处理和分析能力。

2、精确:传统的数据由于信息小,所以对精确性的要求则相当高,在随机取样中,如果抽中错误的数据,那么得出的结论就谬之千里。因此,数据最重要的就是准确真实.那么大数据就恰恰相反,由于数据的庞大规模,保持数据的精确就显得困难无比虽然还是有很多技术团队在做数据清晰,试图保持数据的精确性,结果却往往是耗费庞大资源后却一无所获.反而是通过数据不同来来源的关联分析,更能提高结果的准确性。

3、因果和关联:人们对于数据进行分析预测通常是基于因果关系分析和关联关系分析,因果建立在逻辑推理上,耗费很大.而关联分析又存在数据不足的问题.在大数据时代,因为大量数据的获得,我们广泛采用关联关系分析来进行预测,使得关联关系分析法上升到和因果关系分析法等位的应用价值。

期刊文章分类查询,尽在期刊图书馆

三、方法论:由基于知识的方法转变成为基于数据的方法。我们传统的方法论通常是从知识出发,以之为基础的,从大量实验数据中总结和提炼出一般性规律之后,用规律去解决实际问题。因此,传统的问题解决思路是“问题→知识→问题”,即根据问题找知识,遇到问题用知识解决问题。然而,数据科学中兴起了另一种方法论——“问题→数据→问题”,即根据问题统计相关的数据,并直接用数据解决问题,不需要在提炼出知识和规律。

四、数据的属性由资源转变为资产:在当今的大数据时代,数据已经不单单是一种资源,而转变为重要的资产。因此,目前数据科学已经把数据当做一种资产来管理,并不是仅仅当做资源来对待。也就是说,与其他类型的资产一样,数据也具有财务价值,且需要作为独立实体进行组织与管理,而且这种资产变得越来越重要,甚至可以影响一个国家的发展或一个行业的命运。

五、数据处理模式由小众参与 转变为大规模协同:传统科学中,数据的分析和挖掘都是具有很高专业素养的核心人员的工作,企业管理的重要组成部分就有如何激励和绩效考核这些技术核心人员。但是,在大数据时代,基于核心人员的创新工作成本和风险越来越大,而基于专家余(Pro-Am)的大规模协作日益受到重视,正成为解决数据规模与形式化之间矛盾的重要手段。

六、计算智能由复杂算法转变为简单算法:我们目前认为只要拥有足够多的数据人工智能算法可以变得更聪明智能,这也是我们对大数据时代的一个新认识。因此,在大数据时代,原本复杂的智能问题变成简单的数据的体量问题,只要对大数据进行简单查询就可以达到基于复杂算法的智能计算的效果。为此,很多学者曾讨论过一个重要话题即大数据时代需要的是更多数据还是更好的模型(moredata or better model)?机器翻译是传统自然语言技术领域的难点,虽曾提出过很多种算法,但应用效果并不理想。近年来,Google翻译等工具改变了实现策略,不再仅靠复杂算法进行翻译,而对他们之前收集的跨语言语料库进行简单查询的方式,大大提升了机器翻译的效果和效率。

七、科研研究范式由第三范式进入到第四范式:2007年,图灵奖获得者Jim Gray提出了科学研究的第四范式即数据密集型科学发现(Data-intensive Scientific Discovery)。在他看来,人类科学研究活动已经历过三种不同范式的演变过程(原始社会的实验科学范式、以模型和归纳为特征的理论科学范式和以模拟仿真为特征的计算科学范式,而目前我们正在从计算科学范式转向数据密集型科学发现范式。第四范式,即数据密集型科学发现范式的主要特点是科学研究人员只需要从大数据中查找和挖掘所需要的信息和知识,无须直接面对所研究的物理对象。例如,在大数据时代,动物学家的研究方式发生了新的变化,其主要研究任务变为从海量数据库中发现所需的动物或现象的照片,而不再需要亲自进行实地拍照。

从看似无序的数据中发现有序,在有价值的关联关系的数据集上深挖重要目标,大数据的超大规模对我们的整个社会和生活产生了重大的影响和变革,对已有的计算模式、理论和法方产生深远的影响,维克托•尔耶•舍恩伯格在《大数据时代:生活、工作与思维的大变革》中前瞻性地指出,大数据带来的信息风暴正在变革我们的生活、工作和思维,大数据开启了一次重大的时代转型。

论文作者:盛海

论文发表刊物:《基层建设》2019年第24期

论文发表时间:2019/11/22

标签:;  ;  ;  ;  ;  ;  ;  ;  

大数据的时代变革论文_盛海
下载Doc文档

猜你喜欢