摘要：随着网络时代的到来，互联网技术得到了广泛的运用，改变了大多数人们的生产与生活方式。IT技术的发展也因此得到了增长，信息化的变革体现在各行各业，数据化也渗透到了社会的方方面面。此时，明确大数据的优势和重要性，并能够积极开发和运用大数据技术，是促进行业发展，提高我国社会发展速度的关键。
关键词：大数据技术；进展；发展趋势
引言
互联网+时代，大数据技术得到快速发展，在大数据时代，大数据技术在各个领域中的应用，为其它领域的发展提供了技术支持。大数据技术在其它领域中的应用，根据其发展需要，其技术在不断发展与创新，以适合现代其它领域发展的需要。
1大数据技术特点
1.1大数据的概念
相比传统的数据概念，大数据可以说是一种全新的思维模式和数据运用方式。它不仅拥有庞大的数据量和种类繁多的数据集，而且它与传统的数据有着本质的区别。亚马逊科学家认为“大数据是任何一台超过了一台计算机处理能力的数据量”。大数据可以用4V特征来表述。第一个V是volume，指数据量大，而且还不断增长，难以预测；第二个v是variety，指种类繁多，来源广泛，包含网页、视频、音频等多种多样的信息来源；第三个v是velocity，指速度快，大数据不仅产生速度快，而且影响快，时效性高；第四个v是value，指价值性，大数据的价值密度低，但是整体价值和潜在价值高，需要人们不断去挖掘和开发。
1.2大数据的系统架构
从大数据的系统观点来看，大数据的整体架构是通过分层结构来实现的，主要包括5个环节：数据准备、数据存储与管理、计算处理、数据分析和结果展现。数据准备阶段是从各种数据源例如：互联网、物联网、企业数据等采集和导入数据，对数据进行加载、提取、转换成统一格式的结构化数据。数据存储管理是将数据准备阶段转换好的数据导入数据库进行存储。计算处理是在数据库中通过批处理技术、流处理技术、交互分析技术等对大数据进一步地分析和整理。
2大数据技术进展
2.1大数据的采集和预处理
数据采集是大数据的主要工作方式，数据采集主要有集中采集和分布采集两种方式。大数据通过对采集的数据进行收集和整理，科学有效的进行分析，提炼出有效的数据，为其它行业的发展提供了技术支持。数据的存在形式多种多样，如何科学有效的采用数据，采集到结构化和非结构化数据进行有效的采集，利用网络数据采集，采用信息系统识别方式等，在互联网+背景下，科学有效的进行数据的清洗和质量控制，完善大数据的利用效率，其采用多种技术进行有效的融合，转换生成一种新的数据集，进行科学有效的应用，完善大数据的采集和预处理，提高其实际的应用效果。
2.2大数据存储与管理
在互联网+时代，互联网技术的应用，在各个行业的应用过程中产生了大量数据，如何有效的利用数据解决实际问题，提高数据的利用效率，促进其它行业的发展。大数据时代的到来，使传统模式下的数据存储容量无法满足现代人们对其容量的需求。传统数据存储模式受时间和空间的限制，具有储存容量小，处理能力慢，无法应对大数据体量大、离散复杂的特点。现在多媒体技术时代，产生的数据的容量都是很大，传统的数据存储方式不能满足用户的发展需要，必须利用云的形式进行存储，提高存储的利用率。云计算一般采用分布式存储系统将不同属性的数据分类存储，通过属性查询来及时提取数据，这大大提高了数据处理的效率；数据的处理能力的提升是大数据技术的发展趋势，必须加强大数据的数据处理能力，提高数据的处理效率，完善大数据的职能。与此同时，利用现代化的大数据计算机技术可以将一些数据压缩起来，使其占据内存变得更小，方便对其进行高效准确的管理。
期刊文章分类查询,尽在期刊图书馆数据的管理需要提升数据的处理能力，减少数据的容量，降低其内存的使用量，提高数据的处理能力。
2.3大数据计算模式
大数据计算模式是指根据大数据的不同数据特征和计算特征，从多样性的大数据计算问题和需求中提炼并建立的各种高层抽象和模型，虽然大数据计算模式应用到的技术比较多，但是大数据计算模式的应用并不是一蹴而就的，基本上无法用单一的计算模式来满足大数据的计算需求。现在主流是应用MapReduce来实现数据的计算和处理，但是随着数据量不断地增长和处理数据问题复杂性以及难度的增加，其已经不能完全满足大数据的需要，目前人们正在不断研究新的大数据技术来更好的对数据进行计算和处理。
3大数据的发展趋势分析
3.1大数据与物联网
随着智能交通、智能家居、智能物流、智慧景区等应用的兴起，物联网已成为未来经济的新增长点。美国、德国、英国、意大利和丹麦等国家争先推出物联网相关发展策略，使物联网规模不断扩大。互联网到物联网的跨越，极大地推动了大数据的发展。物联网是指把所有物品通过信息传感设备与互联网连接起来，实现智能化识别和管理。它从结构上分为四层，即实体层、感知层、网络层和应用层。其每层都与数据的产生或者处理息息相关。大数据与物联网的结合是机遇与挑战并存，首先，产生数据的平台多样化。从原来的个人电脑扩展为传感器、智能手机、各种业务系统、平板电脑、监控录像等，这使得感知层需要感知的数据呈现多样化。目前主流的感知技术有视频文字采集技术、红外线技术、传感器技术和蓝牙技术等，传感器链接的距离范围是100米到1000米，不适合长距离的通信；当外部的环境发生变化，传感器的稳定性能大幅度下降，对具有高性能计算存储系统的安全带来风险；物联网的标准是建立在广电网、通信网和互联网等异构网的基础之上，还没有统一完善的标准体系。
3.2可视化推动大数据发展平民化
大数据的可视化技术基于大数据挖掘技术，将这些信息形象化，从而方便人们更直观地获取深层次的重要信息。大数据可视化技术从存储空间中将这些关键信息进行提取，通过图像、图形的形式将这些信息更直观地表达出来，并运用多种不同的分析手段来提取位置信息，将这些潜在信息通过图形图像等直观方式展示出来，从而帮助人们更好地理解、挖掘大数据下隐藏的信息，降低对数据检索的时间，提高对数据处理的能力。
3.3大数据与云计算的关系越来越密切
大数据的未来正朝着智能化的方向发展，涉及到让机器用人的思维去思考，理解人类的行为模式，并对未来进行预测，这些智能化的实现都离不开云计算。云计算是一种基于互联网的计算方式，它意味着计算能力可以作为一种商品在互联网上流通。它对终端用户是完全开放的，其可以为各行各业提供计算服务，而且云计算效率高、速度快、成本低，不需要人们掌握专业的技术知识就可以使用，可以满足客户的各种需求，具有很强的灵活性。云计算的各项特性完全满足大数据存储、传输的需要，是大数据的最佳载体。云计算为大数据提供了无限制的存储空间和处理能力，满足大数据复杂计算的要求，改善了传统数据存储的缺点。
结语
综上所述，大数据的发展给人们的生活带来了翻天覆地地变化，通过对大数据的使用不仅能够使得我国的计算机技术得到进一步的提升，而且还可以使得我国各个行业经济发展搭上顺风车。因此，我国必须加快大数据的发展，加大对大数据技术的研发力度和应用力度，从而推动大数据的创新应用造福于社会。
参考文献：
[1]方巍，郑玉，徐江.大数据：概念、技术及应用研究综述[J].南京信息工程大学学报（自然科学版），2017，6（05）：405-419.
[2]曾凌静.大数据系统架构及技术发展研究[J].石家庄学院学报，2017，17（06）：38-43.
[3]徐云.多通道数据采集系统数据预处理方法研究[D].浙江大学，2017.
论文作者:王婧谊
论文发表刊物:《电力设备》2018年第24期
论文发表时间:2019/1/8
标签：数据论文; 技术论文; 互联网论文; 能力论文; 信息论文; 数据存储论文; 模式论文; 《电力设备》2018年第24期论文;