摘要：“大数据”为我们的云用户、企业以及网络服务提供商都带来了好处，但就目前的信息处理技术发展现状来看，离真正实现“大数据” 的价值还有不小差距。笔者坚信，随着各种技术的不断纵向发展，人类社会在不久的未来必将创新出更加高效、完善和可靠的计算机信息处理技术， 以真正发挥“大数据”在推动经济社会发展中所具有的作用，帮助我们迈向全新的信息化时代。基于此，本文着重分析大数据时代计算机信息处理技术。
关键词：大数据；计算机信息；处理技术
引言
大数据处理技术作为一项高级的计算机技术，能够处理大量的数据资料，同时也能够计算大量的数据，因此具广阔的市场发展前景。大数据处理技术是计算机处理技术在大数据背景下脱颖而出的一项新技术，其以完善的软件资源和硬件资源为基础，模拟完成所有数据服务功能。
1、大数据的定义
对于大数据的理解，从字面上来说就是巨大的数据，但是其具体含义不仅仅局限于大量的数据，在国外的某研究机构中对于大数据的概念给出了这样的定义：大数据是一种具有非常钱的决策能力和洞察能力同时能够对巨大的数据进行处理的信息资源。面对大数据很多的常规的数据软件都没法及时进行处理，然而网络当中每天仍在不停的产生这数据，大数据包括了产生的数据量的巨大、产生的数据信息的多样化和数据信息的重复化。
2、“大数据”时代信息的特点
信息具有数据量大、传播快、多样化等特点。数据量大是大数据时代信息最大的特点，计算机需要处理的信息量随着时间的推移越来越大， 完全可以用海量来形容；传播快也是大数据时代信息一个很突出的特点， 计算机有非常广泛的传播途径，它传播信息的速度是非常惊人的，传播效率很高。在进行高效传播的时候，还要进行合理的信息处理，随着信息量不断变大，信息处理工具也在时时刻刻进行更新；信息多样化特点专指的是数据的类型，在大数据时代，数据的类型也千差万别，包括视频、图片、文字等很多类型的信息。数据的格式也不断的变化，给计算机信息处理带来了很大的困难和挑战。随着计算机系统的处理能力、存储能力、打印能力和通信能力的提高，特别是计算机软件技术的发展，使用计算机越来越方便，加上微电子技术的突破，使微型计算机日益商品化，从而为计算机在管理中的应用创造了极好的物质条件。
3、大数据处理技术
传统的数据采集来源单一，且存储、管理和分析数据量也相对较小， 大多采用关系型数据库和并行数据仓库即可处理。对依靠并行计算提升数据处理速度方面而言，传统的并行数据库技术追求高度一致性和容错性， 根据 CAP 理论，难以保证其可用性和扩展性。传统的数据处理方法是以处理器为中心，而大数据环境下，需要采取以数据为中心的模式，减少数据移动带来的开销。因此，传统的数据处理方法，已经不能适应大数据的需求！大数据的出现也必然伴随着新的处理工具和新技术的出现。
3.1、基于数据采集的大数据处理技术
（1）系统日志采集方法。很多互联网企业都有自己的海量数据采集工具，多用于系统日志采集， 如 Hadoop 的 Chukwa，Cloudera 的 Flume，Facebook 的 Scribe 等， 这些工具均采用分布式架构，能满足每秒数百 MB 的日志数据采集和传输需求。
（2）网络数据采集方法：对非结构化数据的采集。网络数据采集是指通过网络爬虫或网站公开 API 等方式从网站上获取数据信息。该方法可以将非结构化数据从网页中抽取出来，将其存储为统一的本地数据文件，并以结构化的方式存储。它支持图片、音频、视频等文件或附件的采集，附件与正文可以自动关联。除了网络中包含的内容之外，对于网络流量的采集可以使用 DPI 或DFI 等带宽管理技术进行处理。
（3）其他数据采集方法。对于企业生产经营数据或学科研究数据等保密性要求较高的数据， 可以通过与企业或研究机构合作，使用特定系统接口等相关方式采集数据。
3.2、基于数据存储的大数据处理技术
分布式数据存储处理技术的具体实现时由谷歌公司提出的GFS 技术。此技术在 IBM，百度等公司得到了大量的应用和快速发展。分布式存储利用的是列存储的概念。列存储是以列为单位进行存储，姓比于行存储，其具有数据压缩，快循环等优点。当今流行的技术的行列混合式存储结构， 该结构能够快速加载海量数据，缩短查询时间，高效利用磁盘空间等。
期刊文章分类查询,尽在期刊图书馆
3.3、基于数据分析及挖掘的大数据处理技术
（1）虚拟化技术。虚拟化技术是指利用虚拟的信息网络资源对数据进行存储和管理， 由虚拟化技术构建的“大数据”信息处理技术一方面可以对当前的信息存储资源进行优化配置，方便对海量数据的存储；另一方面可以通过灵活调度信息处理单元来提高对大规模数据的处理能力和效率。可见虚拟化处理技术是“大数据”下的信息处理关键技术。
（2）云存储和云计算技术。云存储实际上是由多个存储单元组成，它通过集群功能、分布式文件系统等功能联合起来协同工作，以共同对外提供数据的存储和管理服务。由此可知，云存储技术就是应“大数据”时代而生，它对解决海量信息数据的存储管理需求提供了一个最佳的解决方案。因为云系统需要同时满足大量用户的需求服务，而这些服务往往又牵扯到对大规模数据的高效处理和分析，所以仅仅具有数据的存储和管理功能还不够。为了解决数据的处理和分析需求，云计算技术也应运而生。云计算技术与传统信息处理技术的最大不同之处在于其具有分布式计算的特点，通过整合和调配整个云系统所能调用的数据计算单元，从而可以快速完成对海量信息数据的计算处理，这对提高“大数据”下的数据处理效率而言是必不可缺的。
（3）自动化资源调度技术。“大数据”系统在提供服务时，需要对数据的存储和计算等资源进行优化配置，所以离不开自动化资源调度技术。所谓资源调度就是将信息资源进行合理的配置和整合，以更好地满足为用户提供高效、高质服务的目的。这些资源除了重要的数据存储资源外，还包括各类软件计算平台、硬件资源及由网络查询得到的资源等。
（4）信息安全技术。在“大数据”时代下，各种数据信息正逐渐由以往单一的形式向相互关联的数据结构演化，但是由于这种关联关系的影响，其中某个数据遭受安全威胁时，其他数据也会随之受到影响。“大数据”下的信息安全技术不再是建立在对某个单一形式数据的安全管理上，而是需要对整个数据关联结构进行系统管理，提高整个数据集群的整体安全防护水平。当前计算机信息处理技术因为受到软、硬件方面的制约，还无法完全满足“大数据”安全管理工作的需求，但这同时也为促进信息安全技术的发展提供了机遇，为了保证“大数据”信息的安全，就需要不断推进信息安全技术向前发展。
3.4、基于数据展现和应用的大数据处理技术
为了方便人们对大数据分析结果的理解和沟通，需要可视化技术进行创建图片、图表和动画等等。Clustergram 是可视化技术，该技术基础是聚类分析。该技术用于显示数据集的个别成员如何分配到集群。
4、计算机信息处理技术发展前景
随着科学技术的发展，计算机的快速发展和应用使人们走进了大数据时代，这就要求应用计算机信息处理技术时，必须在原有的基础上进行创新，运用适合时代发展的思路和处理结构来处理现在的计算机数据。在“大数据”时代，常规的计算机硬件已经不能够满足如此巨大的数据处理能力，按照常规的计算机数据处理架构存在很多问题，不能够及时的适应开发的新应用。这样我们必须做出改变，提出创新，这样云计算网络这个新的技术就被提出来。在将来的网络当中可以将数据进行开放式的传送， 这样对于数据的处理就不仅仅局限于当前的计算机，可以使用网络的计算处理能力对需要的数据进行处理。在未来通过人们的不多努力和创新，计算机信息处理技术又将迎来一个新的发展阶段。
结束语
随着网络用户的迅速增加，网民在网络上产生的数据量迅速膨胀， 这样“大数据”也应运而生，近些年计算机领域的快速发展，是前所未见的。在网络技术迅速发展的今天，如何去面对膨胀式发展的巨大数据，这给计算机处理技术带来了巨大的挑战，人们需要用全新的思维和创新的理念去处理这“大数据”问题。在大数据时代，计算机信息处理技术面临着很大的挑战，在一些专业的问题上有很大的困难，但是在挑战背后也蕴藏着很大的机遇。从硬件计算机来看，对计算机技术更新有很多的限制因素， 虽然如此，计算机的发展趋势是把计算机网络转换为云计算机网络，把计算机硬件和网络数据分开。
参考文献
[1]耿冬旭.“大数据”时代背景下计算机信息处理技术分析[J].网络安全技术与应用,2014,01:19+21.
[2]冯潇婧.“大数据”时代背景下计算机信息处理技术的分析[J].计算机光盘软件与应用,2014,05:105+107.
[3]赵春雷,乔治•纳汉.“大数据”时代的计算机信息处理技术[J].世界科学,2012,02:30-31.
[4]吕敬全.“大数据”时代背景下计算机信息处理技术分析[J].信息与电脑(理论版),2013,06:126-127.
论文作者:刘敏
论文发表刊物:《基层建设》2018年第19期
论文发表时间:2018/9/10
标签：数据论文; 技术论文; 数据处理论文; 信息论文; 计算机信息论文; 时代论文; 计算机论文; 《基层建设》2018年第19期论文;