摘要：随着互联网技术的迅速发展，大数据的各项技术应用模式也变得更加复杂，同时也便捷了人们的生活和工作。因而，需要我们合理地利用大数据并对其进行精确管理，使其更好地为社会服务。互联网大数据已融入到政治、经济、文化、外交以及军事等不同领域之中，也与我们每个人的日常生活息息相关，对数据进行甄别，从而有效利用，是数据信息处理过程的重要一环，影响深远。鉴于此，文章对互联网大数据采集与处理的主要技术进行了研究，以供参考。
关键词：互联网大数据；采集与处理；技术要点
1互联网大数据采集
互联网大数据采集可以划分为2个阶段，一是基础支撑层大数据采集，二是智能感知层大数据采集。基础支撑层大数据采集，主要目的是为数据平台的建立提供物联网、数据库等技术；智能感知层大数据采集，主要是进行数据识别、数据传输以及数据感知等。运营商通过合理处理互联网大数据，便可以根据用户需求变化情况，及时做出反应，更好地满足用户的数据需求。互联网之中，时时刻刻产生着大量数据信息，主要以互动信息、日志、视频等形式存在，虽然为用户提供了一定的便利，但给运营商的数据采集带来了沉重的压力，具体体现在：首先，多源数据获取方面存在着一定的问题。大数据有着动态性、多元异构的特征，虽然单个用户的信息价值不高，但整合多个用户的信息之后，便可以提高信息的整体价值。但就现阶段来说，大数据采集过程中，多元化数据的采集难度非常大，给供应商造成了严重的影响。其次，数据实时挖掘的难度较大。信息化时代背景下，数据信息处理过程中已经应用了关联分析、聚类分析手段，但采取模拟分析方法，不能获取实时数据。最后，海量异构管理方面存在着一定的问题。互联网之中的异构数据信息非常多，一些异构数据缺乏注册结构，价值参差不齐，为提高数据质量，必须对关键数据进行异构分析，但其难度相对较大。
2互联网大数据预处理关键技术
互联网大数据挖掘前期，必须做好预处理，采取科学合理的手段，对互联网大数据进行有效的预处理，主要内容包括数据清理、数据集成、数据归约等。互联网大数据有着庞大的数据量，但其中有价值的数据并不是很多，数据量的增加，也导致了数据噪音问题的加剧，一些不常用的数据，数据量也在不断增加，使得媒体数据处理并不完善，甚至被碎片化处理。面对这样的问题，互联网大数据预处理过程中，可以应用数据清洗技术、数据降噪技术，对大数据进行有效处理。与此同时，采取数据挖掘技术，便可以在预处理阶段获得数据的分类知识、时序知识，这对于数据价值的深入挖掘，有着十分重要的意义。
3互联网大数据处理技术与互联网大数据可视化技术
互联网大数据的速度较快，在进行大数据处理的过程中，若处理不及时或者是处理不到位，便会导致数据信息价值越来越低。面对这样的情况，大数据处理过程中，应对多个领域进行数据实时挖掘，并采取在线处理手段，实现数据处理效率的提高，并要对数据算法、数据处理模式进行改进。可视化技术指的是，有机结合计算机的认知能力、融合能力以及大数据挖掘技术，通过可视化技术、人机交互技术，来进行数据分析。互联网大数据可视化技术可以实现数据分析能力、数据处理能力的提高。
4互联网大数据实时挖掘关键技术
互联网大数据具有一定的复杂性，不仅给用户体验带来了不良影响，也给故障诊断带来了很大的难度。互联网大数据挖掘，主要是在明确掌握无线网络原理的基础上，应用数据分析技术、数据挖掘技术，获取数据报表，以达到开放API接口的目的。
期刊文章分类查询,尽在期刊图书馆通过API接口可以获取数据信息，主要包括以下几种类型：一是网络分析数据信息，对会话、流量等方面进行分析，便可以对网络性能的KPI进行评估；二是用户分析数据信息，通过对比分析用户数据，便能获得用户资源的实际使用情况；三是网元分析数据信息，通过分析网元组对比、网元对比的趋势，便能获得RNC性能负载；四是应用分析数据信息，通过分析用户应用业务，便能获得单个用户时间变化、用户累计分布的实际情况；五是终端分析数据信息，通过分析终端设备的具体应用状态，便能获得实时数据变化情况，进而得到相关性能指标；此外，通过分析QoS、QoE等相关指标，还能得到负荷、用户网络状况方面的信息。
5海量异构数据管理关键技术
计算机、互联网的迅速发展，推动着海量异构数据的产生，海量异构数据有着类型多、数量大、处理速度快、价值密度低的特点，要求在秒级时间内完成数据分析、得到数据分析结果。若是海量异构数据的处理时间过长，则会导致数据价值越来越低。为实现海量异构数据的有效处理，需要科学设计海量异构数据处理模块，具体包括海量异构数据集成模块、海量异构数据处理模块、数据库模块、文件系统模块、易用性模块以及接口数据访问模块。针对海量异构数据处理问题，需要将数据探测模块安装在数据处理系统之中。根据数据处理时间的差异，可以将数据分为离线信息、近线信息、在线信息三种不同的类型。处理秒级信息的时候，多采取流处理技术。流式处理系统的实际应用过程中，主要采取Storm架构或者是Flume架构，数据处理完成之后，将数据传输到数据库之中进行保存，从而实现数据实时处理。设计批处理系统的时候，应依次进行数据存储、数据管理、数据分析以及数据计算，数据存储系统主要采取HBase技术。处理冷数据的时候，可采取GlusterFS技术，可实现数据管理成本的降低。除此之外，数据处理过程中，可应用OLAP来建模，并利用组件分析，以实现数据处理效率的提高。随着互联网、计算机技术的迅速发展，各种新技术不断涌现，为海量异构数据处理提供了新的思路。
6大数据发展展望
各种处理大数据的方法和技术在进行不断地革新，国内外的各类互联网企业也在对大数据处理的专业化架构技术进行研发。对开源系统进行优化，增大开发的规模，降低开发成本，强化开发的专业化程度，数据处理的模式多样化程度增加，有利于大数据在物联网环境下的良性发展。大数据的处理可以通过机器深度学习挖掘的进行实现，所以机器的深度学习是现在大数据信息分析的基础，将一些碎片化的信息结构整合成一个完整的数据源，来反应信息表达事物的全貌，增加大数据挖掘的深度。可视化技术不仅仅是数据分析的关键技术也是展现通过数据挖掘产生的数据结果的重要手段，通过强可视化辅助决策可以对大数据分析的准确性、有效性和对于人们能否及时获得决策信息非常重要。可以预见，将来大数据平台会以一种前所未有的方式改变着各行各业
结语
综上所述，互联网的大数据采集与处理和信息计算方式息息相关，如何提高信息计算方法和机器建模的数据挖掘手段，对于提高数据采集的质量和速度都有着重要的意义，面对越来越复杂的数据，仅仅依靠一种数据处理方式也是远远不够，只有针对不同的数据类型，数据产生途径和数据特点进行分类处理，合理地综合运用各种不同地信息处理方式，才能够有效地处理数据。在实际地应用意义方面，大数据的采集和处理技术也有着广阔的应用价值，国内外对于该领域的研究尚且不完善，在该领域占得先机，对于我国的数据应用和处理有着重要的意义，产生对社会各层有益的影响。
参考文献：
[1]王映丽.大数据时代的计算机信息处理技术分析[J].电脑知识与技术，2018，v.14（10）：52-53.
[2]王建昆.大数据分析技术在采集运维业务中的应用[J].中国新通信，2018，v.20（12）：107.
论文作者:贺艳青
论文发表刊物:《基层建设》2019年第23期
论文发表时间:2019/11/7
标签：数据论文; 网大论文; 互联论文; 数据处理论文; 技术论文; 信息论文; 异构论文; 《基层建设》2019年第23期论文;