摘要：互联网大数据处理技术已经成为现代网络社会的发展趋势，大数据挖掘是数据处理的关键技术。因此，文章结合互联网，对大数据关键技术进行分析，在分析互联网大数据时代发展现状的基础上，分析了大数据挖掘关键技术，包括数据采集、实时数据处理以及数据管理等基础，以期推动互联网企业的高速发展。
关键词：互联网；大数据；挖掘关键技术
1数据挖掘概述
在当前的社会经济发展中，大数据随处可见，大数据的主要作用是通过相关数据对行业的发展变化做出预测，从而体现自身价值。但是在这之前，大数据并未得到行业的重视。随着互联网技术的发展，人们才逐渐发掘出大数据的价值。受大数据影响最深的就是互联网行业，互联网近年来发展逐渐壮大，使得其涉足了行业，从而以互联网为基础的平台就此确立。而数据的挖掘就是需要通过特定的算法来搜寻出现有信息存在的潜在价值。作为互联网平台中数据处理的一种有效方法，数据挖掘可以从数据的变化规律中探寻出领域的变化发展趋势。数据是的重要组成内容，因此，行业的发展与数据挖掘密不可分。数据挖掘通过互联网进行有效的数据分析就可以获得全面的数据信息，这些数据信息就是促使电商平台崛起的重要依据。例如常见的淘宝等电商平台。数据的挖掘是以获取海量数据为目标，以发现行业的潜在规律为要求，实现商业价值利益最大化。
数据挖掘只是数据应用的一个基础环节，但却是非常重要的一个环节。数据的挖掘是一个系统的过程，在此过程中，会涉及到获取、存储、处理、分析以及融合等较为复杂的内容。其中数据挖掘的检索和提取最为复杂，如果缺少知识库和各项智能技术，那么数据挖掘就会出现相当大的问题。
在这些流程中，数据的获取是非常基础的环节，获取数据是进行之后流程的重要保证。通过获取的数据来对数据进行存储，在进行存储的过程中，不能只单从一个传感器去获得数据信息，要层面的获取。另外，还需要把数据集成数据集，否则，不便于对数据进行分析和处理工作。分析处理数据的过程中，要注意数据的类别分类，同时，还要数据之间的相互关系。随后就需要通过各种方式对数据进行挖掘，在挖掘期间，要结合各种方法综合应用，例如，决策树、云模型等。不经过些过程，就难以实现最终数据融合的目标。
2移动互联网大数据处理中存在的问题
2.1移动互联网大数据实时数据挖掘问题
传统意义上的数据分析（Analysis）主要针对结构化数据展开，且已经形成了一整套行之有效的分析体系。首先，利用数据库来存储结构化数据，在此基础上构建数据仓库，根据需要构建数据立方体进行联机分析处理（OLAP，Online Analytical Processing），可以进行多个维度的下钻（Drill-down）或上卷（Roll-up）操作。对于从数据中提炼更深层次的知识的需求促使了数据挖掘技术的产生，并发明了聚类、关联分析等一系列在实践中行之有效的方法。这一整套处理流程在处理相对较少的结构化数据时极为高效。但是，对于移动互联网来说，涉及更多的是多模态数据挖掘，这些数据包括手机上的传感器，包括加速度计、陀螺仪、指南针、GPS、麦克风、摄像头、以及各种无线信号（如GSM、WiFi）和蓝牙等。这些原始数据在不同维度上刻画被感知的对象，需要经过不同层次的加工和提炼才能形成从数据到信息再到知识的飞跃。移动互联网半结构化和非结构化数据量的迅猛增长，给传统的分析技术带来了巨大的冲击和挑战。
2.2移动互联网海量异构数据管理问题
据统计，2003年前人类共创造了5艾字节（Exabytes）的数据，而今天两天的时间就可以创造如此大量的数据。这些数据大部分是异构数据，有些具有用户标注、有些没有；有些是结构化的（比如数值、符号）、有些是非结构化话的（比如图片、声音）；有些时效性强、有些时效性弱；有些价值度高、有些价值度低。移动互联网海量异构数据管理平台包含以下关键研究和技术：海量异构大数据传输控制、大数据存储、大数据质量管理。
期刊文章分类查询,尽在期刊图书馆
3大数据环境下的互联网发展风险防范对策
3.1构建完善风险预警机制
当前互联网几乎触及了业的所有领域。同时，各种互联网模式的创新，也对监管政策和监管体系提出了更高要求。各项监管政策的密集出台和监管措施的落地，可以看出国家规范发展互联网行业秩序的决心与信心。基于上述因素，必须采取相关措施加强互联网系统的规范性与安全性，必须建立起完善的风险预警机制，坚持以数据为中心，根据当前互联网发展的现实情况，制定出具有科学性、针对性的系统实施计划，确保对系统实施进度、目标以及各项突发事件的有效处理等。另外要严格按照各项行为规范、操作流程实施，能够认识到参与者的具体职责与业务范围，建立完善的风险分析、上报与反馈机制，确保能够对风险进行动态监测，随时发现风险，给予有效的应对。
3.2健全互联网相关法律体系
当前，我国的互联网普遍面临着严峻的法律风险，基于互联网行业的发展要求，必须注重对互联网法律体系的有效构建。首先，国家及政府部门要充分认识到互联网相关法律制定的重要性，根据互联网的发展要求，针对互联网模式制定相关的法律法规，采取多种措施降低银行业对互联网发展的阻碍作用，促进互联网体系的持续、健康运行。其次，各级政府要对互联网制定统一的部门规章与相关标准。互联网的虚拟性决定了其整个交易过程中很难通过传统的行业标准对其进行约束，容易使互联网陷入到微观监管不利的局面，而科学的、统一的行业标准能够使互联网监管有法可依，对于市场的稳定发展有着重要的意义。近年来，我国针对互联网监管问题进行了多次探讨，并强调为互联网开辟更大的发展空间。
4大数据挖掘关键技术
4.1大数据采集
大数据采集技术通常划分为基础支撑层以及大智能感知层。智能感知层主要负责对数据的识别、传输以及感知等基础[5]。基础支撑层则负责为数据平台提供数据库以及物联网等相关处理技术。运营商通过对网络大数据的处理，可以及时地对用户的需求变化作出响应，从而提升企业的综合运营能力。
互联网每天会产生大量的视频、日志以及互动等多样化的数据信息，虽然可以为用户带来便利，但是其同样会为运营商带来巨大的挑战，其主要体现在以下几个方面：存在多源数据获取问题。大数据时代具有多元异构以及动态性的特点，如单个用户的位置信息价值相对较低，而将多个用户的信息整合起来，则可以提升整体价值。然而在数据采集中，收集多元化的数据成为企业面临的新问题；海量异构管理问题。在互联网上，存在大量的异构数据信息，部分数据缺乏注册结构，因而其价值不一，企业需要对关键数据以及异构分析，以此来实现对数据质量的管理；数据实时挖掘问题。对于现代网络，聚类和关联分析已经逐渐应用于数据信息的处理，然而通过模拟分析，无法获取实时的数据，为互联网企业的发展带来了较大的冲击。
4.2大数据处理和可视化技术
大数据信息具有速度快的特點，因而在处理过程中，如果处理不及时，将会不断减弱数据信息的价值，因此，对于大数据的处理，需要从诸多领域进行实时挖掘。通过在线处理的方式来提升数据的处理效率，且对数据的算法以及模式进行改进。
大数据可视分析技术，是指将大数据挖掘以及对计算机的融合和认知能力结合起来，通过人机交互以及可视化技术对数据进行分析，其可以有效提升数据的分析能力和处理能力。
结语
随着互联网事业的发展，大数据挖掘已经成为企业关注的重要问题，本文对大数据挖掘技术进行分析，体现了对海量数据的整合，企业可以通过大数据挖掘技术，实现对客户信息的整理，并且為客户提供个性化的服务模式。
参考文献：
[1]裴莹，付世秋，吴锋.我国教育大数据研究热点及存在问题的可视化分析[J].中国远程教育，2017（22）：1-8.
[2]李涛，曾春秋，周武柏，等.大数据时代的数据挖掘—从应用的角度看大数据挖掘[J].大数据，2015（4）：57-80.
[3]程陈.大数据挖掘分析[J].软件，2014（4）：130-131.
论文作者:李楠
论文发表刊物:《基层建设》2018年第24期
论文发表时间:2018/9/12
标签：互联网论文; 数据论文; 数据挖掘论文; 信息论文; 技术论文; 数据处理论文; 价值论文; 《基层建设》2018年第24期论文;