中国电信股份有限公司佛山分公司 广东 佛山 528000
【摘要】近年来，随着科技和人们生活水平的快速发展，通信业务的数量有了很大的程度的增加。对大数据进行分析和研究将为通信运营商来带机遇，同时也带来挑战。本文阐述了大数据的概念和特点，分析了大数据技术在通信领域的应用，希望对大数据技术的发展有所帮助。
【关键词】大数据技术；通信；应用分析
1引言
计算机出现以来，伴随着其硬件和软件的不断更新换代，大大提高了人们生活质量和工作效率。“通信”变成了人们生活中不能少的一部分。随着互联网的普及，出现了很多非结构化数据和半结构化数据，如：音频、图片、文字、视频等。人们对互联网的依赖性逐渐上升，手机、电脑和平板等电子设备的使用率达到了空前的高度，物联网、社交网络和云计算得到了广泛的应用。随之而来的是数据规模和数据种类的快速增长，大数据时代来临。在通信领域，为了获得更好的通信体验，对大数据技术进行研究不可缺少。
2 大数据的概念、特点及技术
2.1 大数据的概念
大约在2009年，“大数据”才成为IT行业的流行词。作为一个新兴技术，大数据还没有明确和公认的说法。海量数据被认为是大数据的前身，但是它旨在突出数据规模的大，而没有突出数据的特性。大数据不仅有大规模的数据，还有复杂的数据种类和形式。目前，大家公认大数据具有四个基本特征：数据种类多（variety）、数据规模大（volume）、数据价值密度低（value）以及处理速度快（velocity）。这就是大家常说的区别于传统数据的大数据的4V特性。
2.2 大数据的特点
2.2.1 数据种类多（variety）
大数据的特征之一就是数据复杂且变化大，数据种类多。大数据的数据类型不但有传统的关系数据类型，还有非结构化、半结构化和未加工的数据。传统的数据一般是定义好的结构化数据，虽然也拥有数量大的特点，但是处理前一般要对数据进行含义分析，将数据根据属性存储在一定的位置，方便进行处理。近年来，互联网技术的发展使得大量的非结构化数据在网络上出现，提高了数据处理的难度。对于非结构化数据的关注是大数据处理和传统数据处理的主要区别。
2.2.2 数据规模大（Volume）
拥有大规模的数据是大数据的基本属性。计算机技术的发展导致用户获取和分享数据更加便捷，同时用户也通过浏览、点击等操作产生了大量的数据。
2.2.3 数据价值密度低（value）
数据价值密度低也是大数据的特点之一。数据规模的不断扩大，不但没有使获得有用数据的难度降低，反而在大量数据中更加难以分析得到有用的信息。这时因为，大数据为了使得到的数据更加真实，直接采用数据的原始信息，没有对事物进行归纳和抽象，导致得到的信息中间有一些错误信息和无用信息。
2.2.4 处理速度快（velocity）
对数据的产生和更新的快速处理也是大数据的重要特性之一。在大数据时代，数据增长快，这要求处理数据的速度必须要快，才能有效利用数据。
2.3大数据技术
2.3.1 大数据的存储
20世纪90年代以来，数据的存储和迁移是重点研究对象。
期刊文章分类查询,尽在期刊图书馆随着技术的不断提高，数据存储的技术也在不断优化，主要分为网络附加存储（NAS）、存储域网络（SAN）、直接外挂存储（DAS）和SAN IP 这几个存储方法。近年来，将服务器进行软件虚拟化的虚拟化技术使得存储的效率有了很大提高，降低了存储的成本。
2.3.2非关系型数据库
NoSQL泛指非关系型数据库，相对于传统的关系型数据库，它能更好地应对复杂的大规模数据。NoSQL具有以下优势：①NoSQL更大数据量和更高的性能。这是由于NoSQL的数据库结构简单，具有无关系性。②NoSQL更容易扩散。 NoSQL由于关系型数据库的关系特性被去掉了，导致数据间没有关系，这使数据的扩展变得十分容易。③NoSQL的高可用性。NoSQL在对其它性能影响较小的状态下，可以实现高可用的架构。④NoSQL拥有灵活的数据模型。NoSQL拥有随时存储自定义数据格式的功能，而不用提前建立数据字段。
2.3.3 大数据的开源处理平台Hadoop
Hadoop是由Apache基金会开发出来的能对大规模数据进行处理的开源软件框架。Hadoop 架构的主要部件有：①数据仓库（Hive）和数据分析平台（Pig）。在进行开发的过程中，直接使用应用程序接口（Java API）容易出现错误，使用Java语言在Hadoop上进行编程不太方便。Pig 和 Hive能够让在 Hadoop上的编程变得容易一些。②并行数据处理（Map Reduce）。 分布式计算的优点是在对大数据集查询进行处理时，会将其进行分解。③Hadoop 分布式文件系统（HDFS）。HDFS能提供价格低、容量大和可靠的存储。④Hbase是一个动态数据库。它以Google Big Table这样一种增强的稀疏排序映射表为数据模型。HBase可以应用Map Reduce来处理存储的数据，将并行计算和数据存储进行结合。
Hadoop主要有四个特点，主要是扩展能力强、经济性、可靠和高效率。下面进行说明：①扩展能力强。Hadoop的根本特点就是存储和计算的扩展性，很容易就能存储和处理千兆的数据。②经济性。 Hadoop成本低，可以用普通机器来代替价格高昂的机器进行数据处理，进行横向扩展完成任务。③可靠性高。Hadoop能够对数据进行备份和恢复。④高效率。分布式文件系统具有数据交互高效的特点，将Local Data和Map Reduce 进行结合，为处理大量数据奠定了基础。
2.3.4 数据挖掘
通过数据挖掘技术可以从收集的数据中得到有用的、新颖的、有效的、可理解的知识。数据挖掘是大数据中的一个难点，为了更好的进行数据挖掘，需要用到云计算和分布式挖掘。
3大数据在通信领域的应用
3.1 大数据给通信领域带来的优势
3.1.1 数据资源的积累
在信息时代，数据具有很大的经济价值。用户在使用网络时产生数据，数据的第一接受者是运营商。用户的手机号码、通话记录和访问网站等信息都被运营商获取。大数据技术能够对数据进行分析和挖掘，是运营商处理数据资源的重要基础。应用大数据技术可以对用户身份、业务、关系和消费能力等进行识别，从而得到数据更深层次的价值，使得运营商得到更大的经济效益，促进通信领域的进步。
3.1.2 流量经营
随着网络技术和智能手机等产品的不断发展，4G时代到来，人们对流量的消费需求增大，成为通信消费的主要部分之一。为了更好地进行流量经营这项复杂工作，运营商会对用户的流量使用状况、资费、用户行为进行统计，涉及到市场、客服、运维、业务、建设等多个运营商部门。因此，采用大数据技术是必然的。
3.1.3 摆脱管道化
以大规模的数据作为基础，运营商不满足于提供通话和流量等单一的经营模式。但目前，我国运营商只将数据分析的结果在自己的产品和服务中使用。国外一些运用商将数据分析结果卖给第三方，在进行数据运营的同时有望摆脱长久以来的管道化模式。
3.2 大数据为通信领域带来的挑战
3.2.1 法律不够健全
长久以来，人们对移动设备的依赖性明显提高。在频繁地使用移动设备的同时，大量的与个人相关的信息，如：登陆的网站、收发的邮件、网银账号、社交软件聊天记录等都可能被不法分子获得，造成重大损失。为了更好的保护个人隐私，减少违法犯罪活动，必须要通过立法，健全法律体系来限制数据的收集和挖掘。同时，运营商也要不断强化系统，防止信息被篡改和被窃取。
3.2.2 分析能力和挖掘手段的欠缺
目前，国内运营商的数据分析能力仍然较弱。这是由于专业人士懂得数据分析却不了解业务，而的懂业务人员又缺少数据分析的知识，难以得到数据的潜在价值。
运营商内部的系统没有统一的数据模型，如客服系统、业务平台系统和IT 支撑系统既相对独立又相互关联，阻碍了数据的精确采集。
4 结束语
数据是通信领域的重要优势，应该充分利用大数据技术，通过对数据进行更加深入的分析，改进大数据技术在通信领域内的不足，推动对通信行业的发展。
【参考文献】
[1] 杨岚兰，石磊. 大数据技术及其在通信领域的应用[J].信息与电脑, 2015 (15):69.
[2] 覃雄派,王会举,杜小勇，大数据分析-RDBMS与 Map Reduce的竞争与共生[J]. 软件学报, 2012,23(1): 32-45．
[3] 王 佳，金诚，谢美德.在通信领域中大数据技术的应用分析[J]. 通信设计与应用, 2016 (2): 29-30.
[4] 黄倩蓉 .大数据在移动通信中的应用 [J].黑龙江科学，2015，（03）：28-29.
论文作者:詹银燕
论文发表刊物:《科技中国》2017年3期
论文发表时间:2017/5/27
标签：数据论文; 通信论文; 技术论文; 运营商论文; 领域论文; 关系论文; 结构化论文; 《科技中国》2017年3期论文;