摘要：随着经济和信息技术的快速发展，现今时代，互联网网络的深化发展、移动通讯设备的普及以及计算机设备的更新换代，种种科学技术极大的便利了人们的生活，给人们的生活、出行、娱乐带来了不一样的体验，这些都是互联时代“大数据”的功劳。通过大数据的分析和使用，人们可以在众多纷繁复杂的信息中找到最需要、最准确的数据，节省了大量的时间。但是随着人们社会生活的逐渐丰富，信息增长的速度也越来越快，信息总量越来越大，因此有必要加强云计算的大数据处理技术的研究才能不断满足新的时代需求。本文首先阐述云计算及大数据的概念，进而论述三种基于云计算的大数据技术，希望能提升我国基于云计算的大数据技术的研发水平和更新速度。
关键词：云计算；大数据；技术研究
引言
现阶段，云计算在以其自身的诸多特点，在各个领域中获得广泛应用。基于此点，文章首先对云计算进行概括性介绍，在此基础上，对基于云计算的大数据处理及关键技术进行论述。期望本文以云计算平台为研究视角，基于大数据时代全面到来这一宏观背景，首先分析了云计算平台的框架结构，之后讨论了云计算平台的关键技术。希望为云计算平台的推广应用贡献绵薄之力。
1云计算和大数据的概念
1.1云计算概述
最早提出云计算这一概念的是谷歌公司的首席执行官，它是一种全新的计算模式，可为用户提供付费服务。云计算的典型服务方式有三种，软件即服务（SaaS）、平台即服务（PaaS）以及基础架构即服务（IssS），这三种服务方式也可以说是云计算所具备的主要功能，在诸多领域中得到了应用实施。现阶段，云计算已经逐步成为大数据服务的基础平台。用户可对较高层次的云服务进行直接调用，也可对封装在较低层次中的服务资源进行调用，据此构建定制云服务。如，用户可从软件即服务（SaaS）的提供商处，对已有的云服务进行调用，或是使用平台即服务（PaaS）对应用进行开发。云计算是以云平台作为依托，按照用户所需的计算资源为他们提供相应的服务，美国国家标准与技术研究院（NIST）依据部署模式，对云计算平台进行具体分类，即公有云、私有云和混合云。不同类型的云计算平台有着自己的特点，如公有云的提供商，可借助互联网为用户提供云服务，而用户在对公有云中的资源进行使用时，则需要支付一定的费用；私有云是一种特定的云计算解决方案，针对的群体为一些特定的企业或是用户，以定制的方式为他们提供云计算服务。通常情况下，用户可以自行搭建私有云；混合云实质上就是公有云和私有云的一种延伸，它的存在主要是为了满足企业的某些业务需求。
1.2大数据
“大数据”简单地将便是指庞大数据的集合，按照学术意义上讲便是指在一定时间范围内无法用常规的数据处理软件进行提取、管理和分析的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。在现代社会，随着人们生产生活的复杂化，这种“大数据”化得信息模块越来越多，而且“大数据”对于人们的工作工作进货价额和生活越来越重要，因此“大数据”处理技术的研究成为如今信息软件领域的热门，对于大数据的信息提取和分析能力也成为影响企业进步和社会发展的关键。
2大数据时代中云计算关键技术分析
2.1虚拟化技术
虚拟化技术是一个对硬件设备依赖性比较高的技术形式，在云计算系统当中可以实现对不同硬件系统的集成化管理与配置，这是大数据时代中云计算平台的核心技术所在。
期刊文章分类查询,尽在期刊图书馆在传统的思想上，硬件设备与软件系统应该是一一对应的关系，通常情况下一套硬件设备体系只对一套软件操作系统的工作进行支持。而虚拟化技术的出现就使得系统多用户多任务的问题得到了有效解决，使得操作系统与硬件设备之间不再直接对接，而是通过虚拟化技术这一桥梁与纽带使得软件程序与硬件设备之间进行时效性的通信。将虚拟化技术应用于实践中，使得硬件设备成为了一种可以实现动态配置的资源形式，进而也就实现了多个系统平台在同一硬件设备系统当中运行的目标，最终使得云计算平台的定制化服务功能以及平台的可拓展性得以实现。在云计算平台当中有效应用虚拟化技术，呈现以下三个方面的优势：第一，可以使得硬件设备系统资源实现共享，允许两个或者多个操作系统共同分享同一个硬件体系，同时在运行的过程中相互之间保持独立，不存在彼此的干扰。第二，资源定制化的优势，通过虚拟化技术的作用，可以使得广大用户能够根据自己的现实需求，去定制系统的类型以及型号，同时还可以实现资源数量的定量化以及相关配置的定性化，这样一来CPO数量，设备的内存、存储磁盘的空间等方面就都可以满足用户的实际要求。第三，在应用虚拟化技术的过程中，可以实现多个平台共享硬件资源的目标，这样就极大程度的提高了硬件设备的使用效率，从而使得硬件设备的性价比提升，最终达到降低成本、减少消耗的目标。
2.2数据存储技术
信息数据在进行存储时的可靠性、安全性以及读写时的效率是云计算技术的基础，利用云计算技术在存储时，往往采用分布式存储，将大量的数据进行汇总并储存到集群服务器中。这种存储技术往往会对数据进行备份储存，利用先进的数据加密技术配合冗余存储能够确保数据的可靠性、安全性。以HDFS为例：HDFS是一种分布式文件存储系统，被广泛应用在通用硬件中。这一系统具备较高的容错功能，能够在廉价设备上实现应用，并且其对数据访问的吞吐量也很大，适合应用在大数据集的处理上。HDFS系统可以进一步的实现文件系统中的数据流式读取，在大数据处理中，HDFS常被设计成能够实现平台间便于迁移的系统，这就令大数据集的应用更便捷。
2.3数据分析技术
大数据的处理是将云计算技术视为一种技术平台，大数据在进行数据处理时的首选处理形式则是云计算技术[3]。数据分析技术是是基于云计算的大数据技术的关键，也是核心，唯有实现了大数据的分析功能，大数据的价值才能体现出来。云计算通过对数据的分析，围绕核心点综合提炼和筛选各项数据信息，从而得出最准确和最科学的结论，通过这一结论，可以更好的研究市场价值趋向、模拟实验进行分析、预测未来的天气情况等，给人们的生产和生活提供极大地助力。
结语
综上所述，云计算为大数据处理提供了一个有效的平台，在基于云计算进行大数据处理时，需要运用的关键技术为数据挖掘。基于云计算技术做好做好大数据处理技术的基础性研究工作，实现数据处理技术效率的提升，为开启信息数据处理的智能化时代提供技术支撑。但由于本人时间以及自身工作经验有限，并未能针对计算机大数据处理技术展开更为深入的研究，因此仍需要更多计算机信息领域的专业人士进行深入研究和挖掘，本文仅做抛砖引玉之用。
参考文献：
[1]王晓妍.数据挖掘技术在软件工程中的应用探微[J].建材发展导向上，2015，13（12）：326-327.
[2]孔令涛，赵慧.大数据云计算环境下的数据安全分析[J].网络安全技术与应用，2017（09）：67-68.
[3]徐赐发.数据挖掘在软件工程领域中的应用浅析[J].电子技术与软件工程，2014（19）：206-206.
[4]宋文超，王烨，黄勇，柳增寿.大数据环境下的云计算网络安全入侵检测模型仿真[J].中国西部科技，2015（08）：24-25.
[5]马保平.关于对软件工程中的数据挖掘技术的探讨[J].电子技术与软件工程，2015（19）：196-197.
论文作者:常春雷,李凯,高阳,杨大伟,马军
论文发表刊物:《电力设备》2018年第25期
论文发表时间:2019/1/16
标签：数据论文; 技术论文; 数据处理论文; 平台论文; 硬件论文; 设备论文; 这一论文; 《电力设备》2018年第25期论文;