（国网浙江东阳市供电有限公司 浙江省东阳市 322100）
摘要：云计算是一种信息数据处理系统，有效的将信息存储于计算处理系统相结合，能够提高信息接收处理的能力，并且在云计算的作用下能够提高电网的运行能力。云计算和大数据是计算机应用和信息技术应用方面的新技术，具有划时代的意义，云计算通过自身计算技术与存储技术的结合满足了智能电网数据处理的需求，极大地促进了智能电网的发展。本文分析了云计算的电力大数据技术及其应用，提升电力企业现代发展进程。
关键词：云计算；分析技术；电力大数据；应用
1云计算及大数据概述
云计算，主要是以网络为基础，实现服务形式全交付的一种问题解决方案。云计算能够如同电网输送电力一般提供各类资源，用户可依据自身需求来访问相应的计算资源，不管这些资源是物理存在的还是处于虚拟状态的，不管是属于专用的还是属于共享的。通过云中各计算机的协同工作，能够让多种应用程序往同一计算方向进行集结。
大数据（Bigdata）就是数据量比较大，程序较为复杂，一般的数据处理系统以及数据处理工具能以对其进行有效的分类、整理、收集、管理，对大数据信息的处理难以达到预期目的，而大数据往往又对大公司的管理、决策起着至关重要的作用。大数据的特点是量大、样多、速度高、价值大，想要对大数据进行有效的处理，就需要全新的数据收集处理模式，并且能够从处理中的数据中提取有效的信息资源，最终实现数据的价值利用。
2基于云计算的大数据关键技术
2.1数据采集和存储
大数据采集技术可以利用ＲFID射频数据、传感器数据、社交网络交互数据和移动互联网数据等方法获取的各类非结构化、半结构化以及结构化的大数据。随着科技的进步，数据信息在不断快速增长尤其是非结构化数据，因此，需要有性能好、吞吐率高、容量大的基础设备来完成对大数据的存储。
2.2数据预处理
数据预处理就是在进行挖掘任务前对不规则、非标准的大数据进行初步预先处理。真实有效的数据需要有正确可靠的结果。数据预处理的过程包括数据的抽取、转换、清洗、集成、数据规约、异常检测等，可以实现对分布式数据文件的存储与管理。因为在云计算平台上只能用于具有一致性结构的数据，所以在进行数据挖掘前就必须要对这些海量数据进行数据预处理，处理后的数据质量更高使数据挖掘更为高效可靠。
2.3数据挖掘算法并行化
数据挖掘算法并行化的实现是基于云计算数据挖掘的最为关键的技术，能使大数据挖掘的适用性得到最大化的提升。只有对数据挖掘的常用算法的并行化方式实现相应优化，才能在云计算平台上使用MapＲeduce计算模型并满足大数据挖掘任务在平台上的直接运行。因此，对实现数据挖掘算法并行化的进一步深化研究必不可少，这有这样才能使大数据挖掘完成高效实现。
2.4对大数据开展分析运用
以云计算为核心，运用Hadoop来处置大数据已经成为大势所趋。
期刊文章分类查询,尽在期刊图书馆Hadoop涵盖了HDFS与MapReduce框架下的云计算基础组织架构形式，而且还整合了内含数据库、云计算以及数据仓储等在内的诸多平台。Hadoop运用Java语言加以编写，能让多达数千台的普通服务器建立起超稳定、实力超大的大数据集群。
3基于云计算的电力大数据分析技术的研究
3.1电力大数据的分析系统
基于云计算的电力大数据分析过程是一个有效的排列，这种形式在并行和分布式处理是必然的，是建立在有效的框架建设发展起来的，通过软件分析，根据电力系统的有效数据的分析软件，在利用云计算采集到的数据，进行软件升级和整合，进而通过电力数据源开发出更好的适合于电力行业发展的技术软件等等，通过这些可操作的程序，不断全面的进行电力系统的整体控制，通过这些方式积极的进行运用与发展，使得电力系统智能化发展进入一个新的阶段。在大数据时代，云计算的引用也节省了电力系统发展过程的人力与物力投入，对于成本管控过程是非常有成效的。通过大数据电力数据统计，明确的采集分析计算等工作的重点，简单化了工作流程。另外，系统的传感器装置、具有智能性能的电表等基础设备都在利用固有的频率对数据实行周期性的采集、处理，最终送达至数据的中心。数据在整个采集的过程中，很难避免错误的采集和处理工作行为的出现，从而对电网的用电信息采取无周期性的采集进行补偿。为了有效解决云计算的存储系统在访问数据方面的问题，将以采集的数据信息通过缓冲装置对数据进行一系列的预处理行为。工作人员利用系统对具有静态性质的数据信息构建成具有档案性质的数据库，再通过一定的方法将其数据复制至云计算的存储系统内，有效的缓冲访问数据的相关性问题。
3.2电力大数据的分析技术
对数据仓库的工具进行设计的真正目的在于，化解数据分析工作在系统中的难度，以适应行业的发展需求。由于电力的大数据在分析上具有独特性的特征，
有利于数据仓库的相关性工具在系统性能等方面进行优化、提升的空间。对于具有索引性的文件而言，数据仓库的工具在支持方面表现的比较薄弱，因此只能利用系统对数据进行全表式的扫描工作，既损害系统对数据的分析性能，又对系统资源在使用上造成浪费。而电力的大数据在索引方面具有很强的查询性能，同时也具有多重维度的查询性能。电力大数据的分析系统，在数据仓库的工具基础上，提高了对多维度的数据查询性能；分布式的哈希表，通过与网格的文件进行结合、构建，对数据仓库的工具进行识别、分析，进而解读出索引的命令。它能够对数据实现快速的查询和定位，并对已检索成功的数据由并行的计算机框架处理，计算出查询的内容。在它的的分析系统中，涉及了很多的数据库在查询程序下的查找过程，还需要向对应的语言对查询内容进行翻译、检索。因此，有必要设计一种具有自动翻译功能的工具类型技术，从效率和准确性两方面实现查询内容翻译的要求。同时，必须有适当的技术来支持数据的更新、存储、删除等综合性能。为了解决数据仓库的工具缺陷，必须在系统中设计一种混合存储框架。主要的存储功能是通过表数据实现的，对数据信息进行及时更新和修改。如果命令要读取数据，只需在程序和系统的控制下调动该构架的读取数据接口，从而实现数据的访问。这种体系结构可以容纳大量的数据，并有一个相应的合并机制，随时保持主表的更新状态，访问最新数据。
3.3基于云计算的电力大数据分析技术的应用
基于开发平台和云计算环境下，电力企业实现了一个高难度的处理和缓冲数据工作，电力企业的电力数据通过负载均衡器由互联网传输给前置群，然后前置群对相关数据进行一定程度的处理和缓冲并交给数据分析系统对其进行处理，最终相关服务器依据用户的需求从相关数据处理系统找出符合用户需求的数据。在云计算平台中，档案类数据一般都被保存在关系数据库中，一般档案如果有更新则由太网通过高速连接对其进行同步，保证信息的准确性。在原有方案中，云计算系统平台由两台小型HP机器组成，数据一般存储在共享存储器中，相关存储设备通过高速网络连接。新方案通过八台刀片式服务连接，其运行速度明显高于两台小型机速度，新方案也有助于降低关系数据库的成本，因此使用了该方案。
4结语
综上所述，基于云计算环境下的电力大数据分析技术，对数据内容进行信息采集、处理。将该技术与云计算相结合，提高了分析系统运行程序中数据的整体性能。它通过构建大数据存储、处理、分析系统的性能，结合相关技术应用到智能电网中，有效的协助智能电网在社会建设中的使用，进一步满足用户对数据的需求。由于该技术有很多的性能和优势，能够以崭新的优势应对大数据时代的挑战。
参考文献：
[1]基于云计算的海量电力数据分析系统设计与实现[D].毛羽丰.北京交通大学2015
[2]面向智能电网应用的电力大数据关键技术[J].彭小圣，邓迪元，程时杰，文劲宇，李朝晖，牛林.中国电机工程学报.2015（03）
论文作者:张蔚
论文发表刊物:《电力设备》2017年第32期
论文发表时间:2018/4/12
标签：数据论文; 电力论文; 系统论文; 技术论文; 电网论文; 数据挖掘论文; 性能论文; 《电力设备》2017年第32期论文;