(国网新疆电力公司检修公司 新疆乌鲁木齐 830000)
摘要:在网络信息技术的不断发展下,电力大数据的存储和分析已经无法满足日益增加的需求。为了满足电网数据的需求,基于云计算的数据分析系统被提出,云计算是一种在互联网基础上构建出来的计算方式,是一种全新的IT服务方式,可以实现资源的虚拟化,并根据实际需要对灵活扩展能力和动态部署进行计算。
关键词:大数据;云计算;应用
一、简述大数据与云计算
1.1大数据的概述
大数据是一个抽象性极强的概念,目前尚没有统一的公认的定义,望文生义,大数据是指规模庞大的数据群,其主要的特征表现为:
1.1.1庞大的数据规模
数据规模的庞大性不能单单用超载或海量等概念词加以描述,是一种集编码方式、数据格式以及数据类型等多维度的数据信息规模化。
1.1.2极高的处理要求
因为大数据聚合了多维度的信息特征,而目前数据新处理的级别与大数据的整体结构不相适应,所以PB级别的数据处理逐渐成为常态。
1.1.3持续高速的特点
基于大数据持续及高速的特征,传统数据库持久储存的方法不能够达到持续高速异质数据的实时处理与统一接入,因此对新的储存技术进行开发。
1.2云计算和云存储
现阶段,能够实时完成对大数据发现、挖掘、存储和处理的最好的大型计算机技术即是云计算。云计算是指在互联网的环境下,相关服务的产生、使用及交付模式。大数据的云计算,公认的理解为利用互联网或局域网,将数据按需、易扩展的方式,通过虚拟化的过程高速地提供给数据请求者。云存储是云计算概念延展的一个新概念,凭借网络技术、集群应用或文件系统等功能,通过应用软件,将网络中大量的各个类型不同的存储设备进行集合,由此实现协同工作,对外实现访问功能及数据存储功能。
二、云计算工作的基本原理
云计算是一种新型的服务系统,它以远程服务或非本地服务集群为基础,向互联网用户提供一系列的计算、软硬件、存储服务,用户可以通过它获取自己需要的资源。云计算的出现很大程度上促进了并行计算、分布式计算和网格计算的发展。数据运行是云计算最基本的任务,计算任务被调度到数据存储节点上,然后开始运算工作数据节点运行的储存与管理是靠集群来完成的。计算是网格运行任务的中心,调度计算任务与存储资源不是非要出自同一地方,因特网的任何角落都可以有计算资源与存储资源的存在。
三、现代电力大数据的特点
3.1现代电力大数据的特点
现代电力企业的大数据特点主要集中体现在三个方面。其一是数量较大,随着智能电网的搭建面积越来越大,各网络节点当中的数据采集设备的数量也越来越多,其在保证数据收集量的同时,也为电力企业管理部门提供了大量的分析数据。目前我国的电力大数据级别已经从过去的TB转变为现代的PB。
期刊文章分类查询,尽在期刊图书馆举例说明,假设一个地区共拥有2200万户电力客户,其均安装了现代智能电表,如每隔15分钟采集1条数据,则每天的电力数据可以达到21亿条。其二是数据种类较多,现代的计算机数据已经从以往单一的结构性数据转变为现代各类数据并存的情况,其中非结构性数据的比例大量增加,因此在数据分析过程中也不能采用传统的方式。其三是速度较快,指的是电力大数据的采集和分析速度均需要快速完成,而这也与我国用户终端数量增加有关,要求国内电网内大数据分析设备能够满足每秒数十万次的计算和分析。
四、基于云计算的电力大数据的建设
4.1电力大数据的分析系统
电力大数据的分析系统是在分布式、并行式的计算框架基础上构建起来的,其数据的分析软件是利用数据的仓库工具软件建立。根据电力大数据在系统上具有的特性,进而开发出对数据库具有查询程序的技术软件、以及具有查询条件的软件技术,间接性、全面性的增强数据仓库的整体性能。该项系统对数据进行系统性的采集、分析、计算等工作流程,都需要经过许多的步骤与环节。另外,系统的传感器装置、具有智能性能的电表等基础设备都在利用固有的频率对数据实行周期性的采集、处理,最终送达至数据的中心。数据在整个采集的过程中,很难避免错误的采集和处理工作行为的出现,从而对电网的用电信息采取无周期性的采集进行补偿。为了有效解决云计算的存储系统在访问数据方面的问题,将以采集的数据信息通过缓冲装置对数据进行一系列的预处理行为。工作人员利用系统对具有静态性质的数据信息构建成具有档案性质的数据库,再通过一定的方法将其数据复制至云计算的存储系统内,有效的缓冲访问数据的相关性问题。
4.2电力大数据的分析技术
由于电力的大数据在分析上具有独特性的特征,有利于数据仓库的相关性工具在系统性能等方面进行优化、提升的空间。对于具有索引性的文件而言,数据仓库的工具在支持方面表现的比较薄弱,因此只能利用系统对数据进行全表式的扫描工作,既损害系统对数据的分析性能,又对系统资源在使用上造成浪费。而电力的大数据在索引方面具有很强的查询性能,同时也具有多重维度的查询性能。电力大数据的分析系统,在数据仓库的工具基础上,提高了对多维度的数据查询性能;分布式的哈希表,通过与网格的文件进行结合、构建,对数据仓库的工具进行识别、分析,进而解读出索引的命令。它能够对数据实现快速的查询和定位,并对已检索成功的数据由并行的计算机框架处理,计算出查询的内容。在它的的分析系统中,涉及了很多的数据库在查询程序下的查找过程,还需要向对应的语言对查询内容进行翻译、检索。因此,这就需要设计出具有自动翻译功能的工具型技术,以在效率、准确度方面达到查询内容翻译的要求。与此同时,还要有相应的技术去支持数据进行更新、存储、删除等综合性能。为了解决数据仓库的工具缺陷,必须要在系统中设计一种混合型的存储构架。由它的表数据实现主要的存储功能,并对数据信息进行及时性的更新与修改。如果命令想对数据进行读取时,只需在程序和系统的控制下调动该构架的读取数据接口,从而实现数据的访问。这个构架能够容纳大量的数据,并具有相应的合并机制,随时保持主表的更新状态,获取最新的数据。
五、基于云计算的电力大数据的应用
基于云计算展开的项目,有利于发展我国的智能电网事业。基于云计算的环境和平台发展下,我国的电力企业在数据方面实现了高难度的处理以及缓冲等工作,最终由大数据的分析系统进行权威性的处理,而后服务器把用户提出的要求与需求经过数据的相关处理器或系统找到能够满足用户所需要的数据。在现今的云计算环境或平台中,有关档案性质的数据将被数据库以存储的形式保存起来。
结语
在计算机科学中,数据库建设和数据技术革命的发展存在着密切的关联,每出现一种新数据技术,均会对数据库建设提出相应的新的要求。基于现阶段经济管理类数据库的数据结构的复杂化、来源的多样化以及规模的庞大化特征,因此,在大数据和云计算作用背景下经济管理类数据库建设中,应从资源利用、数据配置及数据安全着手,是保证经济管理类数据库顺利建设的关键所在。
参考文献
[1]王玎,余秀丽,刘晓峻.基于云计算的电力大数据分析技术与应用[J].移动信息,2015.
[2]闫龙川,陈亮,赵子岩.支撑电力大数据的云计算数据中心体系架构研究[J].供用电,2014.
论文作者:李洪渊,安春香,石辉,魏楠
论文发表刊物:《电力设备》2016年第22期
论文发表时间:2017/1/13
标签:数据论文; 电力论文; 系统论文; 数据库论文; 性能论文; 是一种论文; 多维论文; 《电力设备》2016年第22期论文;