基于云计算的电力大数据分析技术与应用论文_刘丽霞,杨新瑞

基于云计算的电力大数据分析技术与应用论文_刘丽霞,杨新瑞

国网山西省电力公司忻州供电公司 山西忻州 034000

摘要:21世纪社会进入信息化时代,随着网络与计算机技术的高速发展,办公信息化已经深入各个行业,全球数字信息资源呈指数增长,电力行业也在信息化发展的道路上避免不了的进入“大数据时代”。面对日益发展,电力客户日趋增多,为了提高电力公司生产效率、增加电网运行安全稳定性、更好地满足电力客户需求,建立电力大数据分析的数据中心成为电力企业发展势在必行的一条路。

关键词:云计算;电力;大数据分析;技术与应用

引言

随着计算机技术的发展,我国的电力企业也获得了更大的发展。将电力大数据分析技术应用到电力企业之中,这不仅仅是计算机技术发展的成果展现,更是电力企业的进行进一步发展所提出来的需求。借助于基于云计算下的电力大数据分析技术的力量,可以在很大程度上提高获得的电力数据值的准确性和可靠性,从而可以促进电力企业的进一步发展。

1云计算和大数据概述

1.1云计算含义及其特点

云计算是一种基于网络的超级计算模式,也是一项新型的先进技术,利用远程或非本地的分布式计算机为用户提供数据存储、计算等服务。云计算具有数据处理速度快、兼容性强和数据存储空间大的优势,同时该计算模式的弹性好、可扩展性强,还具有虚拟性的特点,在大数据环境下可为数据分析处理和数据的存储提供支撑和依据,提高数据分析和存储的能力。在电力系统中应用云计算,可同时接收大量用户请求,并开展多元化的数据处理,数据处理难度降低,同时满足数据库的信息要求,满足现代化电力的发展。由于云计算技术对于数据处理的效率很快,在电力大数据信息分析和处理时,可对整体性数据进行分割,从而开展不同层次的计算,实现系统数据综合化计算。云计算技术在不断的发展中形成了并行编辑模式,能同时高效地完成不同类型的工作,节约了大量的工作时间和人力物力,有效提高工作效率。在实际电力大数据处理应用中,云计算计算方式采用的是分布式处理系统,可实现对电力处理信息资源的综合性探索。比如,在初期存储时电力系统传输的信息资源遭到了一定破坏,这时云计算可通过语句处理实现对电力大数据系统的调节和控制,完善不同信息资源的处理。此外,云计算技术有较大的存储空间,在对电力资源需求不断增加的新时期,电力大数据中包含的内容繁多复杂,数据的容量成为限制电力大数据发展的关键点。而云计算技术则利用了虚拟空间存储技术,可保证电力大数据的完整性,从而满足电力系统工作需要。总之,云计算技术能简单快速地处理各种信息数据,可解决当前电力系统中对于信息数据处理方面的缺陷问题。

1.2大数据含义及其特点

大数据是指一种数据体量大、数据程序复杂的数据信息,一般数据可利用数据处理系统和数据处理分析工具实现对大数据的分类、整理和收集管理。但是在大数据处理信息上往往很难达到理想目标,这是因为大数据具有量大、速度快以及种类多的特点,为实现对大数据的有效处理,必须创新数据处理模式,采用更加先进的数据分析技术,该分析技术能从大量数据中提炼出有价值的信息资源,实现数据资源的有效利用。本文中提到的电力大数据是指和电力企业运营、销售、生产等有关的电力数据信息。

2基于云计算的电力大数据分析技术及其应用

2.1系统体系结构

对各阶段产生的电力大数据进行采集和分析,整个过程中需要经过较多环节,要求每个环节均可以维持稳定可靠,才能够将数据内存在的价值挖掘出来。智能电网内安装的传感器以及智能电表,均以固定频率周期来进行数据采集,然后在利用通信网络将所有数据传输给数据中心。其中,在采集数据的过程中存在遗漏或者错误等问题,需要进行不定期的补充采集。面对海量的电力数据,想要维持分析系统处于稳定可靠的运行状态,就需要将采集到的数据先输入到前置机缓冲池内,在此完成解码与预处理,为数据分析应用提供可靠支持。

期刊文章分类查询,尽在期刊图书馆其中,为保证数据的完整性以及计算结果的准确性,不仅要将数据存储在关系数据库内,然后被复制到云存储系统内,当档案数据库更新时,可以在云存储系统内进行同步更新。并行计算环境访问云存储系统时,根据业逻辑来对数据进行复杂的分析计算,且将计算结果写入到存储系统内。另外,为便于用户可以通过关系数据库来进行数据查询,还应保证云存储系统将计算结果同步到关系数据库内。

2.2多维索引技术

传统Hive系统索引功能过于单一,无法实现电力大数据搜索的具体化与细致化,造成CPU资源的浪费,降低了电力大数据分析效率。电力大数据具备多维区间查询特征,各个维度查询较为固定。例如浙江省电力系统,是一种以单位代码与时间代码为标准的索引方式,结合实际情况,采用各个维度辅助的形式开展电力大数据多维索引,自动过滤干扰数据和无用数据,有效提高了大数据索引效率与利用效率。当前,多维索引技术应用范围较广,形成以多维索引技术为核心的分布式多维索引系统,依托于Hive命令,通过HQL解析器,实现代码解析,使得可索引的维度区间更加丰富,还可以根据实际需求,把索引数据放置到Hadoop分析系统中综合处理。

2.3翻译工具

传统Hive系统运行中,利用HQL索引语言进行数据分析,HQL索引语言属于SQL的分支,但二者间的语法差异较大。现代化电力大数据中含有很多SQL语言储存信息,这就是传统Hive系统无法满足数据分析要求,在数据存储和数据分析上效率较低。在基于云计算的环境下,电力数据的SQL语言会直接翻译为HQL语言,但是这一手动翻译方式由于处理内容较大,会消耗大量的时间,人工翻译的错误率也很高。对此,为了提高翻译效率,要应用自动化翻译工具,自动分析SQL语句中的语言数据,一旦满足设定的翻译条件,就会形成多个HQL语段,对这一语段进行分析和处理,不仅避免了人工翻译的错漏,还降低时间消耗量,提高翻译效率和系统分析效率。

2.4混合存储技术

在传统Hive系统运行中,无法为数据更新与删除提供支持,只能依靠重写来实现间接性数据更新。由于现代电力大数据分析中,智能电网每天需要处理的数据容量较大,无论是数据更新还是数据删除,都需要快速处理,效率要求较高,而且每个操作数据比例小,若继续使用重新方式进行数据更新,会造成大量数据资源的占用,降低系统的整体运行效率。对此,应用混合储存技术,借助主表与附表的辅助与支持,记录实时更新数据与不需要实时更新的数据,根据运行要求进行数据处理,进而提高数据分析处理的有效性,保证资源利用效率的最大化。

结束语

我国电力输送网络主要以智能电网为核心,把现代化控制技术应用到电网管理中,借助计算机网络系统,实现发电、输电、用电、调度等环节的数据采集、分析和处理,为电力企业各项管理决策提供信息依据,优化各个系统运行环节,提高供电效率,保证智能电网运行的安全性和稳定性,进而满足用户的多元化用电需求。由此可见电力数据无论是智能电网运行还是在电力企业经营管理中都占据重要的地位,在此背景下,探究基于云计算的电力数据分析技术具有重要的现实意义。

参考文献

[1]杨佳.基于云计算的电力大数据分析技术与应用[J].信息与电脑(理论版),2017(08):30-31.

[2]陆玮,吴兵.云计算环境下的电力大数据技术应用探讨[J].信息系统工程,2017(01):14.

[3]王小龙.基于云计算的电力大数据分析技术[J].电气技术与经济,2017(05):10-11.

[4]吴秉奇.云计算环境下电力大数据的分析技术与应用[J].淮南职业技术学院学报,2017,17(03):4-5.

[5]邓贤添.基于分布式技术的电力大数据高性能处理中的应用研究[J].中国新技术新产品,2017(24):22-23.

论文作者:刘丽霞,杨新瑞

论文发表刊物:《基层建设》2019年第24期

论文发表时间:2019/11/27

标签:;  ;  ;  ;  ;  ;  ;  ;  

基于云计算的电力大数据分析技术与应用论文_刘丽霞,杨新瑞
下载Doc文档

猜你喜欢