基于云计算及大数据技术的电力搜索引擎技术研究论文_王鑫

基于云计算及大数据技术的电力搜索引擎技术研究论文_王鑫

国网山西省电力公司吕梁供电公司, 山西 吕梁 033000

摘 要 21世纪的到来,使得电能发展进入全新时代,智能电网随之而生。但随着智能电网爆发式的增长,各类监测数据不断扩大,种类不断增多,价值不断提高,现有的传统电力数据处理系统无法满足这种需求。而云计算的出现,如同第三次革命浪潮一般,彻底改变了我们的生活方式和生产方式,也给电力数据的分析与处理带来了全新的理念和思路。

关键词 云计算;电力大数据分析技术;应用

引言

在详细的电网数据剖析工作中,关于最终决策起到主导作用的要素很可能仅是其中的某一局部,而要将这些最为关键的要素及时寻觅出来将会关于缩减数据处置范围、提升数据处置效率意义严重。有研讨人员就经过应用经典粗糙集理论将关于风力速度有可能产生影响的属性进行了约简处置,同时在对风力速度的预测过程之中也到达了较为称心的效果。普通的数据约简处置办法虽然在减小时间复杂水平、提升效率上价值明显,但是,此类属性所采取的约简算法都是假定将一切的数据内容一次性录入系统内,很明显这无法适用于电力大数据系统。还有研讨采用传统关系数据库技术属性约简方式,来处置小范围属性约简问题,虽然在时间性能方面获得了较为称心的效果,但是采取此类办法所可以应对处置的数据范围及时效性均会受制于硬件限制。而将云计算技术应用于电力大数据预处置当中,则可以给予其软件及硬件资源和相关的数据处置提供以新的途径方式。在本次研讨中重点就针对美国谷歌公司所提出的MapReduce编程模型展开了深化的剖析与讨论,详细就粗糙集相对正域理论和现行的学问约简计算方式展开了深化分析,分离其模型设计与计算最终对基于云计算技术的电力大数据预处置属性约简办法的正确性,及其对节点数目的影响展开了实证剖析,最终的实验结果显现,此项计算办法不当可大幅度提升电力大数据集的属性约简计算效率,同时还可到达较为优良的可拓展性效果。

1 云计算概念

云计算作为数据处理系统,主要负责数据信息存储,云计算能提高电网运行的稳定性,充分发挥电网技术应用优势。云计算具有适用性、伸缩性、优质性能等特点。云计算的适当应用,能够实现资源合理配置这一目标,避免出现资源限制、资源使用矛盾等现象,这对业务承载力有推动作用。现如今,云计算技术应用行业较广泛,常用行业主要有零售业、电力企业等[1]。

2 基于云计算的电力大数据分析技术

2.1 多维索引技术

传统Hive系统索引功能过于单一,无法实现电力大数据搜索的具体化与细致化,造成CPU资源的浪费,降低了电力大数据分析效率。电力大数据具备多维区间查询特征,各个维度查询较为固定。例如浙江省电力系统,是一种以单位代码与时间代码为标准的索引方式,结合实际情况,采用各个维度辅助的形式开展电力大数据多维索引,自动过滤干扰数据和无用数据,有效提高了大数据索引效率与利用效率。当前,多维索引技术应用范围较广,形成以多维索引技术为核心的分布式多维索引系统,依托于Hive命令,通过HQL解析器,实现代码解析,使得可索引的维度区间更加丰富,还可以根据实际需求,把索引数据放置到Hadoop分析系统中综合处理。

2.2 混合存储技术

在传统Hive系统运行中,无法为数据更新与删除提供支持,只能依靠重写来实现间接性数据更新。由于现代电力大数据分析中,智能电网每天需要处理的数据容量较大,无论是数据更新还是数据删除,都需要快速处理,效率要求较高,而且每个操作数据比例小,若继续使用重新方式进行数据更新,会造成大量数据资源的占用,降低系统的整体运行效率。对此,应用混合储存技术,借助主表与附表的辅助与支持,记录实时更新数据与不需要实时更新的数据,根据运行要求进行数据处理,进而提高数据分析处理的有效性,保证资源利用效率的最大化。

期刊文章分类查询,尽在期刊图书馆

2.3 分层次处理技术

在云计算技术的支持下,引入分层次数据技术进行综合数据分析处理,在智能电网中,形成电力信息搜集、储存、应用等功能为一体的结构化管理系统,结合电力供应情况,建设大数据管理系统分支化管理体系,加强电力供应系统间的关联性和独立性,保证电力系统资源在各个电力供应系统中的流转和共享,提高资源利用效率。同时,借助云计算SQL系统,保证电力大数据分析计算的同步性,有效提高电力大数据分析处理效果和效率,实现智能电网的电力大数据层次化分析管理。

2.4 翻译工具

传统Hive系统运行中,利用HQL索引语言进行数据分析,HQL索引语言属于SQL的分支,但二者间的语法差异较大。现代化电力大数据中含有很多SQL语言储存信息,这就是传统Hive系统无法满足数据分析要求,在数据存储和数据分析上效率较低。在基于云计算的环境下,电力数据的SQL语言会直接翻译为HQL语言,但是这一手动翻译方式由于处理内容较大,会消耗大量的时间,人工翻译的错误率也很高。对此,为了提高翻译效率,要应用自动化翻译工具,自动分析SQL语句中的语言数据,一旦满足设定的翻译条件,就会形成多个HQL语段,对这一语段进行分析和处理,不仅避免了人工翻译的错漏,还降低时间消耗量,提高翻译效率和系统分析效率[2]。

3 电力大数据分析技术的应用

随着计算机技术的发展,云计算的电力大数据分析技术已经开始陆续应用到现实生活中了,推动了电力企业的发展。其中的在浙江电力系统中应用的云计算电力大数据分析已经取得了很大的成功,借助于云计算的力量,加快了浙江电力系统的智能电力化发展。通过云计算,电力系统中的数据都被集中到一起,并且通过计算机对这些数据进行分析,得出准确的数据结果。根据这个数据结果,电力工作人员可以不斷完善电力系统中各种问题,提高电力系统运行过程中的相关服务器的稳定性。再者,基于云计算的电力大数据分析。可以在很大程度上满足于客户的需求对数据进行分析处理,在这个计算过程中,电流的传输靠的主要是电力平台。重要的是,进行分析处理的数据等信息都会储存在档案库中。档案库的信息会跟随着数据的改变而实时进行改变,可以自动更新。在以前的探究设置中,档案库的信息储存是建立在两台小型机上,储存信息需要借助于高速网络。而在目前的实际操作中,档案库的信息储存由多个服务器连接,其运行速度较之前加快不少。此外,这种连接方式经济实惠,可以节省很多建设费用[3]。

云计算在电力供给中的应用,完成了电力系统供给中大数据处置技术的兼容性进步,云计算的计算方式主要应用散布式处置系统对大数据信息进行控制,从而能够完成多种电力处置系统的信息管理资源在整体应用中的综合性探究,例如:当电力大数据剖析系统中的保送电力系统的信息资源在初期存储中遭到严重的损坏,无法对后期的电力系统信息处置提供完善的信息资源,云计算可以经过语句处置,完成对电力供给系统的大数据剖析系统进行调理与控制,系统中也能够将电力系统中,多种电力保送系统的资源方式在同一种电力大数据处置系统中进行调理控制,完善不同的信息资源处置。由此可见,云计算在电力大数据处置系统中的应用,为进步电力系统的信息应用范围额进一步完善提供新的技术支持。

4 结束语

计算机技术的不断发展,也预示其将会在日后进入更多地生活领域和经济领域中去。云计算的电力大数据分析和应用,也将会在日后的电力企业中得到更大的普及和发展。在以后的电力企业发展中,电力企业首先要重视云计算的电力大数据分析技术,认识到其对电力发展具有重要的推动作用。其次还要不断地研究云计算的电力大数据分析技术,将其更好地应用到现代电力企业发展中,提高电力对国民的服务质量,推动我国的电力企业步入一个新的发展阶段。

参考文献

[1] 董华彪.基于云计算的电力大数据分析技术与应用[J].南方农机,2017,48(23):103,105.

[2] 黄蕾,陶锐.基于云计算的电力大数据分析技术与应用[J].数字技术与应用,2017,(02):117.

[3] 王维,赵明颖.基于云计算的电力大数据分析技术与应用[J].黑龙江科技信息,2016,(12):180.

论文作者:王鑫

论文发表刊物:《当代电力文化》2019年第9期

论文发表时间:2019/10/16

标签:;  ;  ;  ;  ;  ;  ;  ;  

基于云计算及大数据技术的电力搜索引擎技术研究论文_王鑫
下载Doc文档

猜你喜欢