智能电网建设中云计算大数据处理技术的运用论文_黄健峰1,任凯2,黄贵东1,黄馨漫2,宋国庆1

智能电网建设中云计算大数据处理技术的运用论文_黄健峰1,任凯2,黄贵东1,黄馨漫2,宋国庆1

(1国网山阴县供电公司 山西朔州 036000;2国网朔州供电公司 山西朔州 036000)

摘要:智能电网是近代智能化技术普及状况下产生的一种针对电能供给、调度等工作进行全方位监控、管理的网络。该网络因为范围广阔、精度较高,在运行时会产生海量的数据信息,使传统人工模式难以处理。而大数据技术可以有效替代人工模式,同时优化智能电网的数据处理能力。因此,主要对智能电网大数据技术发展进行分析。

关键词:智能电网;大数据技术;人工模式

引言

我国电力输送网络主要以智能电网为核心,把现代化控制技术应用到电网管理中,借助计算机网络系统,实现发电、输电、用电、调度等环节的数据采集、分析和处理,为电力企业各项管理决策提供信息依据,优化各个系统运行环节,提高供电效率,保证智能电网运行的安全性和稳定性,进而满足用户的多元化用电需求。由此可见电力数据无论是智能电网运行还是在电力企业经营管理中都占据重要的地位,在此背景下,探究基于云计算的电力数据分析技术具有重要的现实意义。

1现代电力大数据的主要特征

1.1数量化

随着智能电网的普及范围逐渐扩大,搭建面积也在增加,各个网络节点设备数量也在增多,形成了庞大的数据资源体系。这些庞大而繁杂的数据,给数据搜集工作和数据分析工作带来了一定的难度。对此,相关管理部门要进行大量的数据分析。目前,我国电力大数据级别由tb上升到pb级别,假设某地区电力客户为2200万户,全部设置现代智能电表,每15分钟搜集一条数据,该地区每天就会产生21亿条电力数据,可见电力数据的庞大性,这也就赋予现代电力大数据的数量化特征。

1.2高速化

现代电力大数据无论是从数据采集方面还是从数据分析方面上看,都具备高速化特征,以高速状态迅速完成,这主要是由用户终端数量的不断增加所决定的,要求国内电网内大数据分析设备能够满足每秒数十万次的计算和分析。

1.3虚拟化

依托该特点电网建设运行中的各种数据均可被迅捷收集,进而选择相应的设备处理数据,实现对全部电网数据的合理配置与利用。

2智能电网大数据技术应用架构

2.1大数据分类架构

目前,大数据技术在现代智能电网中已经实现了全覆盖应用,即在智能电网的所有相关领域都包含大数据应用。具体来说,智能电网的结构可以分为电力硬件系统、电力软件系统和电力调控系统。在此基础上,大数据技术在智能电网中可以分为相应的三部分。应用上,针对电力硬件系统大数据技术可以与数据采集设备建立信息交互通道,通过数据采集设备的采集功能,得到实时的硬件设备运作参数,而这些参数代表了硬件设备当前的状态。之后,通过数据采集设备的传输功能和信息交互通道,使大数据技术系统可以接收到实时硬件设备运作参数。接收后可以对数据进行规整、分类等操作,同时分析当前硬件设备的运作状态,再依靠智能化技术对分析状态进行决策。当发现硬件设备存在运作异常时,结合智能化控制技术对电力软件系统发出指令,通过电力软件系统的调控功能调整硬件设备。

2.2云计算平台架构

云计算平台是智能电网大数据技术系统中的重要部分,主要根据一定的规则对海量数据进行计算,给智能化决策提供准确的数据信息。因为现代智能电网规模庞大,所以云计算平台一般情况下会采用分布式数据存储架构,以提高云计算功能的效率。此外,云计算的工作平台主要依赖于计算机和服务器,结构十分简洁,且可以充分调用各地区的闲置资源。

期刊文章分类查询,尽在期刊图书馆

3基于云计算的电力大数据分析技术

3.1多维索引技术

传统hive系统索引功能过于单一,无法实现电力大数据搜索的具体化与细致化,造成cpu资源的浪费,降低了电力大数据分析效率。电力大数据具备多维区间查询特征,各个维度查询较为固定。例如浙江省电力系统,是一种以单位代码与时间代码为标准的索引方式,结合实际情况,采用各个维度辅助的形式开展电力大数据多维索引,自动过滤干扰数据和无用数据,有效提高了大数据索引效率与利用效率。当前,多维索引技术应用范围较广,形成以多维索引技术为核心的分布式多维索引系统,依托于hive命令,通过hql解析器,实现代码解析,使得可索引的维度区间更加丰富,还可以根据实际需求,把索引数据放置到hadoop分析系统中综合处理。

3.2混合存储技术

在传统hive系统运行中,无法为数据更新与删除提供支持,只能依靠重写来实现间接性数据更新。由于现代电力大数据分析中,智能电网每天需要处理的数据容量较大,无论是数据更新还是数据删除,都需要快速处理,效率要求较高,而且每个操作数据比例小,若继续使用重新方式进行数据更新,会造成大量数据资源的占用,降低系统的整体运行效率。对此,应用混合储存技术,借助主表与附表的辅助与支持,记录实时更新数据与不需要实时更新的数据,根据运行要求进行数据处理,进而提高数据分析处理的有效性,保证资源利用效率的最大化。

3.3数据处理技术

实例电网单位采用的数据处理技术主要分为三个部分,即分布式计算、内存计算和流处理。分布式计算主要是针对数据分布形态,在分散数据之间的关系基础上,对数据进行计算处理。通过此计算方法可以了解数据的原理、功能、来源、状态等基本属性,算法的核心思路在于将大规模分散数据集中化。内存计算主要是为了避免海量数据计算时占用大量的计算机资源,导致计算效率变低,应用时能够将数据放置在内层中,摆脱传统的磁盘读取时间。流处理主要是针对海量数据传输流进行处理,因为电力信息的产生具有很强的实时性和异构性,且在传输速度与自身规模上也难以统一。流处理可在极短时间内对各式各样的数据进行分析和引流,保障数据流通的正确性。

3.4数据可视化技术

为了保障智能电网控制的可控性,实例电力单位安排了专人对大数据监控下的数据流进行监控。为了实现监控目的,采用了数据可视化技术。此项技术核心在于建模,因为各类数据传输的原始形态为信号,通过传感器可以得到这些原始信号,之后利用数学模型对信号进行计算得出相应的数字参数,最终依照一定的规则完成建模。此时,监控人员可以直接观察模型,了解数据的动态发展。

3.5传输、存储技术

在电网数据传输环节,在对电网系统的运行数据进行抽取与集成后,需传输所有数据,以此减轻电网监控系统的巨大工作压力,提高数据处理质量,并使用先进的传输技术,对庞杂且数量众多的数据加以压缩处理,以此在控制传输量的同时确保数据传输的有效性,提升数据传输的质量和效率,保证智能电网的数据处理能力,使大量的数据可在较小空间内有效保存。在电网数据存储环节,借助数据压缩传输技术可实现对大量数据的高质量传输,但在此期间不可避免会产生数据资源浪费问题。以往在存储数据时,基本采用分布式文件形式保存相关电网数据,存储的数量较多,但存储质量一般,尤其对非结构化数据无法起到良好的保存效果。而采用基于云计算的数据存储技术可以对大量的、非结构化数据,相对限制较少地进行存储,数据存储价值较高。

结语

云计算技术在当前的电网大量数据处理中有着非常理想的应用效果,其资源整合计算能力较强,成功改进以往数据处理过程中的不足,并结合现代化的先进处理技术解决各类电网运行问题,保证电网的安全、稳定运行。

参考文献:

[1]浦静俭.基于智能电网的大数据处理技术发展现状[J].山东工业技术,2015,(18):112.

[2]刘义德,梁 坚.智能电网大数据处理技术现状与挑战[J].科技创新与应用,2015,(29):184.

论文作者:黄健峰1,任凯2,黄贵东1,黄馨漫2,宋国庆1

论文发表刊物:《电力设备》2018年第24期

论文发表时间:2019/1/8

标签:;  ;  ;  ;  ;  ;  ;  ;  

智能电网建设中云计算大数据处理技术的运用论文_黄健峰1,任凯2,黄贵东1,黄馨漫2,宋国庆1
下载Doc文档

猜你喜欢