摘要:在信息时代,信息技术在人们的生活中发挥着重要作用,但同时需要处理的数据信息量也在增多。在电网建设方面也正在朝着智能化电网发展,电网建设规模和需要管理的数据信息内容也在不断扩大。如何采集数据电力信息的发展,提高电力大数据处理效率和质量成为电力企业需要重点考虑的问题。因为云计算具有数据处理快、兼容性好以及数据存储量大的优势,在智能电网的电力大数据分析处理中,通过云计算技术的应用可充分挖掘数据本身的价值,提高数据分析和存储的能力,实现电力系统中各种电力信息的分享,提高电力系统整体性能。
关键词:云计算视野;电力;大数据;技术应用
1云计算和大数据概述
1.1云计算含义及其特点
云计算是一种基于网络的超级计算模式,也是一项新型的先进技术,利用远程或非本地的分布式计算机为用户提供数据存储、计算等服务。云计算具有数据处理速度快、兼容性强和数据存储空间大的优势,同时该计算模式的弹性好、可扩展性强,还具有虚拟性的特点,在大数据环境下可为数据分析处理和数据的存储提供支撑和依据,提高数据分析和存储的能力。
在电力系统中应用云计算,可同时接收大量用户请求,并开展多元化的数据处理,数据处理难度降低,同时满足数据库的信息要求,满足现代化电力的发展。由于云计算技术对于数据处理的效率很快,在电力大数据信息分析和处理时,可对整体性数据进行分割,从而开展不同层次的计算,实现系统数据综合化计算。云计算技术在不断的发展中形成了并行编辑模式,能同时高效地完成不同类型的工作,节约了大量的工作时间和人力物力,有效提高工作效率。在实际电力大数据处理应用中,云计算计算方式采用的是分布式处理系统,可实现对电力处理信息资源的综合性探索。比如,在初期存储时电力系统传输的信息资源遭到了一定破坏,这时云计算可通过语句处理实现对电力大数据系统的调节和控制,完善不同信息资源的处理。此外,云计算技术有较大的存储空间,在对电力资源需求不断增加的新时期,电力大数据中包含的内容繁多复杂,数据的容量成为限制电力大数据发展的关键点。而云计算技术则利用了虚拟空间存储技术,可保证电力大数据的完整性,从而满足电力系统工作需要。总之,云计算技术能简单快速地处理各种信息数据,可解决当前电力系统中对于信息数据处理方面的缺陷问题。
1.2大数据含义及其特点
大数据是指一种数据体量大、数据程序复杂的数据信息,一般数据可利用数据处理系统和数据处理分析工具实现对大数据的分类、整理和收集管理。但是在大数据处理信息上往往很难达到理想目标,这是因为大数据具有量大、速度快以及种类多的特点,为实现对大数据的有效处理,必须创新数据处理模式,采用更加先进的数据分析技术,该分析技术能从大量数据中提炼出有价值的信息资源,实现数据资源的有效利用。本文中提到的电力大数据是指和电力企业运营、销售、生产等有关的电力数据信息。
2云计算电力大数据应用分析系统
2.1系统功能性分析
为更大程度上来适应电力行业的发展,需要在原有基础上进一步加深对电力大数据的分析,基于云计算环境来对海量数据进行可靠挖掘,确定数据存在价值,作为电力企业持续发展运营的可靠依据。云计算电力大数据分析系统采用的为分布式并行计算框架,数据分析软件的为Hive,并且可以实现基于网格文件的多为索引,以及基于查询重写的SQL到HQL自动翻译工具,可以实现电力大数据的高效收集和分析,且相比原有数据库系统,此系统在实际应用中不仅性能优良,且运行成本较低[1]。
期刊文章分类查询,尽在期刊图书馆
2.2系统体系结构
对各阶段产生的电力大数据进行采集和分析,整个过程中需要经过较多环节,要求每个环节均可以维持稳定可靠,才能够将数据内存在的价值挖掘出来。智能电网内安装的传感器以及智能电表,均以固定频率周期来进行数据采集,然后在利用通信网络将所有数据传输给数据中心。其中,在采集数据的过程中存在遗漏或者错误等问题,需要进行不定期的补充采集。面对海量的电力数据,想要维持分析系统处于稳定可靠的运行状态,就需要将采集到的数据先输入到前置机缓冲池内,在此完成解码与预处理,为数据分析应用提供可靠支持[2]。其中,为保证数据的完整性以及计算结果的准确性,不仅要将数据存储在关系数据库内,然后被复制到云存储系统内,当档案数据库更新时,可以在云存储系统内进行同步更新。并行计算环境访问云存储系统时,根据业逻辑来对数据进行复杂的分析计算,且将计算结果写入到存储系统内。另外,为便于用户可以通过关系数据库来进行数据查询,还应保证云存储系统将计算结果同步到关系数据库内。
2.3系统主要模块
(1)HDFS模块。即分布式文件系统模块,主要包括一个元数据服务器和多个数据服务器,为电力大数据分析系统的关键模块之一,主要负责对各类电力大数据进行持久化存储。在模块运行时,会将文件分成为64MB的数据块,然后分布在各个数据服务器上,其中每个数据块均存在3个副本,并被分布在各个节点上。如果存在某副本不可访问,系统将会可以自动创建新副本,保证负载的均衡性。
(2)Hive。Hive为一种数据仓库系统,主要负责进行大数据的分析计算。其提供了类SQL查询语言HiveQL,可以向数据分析人员来提供熟悉接口,提高系统操作的可行性与高效性。并且,Hive解析器可以将HQL查询编译成一组MapReduce程序。
(3)开发工具集。主要由并行ETL工具、SQL翻译以及任务管理等多种工具,系统管理可以利用开发工具来实现Web图形化界面或者是系统配置管理的简化处理等。
3云计算大数据分析技术在电力系统应用中的发展
随着大数据处理技术的快速发展,在电力系统的应用中出现了不少新的发展趋势,同时也面临着新的挑战。一方面大数据处理技术朝着可视化方向发展,使大数据分析处理的结果以生动形象的图形图表等展示,使人们能更好地理解电力大数据中包含的信息。随着大数据和其他学科的融合,电力行业中数字化程度进一步加深,产生了更多的数据信息,而如何挖掘海量数据背后的价值成为大数据分析处理技术和电力系统融合推动力。此外,基于云计算的电力大数据分析技术在应用中也存在信息安全的问题,云计算平台易受黑客攻击,在进行大数据分析处理的过程中可能会出现泄密的风险,不但影响电力产业的发展,而且还可能会危害社会稳定和国家安全。
为了解决上述问题,在新时期还需要加大对大数据分析技术的研究,在进行电力大数据分析中及时采取安全防护措施。此外,在大数据技术和电力学科融合的过程中注意挖掘庞大体量电力数据中有价值的信息,注意提高数据分析的时效性和实质性,保证挖掘处理的数据信息对于电力系统正常运行、电力事业健康发展起到一定的推动作用。
结论
电力大数据对于电力企业的发展具有重要作用,想要充分发挥其所具有的功能性,从海量的数据中来挖掘具有价值的信息,就需要基于云计算环境,建立数据分析系统,不仅可以实现数据的存储,还可以通过分析,从中获取运行决策所需的数据信息,促进企业的健康持续发展。
参考文献:
[1]吴秉奇.云计算环境下电力大数据的分析技术与应用[J].淮南职业技术学院学报,2018,18(03):4-5.
[2]董华彪.基于云计算的电力大数据分析技术与应用[J].南方农机,2017,48(23):103+105.
论文作者:吴媛媛
论文发表刊物:《基层建设》2019年第14期
论文发表时间:2019/7/29
标签:数据论文; 电力论文; 数据处理论文; 大数论文; 技术论文; 系统论文; 据分析论文; 《基层建设》2019年第14期论文;