大数据时代下数据挖掘技术在电力企业中的应用论文_鲍嘉楠

大数据时代下数据挖掘技术在电力企业中的应用论文_鲍嘉楠

(国网义乌供电公司 浙江义乌 322000)

摘要:改革开放以来,我国的科学技术水平不断提升,各类科学技术成果也逐步的应用到人们的生产生活中,不仅便捷了人们的生活,也提高了生产效率。电力企业的发展也同样需要诸多技术的支撑,其中较为关键的技术类型就是数据挖掘技术。这一技术形式在当前的大数据时代背景下,已经被电力企业负责人广泛认知,同时也将其应用到具体工作中,极大的推动了电力企业的发展。笔者针对数据挖掘技术在电力企业中的实际应用方式进行了相应的分析和探究,旨在给有关技术人员以启迪。

关键词:大数据时代;数据挖掘技术;电力企业;应用

引言

目前,发电企业每天将在系统内产生大量关于能源使用量、发电机组运行等方面的数据;供电企业每天将产生海量的企业运营数据。对于如此众多的数据,如何利用现有的手段和技术水平,从中发掘出数据的潜在价值,进而为电力企业改进决策、降低成本、提高收益提供依据,这已经在电力系统中引起了越来越多的人的关注。因此,在大数据的趋势下,电力企业如何发掘数据的潜在价值就显得尤为重要。

1电力的大数据时代的相关概况

1.1大数据含义

作为一种数量庞大、形式多种多样、增长速度非常快的信息资源,大数据只有通过一种全新的使用模式才能发挥其优化作用、决策辅助作用和洞察作用。大数据从整体上来说具备价值性、多样性、高速性、大量性等特点。

1.2电力企业在大数据时代下面临的挑战

通过分析当前电力企业发展实际,可以发现其在日常的经营和管理中产生了非常多的数据。对于电网企业而言,业务数据主要包括生产数据、运营数据、电网企业管理数据。电网企业的大部分数据往往只是经过少量的应用,其后就被囤积起来了,无法对其进行进一步的分析利用,造成尽管电网企业的数据存储量很大,却缺乏有用的信息;在电力的使用方面,电网、电力用户的信息等都会产生大量数据。电力企业数据收集和统计具有较大的复杂性,因为所要收集的数据涉及面很广,还需要删除无用的数据,保证数据的真实性。

2电力大数据时代下数据挖掘技术

2.1数据挖掘技术

数据挖掘技术是利用特定的数理模型对企业的大量模糊的数据进行分析,从这些数据中挖掘出富有价值的潜在信息的技术。对于电力企业来说,复杂的电力系统产生的数据规模巨大,传统数据处理手段已不适用,而数据挖掘技术可以更有效的解决这一问题。

2.2电力大数据时代数据挖掘技术的思考

IDC(国际数据公司)提出,在大数据时代,新数据类型和相应分析技术的缺失会是阻碍企业实现发展的重要因素。不过,需要注意的是,数据挖掘技术能够挖掘出有价值信息的前提是使用上数据是高质量的、有效的。

期刊文章分类查询,尽在期刊图书馆所以,电力企业为解决数据质量问题,应当设立必要的首席数据官,进行数据管理工作,保障数据的质量,从而保证数据挖掘技术能够挖掘出有价值的信息为电力企业决策服务。

3大数据时代下电力企业数据挖掘技术的实现途径

3.1数据来源层实现大数据收集工作

得益于移动设备、无线射频识别技术、互联网、自动记录系统等技术设备,数据来源层主要存放了电力企业内部大量的事务型数据,以及会对电力企业决策产生影响的外部性数据。同时,为了使所获得的数据更具代表性,电力企业要尝试收集不同数据源产生的数据,为数据挖掘的后续工作做好准备。

3.2数据整理层在数据挖掘技术中的实现过程

在数据整理过程中,由于数据源数据内容往往交叉,所以需要按照互动性对观测数据进行分类。同时,由于原始数据中有噪声数据、冗余数据及缺失数据等问题,需要对数据进行解析、清洗、重构,并填补缺失数据以提高待挖掘数据的质量。经过分类后数据被大致分为两大类:结构化数据、半结构化与非结构化数据。对于结构化数据,需要对其进行数据过滤,剔除无效数据以提高分析效率;对于半结构化和非结构化数据,需要按照一定的标准处理成机器语言或索引。例如,对电力用户评论、电力系统运行日志资料等数据,就需要转换成加权逻辑或是模糊逻辑,并将不同的词语映射到标准值上,形成企业统一的语言。

3.3数据管理层在数据挖掘技术中的实现过程

通过数据整理层,将经过整理和转化的数据存储到电力数据仓库中,由于不同的电力数据库储存标准不同,因此需要整合转化后才能储存到数据仓库中,这里就需要对数据仓库进行重新设计。经过重新设计的数据仓库,可以根据不同的主题设计不同的属性集,从而减少数据处理量;针对不同的主题数据库,可以采取粗糙集的属性归约算法删除数据中的冗余信息,得到精简的数据集;然后将决策树所表示的数据集表示为IF-THEN的分类规则知识,并储存在规则知识库中;如果有新数据样本需要处理,可以按照一定的规则算法进行识别匹配,从而进行综合评价。

3.4数据分析层在数据挖掘技术中的实现过程

经过数据管理层处理的数据,可以通过联机分析处理技术来支撑复杂的决策分析过程,从而将数据转化成为辅助决策的信息。鉴于电力企业对数据实时性要求很高,可以将电力企业的数据分为实时性数据和非实时性数据进行分类处理。针对非实时性数据,可以考虑基于分布式文件系统和MapReduce技术的云计算来进行处理;也可以基于Hadoop,一种DFS和Ma-pReduce的开源实现的云计算平台来进行数据处理。对于实时性数据,如电力负荷数据,一方面电力企业可以通过内存计算技术,将全部数据通过内存运行进行计算,这将是提高计算速度的有效办法;另外,可以在云平台前面设置若干前置机,用于实时接收数据。

3.5数据展示层可视化企业目标

通过电力营销决策支持系统,运用良好的数据可视化设计,借助图形表达数据中的复杂信息,将数据挖掘的成果可视化,并将其运用到电力企业未来的发展规划中。将深度挖掘的数据可视化,可以使员工清楚地认识到电力企业未来的发展方向、评价决策制定的正确与否。结果是否符合实际,是决定整个系统挖掘技术是否成功的标准。

结束语

现今的大数据时代背景之下,数据挖掘技术拥有非常大的潜力和较好的前景,在电网改制循序渐进的过程中,大数据会与企业内部的每个环节一一落到实处,电力企业则会越来越熟练的使用数据挖掘技术,人们会渐渐认识与了解数据挖掘技术的优势及潜力。

参考文献:

[1]王珊.架构大数据:挑战、现状与展望[J].计算机学报,2013(10).

[2]卢建昌,樊围国.大数据时代下数据挖掘技术在电力企业中的应用[J].广东电力,2014(27).

[3]曹莉.刍议大数据时代的数据挖掘与精细管理[J].经营管理者,2013(18)

论文作者:鲍嘉楠

论文发表刊物:《电力设备》2017年第31期

论文发表时间:2018/4/18

标签:;  ;  ;  ;  ;  ;  ;  ;  

大数据时代下数据挖掘技术在电力企业中的应用论文_鲍嘉楠
下载Doc文档

猜你喜欢