国网朝阳供电公司 辽宁朝阳 122000
摘要：随着经济与社会的快速发展，近年来我国电力事业实现了较为长足的进步，智能电网领域不断取得新的成果便属于这一进步的直观展现，基于此，本文就智能电网中的数据处理技术展开分析，并对电力营销大数据处理中的FP-Growth算法应用进行了详细论述，希望论述内容能够为相关业内人士带来一定启发。
关键字：智能电网；数据处理技术；FP-Growth算法
前言：智能电网在运行、检修、管理过程中将产生海量异构、多态数据，这种数据也可以被称为大数据，而能否高效、可靠、低廉的获取、分析、处理相关数据，将直接影响智能电网的运行效果，由此可见本文围绕智能电网中数据处理技术应用展开研究具备的较高现实意义。
1.智能电网中的数据处理技术
1.1数据集成管理技术
作为智能电网数据处理技术的重要组成，数据集成管理技术主要负责多个系统数据的集成管理，这种集成的实质是将不同来源、特点、格式、性质的智能电网数据尽可能的集中，由此实现的高水准数据共享将为电力企业信息孤岛与数据冗余问题解决提供有力支持。对于数据集成管理技术来说，数据融合和集成技术、数据抽取技术、数据清洗技术、数据库技术均属于其组成内容，这是由于大数据具备多样性、来源广泛特点，因此抽取、集成大数据直接影响智能电网数据处理质量，数据清洗也在其中发挥着关键性作用。在大数据集成管理中，Google的BigTable、Amazon的Dynamo均属于其中典型[1]。
1.2数据挖掘技术
将信号转化为数据属于智能电网数据处理的基本驱动力，由此提炼必要信息即可为电力企业的决策和行动提供有力支持。在数据挖掘技术的应用中，关联规则分析、决策树、贝叶斯网络、粗糙集方法、神经网络、统计分析均属于较为典型的数据挖掘技术，这类技术往往具备分类、聚类、不确定性分类、预测等不同特点，因此结合智能电网实际需要选择针对性较强的数据挖掘技术将直接影响挖掘结果质量。对于电力大数据来说，传统数据挖掘技术中很多处理小数据的数据挖掘方法并不能满足智能电网发展需要，这也是近年来学界围绕该领域开展了大量研究的原因所在。
1.3存储、处理技术
分布式计算技术、流处理技术、内存计算技术等均属于数据处理技术范畴，其中分布式计算技术具备解决大规模数据分布式存储与处理能力，流处理技术则能够较好服务于实时到达、速度和规模不受控制的数据，而内存计算技术则较为适用于高效读取和处理在线的实时计算，智能电网数据处理中面临的大数据实时分析和知识挖掘、大规模分散数据源采集、实时在线分析等需求也将由此得以满足。
2.技术应用实例
考虑到智能电网中数据处理技术所涉及内容较广，本文仅对FP-Growth算法在电力营销数据处理中的应用进行了详细论述，具体论述内容如下所示。
2.1FP-Growth算法
传统FP-Growth算法在应用中往往需要占用大量内存，这使得其在处理智能电网大数据时很难拥有较高的效率，因此本文研究选择了改进的FP-Growth算法，该算法本质上属于一种基于Hoodoop的并行FP-Growth算法，由此采用矩阵存储事务即解决了传统FP-Growth算法在实际应用中存在的不足。在完成FP-Growth算法改进后，该算法在具体应用中被分为4步，其中包括1次扫描数据库、两对MapReduc任务，具体应用流程可以描述为“分散数据库事物至多台节点之上→开展数据库扫描→划分频繁1-项集→应用GList扫描全局的1项频繁模式矩阵→针对性创建本地IDFPTree→实现所有分组对应整个GList→得到所有项频繁模式”，图1为FP-Growth算法的数据链表组结构[2]。
图 1 FP-Growth算法的数据链表组结构
2.2电力营销数据预处理
智能电网的各个环节均可能产生大数据，智能电网运行检测与监测数据、电力企业营销与管理数据均属于其中范畴，本文选择了电力市场营销信息挖掘作为研究对象，由此应用关联规则探寻智能电网运行中用户分类属性和决策属性之间的关联关系，即可为电力企业营销部门工作的开展提供有力支持。在具体应用FP-Growth算法开展电力营销数据处理前，首先需要进行数据的预处理，K-Means聚类算法、MapReducce在这一数据的预处理中发挥着极为关键的作用，这里的K-Means聚类算法主要负责数据的概化处理，而MapReducce则负责原始数据的聚类。一般情况下，FP-Growth算法应用前的电力营销数据预处理流程可以描述为“输入k值→筛选聚类所需信息→生成各类簇信息→生成质心文件→更新质心→降序排列质心→调用rank（）函数生成最终质心→使用mapper（）函数实现数据概化处理”[3]。
2.3电力营销数据关联规则挖掘
在完成电力营销数据预处理后，即可真正应用改进后的FP-Growth算法开展电力营销数据关联规则挖掘，这一挖掘环节可以细分为建立数据库、FR-tree挖掘两部分，具体挖掘过程如下所示：（1）构造关联规则挖掘事物数据库。通过抽取相应字段实现。（2）指派MapReduce任务，同时将由此生产的频繁1-集分为2个group。（3）建立完备的数据库分区。为更好开展电力营销数据关联规则挖掘，可使用mapper（）函数、groupID实现数据写入，最终需将数据的位置信息传达给Reduce。（4）IDFPTree挖掘。通过使用reducer（）函数即可实现远程挖掘所需信息，最终将产生频繁项集。（5）生成关联规则。在改进的FP-Growth算法支持下，可通过对电力营销数据的挖掘得到每个频繁项集M，由此即可通过M得出电力营销数据关联规则，由于该规则源于频繁项集M，因此其天然为强关联规则，由此可见改进后FP-Growth算法的应用价值[4]。
结论：综上所述，智能电网中数据处理技术的应用直接关系我国电力事业的发展。而在此基础上，本文涉及的改进后FP-Growth算法在电力营销数据处理中的应用，则证明了研究的实践价值。因此，在相关领域的理论研究和实践探索中，本文内容能够发挥一定参考作用。
参考文献：
[1]骆杨阳.浅谈大数据处理技术在智能电网中的应用[J].通信电源技术，2017，34（04）：186-187.
[2]陈敏，肖志强.关于云计算大数据处理技术在智能电网中分析与应用浅析[J].数字技术与应用，2016（12）：250.
[3]许敏.数据挖掘技术在电力营销系统中的应用及发展[J].科技与企业，2015（10）：60.
[4]杨勇，王伟.一种基于MapReduce的并行FP-growth算法[J].重庆邮电大学学报（自然科学版），2013，25（05）：651-657+670.
论文作者:王艳
论文发表刊物:《建筑科技》2017年第20期
论文发表时间:2018/2/9
标签：数据论文; 电网论文; 技术论文; 数据处理论文; 算法论文; 智能论文; 电力论文; 《建筑科技》2017年第20期论文;