摘要:在系统运行的过程中,必须要对其进行有效监测,保证系统能够稳定运行。本文主要思考了大数据挖掘如何更好的应用在系统的运行监测中,提出了基于大数据挖掘的运营监测方法和具体的措施,希望能够为今后的系统运营工作带来参考。
关键词:大数据;挖掘;运营监测
前言
只有做好了系统运行的监测工作,才能保证系统不会出现各种故障和问题,这也是当前研究系统运行的工作中要重点关注的课题,必须要予以重点研究和思考。
1数据挖掘的概念及功能
1.1数据挖掘概念
数据挖掘是从大量的随机、模糊并带有噪声的数据集合中通过采用一定的算法对信息进行提取,发现规律和有用的价值信息的过程。一个完整的数据库挖掘系统主要包括了:数据库、数据库服务器、知识库、数据库挖掘引擎、模式评估模块、可视化用户界面。
1.2数据挖掘方法和步骤
数据库挖掘的主要方法有基于遗传算法,粗集方法,决策树方法和神经网络方法。数据挖掘的一般步骤为:分析问题,判定源数据库是否满足数据挖掘的标准;提取、清洗和校验数据,去除数据中的噪声,得到数据完整、格式统一的数据;创建和调试模型,将选用的数据挖掘算法应用到数据中创建模型,通过数据来对模型进行校验和调整,得到满足使用要求的数据模型;维护数据挖掘模型,随着数据量的增加,需要对模型进行调整和维护,一些关键信息的改变有可能严重模型的精度,模型维护是数据挖掘的重要环节,通过模型维护可以保持模型的活力,不断完善模型。
1.3数据挖掘的主要功能
数据挖掘的功能主要可以分为五大类:自动预测趋势和行为,关联分析,聚类分析,概念描述,偏差检测。采用数据挖掘技术在大型的数据库中寻找预测性信息,市场预测就是数据挖掘技术在自动预测趋势和行为方面的典型应用;关联分析是采用数据挖掘技术研究数据空中自变量和因变量之间的某种规律,找出数据库中存在的隐藏的关联网;聚类分析通过数据挖掘定义具有共同特征的子集,增强人们对于客观事实的理解和认识,数据挖掘技术避免了传统的模式识别和数学分类方法的片面性,是一个更加先进的聚类分析方法;概念描述建立在聚类分析的基础上,提取对象的特征,形成对概念的描述;偏差检测,数据库中的数据很可能存在着异常记录或者是数据噪声,通过偏差检测提出异常数据。
2基于大数据挖掘的运营监测应用概述
2.1工作台系统
工作台是对数据进行操作的系统平台,通过对大数据按照应用指标、分时段和维度进行重新构造,并在终端显示应用。工作台系统在日常中进行检测和调控,配合系统的综合管理,对企业经营进行24小时在线实时监控分析。同时,通过工作台系统,可围绕核心业务活动与资源,对10年内的业务数据进行定向分析,通过构建监测模型、采用一定的指数体系和指定的阈值,将外部运营环境状况与核心资源综合绩效进行综合,在24小时在线的业务流程动态值下,可以实现对运营过程中设定的异动警报和预警处理。
2.2数据库
检测数据库是建立在总部以及各大分部的两级数据中心资源上的,我们需要足够的支撑区检测分析和展示。在此台面上,将运营检测中心的指标体系进行整合,实现两级数据的整合,使得工作配合更加完善。
理想状态中,数据中心应该分为两类,结构化与非结构化数据库,将整个相关数据系统内同步至数据库中心,可以再数据库完成建模分析工作,同时通过ETL工具进行指定数据的抽取和验证,将指标合理展现。
3电力系统中大数据挖掘技术的流程展现
3.1大数据挖掘平台的应用
近年来,数据挖掘在电力系统中的应用还偏重于在一些专业领域的专业分析,成果主要还集中在研究探索阶段,有些领域逐渐的引入了数据挖掘的概念进行了模型设计及验证工作,但还未真正的开始广泛应用。
期刊文章分类查询,尽在期刊图书馆研究领域主要集中在电力系统的动态安全评估、负荷经济调度、负荷预测、故障诊断等方面。
3.1.1在电力系统动态安全评估中的应用
K.R.Niazi等提出了基于人工神经网络和决策树混合方法在电力系统在线安全评估中的应用。有学者提出了电力系统在线动态安全预防中如何应用决策树技术来测试每个发电调度的动态安全性,并且通过发电再分配来提供正确的指导,优化发电容量,节约发电成本。
3.1.2在电力系统负荷预测中的应用
电力负荷预测是电力调度一项非常重要工作,它关系到电厂各机组的运行计划。结合区域电网气象负荷数据库,设计决策树形式的数据挖掘模型,并应用于日负荷预测。以一种运用C4.5和CART算法的基于BP网络加权组合的数据模型,并基于此设计出一种高精度的短期负荷预测系统。运用时间序列模型使用已有的数据序列预测负荷,用自适应决策树对存储在数据库中的用户用电记录、季节、气候等相关属性进行聚类,制定合适的收费表,而且分析出用户与其他属性之间的相关联的一些特点。
3.1.3在电力系统故障诊断中的应用
电力系统故障诊断是通过利用有关电力系统及其保护装置的信息来识别故障元件位置(区域)、类型和误动作装置,其中故障元件识别是关键问题。将基于事件序列的故障诊断模型用于高压输电线系统故障诊断领域,依据故障事件序列在时空特性上的关联性,用动态规划算法的优化相似性原理挖掘事件之间的关联性和蕴含的知识,将诊断问题的求解转化为寻求与实时故障事件序列模式最相似的,运算操作代价最小的标准故障序列模式,以实现对异常事件序列模式中的畸形事件的纠错。
3.2大数据挖掘平台的功能
大数据挖掘技术从数据库到技术的运用过程中有不同的运行步骤,在确定业务对象问题方面可根据数据的准备对所有业务对象进行分析研究处理,保障数据的质量从而为进一步的分析工作做准备。在数据的转换方面应建立一个针对性的分析模型,挖掘数据的成功关键因素,对所得的数据进行预处理,完善挖掘技术的措施,使数据分析工作自动顺利的运行。在数据挖掘技术的结果分析上,应对数据结果做出正确的评估,与知识理念共同分析,完善数据挖掘技术的每一步结构。主要有以下三个方面的功能:
3.2.1监测功能
10千伏配网停运。手动导入Excel数据,对各地市公司10千伏线路停运情况进行汇总统计。
项目预算执行情况。手动导入Excel数据,将项目预算执行情况按照专业和实施单位两个维度分别进行统计。
物资供应链。从数据中心定时抽取ERP数据并进行加工处理,使用Tableau工具对物资供应链全过程进行全面监测。
配网运行。从数据中心定时抽取ERP数据并进行加工处理,使用Tableau工具对低电压、重过载和三相不平衡事件进行全面监测。
3.2.2分析功能
主要功能有统计数据和成果共享两大模块:
统计数据:将综合计划执行情况报表、供电单位经营指标完成情况表和生产报表中部分数据填入月报模板,导入到数据库,在页面上根据不同指标生成各类图表。
成果共享:将省公司和地市公司每月的运营情况分析报告、专题分析报告、即时分析报告以及资料上传到服务器,供大家交流和参考。
4结束语
综上所述,大数据挖掘的运营监测的方法很多,所以,在今后的运营监测过程中,要有针对性的进行监测,开展更加科学合理的监测工作,采取更好的监测措施,保证其工作的效果。
参考文献
[1]朱六璋,袁林,黄太贵.短期负荷预测的实用数据挖掘模型[J].电力系统自动化,2016,28(3):49-52.
[2]赵冬梅,韩月,高曙.电网故障诊断的决策表约简新算法[J].电力系统自动化,2016,28(4):63-66.
论文作者:张艺凡,贾伊博,韩娜
论文发表刊物:《电力设备》2017年第19期
论文发表时间:2017/11/22
标签:数据挖掘论文; 数据论文; 模型论文; 系统论文; 数据库论文; 电力系统论文; 负荷论文; 《电力设备》2017年第19期论文;