摘要：“量价费损”在线监测部分业务功能经前期试点及推广运行工作，已在各网省公司完成了轻量辅助工具及系统的部署工作，并通过业务运行取得了良好成效，但不同单位之间，业务异动处理有效性等方面还存在较大差距，不仅如此，“量价费损”在线监测线下导出存在DMP文件数据量大，耗费时间长，浪费人力且不能保证业务监测的实效性等问题，因此采用一种新的方式实现“量价费损”在线监测亟待解决。
关键词：量价费损；在线监测；数据自动接入；线下导出
1概述
自“量价费损”在线监测专题的数据监测开展以来，一直由营销业务应用系统和用电信息采集系统线下导出DMP文件，运监侧将其导入到数据库中，再进行数据的转换与异动的计算，且数据是以日频度提供的，此种数据提供方式，不但造成监测数据的延时，浪费大量的人力，而且不能满足监测要求。为确保“量价费损”在线监测常态、有效的展开业务运行工作，经过细致的调研、深入的技术分析和可行性分析，决定将原有营销业务应用系统、用电信息采集系统线下导出文件发送数据接入方式调整为由海量平台定时自动接入方式，其中“量价费损”在线监测专题所需数据中基础档案信息表和采集业务数据表分别由营销业务应用系统、用电信息采集系统向海量平台推送，最终由海量平台通过API接口为“量价费损“在线监测提供数据，实现数据的自动推送。
2数据自动接入技术的优点
2.1及时性、适应性强
执行该存储过程时，在不填写T＿NAME、T＿TIME时默认抽取全部需求表，时间为抽取数据时间前一天的数据；当T＿NAME、T＿TIME不为空时默认抽取全部需求表相应时间的数据；当T＿NAME中填写表名时，若T＿TIME为空，则默认抽取前一天的数据，若T＿TIME不为空，则抽取相应时间的数据，因此可根据不同情况进行执行该存储过程，抽取相应时间的数据，适应性强。
2.2可扩展性强
若“量价费损”在线监测专题数据需求发生了改变，只需海量平台开通相关权限就可满足数据的需求，只需维护数据库表的抽取信息即可，无需再次进行二次开发，还可以实现改变表的抽取顺序，优化数据抽取时间等。
2.3可追溯性强
每次数据抽取完成后，均可查询结果表，查询数据抽取明细及数据是否抽取成功等；若抽取不成功，针对数据抽取的报错信息可追溯查询原因，及时做出调整，保证抽取结果准确性。
2.4可使用性强
由于数据量大，在第1次的数据验证过程中耗时较长，信通公司通过开展存储过程的性能优化，耗时由大约2h缩短到16min，极大的缩短了人力、物力，实现了在最短时间内实现数据验证工作，提升了数据验证效率，更好地满足了运监中心的业务监测需求。
3数据自动接入技术在“量价费损”在线监测的实现过程
3.1监测需求的相关表结构比对工作
“量价费损”在线监测数据之前全部来源于用电信息采集系统，现由营销业务应用系统和用电信息采集系统2个系统联合提供，2个系统的数据融合匹配问题首先需要解决。因此，首先收集营销侧、用电信息采集系统侧的16张档案信息表的表结构，并结合专题监测的业务数据需求初步完成表结构的比对工作。针对表结构初步比对结果中，营销系统侧无法支撑部分需求字段以及表字段不全等情况，在业务层面通过程序设计完成了缺失字段的拼接关联，满足了运监中心的数据监测完整性的需求。
期刊文章分类查询,尽在期刊图书馆
3.2数据抽取工作
经过技术人员与业务人员的协同配合查验后，海量平台中的数据表均达到“量价费损”在线监测的数据字段需求，运监侧执行存储过程展开数据的抽取验证工作。一般情况下，基础数据均存在于关系库，通过Oracle进行数据监测的计算抽取工作，而经模拟测算，以上过程计算时耗时为2h，且会出现主程序卡顿的情况。因此决定引入海量平台分布式实时计算组件。应用程序通过API将实时数据发送至分布式缓存，分布式流计算从分布式缓存读取数据进行计算，且完成实时数据加载至实时数据库。分布式计算包括分布式流计算与分布式内存计算。其中分布式流计算实现实时计算，数据来源于分布式缓存；分布式内存计算实现历史统计分析计算，数据源来源于数据存储。分布式协调服务负责系统资源信息的协调、同步、统一管理，比如API从分布式协调服务读取信息，实现数据分发策略；分布式流计算通过分布式协调服务实现计算的负载均衡。
3.3数据验证工作
在验证过程中，出现了抽取到的数据存在大量重复数据，有时程序不能正常执行，有时报错，针对这些问题，相关技术人员协助运监侧业务人员调整数据抽取存储过程、关联程序等，完成数据的抽取验证，最后运监中心验证此种数据的接入方式是否可以真正的满足运监侧业务的监测需求。
3.4数据质量核查及线上常态化接入
在完成“量价费损”在线监测专题数据线上接入的验证及处理，并实现量价费损轻量级工具中监测内容的展示后，运监中心从业务层面核实了数据质量，满足了运监中心的需求，之后就进入数据线上接入阶段，即将海量平台抽取、验证、核查后的各项数据写入“量价费损”目标数据库，是本次数据接入最为重要的一个环节，有2种方式可以实现。insert方式：经测试，在无法对Oracle现有架构进行更改的情况，数据库insert效率约为1min2万条；针对每天数据量超过1千万条目的场景来说，insert方式显然无法不适合；sqllrd方式：在海量平台中以上各项数据抽取出来组成可lrd提交的文件，再统一提交写入Or－acle库。经测试1100条数据通过lrd的方式写入Oracle库耗时15min左右，完全可以满足量价费损需求。经过以上步骤，信通公司将来源于2个系统的数据在海量平台中进行融合与匹配，实现了“量价费损”在线监测的数据线上接入。
4数据自动接入技术的应用效果
4.1数据抽取方式性能方面
相较于数据由用电信息采集系统线下提供的方式，创新的此种数据自动接入方式具有及时性、完整性、适应性及可扩展性，可以实现随意抽取数据，既可以通过定时任务，也可以手工执行抽取自己需要的数据，另外在增加相关需求表时，只需开通相关表的查询权限就可以满足监测需求。
4.2数据质量方面
采取由营销业务应用系统、用电信息采集系统联合提供专题所需数据，保证了数据的完整性和稳定性。此种接入方式使得数据具有实效性、高质量性，满足运监中心对业务有效的实时监测；且较于之前数据由线下提供方式，数据自动接入后消除了数据的冗余，避免了对服务器造成不必要的压力。
5结束语
因“量价费损”专题监测的数据均是由档案数据和实时业务数据组成，档案数据源端都是营销业务应用系统，采取从源端接入档案数据可以保证数据的完整性、准确性等。将“量价费损”在线监测的线下数据导入方式调整为数据自动推送的方式，实现了“量价费损”在线监测专题数据的自动接入，保证了监测的实效性、及时性，提升了运监中心相关业务能力，固化了业务模式，因此，量价费损在线监测的数据自动接入方式符合全网省公司的业务运行状况，具有一定的推广前景与推广价值。
参考文献：
［1］肖基宁，万磊．公司推广“量价费损”在线监测工具［N］．国家电网报，2014．
［2］田仲，石君友．系统测试性设计分析与验证［M］．北京：北京航空航天大学出版社，2003.
论文作者:李鹏霄1,吴国峰2,张海兰3
论文发表刊物:《电力设备》2018年第10期
论文发表时间:2018/8/6
标签：数据论文; 在线论文; 业务论文; 价费论文; 分布式论文; 需求论文; 海量论文; 《电力设备》2018年第10期论文;