电力营销管理系统数据迁移与清理研究
张俊宇
（广东电网有限责任公司东莞供电局，广东东莞523000）
摘 要： 针对电力营销管理系统的数据迁移与清理进行了详细分析，包括系统适用范围、数据迁移方法、数据验证条件、数据验证策略等，使系统上线后的数据质量满足系统应用要求。
关键词： 电力营销系统；数据清理；数据迁移；数据验证
1 术语定义
1.1 数据清理
数据清理是指包括数据收集以及数据核查、检验、整改、迁移到营销管理系统，并完成业务验证的工作过程。
1.2 当前数据
当前数据是指系统正常运行的必要档案、参数代码以及确定优先导入的近几个月电量电费数据，包括与营销相关的主数据，如客户信息、计量点信息、客户供用电合同协议、计量表箱、供应商、物资合同、站/线/变等资产信息，具有支持业务运转、数据更新快、使用频度高等特点。数据迁移的成功与否直接影响系统能否正常使用。当前数据主要存放在营销管理系统的生产库中。
1.3 历史数据
历史数据是指非当前业务需要使用的数据，按先近后远的次序导入，优先导入存在于原有营销管理系统的生产数据库中的近几个月电量电费数据，具有数据稳定、使用频度低等特点。在系统切换上线初期，对系统正常运行的影响很小。历史数据主要存放在营销管理系统的管理库中。
（1）Monsoons have flooded India's commercial capital this week and forecasters said more heavy rain was possible in the region Thursday beforeeasingon Friday.
1.4 源数据
源数据是指原有营销管理系统生产数据库导入到营销管理系统的数据库源数据用户。
（1）根据数据属性、特性对周期类、台账类、参数类等数据分类处理；
1.5 目标数据
目标数据是指营销管理系统的数据库（包括生产数据库、管理数据库等）中的数据。
2 数据迁移和清理研究
2.1 适用范围
（2）采用分期分批迁移方式，历史数据提前迁移；
2.2 数据迁移方法
2.2.1 数据质量提升
数据质量提升工作需要结合系统上线工作准备合理安排，确保上线后数据准确、完整。
在系统中固化数据校验规则，建立中间库。系统各环节数据校验，分类管理重要、一般字段的动态更新数据校验规则。按月开展营销数据质量自查，定期输出数据质量报告。每月对各分子营销数据自核查结果和整改提升工作进行考评。
基本假设有：1.语码混杂原因 （Code-mixing reason,模型中以CMR指代）对语码混杂偏好（code-mixing preference，模型中以CMP指代）有路径影响；2.语码混杂原因（CMR）对语码混杂态度（Code-mixing attitude,模型中以CMA指代）有路径影响；3.语码混杂偏好（CMP）对语码混杂态度（CMA）有路径影响。同时，语码混杂原因的个数、语码混杂偏好的种类以及语码混杂态度的类型这些观测变量则由探索性因子分析得出再由验证性因子进行验证。
2.2.2 库表数据清理
梳理迁移的库表、营销系统功能与库表UC关系，确定需要清理的数据项目，采用“原系统→中间表→新系统”的迁移方法，每一次迁移到中间表都需要进行数据的质量检查，达标后才允许迁入新系统，并经过业务验证。
表1 迁移的数据范围概览表
我说到做到，第二天，我取出压岁钱，给了付玉。我只是帮她，并不想和她谈恋爱，我当时只想考名牌。倒是付玉对我有了好感，我俩私下接触过几次，也没谈别的，只谈学习的事。高二这年暑假，我在街上遇上她。她穿着紫罗兰颜色的裙子。
（2）各单位按要求收集、整理完善数据，并提交生产数据库导出文件和手工收集的文件。
各地市单位原系统建设情况复杂、特殊业务多、新原系统差异大，对数据迁移工作提出很高的要求。整个迁移过程需遵循如下原则：
（3）把收集的文件（包括源营销管理系统数据文件）导入、转化、迁移到中间库。
采用动力学求解器进行仿真，总仿真时长为0.000 2 s。计算结束后分析导线仿真模型对于方案2设定的外部加载的响应，提取芯棒中心单元绘制应力时程曲线，如图10所示。由图10可以看出：在加载过程开始后，芯棒、外层铝股的应力快速上升，很快达到最大值，即达到最大应力状态；而后随着时间推移，铝股间出现相互作用，应力出现震荡并逐渐达到稳定。
（4）建立信息分类和编码规范、原系统参数的映射关系，根据一体化营销管理系统模型，按照营销数据质量管理要求以及协同数据质量管理要求，对中间表数据进行核查，做到可量化、可追溯。
（5）通过数据质量验证、主外键验证、数据迁移的关键验证后，中间表中的“当前数据”迁移到新营销系统的生产数据库（生产库、管理库）。抽查比例如表2所示。
3.1 大鼠基本情况 在实验过程中，观察大鼠的毛发、呼吸、饮食基本正常，行为灵活，体质量逐渐增加，统计分析紫地榆不同提取物组、NaF组、蒸馏水组间差异均无统计学意义（P＞0.05）。见表1。
2.1 不同宫颈组织中Furin的表达及其与临床病理之间的关系 150例标本中，Furin在正常宫颈组、CIN组及宫颈癌组中的阳性表达率差异有统计学意义(P<0.05)；Furin在宫颈癌Ⅰ期、Ⅱ期、Ⅲ～Ⅳ期阳性表达率差异有统计学意义(P<0.05)；在高、中及低分化癌中的阳性表达率与宫颈癌分化程度无相关性(P>0.05)。见表1。
表2 抽查比例
（6）对全部用户的试算费进行验证，在原系统已经计算完成的用户电量电费基础上，在新系统重新计算后，比对电量电费是否一致。将原系统的抄表档案、电量电费档案等导入到新系统中，在新系统中计算电量电费，计算完毕后，把新系统计算的电费与从原系统提取的电费进行对比，形成新原系统电费差异清单，逐条分析清单中差异的具体原因。
（7）比对新原系统数据模型差异，分析差异类型、产生差异的原因、影响等，给出处理建议，并完善数据模型差异分析及处理建议，确认代码编码映射关系。
2.2.3 参数代码的数据梳理和转化
在微格课堂教学中，8～10名医学生为一个教学小组，轮流扮演操作者和评价员角色，并由一名指导教师负责组织实施，一名摄像人员负责视频拍摄（可由教师或学生担任）。根据所训练的临床操作项目的不同特点，一次医学生操作约为10～15分钟，并用摄像机记录下来。
CEN/TC 287非常重视标准及其更新工作，在等同采用ISO/TC 211地理信息标准的同时，及时更新相关的ISO地理信息系列标准。CEN/TC 287还根据德国、英国等发达国家标准组织制定的相关地理信息标准及其采用情况，发布了几项新地理信息标准，并适时将这些国家标准升级为欧洲标准，供其他国家采用。
根据信息分类和编码规范，建立新旧系统代码编码的映射关系，并对代码映射关系进行确认，确认内容包括能够建立映射关系和不能建立映射关系的代码编码。
由于NB的窄带特性，必须通过控制瞬时下行数据量，才能保证下行控制的及时性和有效性。下行控制的离散原则如下：
2.2.4 专项数据清理
（1）工作单数据迁移工作内容如下：1）对传递中的工作单进行清理，尽可能归档。2）把五大类（业扩、计量、稽查、停电、客服）工作单查询数据进行迁移，完成后在系统做查询功能和数据验证。3）转化迁移业扩、计量、用检传递中工作单数据，完成后由业务小组检查验证数据和测试办理。（2）历史数据迁移。历史数据可以根据服务器运行压力安排合适的执行时间。1）把源数据库的历史数据转化迁移到中间表。2）把中间表中的历史数据做主外键验证和问题整改后，迁移到营销的管理数据库。3）数据迁移后，对数据进行自动校验，对问题数据进行整改。4）对历史数据进行抽查验证。
2.2.5 系统数据和协同数据初始化
（1）组织机构数据初始化。对编码不符合规范的按信息分类和编码重新编码，由业务部门确认后于双轨前导入新系统。双轨、单轨运行期间不再处理。组织机构需以人力资源管理为准，并和4A平台保持一致。（2）人员帐号、系统角色（岗位）、角色对应菜单、业务流程设置。本项内容由业务部门梳理，以4A平台数据以人力资源管理系统确认后的数据为准进行初始化，营销系统从4A平台获取组织机构数据、人员账号等数据，系统角色、岗位等权限数据按照4A平台模板整理后导入至4A平台于双轨前进行初始化。双轨运行期间，在新系统中可对上述内容进行调整，单轨运行沿用双轨的设置。（3）综合技术平台数据初始化。1）数据资源管理平台主数据初始化，从数据资源管理平台核对并获取供应商信息、物资合同信息、资产信息、馈线信息、交流线段信息、变电站信息、变压器信息、断路器信息、低压用户电源点信息等；并推送客户信息、计量点信息、客户供用电合同协议、表计资产信息、计量表箱信息。2）GIS平台数据数据初始化同步包括站、线、变、户等GIS_ID、电网拓扑信息。（4）协同应用系统数据初始化。做好和资产管理、财务管理、调度管理等应用系统的协同数据初始化，如计量采购需求、停电计划、购电档案、电价信息、电厂调度管辖范围信息等。由业务小组梳理，和协同应用系统达成一致，并根据协同数据模型及数据质量标准，通过数据质量核查，数据迁移小组于双轨前、单轨前分别导入新系统。
（1）确定需要迁移的数据范围，制定数据模型差异分析及处理建议，代码编码映射关系确认以及需手工收集的数据及模板。
2.3 数据验证条件
迁移流程如图2所示。
2.3.1 数据迁移方法
数据迁移采用“原系统→中间库→新系统”的迁移方法，即将数据由原系统数据迁移到中间库，然后由中间库迁移到新系统中，如图1所示。
图1 数据迁移方法
（1）明确新原系统交接界面，统一管理，分工明晰，确保迁移工作安全、有序开展；（2）省地联动，确保对日常业务无影响，迁移过程、内容有据可查；（3）数据精细化处理，按业务和数据特性，分别制定迁移策略，提高数据精细化处理程度。
所有需迁移的库表数据正确转入一体化营销管理系统，数据质量达到营销数据质量提升要求，并且通过数据验证、业务流程运转、协同业务场景的验证，包括档案数据（如重要客户档案、站/线/变基础信息等）、欠费数据、核销坏账、预收费用，周期性试算费验证数据准确，业务专家对迁移数据的业务验证等。
流程说明如表3所示。
图2 迁移流程图
表3 流程说明
迁移环境要求：（1）备份文件及时送至分子数据库，保障网络畅通可用；（2）备份文件可及时导入分子数据库服务器；（3）分子数据库服务器有足够的空间；（4）数据迁移小组在数据迁移期间，具有相应的数据库权限，包括创建、删除、访问（用户、表、视图、序列、函数、过程、索引等）等数据库权限。
2.3.2 数据迁移原则
由于车辆运输货物品种特性各异，为提高配送效率、确保货物质量，必须先对特性差异大的货物进行分类。在运输货物的长宽体积过大时候，要考虑厢式货车与飞翼车的选择。
（1）准确。通过严格充分核对及校验保证新原系统数据的一致性。通过数据普查、自查等手段，保证应用数据的完整性、业务数据的准确性。
（2）有序。依据营销管理系统应用的逻辑关系与重要程度，规划数据迁移内容的先后顺序，对迁移数据进行分类，基础数据类和档案类数据优先，维护量大的数据优先，不变更、使用率低的历史数据空闲时迁移。
（3）高效。利用前期数据调研，获取数据库类型、数据分布情况以及数据量情况，针对不同的数据对象，通过严格测试，选择执行效率高、安全性高的数据处理方法，保证数据迁移过程所占用资源少、时间短，最大限度减少迁移过程的人工参与程度。
2.3.3 数据迁移策略
1.4统计学方法应用SPSS13.0软件完成统计学分析,各组间计量资料比较采用成组t检验,各组采用均数±标准差(±s)表示,计数资料采用卡方检验,以P<0.05为差异有统计学意义。
营销管理系统数据工作包含了数据质量持续提升，数据收集、核查、检验、整改以及迁移，参数代码的数据梳理和转化，专项数据清理，系统数据和协同数据初始化五大方面。建议迁移的数据范围如表1所示。
（3）制定数据迁移预案，明确各类场景下数据处理方式方法；
（4）全过程监控校验，确保新系统数据完整、准确；
（5）对预迁移过程性能进行评估，改进迁移过程，优化迁移工具，将迁移工作造成的业务影响度降到最低。
2.4 数据验证
制定数据验证规则，开发数据校验工具，验证数据迁出工具、迁入工具的安全性和可靠性，保证迁移数据的完整性、业务逻辑的准确性和迁移前后数据的一致性。
由于太阳能电池板的承载能力有限，所以清洁机器人的总质量不能>20kg且清洁机器人的清洁速度需要达到720m2/h。根据这些设计要求再通过以上对光伏清洁机器人的理论分析，可以得出清洁机器人的各项性能参数如表1所示。
（1）省地联动，使用系统工具进行全业务数据验证，地市局进行人工抽样核查；
（2）动态数据，如工作单、欠费、预收结余等数据进行专项验证；
（3）验证新原系统文档附件匹配的准确性；
（4）重要客户档案数据逐条确认；
（5）在预迁移过程中，周期性试算费验证数据准确性；
（6）在预迁移过程中，配合业务专家验证迁移数据的准确性。
迁移测试验证流程图如图3所示。
数据迁移测试流程说明如表4所示。
高校在进行入学教育时很少深入研究生新生进行调研,了解研究生新生的真实需要，讲座主要以讲为主，很少听研究生“反馈”，缺乏交流互动。而且每次进行入学教育的人数众多、时间冗长、内容枯燥。往往会出现上面讲，下面玩手机、开小会的现象。
3 结语
按照电力营销管理系统确定的实施范围，将系统上线后需要在系统中应用的数据通过一系列规范的工作步骤，完成数据核查、检验、整改、补全和同步工作，使业务数据达到高质量标准，再利用标准化工具，确保数据迁移工作安全、正确、有序开展，使系统上线后的数据质量满足系统应用要求。
图3 数据迁移测试流程图
表4 数据迁移测试流程说明
收稿日期： 2019-10-08
作者简介： 张俊宇（1977—），男，广东东莞人，工程师，研究方向：电力营销信息系统研究与管理。
标签：电力营销系统论文; 数据清理论文; 数据迁移论文; 数据验证论文; 广东电网有限责任公司东莞供电局论文;