1渤海证券股份有限公司 天津市 300074;2国家电网天津市电力公司城南供电分公司 天津市 300201;3朝阳师范高等专科学校 辽宁朝阳市 122000
摘要：用电采集系统采集的数据逐年增加。为了解决用电采集系统的海量数据的存储和调用等实时处理等问题，提出一种新的多数据库融合技术，即基于分布式关系数据库的D3Base和非关系数据库NOSQL的研究、设计与实现，并应用于用电采集系统主站中,实验说明多数据库融合的可行性和实用性。
关键词：多数据库融合 关系型数据库 非关系型数据库
前言
近年来国家电网提出了“坚强智能电网”的规划，然而当前是按照行政区域进行建设的各电信息采集系统具有相似的工作内容，运营维护的成本高，浪费了人力和财力，迫切需要能提供大而全的完备信息服务的用电信息采集主站。为此需对用电采集系统主站的多数据库进行研究、设计，调试及实现。根据用电信息系统主站数据的特点（时序化，数据来源点，持续增长，需要关系数据支持）和其业务需求的特点（按照时间查询，国产化和系统灵活性）及我国用电信息采集主站系统运行所遇到的问题，依据系统设计的原则，设计一种新的用电信息采集主站系统，关键技术为关系型数据库和非关系型数据的融合，该设计方案体现了先进的性能，合理的结构和可靠的实用。具体表现为：数据的质量的完整性和唯一性；数据的及时性，实时与定时的结合及不衰减性；标准化的数据处理；数据的多层开放访问接口等。
1用电信息采集系统总体架构
根据用电信息采系统主站的现有业务特点，利用现有的开源系统成果，整合一个融合了关系型数据库与非关系型数据特点的试验性数据库平台（以下简称“验证平台”），用于研究两者结合的关键性技术及解决方案，其整体架构图如图1。
图1试验平台的整体架构图
本验证平台设计的新一代用电信息采集系统采用数据模型，根据业务的强相关和业务的弱相关，把强相关数据，如采集点档案信息保存在传统的关系型数据引擎中；把弱相关数据，如报表系统、由智能电表等设备定时生成的时序数据保存在非关系型数据引擎。当然需要结合用电信息采集系统的真实业务要求和最新的非关系型数据库技术，寻找合适的数据划分点。关系型数据引擎和非关系型数据引擎的融合，在后台数据分开存储的情形下，研制出面向业务应用的统一数据访问接口，从而简化业务系统的开发。
2关键技术
122.1云数据库技术
系统采用将实时数据库部署在云计算的分布式架构上，通过并行分布式计算和多副本技术，完成大数据的实时入库、快效的检索及数据的安全性。用电信息采集系统中应用云数据库，提高了海量用电信息数据实时并发采集入库的速率、系统数据的实时性和可用性和工作效率。
2.2集群技术
集群是一组相互独立的、通过网络互联的计算机组，以单一系统的模式加以管理。中国的电网非常迅速发展，因此要求用电信息采集系统在各个层次上都必须有良好的扩展性。在系统的各个关键环节上包括数据库、应用处理、网络通信以及数据采集等，都需要采用集群技术，提高系统的高效性、扩展性和可用性。
2.3内存缓存技术
电信息采集系统的用户数、采集数据项、采集频度的增加导致系统采集数量越来越大，形成了海量数据。海量数据进行数据统计、分析及对外接口集成的应用与扩展时会对系统数据库负载性能产生严重影响。由于内存容量不断提高，硬件价格可以接受，可以充分利用内存缓存技术提升系统性能。
2.4多数据库并行调度
多数据库并行调度云融合的复杂耦合系统通过对多数据网络环境下产生的多数据库进行多数据并行调度，调度数据经过云融合处理，将并行调度参数进行复杂的耦合处理后完成多数据库并行调度的准确数据的过程。
2.5分布式数据库查询
在本系统中提出一种改进的分布式数据库查询优化遗传算法。针对遗传算法易陷入局部最优解这一缺陷，采用条件采样的方法，维持种群的多样性，防止算法陷入局部最优解；利用马尔科夫链模型优化变异算子，确定变异算子当前状态下的最优取值，进行交叉和变异操作，找出最优查询执行计划。实践结果表明，改进算法能在较短时间内找到最优的查询执行计划，加快查询速度，提高查询效率。
3多数据库的融合及实现
3不同的应用背景可有不同的选择，对于用电信息采集系统主站多数据库中，用户无法接受核心数据的不一致，因此，关系数据库的一致性对数据处理来说就尤为重要。而对一些非核心数据的处理，日志的管理和外部数据的集成来说， NOSQL 技术就更能胜任。因此，应该根据实际的需求选择NOSQL技术或者是关系数据库。NOSQL技术是在新的需求下对关系数据库的补充和扩展。这就需要将NOSQL技术和关系数据库进行结合使用，各取所长，需要使用关系特性的时候使用关系数据库，需要使用NOSQL特性的时候使用NOSQL数据库。
结束语
基于大型的电力信息采集系统数据特点及操作实时性的要求，本文提出多数据融合的新方案，对关系数据库进行改进，同时利用非关系数据库的最新技术，两者有机结合生成用电采集系统新的框架图，基本解决了查询速度慢、难以忍受的问题，充分证明了其高效性和可靠性。
参考文献：
[1]谢玉华．基于多数据库并行调度云融合的复杂耦合系统仿真 [ J ]．科技通报，2015（5）．
[2]贾东梨，孟晓丽．实时数据库在用电信息采集系统中的应用研究[J ]．电力建设，2012（1）．
论文作者:邢国艳1,白银明2,刘明3
论文发表刊物:《防护工程》2018年第35期
论文发表时间:2019/4/1
标签：数据论文; 关系论文; 数据库论文; 系统论文; 采集系统论文; 主站论文; 技术论文; 《防护工程》2018年第35期论文;