开放式异构数据库复制框架的研究与实现

开放式异构数据库复制框架的研究与实现

者敬[1]2002年在《开放式异构数据库复制框架的研究与实现》文中认为数据库复制是分布式环境中的一项关键技术,由于数据库异构现象越来越普遍,研究异构数据库复制无论在理论还是实际上都具有非常重要的意义。作为全部工作的基础,本文从总体结构、变化捕获、同步、分发、冲突检测与解决等方面对数据库复制实现的关键方法和技术做了分析和归纳。根据其基本原理和实现方法,本文首次把现有异构数据库复制方案分为叁种模式:数据库厂商模式、复制中间件模式和复制引擎模式,并总结了各自的优缺点。从分析具体的异构形式入手,本文以一种全新思路提出开放式异构数据库复制框架234-5。它首先抽象出两类复制对象:出版物和预订;然后建立由连接层、实现层和应用层组成的叁层开放式结构;实现层则定义捕获器、同步器、分发器和冲突管理器四个功能构件;从而全面地解决完全异构、全面功能、可移植性、可扩充性和整体性能五方面的问题。针对多重复制定义现象,本文提出叁个最优传播算法:D-M、ILS和LIS。其中D-M算法用于得到最小的节点间单次传播开销,而ILS和LIS算法分别在链式结构和更普遍条件下使总传播开销最小。理论和实验分别验证了它们的正确性和有效性。本文提出基于MLS的完全型复制授权管理机制CRAM,它正确地确定了授权管理的客体,并极大增强了复制的操作特权及状态,最后测试了它对运行性能的影响。根据234-5框架及其它理论,本文开发了原型系统Cabinet Replicator,它由公共连接层子系统、DB2实现子系统、VFP实现子系统、全局管理GUI工具和若干应用程序示例组成。实验结果表明它体现了上述理论的基本特点,达到了预期目标。

杨鹏[2]2007年在《异构数据库同步中间件技术的研究与实现》文中进行了进一步梳理随着数据库的广泛应用以及网络技术和分布式技术的不断发展,保证分散数据信息的一致性成为数据库发展的迫切需要。但应用特点、使用环境等因素造成了对数据库产品选择的差异,所以有必要建立一个基础性、通用性平台以解决异构数据库系统间的数据同步问题。商业异构数据库同步产品存在着一定的封闭性,其代码不公开,标准不统一,各种同步产品之间很难做到互连互通互操作;而学术界已有方案在效率、通用性、开放性及对异构问题的解决上还存在不足。为解决上述问题,本文设计并实现了一个与应用无关的开放通用异构数据库同步中间件系统。主要工作概括如下:(1)为解决现有异构数据库同步中所采用的变化捕捉方法通用性差、系统资源占用高的问题,提出了一种基于触发器和专用数据表的数据变化捕捉方法——日志表法。该方法适用于绝大多数数据库产品,系统资源开销小,并能充分保证各节点应用系统的自治性和数据的可用性。(2)为完成同步功能,在日志表变化捕捉方法基础上设计了基于时间戳的乐观同步策略。该同步策略只对变更数据进行增量更新,综合了状态复制与事务复制的优点,结合并发控制,保证稳定可靠地完成数据同步。(3)针对异构数据库同步中的数据库平台异构、数据类型异构以及数据结构异构,提出了一种将异构数据类型转换为统一数据类型的方法,并由关系数据模型入手,使用基于XML的数据表示格式。采用广泛应用的开放同步标准——SyncML协议完成数据传输,使本系统与其它符合SyncML协议的同步系统之间能够良好互连、互通、互操作,保证了本系统的开放性和可扩展性。(4)为检验本文提出的解决方案,实现了一个可用、可配置的异构数据库同步中间件系统,对其进行同步测试,分析测试数据,寻找影响性能的因素。实验证明本系统可以在充分保证用户自治性和数据可用性的前提下,稳定、可靠地完成异构数据库同步。

闫蓓[3]2007年在《信息集成中异构冲突消解技术的研究与实现》文中进行了进一步梳理随着信息技术,特别是Internet技术的发展,各行各业的信息化建设都有了突飞猛进的发展。信息化建设越来越深入人心,人们也有了越来越高的要求。目前,一个普遍存在的问题就是信息难于共享。这是由于在信息化建设的早期,没有一个统一的规划和标准,各个信息管理系统单独建立,使得系统在数据的描述方式、存储方式、访问方式上各不相同,差异性很大。这种差异性给单位内部以及单位与单位之间的信息交流带来了很大的困难。消除信息孤岛,实现信息共享,已经成为各行业信息化建设中迫切需要解决的问题。解决信息孤岛问题就需要对已有信息进行集成,为用户提供一个一致的数据界面和方便的共享平台。异构数据库复制技术作为实现信息集成的一种重要技术,也越来越多地获得了人们的重视。本文在对信息集成技术和异构数据库复制技术的研究现状和发展趋势进行深入的调研和总结的基础上,对“基于SQL重现法”异构数据库复制技术进行了改进和优化。首先,分析和研究了分散于集成系统中的各种异构性的表现形式,着重针对其中一些典型的异构冲突讨论了各自的消解策略。然后,为了提高模式映射的自动化程度,提出了基于属性空间的模式匹配算法。该算法将“属性空间”的概念引入到模式映射中来,并详细介绍了其建模过程、算法设计以及具体实现。此外,给出了一个异构冲突管理器的框架设计,对分散于系统中的各种异构冲突进行集中管理,讨论了该框架基于AOP技术的具体实现。最后,总结了本文的研究内容,指出了其中存在的不足和问题,提出了对未来的展望和今后的工作重点。

宋炜[4]2011年在《异构关系数据库与目录服务间数据同步机制的研究》文中研究指明在企业信息化建设过程中,各部门的数据在平台类型、存储方式以及访问方式上都存在一定的异构性,形成了“信息孤岛”现象,导致数据难以融合利用。为了能够更好地利用已有的数据,使得部门之间能够共享彼此的数据,避免数据重复录入和管理等问题,本文引入了基于目录服务的数据集成策略来解决该问题。本文的研究所采用的技术方法是将目录服务作为数据集成的目的端,并对现有的异构数据源进行数据整合,然后为异构数据源提供统一的存储方式和访问方式。本文在对此方法进行研究的基础上开发了从异构关系数据库到目录服务的同步系统---rdb21dap。该系统旨在同步多个异构关系数据库中的数据到LDAP目录服务中,系统使用ODBC技术来屏蔽关系数据库的异构性,并且使用SSL机制来保证数据传输的安全性和完整性。系统包括Client端和Server端,Client端负责捕捉和发送变化的记录,而Server端主要接收数据并更新LDAP目录。Client端支持两种变化捕捉方法:基于变更轨迹表和基于散列影子表,前者能快速地捕捉变化的数据库记录,而后者对原数据库系统依赖小。此外,该系统考虑到配置性和扩展性问题,可以应用于不同的环境。使用者可以根据自身的应用需求来配置系统,达到数据集成的日的。

郑煜[5]2013年在《结构化数据异构同步技术的研究》文中研究表明在网络资源管理领域中,目录服务将零散的用户信息和物理设备信息等基础性数据整合形成权威数据集。若大量业务系统均采用LDAP查询的方式直接访问权威数据,则会给目录服务带来高负载与安全性威胁。由于大部分业务系统是以关系型数据库为基础构建的,因此在LDAP目录与关系型数据库之间建立数据同步机制,可以消除两种存储介质的信息差异,实现目录服务的有效数据共享。本文首先在研究与分析现有异构数据库同步技术的基础上,结合源数据端目录服务的树形结构特性,以及目标数据端多个异构关系型数据库并存的需求,提出LDAP目录向关系型数据库的数据同步方案。该方案采用基于哈希影子表的逐层哈希比对法对LDAP目录进行变更数据捕获,并通过内存数据库提高数据抽取的性能;以JSON为标准格式对传输的同步数据进行封装;采用ODBC驱动管理技术实现对多个目标数据库的统一数据操作。其次,根据同步方法研究的成果设计并实现了数据同步系统,对其总体框架、详细模块设计和实现方法进行了描述。最后,介绍数据同步系统的运行实例与性能分析,并对研究内容进行总结与讨论。

康美玲[6]2012年在《AOC系统的数据库设计及同步方法研究》文中提出航空运营人运行合格证(AOC)是由各国民航局(NAA)批准的航空运营人从事特定商业航空运输运行的证书。根据国际民航公约附件6要求,从事商业运营的飞机必须随机携带纸质的AOC及机型相关的运行规范(Ops.Specs)复本。目前,随机携带的纸质的AOC和运营规范不断变化,且各国运营规范标准不统一,这给航空公司带来很多不必要的成本,同时不利于各国民航管理部门监管职责的实施。为此,2007年9月国际民航组织第36届大会提出决议,支持研发航空运营人运行合格证国际注册数据库项目(简称AOC系统),以方便各缔约国充分了解AOC的有效性和流通性以及相关监督机构监管运营人对AOC和运行规范的遵守程度。AOC系统旨在收集各缔约国的AOC和运营规范数据,建立AOC注册数据库,并为各缔约国提供统一、规范的AOC注册报告。数据库是AOC系统的核心与基础,数据库设计的优劣将直接影响到系统的运行与质量;AOC系统与国际民航组织的国际航空信息系统(ARS)、Doc 8585相关数据系统存在数据共享与交流;因此有必要对系统进行数据库设计及同步方法研究。本文对AOC系统进行了详细的需求分析和主要功能模块设计;重点进行了数据库的设计;并针对AOC系统初始批量上传的需求,定义了Schema的转换规则及实现方法,构建出批量上传数据集的XML Schema。本文深入学习了异构数据库及数据库复制的相关理论及技术,分析了大型数据库厂商提供的数据库同步方案的原理及优缺点;重点分析和研究了XML技术和Web Services技术,在此基础上提出了AOC系统的同步方案:该方案使用触发器和日志表相结合的方法来捕捉差异数据,通过XML进行异构数据转换,基于Web Services实现数据库的同步。

李超[7]2006年在《多平台异构数据库复制技术研究》文中研究指明数据库复制是分布式环境下提高数据库性能、可靠性和可用性的关键技术。在数据库异构程度不断加深的情况下,异构数据库复制技术的研究已成为数据库复制研究的重点。 本文首先从基础理论和关键技术入手介绍了数据库复制的分类、数据捕获技术、同步协议、冲突检测和解决等内容,为本文的研究奠定了基础。 在确定异构数据库复制研究的重点方向以后,本文提出了异构数据库异步复制模型。模型中定义了复制管理、数据捕获、同步、冲突检测处理、数据传播五个部分。其中使用改进的控制表变化法记录数据变更,采用两步法生成复制数据,解决了外键冲突问题;设计同步过程保证异常情况下复制的正常运行;运用标记法解决唯一性冲突;设计不同拓扑结构下复制数据的传播方式。 本文对复制环境下保证数据库系统可持续运行叁个方面的技术问题:数据库变更、结点和拓扑结构变更、数据库的灾难恢复,结合异构数据库异步复制模型给出了维护方法。 最后本文将异构数据库异步复制模型应用于淮北煤矿安全管理信息系统,成功的在Oracle,SQL Server数据库之间实现了多平台下的异构数据库复制。

李建奇[8]2007年在《基于Web Services的异构系统集成技术研究与应用》文中研究说明基于Web Services的异构系统集成技术作为一种新的集成技术,正在成为企业异构系统集成的主流。传统的企业异构系统集成方案一般是点对点间的集成,在实际应用中存在集成能力差、可扩展性差、互操作能力差、集成代价高等缺点。而Web Services有着良好的互操作性、良好的封装性、廉价性、松散耦合的结构,这对于在企业与企业之间和企业内部之间通过Web Services来集成各种业务是非常理想的。Web Service在通信机制上与现有组件技术相比,服务器和客户机都不需要安装特殊的通信协议,只需支持通用的网络协议((HTTP)和数据格式(XML)就可实现相互通信。客户端把数据以XML的形式进行SOAP包装,并以HTTP形式进行发送,服务器就能接收数据。这样利用XML语言和SOAP协议,就实现了异构平台上的对象服务调用。本文以韶关冶炼厂供电系统的建设为背景,提出了基于Web Services的异构系统集成方案,并给出了相应的实现。首先详细分析了当前的企业异构系统集成面临的问题和传统集成模式,对企业系统集成的特性和可行性策略进行了阐述。论述异构应用系统集成的几种主要方法,并分析了各种技术的优缺点。接着详细介绍了Web Services的集成技术的核心实现部分,介绍了在.NET平台下采用C#语言的开发过程。具体来说完成了叁遥系统与honeywell系统和直流屏系统的集成,它们的数据通过串口和Web服务结合的方式整合到叁遥系统中。在供电系统的建设中,通过Web服务来屏蔽各系统的异构性,在中心站记录了各个数据库的连接与访问方式,通过Web服务将异构的数据库采用同样的方式进行访问,从而提供了更广地理范围的数据共享。对于热工系统的数据获取、数据转换,以及数据的解析和展现分别进行了详细的讨论。对于二期项目系统的整体运行流程、模块设计等给出了设计思想和程序框图。介绍了使用WSE(WS-Security)技术来保证Web Services安全服务的实现过程,给出结合用户认证和数据获取过程的详细设计过程。同时还设计了集成平台管理服务等相关应用程序。这些相关Web服务可以被中心站的门户站调用以获取数据,这使其可以方便在Internet上发布,提高数据的使用率和覆盖范围。实践结果表明,该方案有较好的可行性,能够更好的实现系统集成解决企业“孤岛”问题,能够进一步提高企业的信息化程度。

桂海仁[9]2013年在《基于SOA架构的认证服务关键技术研究》文中研究表明SOA以其灵活、开放、可复用的服务设计特点为信息系统的构建带来了一套有效方法,并已成为软件系统的主流设计架构与开发技术。然而,这种开放式架构导致的动态协作环境也给用户访问信息系统带来了新的安全威胁与挑战。认证技术是解决信息系统安全问题的重要机制,但是传统认证技术一般仅从单一方面实现固定业务模式下的资源安全访问,不适用于资源分布式部署、协作关系动态改变的SOA服务环境。针对以上问题,本文详细研究了基于SOA认证的需求,深入分析了分布式统一身份管理、跨异构域的认证及Web服务多方会话认证等技术,在此基础上提出了基于SOA的认证服务体系框架,并研究设计了适用于认证框架的统一身份管理机制及服务安全交互机制,有效实现了多域异构系统的身份统一管理与协同认证。主要工作包括以下几个方面:(1)提出了面向SOA的认证服务体系框架。在深入研究SOA环境的安全特点与需求的基础上,按照系统工程设计方法提出了一种面向SOA的认证服务体系框架,并详细研究了框架的总体结构、内部组成以及域内、跨域两种模式下的工作过程,从而将面向分布式条件的统一身份管理、动态协作的跨域认证和Web服务安全交互等相关技术有机结合起来。该框架能满足基于SOA架构认证的需求,为认证服务的设计奠定了重要基础。(2)设计了面向分布式异构环境的统一身份管理机制。针对SOA环境下各域自主管理身份信息资源的需求,设计了一种符合认证框架的统一身份管理机制。通过引入基于LDAP的身份目录对异构用户信息进行统一,并对动态协作条件下的身份目录管理机制进行了研究,同时设计改进了适用于分布式条件的目录服务器及目录项检索算法,实现了大量分布式异构用户信息的快速查找。该身份管理机制为SOA认证服务提供了逻辑上一致、物理上分离的身份资源统一管理方法。(3)提出了一种基于聚合签名算法的服务会话认证协议ABSAP。ABSAP协议针对服务会话通道动态建立时的效率需求,采用主密钥分解方法在避免第叁方伪造的情况下提高了多方服务交互环境下会话的认证效率。针对服务消息的传输安全需求,通过一种基于域名的令牌对服务SOAP消息进行签名与加密,实现调用时的服务互操作安全。该机制在会话层和消息层上综合解决了SOA认证体系框架中服务的安全交互问题。(4)在理论基础上对基于SOA的认证服务关键模块进行了设计实现,服务模块具有松耦合性及可复用性,且能满足SOA环境下的应用需求,从而验证了理论的正确性与可行性。

欧正英[10]2011年在《VOIP中主从式异构数据库同步系统设计及应用》文中研究说明随着Internet的日益扩大,基于IP的各种应用技术迅速发展,VOIP语音业务由于它的话费收费低廉,清晰的音质,越来越受到企业及个人的追捧。随着用户的不断增加及网络条件的改善,用户要求在不同的通讯终端都能享受到相同的优质服务,要求在不同的网络条件下能享受到一致的服务。分布式VOIP系统应运而生,分布式VOIP系统通常采用异构数据库并运行在不同平台之上,如何集成各个异构数据库的数据信息,解决信息孤岛,成为一个亟待解决的问题。异构数据库同步作为解决数据信息集成的一种有效途径,对其的研究也日益重要。本文提出一种主从数据库的同步方案,该方案采用建立主数据库作为异构数据共享平台,主数据库保存用户通话数据和业务数据,而分支数据库只保存用户通话数据。同步方案只提供一种数据同步机制,而无需理解数据的具体业务逻辑,使其具有良好的扩展性。该方案将整个同步过程分为上行同步和下行同步。而上行同步和下行同步又分别分为数据采集、数据缓存、数据处理叁个步骤。数据采集主要负责捕捉源数据库数据变化,取出变化的数据,然后根据内部协议,将数据处理成为一定的协议格式。数据缓存主要负责处理从源数据库采集过来的数据,将这些数据放入一个缓存结构中,以供数据处理模块使用。数据处理主要负责读取缓存中的数据,并根据内部协议解释数据,最终将源数据库的数据变化同步到目标数据库。本文使用C#语言实现了一个可用、可配置的异构数据库同步系统,对其进行同步测试,分析测试数据,证明本文的同步系统是可行的。并且通过两年的运行实践证明,本文系统可以稳定、可靠地完成异构数据库同步。

参考文献:

[1]. 开放式异构数据库复制框架的研究与实现[D]. 者敬. 中国科学院研究生院(软件研究所). 2002

[2]. 异构数据库同步中间件技术的研究与实现[D]. 杨鹏. 国防科学技术大学. 2007

[3]. 信息集成中异构冲突消解技术的研究与实现[D]. 闫蓓. 北京工业大学. 2007

[4]. 异构关系数据库与目录服务间数据同步机制的研究[D]. 宋炜. 北京林业大学. 2011

[5]. 结构化数据异构同步技术的研究[D]. 郑煜. 北京林业大学. 2013

[6]. AOC系统的数据库设计及同步方法研究[D]. 康美玲. 中国民航大学. 2012

[7]. 多平台异构数据库复制技术研究[D]. 李超. 合肥工业大学. 2006

[8]. 基于Web Services的异构系统集成技术研究与应用[D]. 李建奇. 湖南大学. 2007

[9]. 基于SOA架构的认证服务关键技术研究[D]. 桂海仁. 解放军信息工程大学. 2013

[10]. VOIP中主从式异构数据库同步系统设计及应用[D]. 欧正英. 湖南大学. 2011

标签:;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  

开放式异构数据库复制框架的研究与实现
下载Doc文档

猜你喜欢