王意洁[1]1998年在《面向对象数据库的并行查询处理与事务管理》文中提出面向对象数据库(OODB)弥补了关系数据库的缺陷,为许多高级数据库应用领域提供有力支持。但是,OODB中关联查询的处理速度较慢,这严重影响了OODB的性能,阻碍了OODB的发展和推广应用。OODB的许多固有的并行性以及并行处理技术的日益成熟使查询处理的并行化成为提高OODB性能的有效途径。通过研究分析OODB及其查询的本质特点,本文基于无共享结构提出了查询处理的分阶段执行策略、基于对象类的混合式数据放置策略、基于合格标记的数据操作并行执行算法、基于semi-join的并行查询处理算法以及相应的并行查询优化策略。理论分析和模拟测试结果都表明它们优于传统的方法,抓住了OODB及其查询的本质特点,具有一定的实用性和有效性。循环查询是一种既特殊又常见的查询,本文针对OODB及其循环查询的特点,依据“分而治之”的原则提出了一种实用有效的循环查询处理策略,它适用于多种循环查询,对查询的目标类数目没有限制,它具有多项式时间开销。以此为基础,进一步提出了循环查询的并行处理策略。事务管理的效率对于数据库系统的性能来说也是至关重要的。嵌套事务模型是一种复杂度较高、灵活性较大、应用领域较广的事务模型,它已被列入有关OODB的国际标准中。在影响嵌套事务模型执行效率的诸多因素中,事务标识的分配和故障恢复是两个比较重要的因素。本文在深入分析事务处理对事务标识的需求的基础上,结合嵌套事务模型的具体特点,提出了基于位的事务标识分配策略、改进的事务标识分配策略和优化的事务标识分配策略。与传统的事务标识分配策略的对比测试结果表明:它们能够更加有效地满足事务处理对事务标识的各种需求,具有一定的实用性和有效性。针对OODB的页服务器结构和嵌套事务模型的特点,以先写日志协议为基础,本文提出了一种基于页的恢复策略WAL_P,它能够有效地处理各种故障,并具有一定的灵活性和可扩展性。在OODB的实现技术方面,本文探讨了客户/服务器面向对象数据库系统KDOODB的设计与实现。
李德文[2]2016年在《流程工业分布式实时数据库研究与应用》文中进行了进一步梳理随着产业结构优化和集中度提升,流程工业企业的生产规模不断扩大,传统的集中式实时数据库由于数据吞吐量不足、投资成本过高、容错能力较低、难以弹性扩展等问题,已无法满足实际应用需求。针对上述问题,本论文将大规模分布式系统设计思想与实时性、可靠性技术相结合,建立流程工业分布式实时数据库的服务模型,研究海量数据的动态存储索引机制、事务建模与并行处理、高可用性网络实时通信等技术,并实现研究成果在实际工业项目中的应用验证。具体理论研究和技术应用成果如下:(1)在对流程工业应用场景的需求特点进行深入分析的基础上,提出了分布式实时数据库的服务模型作为系统的基础架构,以及基于中心化组织结构和中心节点主从机制的实时数据库分布式自组织理论。提出了基于Raft协议的主从中心节点选举策略,结合服务发现模型、服务部署策略的研究与设计,实现了实时数据库服务内部与系统整体两个层级的自组织。(2)针对流程工业的存储应用场景特点,提出了基于工厂逻辑模型的动态全局索引机制,以及基于二级分页和多版本管理的本地索引机制。重点对数据分区分片策略、节点增删处理方案、数据多重副本机制和存档文件压缩方案进行了研究,解决了异常状态下数据拟合错误和历史数据占用磁盘空间过高的问题,实现了存储系统的可靠性和扩展能力。(3)深入分析流程工业分布式任务请求的特点,建立了分布式实时数据库的事务模型。基于该模型,研究并实现了相应的分布式并行查询模型和分布式并行计算服务,用于解决分布式事务处理面临的事务分解、并行调度、资源管理等问题。提出了分布式实时混合并发控制算法,综合利用多版本并发控制与乐观并发控制的无阻塞特性,能够优化分布式事务执行的实时性。(4)提出了高可用性网络实时通信服务的层次结构,通过冗余连接会话、数据转发通道、网络服务自组织等多种机制和策略,提高了流程工业网络的可用性。设计了针对流程工业网络的时钟同步机制,能够有效处理网络时延抖动和服务器单点失效问题。同时,提出了网络传输数据加密保护方案和基于数字证书的用户身份认证机制,提升了网络信息安全水平。本论文完成的研究成果有效地解决了流程工业实时数据库的基础架构、大容量、实时性、可用性、并发访问等难点问题,并通过系统测试和实际应用案例验证了其功能和性能指标项,应用结果表明本论文的研究成果能够满足大规模流程工业生产的实际需求。
佚名[3]1999年在《国防科大计算机学院工学博士学位论文摘要》文中进行了进一步梳理面向对象数据库的并行查询处理与事务管理作者：王意洁（１９９８．１０）导师：胡守仁教授面向对象数据库（ＯＯＤＢ）弥补了关系数据库的缺陷，为许多高级数据库应用领域提供有力支持。但是，ＯＯＤＢ中关联查询的处理速度较慢，这严重影响了ＯＯＤＢ的性能，阻碍了ＯＯ...
皮莹莹[4]2013年在《处理海量数据的异构数据库访问中间件的设计与实现》文中提出随着3G网络的推广以及4G网络的上市，手机网络每月产生的移动信令数据量高达几百TB，而用于存储这些海量数据的数据库类型又不尽相同，应用系统在访问这些异构的且规模庞大的数据库时，必然面临着接口不统一、透明访问困难、海量数据访问效率低等问题。因此，运营商的数据中心需要提供能够处理海量数据的数据访问服务以供应用系统调用，不仅能够从海量数据中快速得到所需要的信息，同时也为应用系统提供统一的访问接口，实现透明访问异构数据库的目标。处理海量数据的数据库访问中间件位于应用系统和数据库之间，应用系统必须通过该中间件才能和数据中心内的数据库交互。为了实现该中间件，采用EJB3.0技术搭建了中间件实现平台；选用SQL语法翻译机制来屏蔽语法差异，实现透明访问分布在不同的网络节点上的数据库；将结果集封装在自定义对象中，实现远程数据在各个层之间的传递；通过对数据查询优化技术的研究，选用分表算法把一个规模庞大的表分解为多个子表，以减小查询所要扫描的数据规模；并采用缓存预测技术，减少应用系统与数据库交互次数，优化海量数据环境下的查询性能；通过数据库连接池对数据库连接进行复用，以避免数据库连接资源的浪费。通过对中间件的部署以及对其可行性和高效性进行的验证，数据库访问中间件能够为用户提供统一的访问接口，实现透明访问，并有效提高海量数据的访问性能。
马明理[5]2006年在《分布式数据库集群系统ZD-DDB的设计与实现》文中研究说明随着互联网迅速发展,对互联网海量数据的存储和检索成为搜索引擎等诸多网络应用系统的首要负载。当网络数据量、查询量急聚增加时容易导致后台数据库服务器负载过大而成为整体性能的瓶颈。而现有的数据库集群系统很难满足海量数据存储和检索的性能要求,同时也需要付出昂贵的软件成本。本文设计实现的分布式数据库集群系统ZD-DDB采用中间件的形式向应用屏蔽负载均衡、数据分区、分布式查询、分布式事务、数据迁移等细节,并提供一个统一的编程接口。该系统通过管理服务器和分布式数据库中间件来实现分布式数据库所具有的功能。管理服务器负责管理分布式数据库的全局信息,实施数据迁移和负载均衡,管理维护后台数据库节点和应用层服务器,提供对分布式存储、分布式事务、分布式查询等功能的全局支持。分布式数据库中间件包括负载均衡管理器、查询执行器、事务管理器,分别提供对负载均衡、分布式查询、分布式事务的支持。分布式存储采用了水平分区的方式来存储和定位元组,并通过均衡策略、存储映射表、数据迁移实现负载均衡,其中数据迁移支持在线迁移。分布式查询包括语法分析、计划生成、执行计划,其中语法分析得到语法分析树,查询计划将全局分布式查询语句解析成各节点可执行的子查询语句,计划执行器处理所有节点子查询返回的结果汇总后得到正确的全局查询结果。分布式事务处理支持两阶段提交协议,实现了XA协议,对事务处理过程中的故障和异常提供了容错机制,日志管理器支持分布式事务恢复。ZD-DB集群系统为海量数据提供了良好的存储和检索性能,系统各部分性能均衡,不存在明显的性能瓶颈。具有较好的可扩展性,能够方便地进行存储和计算能力的扩展,为大型网络应用提供了较好的底层支持。
安静斌[6]2007年在《面向分布构件平台的持久化技术研究》文中指出面向对象的程序语言、基于关系模型的数据库技术以及软件构件技术是当前构建大型信息系统应用的主流支撑技术。面向对象的程序语言为软件的开发提供了基本的工具,关系数据库则负责大量数据的持久存储和高效的检索更新,而软件构件技术则为大型应用的开发、部署、运行提供了平台。面向对象和面向构件的开发模型和数据库系统所使用的关系模型存在着“阻抗失配”问题,这导致了软件系统设计开发的过程变得不连贯,大大增加了开发的成本和系统运行、维护的成本,降低了信息系统的可靠性、可维护性和可伸缩性。为了解决上述的问题,人们提出了各种对象持久化和对象关系映射的解决方案,成为上世纪九十年代数据库技术、面向对象技术、程序语言设计以及软件工程领域研究人员共同关注的问题和研究热点。近期,随着软件构件技术的发展以及反射、面向方面的开发方法等思想在程序语言、中间件以及分布构件平台的应用,“阻抗失配”问题再次引起人们的关注,对象的持久化也成为构件开发和运行平台设计中一个重要问题。构件平台持久机制的设计必须满足正交性、透明性的要求,同时又要提供高效的查询能力和优异的性能。本文在分析现有各种对象持久化解决方案的基础上,重新探讨阻抗失配问题的实质,对对象持久化所要解决的问题、要达到的目标和面临的困难进行深入地分析,在此基础上,基于反射机制提出了一个新的面向分布构件平台的对象关系映射框架,并设计和实现了CCM构件平台的持久化机制。本文主要的工作与创新点包括:1.全面深入的研究了二十多年来在解决“阻抗失配”问题和对象持久化方面取得的成果,总结分析了它们的特点与不足,重新探讨了问题的根源和本质,提出了一组针对对象持久化系统的评估体系,对现有的主要对象持久化系统进行了比较和评价。在此基础上结合分布构件平台持久化技术的需求,提出了构件平台持久框架设计的原则和目标。2.结合反射技术在程序语言、中间件以及分布构件平台的应用,提出基于反射机制的、支持运行时对象关系映射的对象持久化框架StarORM,并从反射模型的角度分析了StarORM的体系结构和设计原理。3.对象关系数据库系统以及对象关系映射系统中,在多个相互引用的对象之间的导航操作导致客户端与后端数据库系统之间的读取操作大幅度增加,从而产生严重的性能问题。本文提出了一种基于多级访问模式的对象预取算法,实验表明该算法较大幅度地提高了对象持久化系统的访问效率和可用性。4.程序语言中的同步控制机制与数据库中的事务模型间的不匹配是程序语言与数据库之间的不匹配的一个重要方面,也是对象关系映射系统设计中的重要问题。本文对此问题进行了深入的研究,提出了一种基于并发控制的事务管理框架,使得程序语言中的并发控制机制、构件平台的事务管理框架能够与对象持久化系统更有机地结合起来。5.设计和开发了StarORM对象关系映射框架的原型系统,并在StarORM基础上,设计实现了StarCCM构件平台的持久化框架,包括容器管理的持久化、自管理的持久化、实体构件的实现框架。综上所述,本文结合反射理论对持久化技术中面临的几个关键问题进行了探索,取得了一定的成果。测试和实际应用表明,本文提出的对象持久化系统模型具有更高正交性和透明性,明显降低了“阻抗失配”,对于提高面向对象和面向构件的软件开发的效率具有理论和应用价值。
王佳[7]2006年在《面向海量数据的多数据库UNION查询研究与实现》文中提出随着计算机应用的发展和普及,特别是网络应用的迅速发展,数据库的规模得到了空前的增长,多数据库成为海量数据存储管理的主要技术手段之一,如何通过多数据库有效的存储和管理海量数据,提供高性能的查询处理,成为人们关注的热点。UNION查询是多数据库中代价最大的典型操作之一,研究高性能的多数据库UNION查询具有重要意义。本文在分析了现有多数据库中UNION查询的处理算法的基础上,针对目前UNION查询没有特定解决方案的问题,提出一套面向海量多数据库的UNION查询体系结构:通过全局UNION查询优化以及分解后的子查询优化,提高了查询并行执行效率;同时,针对UNION子查询结果合并问题,提出了增量多路连接、双缓冲并行处理和多路并行归并等算法,形成了一套面向海量数据的多数据库UNION查询后处理策略,可以有效地降低UNION查询响应时间,减少查询处理的网络传输开销。本文在大规模事务处理系统(StarTPMonitor)上,基于多数据库UNION优化算法,设计并实现了一个面向海量数据的多数据库UNION查询子系统UQS ( Union Query System),测试表明系统在性能指标上达到了预期目标。
徐冀[8]2004年在《基于组件的内存数据库》文中研究指明内存数据库系统是一种数据库新技术,其设计思想是在系统运行时将整个数据文件或将数据文件的一部分读入共享内存中,所有数据的存取和管理都在内存中完成,尽可能的减少磁盘操作,以提高数据的访问速度,磁盘上的数据库文件只是作为内存数据库的后备文件。由于所有数据操作都在内存中进行,因此内存数据库的访问速度在特定条件和理想状态下可以比传统数据库高 1-2 个数量级,如果内存数据库系统的事务处理给以定时限制,则系统将具有实时特性,成为实时主存数据库系统。内存数据库系统所具有的特性,使其在工业控制、国防、通信领域得到了广泛的应用。内存数据库系统并不是传统数据库的二次开发,而是一种全新的系统。由于内存数据库基于内存,提高存取速度已经不再是设计算法时的主要考虑,而内存容量有限,是宝贵的,因此在设计内存数据库的数据结构,特别是索引结构时,设计的出发点是提供一种高效的数据存储方式,以提高内存空间的使用效率。另一方面,由于内存的易失性,内存数据库的可恢复性更为重要,这在数据结构的设计和算法实现时也是一种需要考虑的因素。FlashDB 是对内存数据库的实现,其采用内存映射文件的机制将磁盘文件映射至共享内存,在开辟的共享内存中建立表、字段、记录结构,并根据内存数据库的特点,采用了 Hash 表和 SB-树的索引结构,以达到检索速度和存储效率的平衡。FlashDB 具有优化的并行查询功能,利用互为主备的对象句柄数组实现了事务的提交/回滚以及数据库在崩溃时的自动恢复功能。FlashDB 结构紧凑,以动态库的形式提供给用户,实现了用户进程与数据库模块间的进程内通讯,具有较高的性能。FlashDB 采用面向对象设计,利用 C++的继承,多态,支持运算符的重载,宏等特性完成了数据库底层机制的实现(如 C++类至数据库表结构的映射)。 FlashDB 还采用先进的组件技术,组件技术是对面向对象技术的进一步发展,具有支持多种开发语言和高度可维护性的特点,FlashDB 利用组件技术实现了一个交互式 SQL 查询工具并对函数集进行了进一步的封装,隐藏了一些复杂的实现细节,使得 VB/VC/Delphi 等支持组件技术的开发语言都可以进行内存数据库的客户端程序的开发。本文的前言部分对内存数据库的出现的背景、特点、发展现状进行了介绍。在第二章着重讨论了内存数据库与传统数据库的区别、适用范围、以及 FlashDB的功能模块。在第三、四章讨论了内存数据库的底层数据数据的组织、索引结构、及共享内存的分配/释放/紧凑算法,这两章在全文中具有重要的作用,所讨论的技术是实现内存数据库系统的核心,也是内存数据库系统与传统数据库最大的不同之处。在第五章主要讨论了查询的处理和优化,实现游标及相关数据结构的实现是本章的重点,此外还讨论了跨平台的线程类在并行查询中的应用。在第六章,讨论了内存数据库系统的事务管理,锁机制,内存数据库的恢复,之所以将这三个技术点放在一章是因为三者相互关联,且与数据库的底层数据结构密切相关。第七章讨论了组件技术在内存数据库系统中的应用。
宁红云[9]2008年在《协作智能体环境下虚拟企业自由联盟构建技术研究》文中进行了进一步梳理虚拟企业是以计算机网络为支撑的跨地理空间进行信息传递和管理的临时企业组织形式,它已成为二十一世纪企业追求的重要运作模式之一。本文在广泛查阅国内外文献的基础上,从分析网络化企业联盟所面临的困难着手,深入研究了面向实时协作的网络化虚拟企业运作的系统理论框架,给出了网络化虚拟企业运作模型,研究涉及企业交互协作建模,协同数据管理与事务处理,伙伴在线选择与定位协商等关键问题。论文取得的主要成果和创新点如下:⑴基于协作智能体在分布计算环境中的可变结构特性,提出网络化虚拟企业运作的系统理论框架,引入动态域的管理模式、动态业务流协作模型以及多智能体角色控制机制,有效解决了动态联盟中多边业务的动态规划与协调问题,从而提高了虚拟企业面向任务进行重组的灵活性,增强了系统的适应能力。(2)针对虚拟企业协作数据访问特点,引入改进的协作对象及其虚拟表机制及智能体移动策略,提出基于三层结构、四级模式的分布式协作数据管理模型,引入视图自维护思想分别从保存有限实视图,为特定数据开辟缓存和实时监控同根数据等方面,有效改善了虚拟企业中动态业务流数据的协作访问性能。(3)针对传统方法在虚拟企业动态数据管理中事务错失率高和难以适应动态事务处理的缺陷,结合线程与协作智能体并行处理技术,提出基于动态域的事务3阶段处理法,以及动态多版本乐观并发控制和协作查询优化策略,有效降低了动态域事务的错失率和重启率,并提高了事务处理能力。⑷从分析网络化虚拟企业运作模式在伙伴选择中所具有的优势着手,提出一种基于实时协作关联图的虚拟伙伴在线自动选择模型和基于蚁群优化的潜在伙伴挖掘模型,新模型与传统的离线挖掘方法相比具有更好的实时性和准确性,同时有效解决了企业合作中的间接关联和弱关联的挖掘问题。(5)针对传统虚拟企业沟通耗时和协商失败率高等问题,为满足分布式网络环境下快速构建企业联盟的目标要求,基于同步约束的多边伙伴定位协商协议,提出伙伴定位在线协商模型及其协进化协商决策算法,它通过实时更新智能体信念明显地改进了协商行为的效用,有效提高了伙伴定位在线协商的成功率。
欧阳君[10]2006年在《火电厂管控一体化系统中数据访问层的设计及应用》文中研究说明本论文重点讨论了火电厂管控一体化系统中数据访问层的设计和实现,提出了构建一个轻量级ORM框架的方法,并在此基础上还设计了一个独立的DAO框架,作用于ORM框架之上,实现了对原有系统的进一步解耦。论文首先介绍了项目背景、论文的研究意义以及相关的J2EE数据访问技术。随着火电厂管控一体化系统的项目进展,业务领域内对象模型和关系模型间范例不匹配的问题浮现出来。为了解决这个范例不匹配的难题,实现数据访问逻辑和业务逻辑的解耦,本文提取出实现轻量级ORM机制的九个核心设计环节,最终完成了一个通用的、轻量级的数据访问层的设计。通过使用XML作为ORM元数据/映射文件,将原有系统Java代码中嵌入的JDBC SQL语句从业务逻辑代码中分离出来。本文的重点内容就是设计一个轻量级ORM映射机制,实现基于J2EE的对象持久化解决方案。这个从原有系统中解耦出来的数据访问层,具有良好的鲁棒性,负责具体的对象持久化操作,提供对于数据库访问的事务控制,保证数据存取的一致性和访问的安全性,并且使用了延迟加载以及对象缓存等技术提高数据访问层的性能。为了实现数据访问的进一步解耦,本文论述了在ORM框架之上如何引入了DAO模式,通过数据访问对象将数据访问划分为抽象层和实现层,从而分离了数据使用和数据访问的底层实现细节,使系统更具有扩展性。结合DTO模式的DAO框架对各个数据对象进行封装,对业务层屏蔽了具体持久化机制的底层实现。最后,这个实现了ORM机制和DAO框架的轻量级数据访问层在实际的企业应用系统中进行了实施,发挥了数据访问中间件的强大功能,完善了原来的系统。
参考文献：
[1]. 面向对象数据库的并行查询处理与事务管理[D]. 王意洁. 国防科技大学. 1998
[2]. 流程工业分布式实时数据库研究与应用[D]. 李德文. 浙江大学. 2016
[3]. 国防科大计算机学院工学博士学位论文摘要[J]. 佚名. 计算机工程与科学. 1999
[4]. 处理海量数据的异构数据库访问中间件的设计与实现[D]. 皮莹莹. 南京邮电大学. 2013
[5]. 分布式数据库集群系统ZD-DDB的设计与实现[D]. 马明理. 浙江大学. 2006
[6]. 面向分布构件平台的持久化技术研究[D]. 安静斌. 国防科学技术大学. 2007
[7]. 面向海量数据的多数据库UNION查询研究与实现[D]. 王佳. 国防科学技术大学. 2006
[8]. 基于组件的内存数据库[D]. 徐冀. 南京工业大学. 2004
[9]. 协作智能体环境下虚拟企业自由联盟构建技术研究[D]. 宁红云. 天津大学. 2008
[10]. 火电厂管控一体化系统中数据访问层的设计及应用[D]. 欧阳君. 东南大学. 2006
标签：计算机软件及计算机应用论文; 内存数据库论文; 虚拟企业论文; 面向对象数据库论文; 事务管理论文; 数据库系统的特点论文; 分布式事务论文; 分布式存储论文; 海量数据论文; 数据库事务论文; 数据持久化论文; 分布式架构论文; 事务论文; 分布式技术论文; 中间件技术论文; 数据库性能论文; 分布式算法论文; 数据库论文; 企业协作论文; 分布式部署论文; 对象存储论文;