黄斌[1]2003年在《数据网格系统中数据统一访问和管理的研究与实现》文中研究表明科学计算领域中的科学数据呈现爆炸式增长，未来的科学计算将以数据为中心，海量的科学数据分布在各种自治管理域中的异构存储资源上，使得用户对这些科学数据的访问变得非常复杂、低效，必须为用户提供行之有效的方法，实现方便、高效、透明、统一的数据访问。数据网格计算技术是解决复杂海量科学数据的访问和管理的一种有效技术。国际上对数据网格的研究属于刚起步阶段，虽然前几年有几个数据网格项目已开始研究，但系统都很不完善，技术上也不成熟。国内还没有人对此做过较深入的研究。因此本课题的研究属于前沿性研究和实践工作。 本文详细分析国内外几个有名的数据网格项目，提出了一种可扩展的数据网格体系结构，并按照该体系结构实现了一个数据网格基础设施—GEidDaen(Grid Data Engine)数据网格系统。GridDaen采用分布式结构，支持对多种异构存储资源的统一访问，具有动态配置、容错等特征。目前，GridDaen(Grid Data Engine)数据网格系统主要由数据统一访问和元数据服务组成。本文详细描述了GridDaen核心功能—数据统一访问和数据管理的设计和实现，实现了一套数据统一访问接口、数据Cache和复制、数据传输、DRB(Data Request Broker)服务器等多个子功能。这些功能模块为用户方便的、统一的、高效的数据统一访问和管理，支持多种异构存储资源的海量存储。它们的实现为各类网格系统的实现打下良好的基础。 本文对数据统一访问和管理的一些关键技术进行了深入研究和分析，采用多种创新技术。在用户存储资源之间增加一层中间件，将各存储系统抽象成虚拟一体化系统，屏蔽它们的分布性和异构性；采用叁层命名机制对所有数据对象进行统一命名，采用虚拟数据集的机制将各类数据分层组织，实现了网格数据的统一视图，较好地屏蔽它们的结构上和存储方式等方面的异构性以及分布特性：提供统一的API来实现数据对象访问操作上的异构性，实现方便的、统一的数据访问：引入了二层Cache机制和数据复制机制，并设计了二种数据预取策略，有效地提高了访问效率，实现较好的时间透明性和负载平衡；在Cache中采用二种副本有效解决了高效数据并发读写问题；采用主副本写策略来维护副本一致性，将数据副本分为一个主副本和多个次副本，所有写操作针对全局唯一主副本进行操作，通过广播方式通知次副本同步更新。本文还对GridDaen中的访问状态管理、任务调度、底层存储资源的接入和访问接口作了深入的研究和具体实现。
苏云[2]2005年在《网格环境下数据库共享关键技术的研究与实现》文中研究说明数据网格是解决广域环境下分布异构海量数据统一访问和管理的一种有效技术。目前数据库已经成为数据管理的重要工具,因此如何将广域环境下数据库资源纳入到现有的数据网格架构中以满足更加广泛的数据管理需求已经成为一项亟待解决的新课题。数据库网格是以数据库为主要存储资源的数据网格环境,它主要侧重于广域环境下数据库资源的统一存储、访问和管理。目前国际上对数据库网格的研究还处于起步和发展阶段,相关的实现技术并不成熟,还没有形成完整标准的规范,因此本课题的研究属于前沿性研究和实践工作。本课题重点研究国内外几个着名的数据库网格或内容涉及数据库的数据网格项目,详细分析和总结了数据库网格的关键技术,在此基础上提出了一套网格环境下数据库统一访问和管理的方法和机制,设计和实现了一个数据库网格基本系统GridDaEn-DAI。GridDaEn-DAI利用Java平台无关特性,整合广域环境下分布异构的数据库资源为地理上分布的用户提供了全局的逻辑数据视图和统一的数据访问服务;系统采用分布、独立的多域服务器技术和服务器注册机制,支持对多种异构数据库资源的统一访问,具有动态配置和可扩展性等特征,系统在逻辑结构上主要有元服务、数据访问服务、客户端和底层分布异构的数据库资源等部分组成。本文论述了GridDaEn-DAI系统的逻辑结构、访问协议、数据服务流程以及基于Web Services、XML等技术的实现策略,重点研究数据库网格中的元服务、数据统一访问和管理等关键技术,设计和实现了支持多管理域的分布式元服务子系统和数据访问服务子系统。其中元服务主要为整个系统提供各种元信息支持,它采用域名、数据对象的逻辑名称、物理名称和内部名称对广域环境下的数据库数据进行了统一命名,实现了相应的名字映射机制和全局的用户数据视图服务,提供了数据库资源的虚拟组织与管理方式;数据访问服务通过提供可扩展的统一数据访问和支持多种数据共享访问模式,屏蔽了数据库资源的分布性和异构性,为用户提供了统一透明的数据服务。系统通过引入一种基于用户请求映射数据访问机制灵活地实现了多管理域之间的跨域数据访问,有效地为用户屏蔽了数据服务器的分布性;系统主要采用分布式的数据Cache机制和基于GSI的安全机制,为用户提供高性能的安全数据服务。
陈克建[3]2005年在《校园网格中数据管理的研究和实现》文中研究说明近几年来,有关“网格”的话题越来越热,并且有关网格的研究也越来越多。可以说传统的互联网实现了计算机硬件的连通,Web实现了网页的连通,而网格则试图实现互联网上所有资源的全面连通,包括计算资源、存储资源、通信资源、软件资源、信息资源、知识资源等等。 数据网格的概念来自网格,它是网格技术在数据管理方面的应用和实现。数据网格就是建立一个在网格环境下,透明访问异构数据资源的新的体系结构。数据网格的关键技术主要有元数据管理、目录服务、复制管理、高速数据传输机制、安全技术等。校园网格系统具有一般网格系统的特性,本文把校园网格作为一个网格的原型系统,对此进行数据管理的研究。 本文首先对数据网格的关键技术进行研究,具体地提出了数据复制的策略,Cache管理的机制以及数据分割的方法等。并对数据复制管理的域间复制创建策略进行了比较分斫,以及讨论了数据分割对数据传输性能的影响。 在研究数据网格技术基础上,以建立校园网格为背景,设计了一个校园网格中数据服务的结构,对数据网格的关键技术地加以实现。其中着重进行了文件管理机制设计,诸如文件名称设计、目录结构设计、文件访问接口、数据复制设计、文件Cache管理和文件传输等,并实现了一个数据管理原型。所做的工作为今后建立更全面的校园网格提供了借鉴。
王龙超[4]2006年在《空间数据网格概念体系研究》文中提出网格(Grid)是伴随着互联网技术而迅速发展起来的，产生于科学研究与合作中的新一代计算基础设施，是把整个网络整合成一台巨大的超级计算机，利用互联网把广泛分布的各种资源，包括计算资源、软件资源、存储资源、数据资源、信息资源等连成一个逻辑整体，在动态变化的广域分布的异构虚拟组织间实现资源共享和协同工作。 网格技术与空间信息科学的融合产生了空间信息网格SIG和Grid GIS，作为SIG和Grid GIS的重要组成部分，空间数据网格在整个空间信息网格中起重要作用。 本文针对空间数据网格所涉及到的基本概念、支撑技术、体系结构和关键技术进行了系统的研究和讨论，提供空间数据网格的概念体系。 引入数据网格技术构建空间数据网格，可以改善空间数据共享与应用的环境。空间数据网格与当前的空间数据共享相比，更强调数据共享的一体化，或者说是数据共享的协同性，目标是建立空间数据的虚拟的单一系统映象，使得用户能够通过门户网站透明的访问所有的共享数据，而不需要在千百万个网站上搜索自己想要的空间数据。 本文讨论空间数据网格各种模式的优缺点，提出建立空间数据网格的较优模式，即混合网络模式。在局部网格系统采用C／S模式，而在全局网格系统中，各局部网格系统的目录服务器通过P2P模式进行交互和协同。混合网络模式兼有C／S模式易于控制和P2P模式离散耦合的特点，既可以保证局部网格内部的安全控制，又可以保证全局网格系统的可扩展性。 总结元数据管理的各种机制，提出元数据目录的双重映射机制。元数据目录的双重映射机制在数据请求者层面和数据提供者层面分别对数据的物理视图和逻辑视图进行映射，并且在数据请求者层面采用二级映射。元数据目录的双重映射机制提高了数据服务的灵活性和可靠性，方便了数据服务提供者和数据服务请求者的操作。
刘瑰[5]2009年在《面向海量信息处理领域的数据网格及其关键技术研究》文中认为随着信息技术的不断发展,越来越多的信息在丰富人们的思想、扩大人们视野的同时,也为计算机进行海量信息处理带来了众多难题,其主要表现在以下几个方面:存在着大量的、异构的数据源,而且格式各异;同时这些信息又缺乏一个统一的规范化的描述方法;再者由于信息的更新速度非常快,因此还需要解决数据修改和同步的问题;此外还需要解决信息的易用性问题。本文针对以上海量信息处理过程中出现的困难和问题,提出了面向海量信息处理的数据网格MIPDG(Data Grid for Mass Information Process)。作为一种新型的数据管理和利用的体系架构,MIPDG提出了一种新的海量信息处理中心的数据网格建设模式,并通过为多种数据格式提供标准化的描述方式,以实现相关数据的自动关联、自动映射;通过对各类数据源提供副本创建策略、副本一致性算法和数据传输算法等,有效地解决信息资源的一致性共享问题,实现高速可靠的数据访问;通过对海量信息处理业务提供平台级和应用级的访问支持,从而极大地降低海量信息处理应用开发和使用的复杂性,为最终实现信息的全面共享和综合利用提供了一个高性能、大容量、广域覆盖的数据共享平台。本文以高性能、易用性和可扩展性为依据,对面向海量信息处理的数据网格的体系结构及若干关键技术做了详细研究和探讨,主要工作和贡献如下:1)结合海量信息处理需求的特点,设计了若干个由高速网络互联形成的分布式海量信息处理中心节点,建立了数据中心的数据网格建设模式,实现了对多数据源的稳定可靠访问,克服了由于数据源本身在存储容量、网络带宽以及可用性等方面差异所导致的访问瓶颈问题,为海量信息处理应用可扩展、可维护、易用性等目标提供了保障。2)基于面向对象的设计方法,给出了一种层次型的海量信息处理元数据结构定义,实现了灵活的数据映射机制。并根据这种元数据目录管理的方式,设计了一种基于服务的数据映射五层模型,实现了对海量数据透明、可扩展和开放的映射管理,为不同存储方式、不同格式类型的多种数据源提供了统一便捷的数据访问模式。3)根据海量信息处理业务流程的特点,给出了DRFT数据传输策略,建立了一种无监督的数据传输调度模型,提出了叁种数据传输作业调度策略,并进一步对最优适合策略进行优化,优化算法不仅能够充分利用有效的传输带宽,而且还具有比较稳定的传输速率。4)针对副本管理机制的研究,提出了基于聚类的动态副本创建策略、基于活跃度的多阶段副本一致性算法。这两种算法克服了由于网络带宽有限、地理位置分散所带来的数据访问效率低等困难,有效地减少了平均作业执行时间,提高了网格资源的利用率以及网格环境的性能和可扩展性,并保证网格系统的正确运行。研究成果已在实验环境中得到测试,不仅验证了整个网格系统的可行性,还验证了对于一个具备论文提出的各项策略的网格系统,其数据访问性能能够得到明显的改善,为论文提出的各种技术的推广应用提供了有益的参考。
施晓烨[6]2011年在《数据网格中副本管理策略研究》文中研究说明信息爆炸带来了对数据存储及访问速度的空前要求,存储规模越来越大,管理也越来越复杂,同时对存储的可扩展及可靠性也带来了更高的挑战。为了解决这些问题,数据网格应运而生。数据网格正是一个以数据为主要资源的网格系统,它将网络上海量的、分散的、独立的、异构的储存系统组织成一个可靠、安全的逻辑意义上的整体,进行统一的管理,从而为用户提供透明的、高效的、高可靠的服务。数据网格中的副本技术是必不可少的。副本技术主要包括:副本创建、副本选择、副本定位以及副本一致性维护。其中,副本创建的优劣将直接影响到网格的系统性能,因此必须结合环境特点在合适的节点上建立副本;在副本创建之后,则需要副本的选择和定位机制来获取最优副本;同时由于网格的动态性,副本一致性维护也是副本管理中的重要组成部分,因为这直接影响到副本管理的性能和正确性。本文针对数据网格中副本的关键技术,做了以下几方面的研究:首先,改进了传统的副本创建算法,提出了改进的最佳副本创建算法;其次,提出了适合当前环境的副本定位及一致性维护方法以及给出了基于副本访问代价的副本选择算法;最后,实现了副本管理系统。
张怡[7]2006年在《XML数据库网格关键技术的研究与实现》文中认为随着网格以及数据网格技术的蓬勃发展,很多研究者开始致力于解决如何将数据库资源集成到网格环境中。另一方面,随着XML越来越多地被应用在数据表示和数据存储等方面,为了持久保存XML文档,并且更方便地使用和管理这些数据,XML数据库相继出现。XML数据库网格正是这一领域的新发展,主要侧重于广域环境下XML数据库资源的统一存储、访问和管理。目前国际上对XML数据库网格的研究还处于起步和发展阶段,相关的实现技术并不成熟,还没有形成完整标准的规范。本文深入分析和研究网格以及数据库网格技术,对目前主流XML数据库的异同进行比较。重点研究了XML数据库网格中的数据库共享访问方式和数据查询方法。在基于网格服务的数据库访问架构上,提出了网格环境下XML数据库资源共享访问的两种方式:一是基于数据库连接的共享访问,二是基于数据库操作的共享访问。通过对XML数据库查询方式的研究,提出了一种数据模糊查询方法XS-Query。在此基础上,设计和实现了一种XML数据库网格系统GriDen-XSA,从系统结构、系统组成、核心功能等几个方面进行了详细的分析和设计。本文第一章通过对数据库网格的产生背景以及XML数据库的特点的详细分析,指出了本课题的研究目标、内容和意义。第二章对目前国内外数据库网格研究的相关工作进行了重点介绍。第叁章在数据库访问架构的基础上,提出了基于XML Schema的数据查询方法,并详细分析了该查询方式的特点。第四章分析和研究系统设计目标,提出了GriDen-XSA系统体系结构。第五章详细介绍GriDen-XSA系统实现,包括元数据服务、数据库资源发现服务、XML数据库资源的访问方式以及数据转换和客户端。最后,通过建立实验测试环境,对GriDen-XSA系统进行了功能测试和分析,并对XS-Query数据查询方式进行了性能测试和分析。
陈彬[8]2004年在《基于多域协同的联邦数据服务系统的研究与实现》文中指出近年来,各种大型科学研究,信息服务,多媒体应用等领域的数据呈爆炸式增长。同时,对这些地理上分布的海量数据进行一体化访问,传输与管理的需求也日益突出。数据网格(Data Grid)技术正是解决这种需求的一种有效的途径,也是目前国际计算机界研究的一个热点。九十年代以来,欧美等发达国家在网格计算的基础理论研究和系统开发上已经取得了一些重要的成果。国内近年来也正在积极开展网格计算领域的相关研究。 本课题组对数据网格的关键技术进行了深入的研究,并自主设计和实现了一个通用的数掘网格中间件—网格数据引擎GridDaEn,它能够对分布异构的海量数据进行统一的访问,传输与管理,为广域的数据密集型应用和研究提供高性能的支撑平台。 本文重点对数据网格中联邦数据服务的关键技术进行了研究,设计和实现了GridDaEn数据网格系统的核心组成部分联邦数据服务系统FDSS以及FDSS的基本数据服务提供单元数据请求代理服务器DRB。DRB通过提供可扩展的统一访问接口和支持多种访问模式,将广域分布的,异构的存储资源无缝地集成到GridDaEn数据网格中。通过存储资源的虚拟组织与管理为网格用户提供分布异构海量存储资源统一的用户视图,屏蔽了资源的分布性和异构性,实现了完全透明的统一访问。单个DRB提供基本的本域数据访问服务,多个DRB通过联邦的方式构成FDSS,为网格用户提供基于多域协同的联邦数据服务。DRB采用完善的Cache管理机制,基于读写锁方案的文件共享访问并发控制机制以及基于Globus GSI的安全机制,保证了FDSS提供高性能的,一致的,安全的联邦数据服务。FDSS为用户提供了一个类Windows Explorer的图形客户端程序,一组命令行程序以及标准的统一坊问API和SDK包。利用这些客户端软件,用户可以充分利用FDSS的联邦数据服务功能以及方便地构建其它的网格应用。 DRB之间一致和高效的协同是实现FDSS联邦数据服务的关键。本文提出了一种“操作分解时间分段”的多域协同算法ODTD,用来实现多个DRB之间的协同,测试结果表明,该算法能够实现FDSS中多个DRB之间一致和高效的协同。
王逸泉[9]2004年在《网格视频点播系统的研究和实现》文中研究说明随着互联网络基础设施性能的不断提高,人们对主动地点播高清晰度、高质量的视频、音频等多媒体信息的需求也越来越多。因此研究网络视频点播软件就变得很有意义。目前,许多大公司如Microsoft、Real和Apple公司推出了上述产品及其相关产品,但其中大多数系统是园区级产品,主要针对的用户是企业、校园内部等,它们通过企业内部网络为用户提供服务,所能覆盖的区域、服务的用户及存储的节目数量都相对较小。由此,笔者通过仔细分析流媒体的特点及网格技术,基于课题组现有的GridDaen数据网格技术,对广域网上的视频点播系统进行了初步研究。基于GridDaen的视频点播系统的目标是实现一种自适应性、可扩展的、适应性广、跨平台的视频点播系统,该系统可将广域网上地理上分布的多个孤立视频点播服务系统统一管理、调度和协同服务,为用户提供透明的、高清晰度的、高质量的、方便的音视频服务,支持前所未有的规模和扩展能力。 本文首先介绍了流媒体技术的基本概念和技术,分析了视频点播软件的现状,并简单介绍了网格技术及开放的网格服务体系结构,以及我们课题组已实现的GridDaen数据网格系统,包括它的结构和主要功能。然后论文详细阐述了笔者提出的GVOD系统的总体结构和软件体系结构,并详细讨论了基于OGSA的服务器结构。接着论文讨论了GVOD系统中的节目资源的存储和管理问题,也讨论了用户分级管理问题。最后详细阐述了一个基于JFM的GVOD客户端播放软件。
王剑[10]2007年在《校园数据网格关键技术研究与设计》文中研究说明数据网格是一种网格计算系统，主要用来处理数据——有约束的共享和管理大量的分布式数据。数据网格技术是研究的热点，主要集中在元数据管理和复制管理两个方面。校园网络环境中存在大量的信息孤岛，许多资源和信息不能得到有效的利用和共享。本文通过对数据网格中元数据管理和复制管理技术的分析研究，设计了校园数据网格系统来解决校园网络环境中的问题。主要从以下几个方面进行了研究：1．元数据管理的分析研究：本文分析了当前元数据管理模型的特点，并在此基础上提出了一种局部自治的、分布式的、叁层结构的元数据管理模型。2．副本的创建策略分析研究：本文分析了现有的副本创建策略，并提出了适用于校园数据网格系统的缓存加最佳用户副本创建策略。在局部自治域之间采用缓存副本创建策略，在局部自治域内采用最佳用户策略。3．副本的定位与选择机制分析研究：本文分析了副本定位与选择的各种机制，选取了适用于校园数据网格系统的机制。副本的定位采用副本目录来实现，副本目录中记录逻辑文件到物理文件的映射信息，来完成副本定位。副本的选择采用简单、高效的IBL算法来实现。4．副本的一致性管理分析研究：本文分析了现有的副本一致性策略，提出了适用于本文提出的元信息管理模型的副本一致性策略。在研究数据网格关键技术的基础上，结合本文的研究成果设计了校园数据网格系统，并给出了系统初步的原型实现。
参考文献：
[1]. 数据网格系统中数据统一访问和管理的研究与实现[D]. 黄斌. 国防科学技术大学. 2003
[2]. 网格环境下数据库共享关键技术的研究与实现[D]. 苏云. 国防科学技术大学. 2005
[3]. 校园网格中数据管理的研究和实现[D]. 陈克建. 南京工业大学. 2005
[4]. 空间数据网格概念体系研究[D]. 王龙超. 长安大学. 2006
[5]. 面向海量信息处理领域的数据网格及其关键技术研究[D]. 刘瑰. 解放军信息工程大学. 2009
[6]. 数据网格中副本管理策略研究[D]. 施晓烨. 南京邮电大学. 2011
[7]. XML数据库网格关键技术的研究与实现[D]. 张怡. 国防科学技术大学. 2006
[8]. 基于多域协同的联邦数据服务系统的研究与实现[D]. 陈彬. 国防科学技术大学. 2004
[9]. 网格视频点播系统的研究和实现[D]. 王逸泉. 国防科学技术大学. 2004
[10]. 校园数据网格关键技术研究与设计[D]. 王剑. 西北大学. 2007
标签：计算机软件及计算机应用论文; 网格系统论文; 大数据论文; 数据库系统论文; 空间数据论文; 海量数据论文; 用户研究论文; 空间分析论文; 网络映射论文; 空间设计论文; 异构网络论文; 策略模式论文; 用户分析论文; 数据管理论文; 数据库论文; 信息处理论文;