马森[1]1997年在《曙光2000单一系统映象文件系统COSMOS操作系统相关层的设计和实现》文中提出COSMOS运行于PowerPC工作站相连的曙光2000工作站机群系统上，是基于IBM AIX 4．1．4操作系统的具有单一系统映象功能的文件系统。它具有以下特点： 1．COSMOS文件系统实现的是一个单一系统映象的文件系统，运行在机群系统上，系统使用多读单写的令牌机制来维护数据在各个结点上的单一映象。 2．COSMOS文件系统没有集中式的Server，对国外一些系统的研究表明，集中式Server系统的可扩展性总是受Server的制约。因此，COSMOS采用了无集中式Server的策略，这是提高系统可扩展性的关键。 3．COSMOS文件系统实现了VNODE层的接口，是作为操作系统核心的扩展部分运行于系统中的。系统对COSMOS文件系统中的数据的访问通过相应的系统调用经逻辑文件系统转到COSMOS实现的VNODE层操作，不需要任何多余于单机上的文件系统所需的信息。因此，COSMOS实现了应用程序的与单机系统的二进制兼容性和透明性。 4．COSMOS数据的存储方式是磁盘存储分组，数据被分放在许多磁盘上，并且实现了数据的并行存取。 5．COSMOS文件系统实现了协调式缓存，以使用远程结点缓存中的数据。 本文就COSMOS文件系统操作系统相关层的设计和实现进行了讨论。在对国外多种文件系统的调研的基础上，提出了COSMOS文件系统OS相关层的设计方案，就实现中的关键问题进行了讨论，并且给出了系统原型的测试结果。
杜聪[2]2000年在《机群文件系统的实现、评测与分析》文中研究说明机群文件系统的设计对于建造一个用商品化部件构成的通用的机群系统是非常重要的。曙光2000是一个典型的采用机群体系结构，用商品化的工作站建造的超级服务器。为了满足科学计算，工程计算，网络Internet和Intranet服务，I／O密集性的商用数据库和多媒体应用的需要，我们为曙光2000超级服务器设计和实现了高性能的机群文件系统——COSMOS。 本文介绍了曙光2000机群的基本结构，讨论了COSMOS文件系统的基本特征和实现方法。COSMOS文件系统提供位置透明性和严格的UNIX语义，提供了与UNIX文件系统的应用程序二进制兼容。系统中没有引入集中的服务器瓶颈，所有的数据、元数据和目录文件都被分散存储在整个系统中，以提供高性能和好的可扩展性。我们采用了无服务器结构和合作式缓存以提高性能。实现了条块化存储提供聚合带宽。COSMOS是一个典型的机群文件系统，它为用户和今后的研究提供了很好的高性能的平台。 我们用标准的测试程序在基于曙光2000超级服务器系统上的COSMOS平台上进行了几组测试。测试表明，COSMOS文件系统具有很好的系统带宽和整体性能，系统具有良好的可扩展性。文中讨论了影响系统性能和可扩展性的几个关键因素。基于我们的实现经验和测试数据，讨论了现有系统中存在的性能瓶颈并且提出了几项改进的方案。
王建勇[3]1998年在《可扩展的单一映象文件系统》文中提出传统的分布式文件系统不能为机群系统提供严格的单一映象功能，而且由于不能适应计算技术的发展趋势，无法满足应用对机群系统的I／O性能、可扩展性和可用性的需求。曙光超级服务器是典型的机群系统，我们为其研制开发了可扩展的单一映象文件系统COSMOS，并称其原型系统为S2FS。本文主要描述了S2FS的设计、实现及评价。 首先，S2FS是一个全局文件系统，它通过实现位置透明性和严格的UNIX文件共享语义而保证了严格的单一系统映象。我们在不修改AIX操作系统源码的前提下，通过Vnode／VFS层核心扩充，实现了与其底层平台的无缝连接，保证了与UNIX应用程序的完全二进制兼容，验证了虚拟文件系统机制是实现这一目标的一种有效途径。 其次，为了提高S2FS系统的性能和可扩展性，本文对合作式缓存进行了研究和评价。在避免系统死锁的前提下，设计了基于目录的无效使能协议，并证明其保证了缓存一致性。为进一步提高系统性能，提出了双粒度缓存一致性协议，在此基础上设计了启发式缓存管理算法，通过模型分析证明其同目前常用的N-Chance算法相比有了进一步的性能改进。 最后，为了避免单一服务器瓶颈问题，我们为S2FS采用数据存储与元数据管理分开的策略，实现了分布式的数据存储和元数据管理功能。元数据管理服务器除了存储及维护系统元数据(如文件索引节点和超级块)外，还记录了数据缓存位置，并维护合作式缓存的一致性。在存储服务器一端，实现了网络磁盘存储分组功能及软件RAID1模型，底层存储基于可靠的JFS和异步I／O功能，提高了I／O带宽和存储的可用性。 虽然本文在保证系统单一映象和二进制兼容性的基础上，对适合于机群文件系统的可扩展性技术进行了研究，但由于应用对I／O的需求是永无止境的，且其I／O存取特征以及计算技术的发展趋势也在不断发生变化，这一切都为我们未来研制新型的分布式文件系统提出了更大的挑战。
冯军[4]2001年在《机群文件系统性能优化中的关键问题研究》文中提出高性能的机群文件系统是机群I/O的重要研究课题。本文结合曙光3000超级服务器上的COSMOS文件系统,讨论了机群文件系统性能优化中的三个关键问题:客户端缓存,可扩展存储服务和性能评价。论文的引言部分介绍了机群和机群文件系统的概念和特征,以及一些相关研究,并对提高机群文件系统可扩展性的一般方法进行了综述。论文的第二章介绍了工作的背景。论文在第三章讨论客户端缓存。本章重点分析了协作式缓存、缓存一致性等问题,并具体描述了作者为COSMOS设计的弱一致性客户端缓存策略,给出了这种策略的实现和评价。随后,论文在第四章介绍了COSMOS文件系统中的可扩展存储服务方案,包括其采用的分布式存储和控制的体系结构,以及利用多线程和异步I/O来提高存储服务器性能的方法。实测数据表明,这种方案能够带来良好的可扩展性。最后,论文着眼于一般机群文件系统的性能评价上。在第五章,作者建立了采用存储分组的文件系统的读写带宽和聚集带宽的性能评价模型,根据性能评价模型,给出了性能优化的可能途径和方法,并利用COSMOS的实际测试结果,证实了模型的合理性;接着,作者对现有的机群文件系统评价方法提出了一些改进建议;最后给出了一种小文件吞吐率的测试方法,并详细分析了这种方法应用到COSMOS中的开销,以及在COSMOS中实测的结果。
贺劲[5]2002年在《机群文件系统性能与正确性研究》文中提出计算机存储系统,特别是相对慢速的外存储系统一直是影响计算机整体性能的“瓶颈”。目前,机群系统已经逐渐成为超级计算机与超级服务器的主流结构,但外存储系统仍然是它进一步提高性能与可靠性的主要障碍。近年来,随着网络技术的飞速发展,基于机群节点间高速互连网络的机群文件系统已成为解决机群外存储系统问题的有效策略之一。然而在机群系统中,不同类型应用在文件存取性能及语义需求等方面存在较大的差异,如何为具有不同需求的应用提供足够的文件I/O性能,并保证其文件存取操作的正确执行已成为机群文件系统设计的关键问题。本文结合曙光机群文件系统DCFS的设计与实现,对如何有效提高机群文件系统性能、保证应用的正确执行方面进行了较有成效的研究,主要内容包括:以COSMOS文件系统为原型系统,研究了机群文件系统中通信子系统对整体性能的影响;研究了机群文件系统结构优化对元数据操作的性能影响;以支持MPI-IO并行计算为目标,研究了在支持客户端缓存情况下,如何实现文件系统客户端缓存一致性语义的协议。具体研究成果如下:(1)首次提出并发带宽利用率的概念,以量化的方式来评价系统整体效率与服务器外存储子系统及节点间通信机制间的关系,有助于人们更加合理地设计与部署机群文件系统。(2)提出了改善并发带宽利用率的一些策略,在基于曙光3000的机群文件系统原型中,着重研究了通信子系统对并发带宽利用率的影响。在原型系统中应用了基于Myrinet高速交换网络的精简通信协议BCL-3,性能测试的结果表明,相对于使用Ethernet网络与TCP/IP协议的系统,机群文件系统客户节点文件I/O带宽得到了显著提高,系统并发带宽利用率从40%以下提高到了90%左右。(3)提出了FPLS及FPLS+路径解析优化协议,通过调整元数据分布结构以及改进客户节点核心路径解析操作算法,来提高信息服务类应用中大量元数据存取操作性能。模拟实验结果表明,在最佳情况下,新型路径解析协议可将路径查找时间减少到普通路径解析协议所用时间的20.2%。(4)提出了一种可直接操纵文件系统客户端缓存的扩展文件锁协议。这种协议可以使机群文件系统在支持客户端缓存的情况下,能满足并行计算应用接口MPI-IO对底层文件系统的并发共享文件I/O的语义需求。与一些现有系统中的相关实现策略相比,该协议具有简单可靠的优点。
杜聪, 徐志伟[6]2001年在《COSMOS文件系统的性能分析》文中认为COSMOS文件系统提供单一系统映象和严格的 UNIX语义 ,提供与 UNIX文件系统的应用程序二进制兼容 .系统中没有引入集中的服务器瓶颈 ,所有的数据、元数据和目录文件都被分散存储在整个系统中 ,以提供高性能和良好的可扩展性 .测试表明 ,COSMOS文件系统具有很好的系统带宽和整体性能 ,系统具有良好的可扩展性 .文中讨论了影响系统性能和可扩展性的关键因素 .基于作者的实现经验和测试数据 ,讨论了现有系统中存在的性能瓶颈并且提出了改进的方案
吴思宁[7]2004年在《机群文件系统服务器关键技术研究》文中进行了进一步梳理机群文件系统作为缓解机群系统I/O瓶颈问题的手段,需要为机群系统的各类应用提供高性能、可扩展的文件服务,因此对机群文件系统的研究是高性能计算机体系结构研究的重要内容。本文结合曙光机群文件系统DCFS的设计和实现,对机群文件系统设计的关键问题进行了讨论,并针对机群文件系统服务器设计的几个问题进行了研究。本文的主要工作如下:1.本文对机群文件系统的体系结构进行了总结,提出了多文件系统卷的结构,该结构具有可扩展、易管理、灵活的特点;本文对多文件系统卷中存储服务器的网络存储分组的组织形式进行分析,提出了网络存储分组模型,并讨论了影响存储分组读写性能的因素;对元数据服务器的组织和元数据的分布与映射策略进行了讨论,给出了可调粒度的元数据分布策略,使得用户可以根据应用程序的模式灵活选择文件系统卷的元数据分布粒度。2.作者对目录操作中的两个问题进行了研究:(1)元数据目录缓存管理;(2)大目录优化。独立的元数据服务器使设计者可以根据目录缓存的特点设计合理的管理方法,作者通过研究发现,客户端目录缓存和元数据服务器上的LOOKUP目录缓存和READDIR缓存构成了一个多级的目录缓存结构,元数据服务器上的LOOKUP缓存和READDIR缓存表现出了不同的访问特性,作者根据LOOKUP缓存和READDIR目录缓存的特性提出了目录缓存的管理方法,试验表明该方法较采用LRU、LFU和FBR替换算法的缓存管理方法具有更高的缓存命中率。作者和本研究小组成员合作对大目录优化进行了研究,提出了LMEH动态HASH的目录管理算法,在DCFS上的试验表明,对于大目录下的元数据吞吐率性能,该方法较线性的目录管理算法平均提高了1.97倍。3.作者结合DCFS元数据分布策略和元数据缓存管理设计了元数据一致性协议,该协议保证了元数据一致性,分析表明其开销是可以接收的。4.在曙光4000L上设计并实现曙光机群文件系统DCFS,给出了机群文件系统性能评价的方法,定义了读写带宽性能和元数据吞吐率的可扩展性度量。在曙光4000L上的测试表明,DCFS与类似结构的PVFS文件系统相比,在读写性能上,DCFS除了在小文件最高读带宽性能上比PVFS差19%,在其余情况下DCFS的最高聚合读写性能优于PVFS,平均高44.4%;DCFS元数据吞吐率的性能平均比PVFS高6.391倍;DCFS在综合负载测试中表现出比PVFS更好的性能,全局响应时间为PVFS的18.2%。
参考文献：
[1]. 曙光2000单一系统映象文件系统COSMOS操作系统相关层的设计和实现[D]. 马森. 中国科学院研究生院（计算技术研究所）. 1997
[2]. 机群文件系统的实现、评测与分析[D]. 杜聪. 中国科学院研究生院（计算技术研究所）. 2000
[3]. 可扩展的单一映象文件系统[D]. 王建勇. 中国科学院研究生院（计算技术研究所）. 1998
[4]. 机群文件系统性能优化中的关键问题研究[D]. 冯军. 中国科学院研究生院（计算技术研究所）. 2001
[5]. 机群文件系统性能与正确性研究[D]. 贺劲. 中国科学院研究生院（计算技术研究所）. 2002
[6]. COSMOS文件系统的性能分析[J]. 杜聪, 徐志伟. 计算机学报. 2001
[7]. 机群文件系统服务器关键技术研究[D]. 吴思宁. 中国科学院研究生院（计算技术研究所）. 2004
标签：计算机硬件技术论文; 元数据论文; 存储服务器论文; 服务器类型论文; 可扩展性论文; 文件目录论文; cosmos论文;