吴思宁[1]2004年在《机群文件系统服务器关键技术研究》文中进行了进一步梳理机群文件系统作为缓解机群系统I/O瓶颈问题的手段,需要为机群系统的各类应用提供高性能、可扩展的文件服务,因此对机群文件系统的研究是高性能计算机体系结构研究的重要内容。本文结合曙光机群文件系统DCFS的设计和实现,对机群文件系统设计的关键问题进行了讨论,并针对机群文件系统服务器设计的几个问题进行了研究。本文的主要工作如下:1.本文对机群文件系统的体系结构进行了总结,提出了多文件系统卷的结构,该结构具有可扩展、易管理、灵活的特点;本文对多文件系统卷中存储服务器的网络存储分组的组织形式进行分析,提出了网络存储分组模型,并讨论了影响存储分组读写性能的因素;对元数据服务器的组织和元数据的分布与映射策略进行了讨论,给出了可调粒度的元数据分布策略,使得用户可以根据应用程序的模式灵活选择文件系统卷的元数据分布粒度。2.作者对目录操作中的两个问题进行了研究:(1)元数据目录缓存管理;(2)大目录优化。独立的元数据服务器使设计者可以根据目录缓存的特点设计合理的管理方法,作者通过研究发现,客户端目录缓存和元数据服务器上的LOOKUP目录缓存和READDIR缓存构成了一个多级的目录缓存结构,元数据服务器上的LOOKUP缓存和READDIR缓存表现出了不同的访问特性,作者根据LOOKUP缓存和READDIR目录缓存的特性提出了目录缓存的管理方法,试验表明该方法较采用LRU、LFU和FBR替换算法的缓存管理方法具有更高的缓存命中率。作者和本研究小组成员合作对大目录优化进行了研究,提出了LMEH动态HASH的目录管理算法,在DCFS上的试验表明,对于大目录下的元数据吞吐率性能,该方法较线性的目录管理算法平均提高了1.97倍。3.作者结合DCFS元数据分布策略和元数据缓存管理设计了元数据一致性协议,该协议保证了元数据一致性,分析表明其开销是可以接收的。4.在曙光4000L上设计并实现曙光机群文件系统DCFS,给出了机群文件系统性能评价的方法,定义了读写带宽性能和元数据吞吐率的可扩展性度量。在曙光4000L上的测试表明,DCFS与类似结构的PVFS文件系统相比,在读写性能上,DCFS除了在小文件最高读带宽性能上比PVFS差19%,在其余情况下DCFS的最高聚合读写性能优于PVFS,平均高44.4%;DCFS元数据吞吐率的性能平均比PVFS高6.391倍;DCFS在综合负载测试中表现出比PVFS更好的性能,全局响应时间为PVFS的18.2%。
熊劲[2]2006年在《大规模机群文件系统的关键技术研究》文中进行了进一步梳理机群结构已成为高性能计算机的主流结构。高端计算应用对机群I/O系统提出了挑战性的需求。随着CPU处理能力和通信速度的迅速提高,I/O成为制约机群实际效率发挥的瓶颈,I/O瓶颈问题是当前机群面临的一大难题。机群文件系统作为解决机群I/O瓶颈的核心技术,其研究具有重要的意义。面向大规模机群的机群文件系统的体系结构应该是多数据通路多元数据通路的,即元数据处理与文件I/O分离,利用大规模网络存储系统来提供多条数据I/O通路,利用一组元数据服务器来提供多条元数据I/O通路。针对这种结构的机群文件系统,我们研究了其中的几个关键问题,包括元数据的分布问题,元数据的一致性和快速故障恢复问题,以及PB级机群文件系统的相关问题。本文的主要贡献在于:(1)提出一种高效的大存储空间的管理策略——Bitmap-Extent混合策略。针对PB级机群文件系统,打破了传统文件系统基于一个块设备的限制,提出将机群文件系统与物理存储分离的一种逻辑空间策略,从而解决了文件系统容量受限问题和存储扩展问题等;而且针对PB级存储空间管理,提出一种基于位图与extent链表相结合的大规模存储空间管理机制,以提高存储空间的管理效率。(2)提出一种基于粒度的动态元数据分布策略。元数据分布问题是决定非集中式元数据处理性能的关键问题。我们提出的基于粒度的动态元数据分布策略以提高元数据处理整体性能为目标,综合考虑元数据分布均衡度和文件系统层次结构关系两个因素对元数据处理整体性能的影响,按照D-D-F粒度来划分名字空间和分布元数据,实验结果表明在模拟真实环境的负载下其性能优于动态随机分布策略和动态根子树分布策略。(3)提出一种基于简化的两阶段提交协议的、故障后可快速恢复元数据一致性的分布式元数据处理协议。元数据一致性问题是影响分布式元数据管理的可靠性和高可用性的关键问题。为了解决元数据服务器之间的元数据一致性问题,我们将两阶段提交协议与元数据的处理协议结合起来,提出一种基于简化的两阶段提交协议的分布式元数据处理协议,在元数据服务器失效或客户节点失效时,能够快速恢复文件系统的元数据一致性,保证文件系统的可用性。(4)设计和实现了面向多用户多任务环境的、支持大规模机群系统的、面向海量数据存储的机群文件系统DCFS2。在机群文件系统性能评价方面,提出从峰值性能、稳定性能、系统规模扩展性、元数据服务器扩展性、存储设备扩展性和存储I/O带宽利用率六个性能评价指标。并用这六个指标对DCFS2的性能进行全面评价。我们的结果表明,DCFS2能够获得比GFS等文件系统更高的聚合I/O带宽和聚合元数据处理性能。
吴思宁, 贺劲, 熊劲, 孟丹[3]2003年在《DCFS机群文件系统服务器组关键技术研究》文中研究指明在客户机/元数据服务器/存储服务器结构的机群文件系统中,元数据服务器和存储服务器的设计和实现对整个机群文件系统的性能有重要的影响。文章给出了曙光LINUX超级服务器机群文件系统DCFS元数据服务器和存储服务器的设计和实现的方法,测试结果表明DCFS机群文件系统服务器组的设计是可行的。
李晖[4]2005年在《基于日志的机群文件系统高可用关键技术研究》文中研究说明近年来机群系统以其低成本、高性能而逐渐成为高性能计算的主流平台。作为解决机群系统外存储瓶颈上的有效手段的机群文件系统因此得到了很大的发展。一个机群文件系统必须要满足机群计算环境的需要,为应用提供高性能、可扩展、高可用的文件服务。由于机群文件系统本身结构复杂,实现复杂而且整个系统规模很大,这些因素就决定了对高可用技术的依赖。本文将研究基于日志的机群文件系统高可用的关键问题以及解决策略,同时给出了一些评价方法以及具体的评测结果。具体内容以及研究成果如下:(1)研究了基于日志的机群文件系统高可用技术的关键问题。本文分析了不同类型的机群文件系统的高可用需求以及高可用技术,对机群文件系统高可用相关的概念进行了介绍,描述了机群文件系统高可用领域的研究内容,并在分析的基础上提出了基于日志的机群文件系统高可用技术,分析了其中的关键问题,给出了相应的解决策略,并对其正确性和完备性给予了证明。(2)实现了DCFS2机群文件系统高可用模块。作为文中策略的一个实际应用,本文给出了DCFS2机群文件系统高可用的设计与实现技术,给出了系统中利用日志来保证机群文件系统一致性的方法。主要内容包括:以DCFS2机群文件系统为原型系统,研究了单一以及多个元数据服务器下如何使用日志来保证文件系统的一致性;研究了机群文件系统日志对元数据操作的性能影响;研究了客户端的高可用问题。(3)提出了机群文件系统高可用性的分级的定义。机群文件系统的高可用性的高低一直缺乏有效的定性或定量的分析方法,由于软件系统不能象硬件系统那样进行定量分析,我们根据机群文件系统的应用模式,将影响机群文件系统高可用性的因素进行分析,以机群文件系统的故障因素和恢复目标因素为线索,采用分级的方法对机群文件系统高可用性进行了定义,提出了机群文件系统高可用性的分级的定义。(4)对基于日志的高可用技术进行了评价。目前在高可用技术的评价上尚没有完善的评价体系,本文从功能性,正确性,性能,恢复时间等多个方面对基于日志的高可用技术进行了评价,并给出了各种情况下的具体的测试结果。文中还讨论了下一步的研究方向,包括多节点故障恢复等方面。
贺劲[5]2002年在《机群文件系统性能与正确性研究》文中认为计算机存储系统,特别是相对慢速的外存储系统一直是影响计算机整体性能的“瓶颈”。目前,机群系统已经逐渐成为超级计算机与超级服务器的主流结构,但外存储系统仍然是它进一步提高性能与可靠性的主要障碍。近年来,随着网络技术的飞速发展,基于机群节点间高速互连网络的机群文件系统已成为解决机群外存储系统问题的有效策略之一。然而在机群系统中,不同类型应用在文件存取性能及语义需求等方面存在较大的差异,如何为具有不同需求的应用提供足够的文件I/O性能,并保证其文件存取操作的正确执行已成为机群文件系统设计的关键问题。本文结合曙光机群文件系统DCFS的设计与实现,对如何有效提高机群文件系统性能、保证应用的正确执行方面进行了较有成效的研究,主要内容包括:以COSMOS文件系统为原型系统,研究了机群文件系统中通信子系统对整体性能的影响;研究了机群文件系统结构优化对元数据操作的性能影响;以支持MPI-IO并行计算为目标,研究了在支持客户端缓存情况下,如何实现文件系统客户端缓存一致性语义的协议。具体研究成果如下:(1)首次提出并发带宽利用率的概念,以量化的方式来评价系统整体效率与服务器外存储子系统及节点间通信机制间的关系,有助于人们更加合理地设计与部署机群文件系统。(2)提出了改善并发带宽利用率的一些策略,在基于曙光3000的机群文件系统原型中,着重研究了通信子系统对并发带宽利用率的影响。在原型系统中应用了基于Myrinet高速交换网络的精简通信协议BCL-3,性能测试的结果表明,相对于使用Ethernet网络与TCP/IP协议的系统,机群文件系统客户节点文件I/O带宽得到了显着提高,系统并发带宽利用率从40%以下提高到了90%左右。(3)提出了FPLS及FPLS+路径解析优化协议,通过调整元数据分布结构以及改进客户节点核心路径解析操作算法,来提高信息服务类应用中大量元数据存取操作性能。模拟实验结果表明,在最佳情况下,新型路径解析协议可将路径查找时间减少到普通路径解析协议所用时间的20.2%。(4)提出了一种可直接操纵文件系统客户端缓存的扩展文件锁协议。这种协议可以使机群文件系统在支持客户端缓存的情况下,能满足并行计算应用接口MPI-IO对底层文件系统的并发共享文件I/O的语义需求。与一些现有系统中的相关实现策略相比,该协议具有简单可靠的优点。
王建勇[6]1998年在《可扩展的单一映象文件系统》文中研究指明传统的分布式文件系统不能为机群系统提供严格的单一映象功能，而且由于不能适应计算技术的发展趋势，无法满足应用对机群系统的I／O性能、可扩展性和可用性的需求。曙光超级服务器是典型的机群系统，我们为其研制开发了可扩展的单一映象文件系统COSMOS，并称其原型系统为S2FS。本文主要描述了S2FS的设计、实现及评价。 首先，S2FS是一个全局文件系统，它通过实现位置透明性和严格的UNIX文件共享语义而保证了严格的单一系统映象。我们在不修改AIX操作系统源码的前提下，通过Vnode／VFS层核心扩充，实现了与其底层平台的无缝连接，保证了与UNIX应用程序的完全二进制兼容，验证了虚拟文件系统机制是实现这一目标的一种有效途径。 其次，为了提高S2FS系统的性能和可扩展性，本文对合作式缓存进行了研究和评价。在避免系统死锁的前提下，设计了基于目录的无效使能协议，并证明其保证了缓存一致性。为进一步提高系统性能，提出了双粒度缓存一致性协议，在此基础上设计了启发式缓存管理算法，通过模型分析证明其同目前常用的N-Chance算法相比有了进一步的性能改进。 最后，为了避免单一服务器瓶颈问题，我们为S2FS采用数据存储与元数据管理分开的策略，实现了分布式的数据存储和元数据管理功能。元数据管理服务器除了存储及维护系统元数据(如文件索引节点和超级块)外，还记录了数据缓存位置，并维护合作式缓存的一致性。在存储服务器一端，实现了网络磁盘存储分组功能及软件RAID1模型，底层存储基于可靠的JFS和异步I／O功能，提高了I／O带宽和存储的可用性。 虽然本文在保证系统单一映象和二进制兼容性的基础上，对适合于机群文件系统的可扩展性技术进行了研究，但由于应用对I／O的需求是永无止境的，且其I／O存取特征以及计算技术的发展趋势也在不断发生变化，这一切都为我们未来研制新型的分布式文件系统提出了更大的挑战。
栾亚建[7]2010年在《分布式文件系统元数据管理研究与优化》文中提出虽然传统存储设备的性能和容量在过去几十年得到极大的发展,但是赶不上如今数据的增长速度,传统存储设备难以满足现有应用的需求。分布式文件系统对外提供大容量存储的统一接口,本文分析GPFS、Lustre和GFS等主流分布式文件系统,从性能、容量和扩展性等方面分析这些系统架构优势和不足。分布式文件系统的数据分散存放在各个存储节点,所有数据的访问需要借助元数据定位来完成,元数据管理成为文件系统的一个关键技术,本文分析各种元数据管理技术,提出一整体元数据管理优化方案。HDFS文件系统将所有元数据信息存放在元数据服务器内存中,首先,随着系统文件数量和容量的不断增加,单点的元数据服务器成为整个系统性能瓶颈。其次,元数据服务器的内存大小也影响系统扩展性,限制整个系统可以处理文件总量。为了使文件系统能够存储更多更大的文件,本文借鉴本地文件系统,在HDFS文件系统上提出并实现两层元数据管理系统。该元数据管理系统主要由主元数据服务器、从元数据服务器和DB Server组成。主元数据服务器负责对外处理客户端、数据存储服务器、主元数据服务器请求,同时将元数据信息同步到DB Server。DB Server负责持久化存储文件系统的元数据信息,响应主元数据服务器同步请求。当主元数据服务器失效后,对主元数据服务器的请求可以迁移到从元数据服务器上。元数据处理是整个文件系统重要组成部分,元数据处理性能影响整个系统性能。元数据缓存可以大大减少元数据服务器和DB Server的交互,减少系统响应时间,提高系统性能,因此元数据缓存是整个系统的必要组成部分。如何管理协调多级别、多个位置的元数据缓存是另一个关键技术。最后,本文对改进前后的HDFS文件系统进行了完整的测试,实验数据表明,本文设计并实现的元数据管理系统可以在有限、可接受范围的性能损失下,极大的提高整个系统可以存储处理文件数目,增加系统整体容量,增强系统容错性。
黄华[8]2005年在《蓝鲸分布式文件系统的资源管理》文中研究表明当前，高性能计算机得到了空前发展，特别是机群结构的超级计算机已经占据了TOP500中半数以上的份额。同时，随着信息技术的发展，越来越多的信息以数字化形式保存，存储子系统已经成为计算机系统中最重要的部分。然而由于外部存储设备受到机械部件的制约，其数据传输性能的提高远远落后于CPU运算能力的提高，造成存储子系统成为整个计算环境的瓶颈。与采用机群结构的高性能计算机系统类似，存储子系统的机群化将为解决数据传输能力的落后面貌提供一个可行的方案。 受国家“八六叁”计划重点支持的“蓝鲸”大规模网络存储系统致力于解决高性能计算环境中的存储子系统的瓶颈问题。它借助于高性能计算机网络，管理多个存储节点组成的存储机群，充分利用它们的存储空间和并发数据传输能力，实现高性能、低成本的海量存储。蓝鲸分布式文件系统(BWFS)是蓝鲸大规模网络存储系统的核心系统软件，它向用户提供单一映象的、全局共享的分布式文件系统服务。 本文结合BWFS的设计与实现，对其资源管理做了较深入的研究，提出了分布式分层资源管理模型，以及该模型在BWFS实现中的相关技术。主要研究成果如下： (1)BWFS的分布式分层资源管理模型(Distributed Layered Resource Management Model)。DLRM模型根据相对于资源的角色，将系统划分成多个功能独立的模块，实现分布部署：同时将它们划分成多个层次，有利于系统的实现与优化。DLRM模型确定了BWFS的“带外”数据传输架构，将负载和存储分担到多个节点组成的机群上，实现并发管理和并发数据传输，因此奠定了系统强大可扩展性，为系统实现负载平衡、在线迁移等提供了可能。 (2)高效的物理存储空间管理。DLRM模型将海量存储空间统一编址，然后划分成多个独立的资源组，并发管理各个资源组的存储空间，提高系统的性能与可扩展性。资源组采用的数据块／索引节点的动态分配、带统计信息的动态位图等技术使得BWFS具有高效率的空间管理能力。 (3)全动态元数据绑定技术。BWFS的活跃元数据采用全动态任意绑定技术，可以实现动态负载平衡，提高系统的性能和可扩展性。 (4)文件系统的资源管理优化。元数据服务器管理BWFS的元数据，实现资源批量申请／异步释放、分片存储(striping)、按策略的资源分配、分布式日志等技术。 (5)针对BWFS的性能测试、分析与对比。通过这些测试，验证了DLRM模型以及以上技术的有效性，对比分析显示BWFS在多方面的性能较NFS有显着提高；同时，也发现了系统的一些弱点，对以后进一步优化有参加价值和借鉴意义。
吴钟琴[9]2007年在《基于Linux/UNIX的机群监控系统的关键技术的研究与实现》文中进行了进一步梳理迅速发展的PC机、工作站和高速网络系统，使高性能超级计算机从高端大型机向计算机机群发展。但是，机群系统因其结构松散、节点独立性强等原因会导致维护困难。国际上流行的方式是在节点机的操作系统之上建立一层机群管理系统。机群监控系统是机群管理系统中的重要组成部分，其基本任务是监控机群系统的各个性能指标，在系统发生异常时提供报警／预警信息。国内外已有机群监控系统虽具有丰富的功能和良好的性能，但仍存在普遍的不足：(1)大部分机群监控系统采用C／S架构，在节点软件发生异常时，监控系统将无法获取该节点的监控信息；(2)未充分利用监控信息预测系统的异常；(3)在无人值守的情况下，在某个节点发生异常时，虽然有些监控系统已提供电子邮件或短消息报警功能，但无法判断系统管理员是否已收到报警信息。作者在对现有几个典型机群监控系统研究分析的基础上，设计了基于C／M／S的叁层通信模型和半异步通信协议，对机群监控系统进行了总体设计，并实现了数据采集器、流数据挖掘器和短消息收发器等模块，从而实现了基于Linux／UNIX的机群监控系统ACMS(Automatic Cluster Monitoring System)。本文的主要特色和创新之处为：(1)通过实现Telnet协议，可获得与服务器端软件失效的节点的通信，并采集该节点的监控信息。(2)提出了将流数据挖掘技术应用于机群监控系统中，设计了流数据挖掘算法，用以预测机群系统将来时间可能发生的异常和发生异常的概率，并根据预测结果进行预警。(3)设计了短消息报警／预警系统和系统管理员之间的人机交互协议，使监控系统在无人值守时具有判断系统管理员是否获悉报警／预警信息的功能，并且具有重发短消息的功能，从而提高了报警／预警系统的可靠性。本文对ACMS的主要模块——数据采集器、流数据挖掘器和短消息收发器进行了测试，验证了它们的可行性和功能。ACMS中的各模块实现了预定的功能，弥补了现有机群监控系统存在的几个不足之处，提高了机群监控系统的可靠性，使其向智能化方向迈进。本文研究实现的ACMS已首次运行于对上海华虹集团计通智能卡系统有限公司所研发和维护的上海轨道交通3号线、4号线和5号线的AFC(自动售检票)系统的中央计算机系统服务器的监控上。其中用于预警的流数据挖掘模块需要大量真实数据进行反复测试和验证，因此还处于测试阶段。运行实践表明，ACMS性能稳定，能可靠地实现监控报警功能。
冯军[10]2001年在《机群文件系统性能优化中的关键问题研究》文中研究指明高性能的机群文件系统是机群I/O的重要研究课题。本文结合曙光3000超级服务器上的COSMOS文件系统,讨论了机群文件系统性能优化中的叁个关键问题:客户端缓存,可扩展存储服务和性能评价。论文的引言部分介绍了机群和机群文件系统的概念和特征,以及一些相关研究,并对提高机群文件系统可扩展性的一般方法进行了综述。论文的第二章介绍了工作的背景。论文在第叁章讨论客户端缓存。本章重点分析了协作式缓存、缓存一致性等问题,并具体描述了作者为COSMOS设计的弱一致性客户端缓存策略,给出了这种策略的实现和评价。随后,论文在第四章介绍了COSMOS文件系统中的可扩展存储服务方案,包括其采用的分布式存储和控制的体系结构,以及利用多线程和异步I/O来提高存储服务器性能的方法。实测数据表明,这种方案能够带来良好的可扩展性。最后,论文着眼于一般机群文件系统的性能评价上。在第五章,作者建立了采用存储分组的文件系统的读写带宽和聚集带宽的性能评价模型,根据性能评价模型,给出了性能优化的可能途径和方法,并利用COSMOS的实际测试结果,证实了模型的合理性;接着,作者对现有的机群文件系统评价方法提出了一些改进建议;最后给出了一种小文件吞吐率的测试方法,并详细分析了这种方法应用到COSMOS中的开销,以及在COSMOS中实测的结果。
参考文献：
[1]. 机群文件系统服务器关键技术研究[D]. 吴思宁. 中国科学院研究生院（计算技术研究所）. 2004
[2]. 大规模机群文件系统的关键技术研究[D]. 熊劲. 中国科学院研究生院（计算技术研究所）. 2006
[3]. DCFS机群文件系统服务器组关键技术研究[J]. 吴思宁, 贺劲, 熊劲, 孟丹. 微电子学与计算机. 2003
[4]. 基于日志的机群文件系统高可用关键技术研究[D]. 李晖. 中国科学院研究生院（计算技术研究所）. 2005
[5]. 机群文件系统性能与正确性研究[D]. 贺劲. 中国科学院研究生院（计算技术研究所）. 2002
[6]. 可扩展的单一映象文件系统[D]. 王建勇. 中国科学院研究生院（计算技术研究所）. 1998
[7]. 分布式文件系统元数据管理研究与优化[D]. 栾亚建. 华南理工大学. 2010
[8]. 蓝鲸分布式文件系统的资源管理[D]. 黄华. 中国科学院研究生院（计算技术研究所）. 2005
[9]. 基于Linux/UNIX的机群监控系统的关键技术的研究与实现[D]. 吴钟琴. 华东师范大学. 2007
[10]. 机群文件系统性能优化中的关键问题研究[D]. 冯军. 中国科学院研究生院（计算技术研究所）. 2001
标签：计算机硬件技术论文; 元数据论文; 分布式文件系统论文; 存储服务器论文; 分布式存储系统论文; 服务器类型论文; 节点服务器论文; 客户端服务器论文; 分布式缓存论文; 分布式技术论文; 高可用论文; 分布式架构论文; 分布式处理论文; 测试模型论文; 分布式部署论文; 系统日志论文; 文件目录论文; 功能分析论文; 功能测试论文; 数据管理论文; linux文件系统论文;