杜聪[1]2000年在《机群文件系统的实现、评测与分析》文中指出机群文件系统的设计对于建造一个用商品化部件构成的通用的机群系统是非常重要的。曙光2000是一个典型的采用机群体系结构，用商品化的工作站建造的超级服务器。为了满足科学计算，工程计算，网络Internet和Intranet服务，I／O密集性的商用数据库和多媒体应用的需要，我们为曙光2000超级服务器设计和实现了高性能的机群文件系统——COSMOS。 本文介绍了曙光2000机群的基本结构，讨论了COSMOS文件系统的基本特征和实现方法。COSMOS文件系统提供位置透明性和严格的UNIX语义，提供了与UNIX文件系统的应用程序二进制兼容。系统中没有引入集中的服务器瓶颈，所有的数据、元数据和目录文件都被分散存储在整个系统中，以提供高性能和好的可扩展性。我们采用了无服务器结构和合作式缓存以提高性能。实现了条块化存储提供聚合带宽。COSMOS是一个典型的机群文件系统，它为用户和今后的研究提供了很好的高性能的平台。 我们用标准的测试程序在基于曙光2000超级服务器系统上的COSMOS平台上进行了几组测试。测试表明，COSMOS文件系统具有很好的系统带宽和整体性能，系统具有良好的可扩展性。文中讨论了影响系统性能和可扩展性的几个关键因素。基于我们的实现经验和测试数据，讨论了现有系统中存在的性能瓶颈并且提出了几项改进的方案。
李晖[2]2005年在《基于日志的机群文件系统高可用关键技术研究》文中研究表明近年来机群系统以其低成本、高性能而逐渐成为高性能计算的主流平台。作为解决机群系统外存储瓶颈上的有效手段的机群文件系统因此得到了很大的发展。一个机群文件系统必须要满足机群计算环境的需要,为应用提供高性能、可扩展、高可用的文件服务。由于机群文件系统本身结构复杂,实现复杂而且整个系统规模很大,这些因素就决定了对高可用技术的依赖。本文将研究基于日志的机群文件系统高可用的关键问题以及解决策略,同时给出了一些评价方法以及具体的评测结果。具体内容以及研究成果如下:(1)研究了基于日志的机群文件系统高可用技术的关键问题。本文分析了不同类型的机群文件系统的高可用需求以及高可用技术,对机群文件系统高可用相关的概念进行了介绍,描述了机群文件系统高可用领域的研究内容,并在分析的基础上提出了基于日志的机群文件系统高可用技术,分析了其中的关键问题,给出了相应的解决策略,并对其正确性和完备性给予了证明。(2)实现了DCFS2机群文件系统高可用模块。作为文中策略的一个实际应用,本文给出了DCFS2机群文件系统高可用的设计与实现技术,给出了系统中利用日志来保证机群文件系统一致性的方法。主要内容包括:以DCFS2机群文件系统为原型系统,研究了单一以及多个元数据服务器下如何使用日志来保证文件系统的一致性;研究了机群文件系统日志对元数据操作的性能影响;研究了客户端的高可用问题。(3)提出了机群文件系统高可用性的分级的定义。机群文件系统的高可用性的高低一直缺乏有效的定性或定量的分析方法,由于软件系统不能象硬件系统那样进行定量分析,我们根据机群文件系统的应用模式,将影响机群文件系统高可用性的因素进行分析,以机群文件系统的故障因素和恢复目标因素为线索,采用分级的方法对机群文件系统高可用性进行了定义,提出了机群文件系统高可用性的分级的定义。(4)对基于日志的高可用技术进行了评价。目前在高可用技术的评价上尚没有完善的评价体系,本文从功能性,正确性,性能,恢复时间等多个方面对基于日志的高可用技术进行了评价,并给出了各种情况下的具体的测试结果。文中还讨论了下一步的研究方向,包括多节点故障恢复等方面。
胡风华[3]2004年在《基于以太网的存储系统研究》文中研究说明计算机硬件技术不断发展,计算机系统结构也随之发生了巨大改变。计算机系统的中心正在逐步由传统的CPU,内存和网络向存储系统转移。网络存储系统适应这种要求得到迅速发展。特别是基于以太网的存储系统的出现,使得网络存储系统的大规模普及成为可能。机群系统是当今并行计算的主流结构,在机群系统中通常采用基于SAN架构的网络存储子系统。由于SAN的总拥有成本过高,阻碍了机群系统的普及。因此研究机群环境下的以太网存储系统具有现实意义。当前的以太网存储系统主要是基于TCP传输协议的iSCSI系统,通过对TCP上的软件iSCSI系统性能的测试和分析,我们发现,TCP传输协议无法很好地适应存储系统应用的特殊需求,使得iSCSI系统传输带宽较低,CPU资源占用较多。传输协议开销过高导致iSCSI系统性能的降低,因此改善传输协议性能有助于提高iSCSI存储系统性能。为了提高iSCSI传输性能,本文提出了一种新的传输协议HSP。针对以太网环境下的iSCSI存储系统,HSP协议精简了协议层次,直接使用数据链路层提供的服务来发送数据。它使用基于数据组窗口的流量控制方式,使得其可以在一次传输中发送更多的数据。它使用基于定时器的确认和数据包重传,以及定时器的动态调整机制,使得其能有效的防止网络拥塞的发生,使用正向确认和选择性确认使得系统能获得更高的带宽利用率。HSP协议还提供包括身份认证和数据加密的安全机制。CPN作为一种模型工具,广泛应用在分布式系统,并发系统,以及协议的描述与验证中。为了校验HSP协议的数据传输正确性,我们使用了CPN作为描述HSP数据传输的工具。在使用CPN对HSP数据传输过程建立模型后,我们也使用了软件工具对该模型进行了校验,结果表明,HSP能正确地传输数据。通过分析Linux操作系统的网络子系统体系结构,我们给出了HSP协议实现的方法,并在Linux上成功地实现了HSP协议。我们对HSP协议实现进行了初步的性能测试和分析,通过与TCP的比较,结果表明HSP协议在网络存储这种大数据量传输的环境下,其性能优于TCP,其网络物理带宽利用率超过90%。同时我们在HSP传输协议上运行iSCSI软件,并对其进行了性能测试,测试结果显示,其性能超过了在TCP上运行的性能。基于HSP传输协议,我们提出了一种适合机群系统的以太网存储系统。在一个高速的吉比特以太网环境下,连接了多台存储服务器,它们组成一个小型机群系统。这些存储服务器都连接了大容量的磁盘设备,存储服务器通过HSP传输协议和iSCSI将本地硬盘输出给其他存储服务器成为一个可共享的网络磁盘设备,将所有这些网络磁盘设备使用逻辑卷组织成一个单一的虚拟磁盘设备。在虚拟磁盘设备上构建具有全局单一映象的机群文件系统。通过网络文件系统,将机群文件系统输出给外部使用。这种以太网存储系统具有成本低廉,高可扩展,易管理等特点,不仅适合于作为机群系统的存储子系统,也可应用在许多其它领域。
李璘来[4]2009年在《基于MPI的高性能并行FTP服务器群（PFTP）的研究和实现》文中进行了进一步梳理随着科学技术的飞速发展,需要处理的数据量与日俱增,通过提高单个处理器的运算速度和采用传统的串行计算技术已不能高效地处理复杂任务,并行计算技术应运而生。FTP是Internet上广泛应用的一种服务,在企事业单位或教学科研单位内部,该服务较多地由中心服务器提供。因此,传输速率不高、过分依赖中心服务器性能等问题逐渐显现出来。本文将并行计算理论应用到传统的FTP系统中,构建了一个并行文件传输服务器集群系统模型,该系统通过增加服务器结点的数量来增加带宽和同时访问连接数,并对这些服务器结点进行集中控制和管理,以确保整个系统中对用户是透明的,多台服务器节点并行地传输同一个文件的不同块,因而既增大了系统带宽又提高了文件传输速度。基于这种思想的并行文件传输服务器群,可以有效地解决现有FTP系统存在的问题。本文在介绍了并行及并行计算的相关技术,分析和研究了国内外并行计算的现状和不足的基础上,描述了并行计算环境的搭建,从流程和功能的角度详细阐述了服务器端、客户端以及监控系统的设计与实现,说明了利用MPI (Message Passing Interface)、COM/ActiveX和面向缓存等技术实现系统的技术细节。监控系统的性能测试结果表明,本文提出的PFTP集群系统通过充分利用可用资源,以低于单个文件大小的文件块为基本单位完成负载均衡,主从服务器节点通过并行I/O方式完成文件传输服务等方式,实现了服务器总带宽和性能与结点数目成正比关系,达到了以低成本、高性能提供FTP服务的目标。
张建[5]2011年在《并行计算机群的建设与管理》文中进行了进一步梳理本文主要研究了基于Linux的并行计算机群的建设、机群性能测试与调优以及机群的半自动化管理方法。探讨了建设并行计算机群所涉及的关键设备,对机群的软硬件组成以及建设机群的一般步骤进行了介绍。通过shell脚本编程实现了一个半自动化的机群辅助管理工具,可以实现对机群中的用户管理、文件管理、共享存储管理、系统服务管理以及网络连通性测试等功能。探讨了实现机群监控的五种技术方式,重点介绍了通过/proc虚拟文件系统实现机群监控的原理,并通过C语言编程实现了对/proc目录中与系统运行状态相关的数据的采集。最后对并行计算机群在各领域的应用,以及各领域所涉及的专业应用软件的特点进行了简单介绍。本文中的半自动化管理工具已应用于实际项目,对机群的优化方法也在实际机群系统中做过测试,明显提高了机群的易管理性并充分发挥了机群的整体性能。
朱军峰[6]2003年在《基于ServerScope平台TPCW性能评价》文中认为随着电子商务以及INTERNET技术的日益成熟，电子商务网站已经对人们的生活产生了巨大的影响，人们对电子商务网站服务质量也越来越关注，而支撑整个电子商务网站的后台Web服务器的性能自然而然地成为了人们关注的重中之重，由此人们研究了很多优化Web服务器性能的方法，也提出了很多评测和分析Web服务器性能的方法。 在系统性能评价方面，SPEC和TPC是两个著名的性能评测组织，它们制定的各种基准程序被广为使用，而且几乎所有知名的服务器厂商和软件厂商都是它们的成员。这些基准程序已经成为了事实上的标准，其中一个重要原因就是它们已经成为厂商之间相互进行性能比较的标准。TPC系列基准是现在流行的商业基准组，主要服务器和数据库供应商都派代表加入了这一组织。SPEC则强调开发实际应用基准程序，以求更准确地反映实际工作负载。也就是说，这些基准程序是面向厂商的，各家厂商借助这些标准不断追求着更高的性能指标。而这些指标却与用户实际相差甚远，不能为用户提供贴切的服务。 我们提出的性能评测系统(ServerScope)，希望建立起一套面向用户的，旨在追求用户实际性能的评测方法和评测系统，可以针对不同应用、不同软硬件配置进行性能监控、评价和优化，对用户使用的系统提出性能上的建议。另外，能够根据评测系统的实际情况抽取、建立一定的理论模型，对系统的性能进行预测。 我们的主要工作是建立了一个通用的计算机系统性能评测平台ServerScope，四少l!大学硕士学位论文并且基于Serverscope性能评测系统进行TpC一(Transaet ion proeessingPerformance Coune 11@W)的评测，使用Serverscope提供的数据监控服务来监控被测系统的性能，分析和优化电子商务Web服务器的性能。 曙光3000超级服务器是国产超级服务器的代表。在评测的过程中，我们提出了一种Web服务器性能评测以及提高其性能的从上而下的优化方法。这些测试也说明了曙光3000服务器的一个服务结点即可满足现有中小型商业应用，为曙光3000超级服务器进入国内商业领域提供了性能数值上的依据。
熊劲[7]2006年在《大规模机群文件系统的关键技术研究》文中研究指明机群结构已成为高性能计算机的主流结构。高端计算应用对机群I/O系统提出了挑战性的需求。随着CPU处理能力和通信速度的迅速提高,I/O成为制约机群实际效率发挥的瓶颈,I/O瓶颈问题是当前机群面临的一大难题。机群文件系统作为解决机群I/O瓶颈的核心技术,其研究具有重要的意义。面向大规模机群的机群文件系统的体系结构应该是多数据通路多元数据通路的,即元数据处理与文件I/O分离,利用大规模网络存储系统来提供多条数据I/O通路,利用一组元数据服务器来提供多条元数据I/O通路。针对这种结构的机群文件系统,我们研究了其中的几个关键问题,包括元数据的分布问题,元数据的一致性和快速故障恢复问题,以及PB级机群文件系统的相关问题。本文的主要贡献在于:(1)提出一种高效的大存储空间的管理策略——Bitmap-Extent混合策略。针对PB级机群文件系统,打破了传统文件系统基于一个块设备的限制,提出将机群文件系统与物理存储分离的一种逻辑空间策略,从而解决了文件系统容量受限问题和存储扩展问题等;而且针对PB级存储空间管理,提出一种基于位图与extent链表相结合的大规模存储空间管理机制,以提高存储空间的管理效率。(2)提出一种基于粒度的动态元数据分布策略。元数据分布问题是决定非集中式元数据处理性能的关键问题。我们提出的基于粒度的动态元数据分布策略以提高元数据处理整体性能为目标,综合考虑元数据分布均衡度和文件系统层次结构关系两个因素对元数据处理整体性能的影响,按照D-D-F粒度来划分名字空间和分布元数据,实验结果表明在模拟真实环境的负载下其性能优于动态随机分布策略和动态根子树分布策略。(3)提出一种基于简化的两阶段提交协议的、故障后可快速恢复元数据一致性的分布式元数据处理协议。元数据一致性问题是影响分布式元数据管理的可靠性和高可用性的关键问题。为了解决元数据服务器之间的元数据一致性问题,我们将两阶段提交协议与元数据的处理协议结合起来,提出一种基于简化的两阶段提交协议的分布式元数据处理协议,在元数据服务器失效或客户节点失效时,能够快速恢复文件系统的元数据一致性,保证文件系统的可用性。(4)设计和实现了面向多用户多任务环境的、支持大规模机群系统的、面向海量数据存储的机群文件系统DCFS2。在机群文件系统性能评价方面,提出从峰值性能、稳定性能、系统规模扩展性、元数据服务器扩展性、存储设备扩展性和存储I/O带宽利用率六个性能评价指标。并用这六个指标对DCFS2的性能进行全面评价。我们的结果表明,DCFS2能够获得比GFS等文件系统更高的聚合I/O带宽和聚合元数据处理性能。
李婵娟[8]2007年在《高性能计算综合评测框架的设计和实现》文中研究表明高性能计算领域要从“造机器寻找应用”过渡到“根据应用需要造机器”的阶段。而实现这一目标，无疑要依靠客观的性能评测工具，因此，性能评测成为近年来该领域的研究热点。本文提出了一个应用于高性能平台的评测框架，旨在通过对高性能计算性能评测，并结合应用程序的评测结果，依据对应用程序需求的满足程度对高性能机器进行评估。评测框架由三部分组成：高性能计算机的性能评测，应用程序的性能评测，以及建立在前两者基础上的评估模型。高性能计算机的性能评测模块以HPCC基准程序为基础，全面的评测高性能计算机在计算，网络通信，以及内存访问等方面的性能。但HPCC测试对于一般用户来说，存在确定输入数据，以及理解测试结果两方面的难题，本文在使用HPCC基准测试时，针对这两个问题进行了有益的尝试，在测试过程中加入了输入数据的自动优化以及测试结果后处理两个模块，为实现测试的自动化打下了基础。而对于应用程序的评测，我们将其分为计算和通信两部分性能，即单处理器性能，网络通信性能。单处理器性能是通过集成在处理器中的硬件性能计数器来捕获相关的性能事件，基本不会给系统带来多余的负载。而网络通信性能，文中是通过读取网口的网络流量来实现的。这样处理比之使用现用的工具来说数据量少且准确性稍差，但快速易实现，而且从结果来看能够反映出应用程序在网络通信方面的需求。评估模型的实现是运用代数的方法将应用程序性能特征映射到机器性能上，最终根据机器对应用程序的满足程度，得到机器的评估结果，即得可选的高性能平台对应用程序需求的满足程度的量化值。经过实际应用程序的验证，该评测框架的结果是可信的，能够实现依据具体应用程序对高性能计算机进行正确的评估。
李晖[9]2009年在《高性能计算机若干关键问题研究》文中研究指明高速缓存一致性问题不仅关系着系统的正确性,还对系统的性能有着重要影响。多核处理器的高速缓存一致性协议设计更为复杂和验证更加困难。使用多核处理器构建大规模并行计算系统已经成为主流。在此环境下,高速缓存一致性协议需要处理的一致性事务更多,涉及到处理器芯片内多个高速缓存之间、处理器芯片内高速缓存与片外高速缓存之间、处理器芯片之间的一致性问题等。所以研究多核处理器的高速缓存一致性问题具有重要的学术意义和应用背景。首先,本文对多核处理器中的高速缓存一致性协议进行了研究,重点研究了扩放性较好、能适应多核处理器本身特点的MOESI协议及其实现,并对该协议做出了优化;其次,本文研究了在由多核处理器构建的并行计算系统环境下的高速缓存一致性协议,实验证明本文工作能够有效减少片内高速缓存失效次数(13%到30%)和提高系统性能(运行时间最多能减少30%左右);最后,本文研究了片上高速缓存的包含与非包含策略,提出了一个基于不包含策略的片上高速缓存系统设计,从而提高了片上高速缓存容量的利用率和提升了多核处理器的性能。高性能计算机是一个国家的重要战略资源,其国产化水平是一个国家综合国力的集中体现。目前采用我国具有完全自主知识产权的龙芯多核处理器构建高性能计算机已经被一些研究单位或机构纳入日程。首先,本文特别针对科学计算领域应用,对龙芯体系结构的多核处理器的片上缓存系统的性能进行了评测,指出了龙芯多核处理器在科学计算领域中的一些性能特点。其次,依此进行了一些设计空间上的探索。实验证明,在某些情况下可以使片上二级高速缓存命中率提高50%以上,等。高性能计算机的网络,对于机器的整体性能具有至关重要的作用。首先,本文研究了一种先进的新型网络拓朴结构:MPU,研究内容包括其数学模型、网络拓扑、路由算法等。其次,本文从理论上对MPU与当前其他先进高性能计算机网络进行了对比分析。最后,本文还介绍了为MPU所开发的一个大型并行模拟器MPUS的原理、架构、工作流程,等。实验证明,MPU的设计正确,且具有良好的可扩放性。KD-50-Ⅰ万亿次计算机是首台基于龙芯通用高性能处理器的国产万亿次计算机。首先,本文围绕KD-50-Ⅰ的体系结构设计,研究实现了KD-50-Ⅰ的无盘启动技术、构建了KD-50-Ⅰ的高效操作系统和文件系统、优化了KD-50-Ⅰ通信库,从而提高了系统的性能和可用性,有利于KD-50-Ⅰ的推广应用。其次,本文研究了实际物理学研究中常用到的扫描电子显微成像模拟程序在KD-50-Ⅰ上的应用,并对其进行了优化。本项工作提高了应用程序运行效率,为KD-50-Ⅰ在不同领域的应用提供了示例。
杨伟光[10]2006年在《并行程序中不同I/O实现方式的设计与I/O性能》文中进行了进一步梳理大规模的并行计算机越来越多的被用于解决许多不同领域的大规模的I／O密集型应用，对于这些应用，I／O请求在获得高性能方面上常常造成严重的障碍，当前研究的一个重要方面就是开发一些技术来降低执行I／O的开销。 本文首先讨论了并行环境中I／O的基本方法——串行I／O方法和并行I／O方法，并使用MPI-1及MPI-2对这两种方法进行了实现。分析了当访问连续数据块时不同的实现方法对I／O带宽产生的影响。通过理论分析和实验表明，基于MPI-1的并行I／O实现方法与其它I／O实现方法相比，可得到更高的I／O带宽，是解决I／O性能问题的有效途径。 接着，本文讨论了如何提高非连续访问的性能。并行程序中的访问模式通常是由访问大量的小的连续数据块组成，如果应用程序中的I／O要求制造许多小的I／O请求的话，那么I／O性能就会明显下降。为了解决这个问题，本文分析了两种方法：一种方法是两阶段I／O方法，即处理器间相互合作开发的一种I／O策略，该方法是通过减少I／O请求的数量，增大I／O请求的大小，来更好更充分的利用I／O子系统。我们描述了两阶段I／O的实现算法，并通过编写程序对它进行了实现。通过实验分析了两阶段I／O算法对I／O带宽产生的影响。实验结果表明两阶段I／O与non-collcetive I／O操作相比，可在很大程度上降低执行非连续I／O的开销。另一种方法则是视口I／O方法。MPI-IO的一个重要特征是它允许用户通过使用派生数据类型定义文件视口来使用一个单一函数请
参考文献：
[1]. 机群文件系统的实现、评测与分析[D]. 杜聪. 中国科学院研究生院（计算技术研究所）. 2000
[2]. 基于日志的机群文件系统高可用关键技术研究[D]. 李晖. 中国科学院研究生院（计算技术研究所）. 2005
[3]. 基于以太网的存储系统研究[D]. 胡风华. 中国科学院研究生院（计算技术研究所）. 2004
[4]. 基于MPI的高性能并行FTP服务器群（PFTP）的研究和实现[D]. 李璘来. 电子科技大学. 2009
[5]. 并行计算机群的建设与管理[D]. 张建. 吉林大学. 2011
[6]. 基于ServerScope平台TPCW性能评价[D]. 朱军峰. 四川大学. 2003
[7]. 大规模机群文件系统的关键技术研究[D]. 熊劲. 中国科学院研究生院（计算技术研究所）. 2006
[8]. 高性能计算综合评测框架的设计和实现[D]. 李婵娟. 兰州大学. 2007
[9]. 高性能计算机若干关键问题研究[D]. 李晖. 中国科学技术大学. 2009
[10]. 并行程序中不同I/O实现方式的设计与I/O性能[D]. 杨伟光. 内蒙古大学. 2006
标签：计算机硬件技术论文; 计算机软件及计算机应用论文; 元数据论文; 高速缓存论文; 多核处理器论文; 存储服务器论文; 高性能计算论文; 服务器类型论文; 并行处理论文; 高可用论文; 处理器技术论文; 程序测试论文; 数据库一致性论文; 并行计算论文; linux文件系统论文;