陈明宇[1]2000年在《机群服务器聚集系统研究》文中研究说明服务器聚集模式是90年代后期出现一种的既保持了客户机／服务器模式的开放性、可扩展性优点，又具有传统的终端／主机模式的集中、易于管理等特点的信息系统模式。机群系统是实现可扩展大型服务器聚集系统的理想平台。本文主要研究利用机群系统实现可扩展大型Internet服务器聚集系统的关键技术，并着重从单一登录点技术、高可用管理技术和可扩展并行Internet应用三个方面进行了研究。 本文首先全面分析了实现机群服务器聚集系统中的各种关键技术及其发展现状。并基于M／G／1 PS模型分析了机群服务器性能，给出并证明了在随机分配策略下异构机群达到最小平均等待时间的条件。 随后本文重点讨论了机群服务器聚集系统的核心技术——单一登录点技术。在详细分析了5种基于传输层包转发的单一登录点技术之后，我们给出了在曙光2000超级服务器上的单一登录点软件PowerRouter的设计实现和性能分析。PowerRouter实现了直接包转发技术，具有不修改源数据包、不修改节点操作系统、直接返回数据等优点。实验表明PowerRouter能够很好的支持大型Web等可扩展Internet应用。本文进一步讨论了通过应用层转发实现单一登录点的优缺点，并提出了一种结合传输层快速转发和应用层灵活处理的优点的单一登录点技术——延迟选择网络地址翻译技术。 一个集中、高效的系统管理软件是服务器聚集系统必不可少的部分。本文设计并实现了曙光服务器聚集应用管理系统DSC。DSC在设计中实现了与操作系统、应用软件和机群节点的独立性。其虚拟服务和负载平衡设计将网络并行应用的管理和高可用性管理结合在了一起，并具有全局资源的自动分配和回收，灵活的故障事件处理，可靠通信机制，动态配置修改等功能。整个系统结构清晰，功能完整，配置灵活，是一个有效的管理工具。 最后本文设计并实现了一种具体的服务器聚集应用——可扩展大型e-mail服务器。根据e-mail应用用户之间具有独立性的特点，并结合前两部分的研究结果，本文提出的一种层次型分布式大型e-mail系统结构，突破了传统集中式存储系统在扩展中遇到的限制。通过分布式存储解决了存储容量扩展的瓶
高文[2]2001年在《服务器聚集系统中高可用性分析与设计方法》文中研究表明机群系统的优点是可扩展性好,但随着机群系统规模的增大,结点数目的增多,机群系统整体的可靠性会相应降低。因此提高机群系统可用性的软件将成为机群操作系统中必不可少的部分。特别是故障恢复手段对大规模系统和长时间运行的应用显得尤为重要。另外,用于支持不同应用管理的服务器聚集系统涉及的用户数目庞大,因此高可用性对服务器聚集系统具有格外的重要意义。可以说,机群的体系结构为机群高可用研究提供了可能性,服务器聚集系统在软件方面提出机群高可用研究的必要性,高可用性技术和机群技术的结合是近年来计算机领域的一个重要研究方向。本文的目的就是研究机群系统的高可用性,具体的方法是首先分析机群系统的特征以及服务器聚集软件应具备的性能,然后在分析高可用系统理论及关键技术的基础上,对双机高可用系统进行研究与改进,为曙光3000超级服务器设计一个实用的机群高可用系统,继而对其可用性进行了评价。首先,利用服务器聚集的技术可以聚合Web、Mail、BBS、NEWS、FTP、数据库、科学计算、文件、打印、磁带和海量存贮等服务器的功能。最适合做服务器聚集的体系结构是机群。采用冗余部件,通过系统备份、监测与恢复实现高可用性是机群操作系统必须具备的性能。我们在给出了高可用系统的概念和当前高可用系统的研究现状的基础上,给出了高可用系统的可用性分析方法和可用度计算公式,分析了提高系统可用性的两种途径和实现高可用系统的五个关键问题及一般的实现策略;其次,我们对双机高可用系统可用性进行分析,并研究了双机高可用系统的实现策略,描述了曙光双机高可用系统的软件、硬件结构、应用状态转换关系以及实现的关键问题。然后,我们设计并实现了一个作为基于机群结构的曙光3000超级服务器软件之一的机群高可用系统。在介绍了曙光3000软件和硬件结构的基础上,给出了一种集中式的机群系统高可用综合实现策略,并就实现中的“心跳”侦测可靠性、负载平衡策略、资源管理、动态配置、灵活的事件处理、状态一致性、单一系统映像、虚拟机群与虚拟服务等关键问题进行了详细的描述。最后,我们对机群高可用系统做出了可用性评价。我们先采用分析法,即运用马氏过程分析机群系统中的高可用性,建立基于生灭过程的机群高可用模型。然后,本文提出了研究机群高可用系统可用度的仿真算法,为评价机群系
李保新[3]2012年在《市级会计培训中心机群系统的构建》文中认为商业机群是支持单一系统映像的专业机群系统,结点选择丰富灵活,机群域网专业高效,基础架构完备可靠,机群管理简洁实用,是担当大规模信息服务、商业计算和服务器聚集坚实且理想的系统平台。本文作者在广泛调查研究的基础上,根据实际需求,提出市级会计人员培训中心机群系统的设计方案。采用先进的最经济的分布式机群计算模式,独特的基础架构,及负载均衡技术、监控技术、数据备份技术等关键技术。主要从架构、关键技术、机群安全、报警机制、备份及恢复系统等功能模块进行阐述。系统实现了服务节点的负载均衡、视频切换、机群管理、机群监控、日志管理、备份与恢复、双机高可用等功能,并实现集中管理、远程监控、远程维护等功能。系统具备便于使用、便于部署,具有可靠性、可用性、可维护性、可扩展性等特色。系统成功应用,获得一致好评。
贺劲[4]2002年在《机群文件系统性能与正确性研究》文中研究表明计算机存储系统,特别是相对慢速的外存储系统一直是影响计算机整体性能的“瓶颈”。目前,机群系统已经逐渐成为超级计算机与超级服务器的主流结构,但外存储系统仍然是它进一步提高性能与可靠性的主要障碍。近年来,随着网络技术的飞速发展,基于机群节点间高速互连网络的机群文件系统已成为解决机群外存储系统问题的有效策略之一。然而在机群系统中,不同类型应用在文件存取性能及语义需求等方面存在较大的差异,如何为具有不同需求的应用提供足够的文件I/O性能,并保证其文件存取操作的正确执行已成为机群文件系统设计的关键问题。本文结合曙光机群文件系统DCFS的设计与实现,对如何有效提高机群文件系统性能、保证应用的正确执行方面进行了较有成效的研究,主要内容包括:以COSMOS文件系统为原型系统,研究了机群文件系统中通信子系统对整体性能的影响;研究了机群文件系统结构优化对元数据操作的性能影响;以支持MPI-IO并行计算为目标,研究了在支持客户端缓存情况下,如何实现文件系统客户端缓存一致性语义的协议。具体研究成果如下:(1)首次提出并发带宽利用率的概念,以量化的方式来评价系统整体效率与服务器外存储子系统及节点间通信机制间的关系,有助于人们更加合理地设计与部署机群文件系统。(2)提出了改善并发带宽利用率的一些策略,在基于曙光3000的机群文件系统原型中,着重研究了通信子系统对并发带宽利用率的影响。在原型系统中应用了基于Myrinet高速交换网络的精简通信协议BCL-3,性能测试的结果表明,相对于使用Ethernet网络与TCP/IP协议的系统,机群文件系统客户节点文件I/O带宽得到了显著提高,系统并发带宽利用率从40%以下提高到了90%左右。(3)提出了FPLS及FPLS+路径解析优化协议,通过调整元数据分布结构以及改进客户节点核心路径解析操作算法,来提高信息服务类应用中大量元数据存取操作性能。模拟实验结果表明,在最佳情况下,新型路径解析协议可将路径查找时间减少到普通路径解析协议所用时间的20.2%。(4)提出了一种可直接操纵文件系统客户端缓存的扩展文件锁协议。这种协议可以使机群文件系统在支持客户端缓存的情况下,能满足并行计算应用接口MPI-IO对底层文件系统的并发共享文件I/O的语义需求。与一些现有系统中的相关实现策略相比,该协议具有简单可靠的优点。
高帆[5]2003年在《机群系统中并行通信技术的研究》文中指出随着并行处理技术的不断发展,机群系统因其良好的性价比、卓越的可扩展性与可用性,逐渐成为当前高性能计算机领域的主流结构。在机群系统中,机间通信的性能是影响整个系统性能的关键因素,因此如何提高机群通信系统的性能一直是近年来的一个研究热点。由于SMP机群逐渐成为机群系统的主流,尤其是大结点和超结点机群的出现,在机群结点计算能力不断提高的同时也提高了对机群高速通信系统的性能要求。在传统的结点内单网卡和结点间单通路的机群网络中,由于受到网络硬件设备自身的性能限制,机群通信系统的性能成为其整体性能的瓶颈。为了突破这一限制,研究者提出了在机群结点间同时使用多条网络通路进行并行通信的解决方法。在曙光4000L超级服务器机群的通信系统中,我们引入了并行通信机制,有效的改善了系统的结点间通信的带宽性能。本文在总结前人研究成果的基础上,首先系统地研究了并行通信技术的关键问题和具有代表性的并行通信实例。随后从需求出发,提出了一种基于细粒度消息分片模式的并行通信机制,较为详细的阐述了在曙光4000L机群中该机制的设计与实现,还以此为基础对异构并行通信和消息分派机制进行了进一步的研究探讨。本文中对试验平台上测试数据的分析说明,该系统上并行通信的实现基本上达到了预期的性能目标,具有较好的通信带宽。最后,本文总结了作者的工作,提出了对当前并行通信实现进行优化与改进的方法和思路,并对未来的工作做了展望。
赵晓芳[6]1999年在《非一致性存储访问的机群系统及其关键技术》文中研究指明分布式并行计算机系统是一个子系统数量非常庞大、且相互关联、相互制约和相互作用的关系复杂的有层次结构的系统。系统具有开放性的特点，其开放性体现在两个方面，一是对内部的开放性，即各结点之间的开放性和交互作用，另一点是对外的开放性，即对系统管理员和用户的开放性。并行系统中信息资源的开发、合理配置和有效使用是性能的根本问题。 机群和NUMA系统是近几年发展比较快的体系结构。NUMA系统通常是通过高速专用网络连接起来的独立的高速处理器构成的大规模处理器系统。这样的系统可以提供很高的综合性能。NUMA系统的优点是易于管理和可用性比较好。机群是由完整的互连的计算机集合组成，作为一个统一的计算和处理资源来使用的系统。由于机群系统中的每一个结点是一个完整的、可独立使用的计算机，系统的可用性、性能价格比、可扩展性以及可再利用性等方面与其他的系统相比较有很大的优势。 本文在广泛了解已有的并行系统结构的基础之上，深入研究了分布式并行系统设计的关键问题，包括结点结构、通讯接口、单一系统映像等，并结合计算机技术的发展趋势，提出了以好用性为核心，以可扩展性、高可用性和系统的灵活动态可配置和重构为目标，能很好地结合了机群系统和传统NUMA系统的优点的机群-NUMA系统结构。在此基础上，本文就从系统的多层次结构上通过功能扩展实现这样的系统的方法进行了探讨，特别是对结点之间的硬件通讯机制、系统信息交互以及资源共享等基础方面的问题，通过部分系统功能的实现进行了细致的分析和研究。 具体地说，本文的工作主要包括以下几个方面： ● 分析了NUMA系统的结构，包括CC-NUMA和COMA的特点和相关的cache一致性实现的特点，并分析和比较了两种结构在性能上的特点，指出不同方式下对不同类型的不命中产生的延时是有差别的。同时详细讨论了软件实现NUMA结构的方法和这些方法对系统的影响，对影响性能的几个方面进行了分析和提出了可能采取的措施。并对NUMA和SC-NUMA系统的性能进行了定性的比较。 ● 提出了一种新的体系结构，即机群NUMA系统，这种新的系统很好地结合了机群和NUMA机器的特点，以好用性为核心，以可扩展性、高可用性和系统的灵活动态可配置和重构为目标，很好地结合了机群系统和传
方圆[7]2012年在《基于对象存储元数据管理策略的研究与实现》文中研究表明目前在超级计算领域，对高I/O吞吐率、高并行性和高扩展性的存储系统要求日益迫切，而传统的存储系统已经难以满足应用需求，实际的需求推动着存储系统不断向前发展，一种新兴的存储模式，基于对象存储系统（Object Based Storage，OBS）应运而生，成为当前存储技术发展的主要趋势。文件级元数据主要由OBS中元数据服务器（Meta-data Server，MDS）进行存储和管理，元数据具有文件小而数量多的特点。在OBS操作系统中50%-80%的文件操作与元数据息息相关，因此元数据管理的管理效率一定程度上决定着存储系统性能的高低。目前的元数据管理策略存在几个方面的不足：1）元数据重命名和修改目录会造成大量元数据迁移和网络开销。2）集中式单MDS因大量客户同时对某一元数据高密度的集中访问而成为“热点”，造成负载失衡从而影响系统的性能。针对上述不足，本文提出了一种可以运行在分布式多MDS环境下新的元数据管理策略——DMHM策略。该策略引入改进的B+树结构，将目录子树分割若干B+等子树，可以将MDS中的目录元数据和文件元数据分别进行管理与存储。DMHM策略不仅可以降低重命名和修改产生的开销，而且可以有效避免热点的产生，保持负载平衡。在此基础上，设计并构建了一个小型的分布式MDS系统——DMSS模型，并在DMSS系统提供的分布式MDS系统环境下，对DMHM策略的文件、目录等操作进行实现。针对负载均衡问题，设计了元数据动态均衡算法，引入了热度统计概念，以叶子元数据为热度统计单位，并完成DMHM策略“热点”的添加、分散、复制和删除操作，以提高系统性能的可用性与扩展性。最后进行了测试分析，分别对静态子树法、Lazy Hybrid（LH）法和DMHM策略进行了比较。对元数据分布的测试表明，DMHM策略元数据在总体上呈均匀分布；对元数据迁移率的测试表明，DMHM策略相对与其它元数据管理策略，迁移率要小的多；对吞吐量的测试表明，DMHM策略相对于其它两种策略具有明显的优势，更加适合动态变化的分布式MDS系统；对读操作、创建操作和重命名操作的时间响应度测试表明，DMHM策略的系统响应时间明显低于静态子树法，在文件目录重命名操作上提升也非常明显，具有很大的优势。
佚名[8]2007年在《多层体系，立体架构，全新机群解决方案——曙光TC4000A计算机机群江西财经大学应用纪实》文中认为信息化建设已成为高校提高教学质量、提升科研能力的必要条件,在政府的大力扶持下,我国高校信息化建设得以快速发展,但许多高校所采取的信息化解决方案并不尽如人意。首先,中国高校发展速度较快,需求增量大,对解决方案的扩展性、可延续性要求较高。其次,高校信息化系统应用工况复杂,来自
宁华[9]2004年在《分布式多媒体同步与并行编码技术研究》文中认为分布式多媒体系统中,采取基于并行处理结构的媒体服务器是解决服务端处理能力不足的主要方法。与单机媒体服务器相比,基于并行处理结构的媒体服务系统工作流程复杂,各媒体对象间的时域约束关系难以维护;系统的服务能力与采用的调度算法息息相关;而服务端采取自适应编码的方式服务时,不适宜的并行编码策略将降低系统的性能。因此,论文对分布式多媒体系统中的同步约束关系,服务器端的调度算法和服务器端的并行编码技术进行了分析和研究,并给出了提高服务端处理能力的解决方案。具体包含以下内容:1、为了完整地描述和分析多媒体系统中的时域约束关系,提出了多媒体同步模型MHPN(Multimedia Hierarchical Petri Net)。相比其它模型,MHPN模型简洁、清晰、提供强大的交互控制能力,能够清楚地描述多媒体系统内部的时域约束关系,及时地捕获用户的交互信息,完整地刻画不同对象间的同步关系,分析并验证多媒体的同步行为,提供同步运行方案,并且针对不同层次的同步要求,MHPN可以为其分层建模。根据分布式多媒体交互系统中服务端和客户端之间的时域约束关系和用户交互需求,提出了D-MHPN(Distributed MHPN)分布式多媒体同步模型,该模型以MHPN模型为基础,统一描述分布式多媒体系统中的同步关系和交互行为,提供更加完整地信息捕获能力和控制能力。2、基于对分布式多媒体系统中服务器端调度算法的分析,针对并行任务提出了面向质量自适应方式的调度算法。在分布式多媒体系统中,当服务端提供质量自适应服务时,单个任务可能需要多个结点并行处理,采用原来只针对串行任务的服务端调度算法将会降低系统性能。面向质量自适应服务方式的调度算法针对视频并行处理的特点,以及并行任务和串行任务混合调度的情况,尽量减少分派给并行任务的结点数目,以降低任务并行执行时各结点间的通讯费用,提高系统的性能,从而进一步提高了服务端任务的处理能力。3、根据对分布式多媒体同步模型的分析,针对MPEG-4压缩标准提出了基于不同粒度的并行策略,给出了服务器端处理能力不足的解决方案。提出了基于VO的对象自适应调度算法,该算法估算待编码视频对象所需的计算能力,将其划分为并行子任务或串行子任务,调度时尽量将串行子任务分配到权值低的结点上。相比之下,该算法不仅能提高并行任务的处理量,合理利用现有结点的计算能力,还能减少重新调度的次数和所需的额外费用;为了及时在较短的时间内响应用户的操作,减少调度本身所产生的费用。提出了基于GOV的滑动调度算法,该算法借助于可变滑动窗口协议的部分思想,考虑用户的交
黄倩[10]2006年在《SAR数据处理算法及基于机群的处理系统研究》文中指出本文主要研究合成孔径雷达(SAR)数据处理技术，以及研究、分析和设计基于机群的SAR数据处理系统。目的是在对现有SAR数据处理技术的部分研究点进一步改进和提高的前提下，建立一个基于机群的可以适用于多种SAR数据处理技术、处理速度快、处理结果质量好的高性价比SAR数据处理系统。 首先，本文研究了SAR数据处理技术。其中，在SAR成像处理的研究中，对线性调频信号的相位误差及其对SAR成像效果的影响进行了分析和研究，并利用实测数据进行距离相位误差补偿和方位向运动补偿，取得了良好的实验效果。在SAR图像后处理研究中，介绍了经典的相干斑抑制算法，研究了基于偏微分方程的滤波方法，结合SAR图像的相干斑局部统计特性，建立了一种新的各向异性扩散方程抑制SAR相干斑噪声的算法。在干涉SAR处理技术研究中，研究了干涉相位噪声特性及多种相位滤波方法，基于偏微分方程提出了一种新的相位滤波方法。 其次，本文研究并实现了SAR数据处理系统。在介绍并行与分布式处理概念的基础上，分析了SAR成像处理、图像后处理、干涉处理等的并行性，研究了SAR数据的并行划分方式和算法的并行粒度划分，并比较了各种划分方式下的算法性能。最后介绍了SAR数据处理系统的设计与实现方法，设计了系统结构、组成部件以及消息驱动机制，描述了原始数据回放模块、图像显示模块以及数据处理模块的具体实现。 本文研究设计的SAR数据处理系统曾在中国科学院电子学研究所的多次实际飞行任务中稳定地处理了大量SAR数据，可以得到大面积高分辨率、高质量的结果；可扩展性好，可容易地使用按照系统接口所设计的不同的SAR处理算法；用户界面友好，易于理解和操作；处理速度快，实验证明本系统可以接近(准)实时的处理效果，具有较高的实用性。
参考文献：
[1]. 机群服务器聚集系统研究[D]. 陈明宇. 中国科学院研究生院（计算技术研究所）. 2000
[2]. 服务器聚集系统中高可用性分析与设计方法[D]. 高文. 中国科学院研究生院（计算技术研究所）. 2001
[3]. 市级会计培训中心机群系统的构建[D]. 李保新. 复旦大学. 2012
[4]. 机群文件系统性能与正确性研究[D]. 贺劲. 中国科学院研究生院（计算技术研究所）. 2002
[5]. 机群系统中并行通信技术的研究[D]. 高帆. 中国科学院研究生院（计算技术研究所）. 2003
[6]. 非一致性存储访问的机群系统及其关键技术[D]. 赵晓芳. 中国科学院研究生院（计算技术研究所）. 1999
[7]. 基于对象存储元数据管理策略的研究与实现[D]. 方圆. 解放军信息工程大学. 2012
[8]. 多层体系，立体架构，全新机群解决方案——曙光TC4000A计算机机群江西财经大学应用纪实[J]. 佚名. 计算机与网络. 2007
[9]. 分布式多媒体同步与并行编码技术研究[D]. 宁华. 中国科学院研究生院（计算技术研究所）. 2004
[10]. SAR数据处理算法及基于机群的处理系统研究[D]. 黄倩. 中国科学院研究生院（电子学研究所）. 2006
标签：计算机硬件技术论文; 元数据论文; 可用性论文; 并行处理论文; 分布式文件系统论文; 服务器类型论文; 同步通信论文; 分布式架构论文; 分布式处理论文; 分布式技术论文; 分布式算法论文; 关系模型论文; 分布式部署论文; 叶子结点论文; 通信论文; 数据处理论文;