陈起[1]2013年在《高性能计算中并行文件系统可扩展元数据服务的研究》文中提出随着计算能力的增强、应用课题规模和复杂度的增加，高性能计算机对并行文件系统性能要求越来越高，在海量小文件频繁创删和大规模并发I/O操作的应用场景中，文件系统元数据吞吐率成为限制其性能的关键因素。针对I/O转发架构，提出了一种基于元数据代理的高可扩展元数据服务的方案，结合作业调度系统，将文件系统元数据请求分散到多个元数据代理上，加速作业的文件系统元数据访问。并行I/O是高性能计算系统中主要的I/O使用方式，可分为单数据流模式和共享文件模式。其中单数据流模式给元数据服务带来很大负载，元数据可扩展性方案面向该I/O模式提出的，主要包括元数据代理MDDS(MetaData Delegation Service)和基于MDDS的作业调度两部分。元数据代理基于Lustre元数据集群架构CMD（ClusterMetaData）实现的，通过降低多个元数据服务间的耦合度，保证元数据集群的高可用性；使用目录子树方式管理元数据代理空间，避免跨节点目录引入的分布式原子操作的复杂性和低效性；实现元数据迁移避免跨元数据服务器间文件迁移造成的数据对象移动；通过元数据代理动态增删机制实现元数据代理的灵活部署。针对高性能计算中I/O转发架构作业调度特点，提出基于元数据代理的两种作业调度策略——单作业独占单元数据代理调度和多作业共享多元数据代理调度。前者实现了对传统作业I/O访问模式的支持，避免了多作业间元数据竞争；后者将单个作业的元数据访问分散到多个元数据代理上，实现了作业内的元数据负载均衡。在116台存储服务器上对元数据代理进了测试，同时通过模拟I/O转发架构中作业的文件系统元数据访问负载对两种作业调度方法进行评估。结果表明，元数据代理提供了拟线性的元数据性能，在大规模的环境中较CMD方案有较好的扩展性；两种调度方式有效分散了作业元数据的负载，改善了高性能计算中的元数据瓶颈问题。
杨丽鹏[2]2013年在《结构网格CFD程序的并行I/O技术研究》文中研究说明计算流体力学(Computational Fluid Dynamics, CFD)采用数值方法求解流体运动控制方程,获得流场参数,涉及流体力学、计算数学、计算机等多个学科。当前,CFD已广泛应用到飞机、火箭、飞船等航空航天器及汽车、列车等地面交通工具设计当中,CFD也发展成为典型的高性能数值计算应用领域。CFD计算涉及大量数据访问,在大规模并行计算情况下,串行I/O的性能与计算能力不匹配,I/O成为性能瓶颈。并行I/O是解决这一问题的主要途径之一本文针对CFD并行计算对I/O性能的需求,开展了并行I/O技术的研究及在实际CFD程序中的编程实现工作。论文主要工作包括：(1)研究了基于普通文件格式(Native方式)的并行I/O技术。针对一个求解微可压低速流动问题的叁维结构网格CFD并行程序LM3D,设计实现了Native方式的单块结构网格并行I/O方法。针对一个高阶精度结构网格CFD程序HOSTA,研究其主要数据的并行I/O技术,实现了两种基于Native方式的多区结构网格数据并行I/O方法：1)所有进程参与读写多个普通文件；2)部分进程参与读写多个普通文件。测试表明,针对网格规模1.09亿的叁角翼算例,并行I/O相对于串行I/O的性能加速比达到23.96,最高获得2283 MB/s的I/O吞吐率。(2)研究了基于HDF5的数据存储及其并行I/O技术。针对一个求解微可压低速流动问题的叁维结构网格CFD并行程序LM3D,设计实现了基于HDF5的聚合并行I/O算法,测试表明,在使用4-32个进程时,基于HDF5并行I/O方式的写文件性能比每进程独立写普通文件的方式约高6.9～16.1倍,基于HDF5并行I/O方式的读文件性能不及后者,约为后者的20%-70%倍,但是读文件的时间开销远小于写文件的时间开销。针对一个高阶精度结构网格CFD程序HOSTA,设计了叁种基于HDF5方式的独立并行I/O算法：1)所有进程参与读写多个HDF5文件；2)所有进程参与读写一个HDF5文件；3)部分进程参与读写一个HDF5文件。实际性能测试表明,对网格规模1.12亿的叁角翼算例,并行I/O相对于串行I/O的性能加速比达到21.27,最高获得5.81 GB/s的I/O吞吐率,并使程序整体性能提高10%以上；对网格规模4.19亿的简单翼型算例,并行I/O最大获得了6.72 GB/s的I/O吞吐率。
李晖[3]2005年在《基于日志的机群文件系统高可用关键技术研究》文中指出近年来机群系统以其低成本、高性能而逐渐成为高性能计算的主流平台。作为解决机群系统外存储瓶颈上的有效手段的机群文件系统因此得到了很大的发展。一个机群文件系统必须要满足机群计算环境的需要,为应用提供高性能、可扩展、高可用的文件服务。由于机群文件系统本身结构复杂,实现复杂而且整个系统规模很大,这些因素就决定了对高可用技术的依赖。本文将研究基于日志的机群文件系统高可用的关键问题以及解决策略,同时给出了一些评价方法以及具体的评测结果。具体内容以及研究成果如下:(1)研究了基于日志的机群文件系统高可用技术的关键问题。本文分析了不同类型的机群文件系统的高可用需求以及高可用技术,对机群文件系统高可用相关的概念进行了介绍,描述了机群文件系统高可用领域的研究内容,并在分析的基础上提出了基于日志的机群文件系统高可用技术,分析了其中的关键问题,给出了相应的解决策略,并对其正确性和完备性给予了证明。(2)实现了DCFS2机群文件系统高可用模块。作为文中策略的一个实际应用,本文给出了DCFS2机群文件系统高可用的设计与实现技术,给出了系统中利用日志来保证机群文件系统一致性的方法。主要内容包括:以DCFS2机群文件系统为原型系统,研究了单一以及多个元数据服务器下如何使用日志来保证文件系统的一致性;研究了机群文件系统日志对元数据操作的性能影响;研究了客户端的高可用问题。(3)提出了机群文件系统高可用性的分级的定义。机群文件系统的高可用性的高低一直缺乏有效的定性或定量的分析方法,由于软件系统不能象硬件系统那样进行定量分析,我们根据机群文件系统的应用模式,将影响机群文件系统高可用性的因素进行分析,以机群文件系统的故障因素和恢复目标因素为线索,采用分级的方法对机群文件系统高可用性进行了定义,提出了机群文件系统高可用性的分级的定义。(4)对基于日志的高可用技术进行了评价。目前在高可用技术的评价上尚没有完善的评价体系,本文从功能性,正确性,性能,恢复时间等多个方面对基于日志的高可用技术进行了评价,并给出了各种情况下的具体的测试结果。文中还讨论了下一步的研究方向,包括多节点故障恢复等方面。
金松昌[4]2010年在《基于HDFS的多用户并行文件IO的设计与实现》文中进行了进一步梳理随着计算机网络及其应用的快速发展,特别是Google提出基于Internet的海量数据存储和Map-reduce并行计算思想以来,网络化的数据存储管理和并行分析处理成为学术界和产业界研究的焦点,其中Hadoop作为该思想的参考实现之一,受到了广泛的关注。Hadoop的核心HDFS分布式文件系统采用锁机制控制文件并行IO,不支持多用户对同一文件的读、写并行,限制了多用户并行文件操作的性能,为此,本文针对海量日志类型数据的特点,提出了一种非基于锁机制的并行文件IO模型,并通过实验,验证了本模型的有效性。本文主要工作包括:(1)对Hadoop的相关工作进行了深入的分析,特别在深入分析其分布式文件系统HDFS的基础上,针对HDFS不支持多用户文件并行读写的不足,提出了使其支持多用户并行文件读写的改进思想。(2)通过分析HDFS的并发控制模型,针对海量日志类数据特点,提出了一种不使用互斥机制的分布式文件系统的多用户并行IO模型,基于该模型,在适当降低数据读取完整性的条件下,可以实现对于同一个文件的多用户读写并行、读读并行。(3)通过对原有HDFS实现的改进,设计实现了一个支持多用户并行IO的分布式文件系统。实验表明,本改进有效提高了多用户并行文件IO的性能。
褚彬[5]2014年在《基于任务树调度的大尺度的遥感影像并行镶嵌技术的研究》文中提出在遥感技术与相关领域飞速发展的今天，遥感影像的内容信息分析已逐渐成为行业内部研究主流，单一尺度的遥感影像分析已不能满足对大区域预警与环境分析的要求，遥感影像镶嵌已成为遥感影像处理中的一个热门话题，然而遥感影像的特性与行业要求使得遥感影像镶嵌技术复杂冗长，处理流程繁杂不易简化，选择正确的方式方法处理大规模大尺度遥感图像的镶嵌问题变得十分重要，有效利用软硬件资源，充分分配计算资源与计算空间需要算法的支持与匹配。针对上述情况，本文研究了图像镶嵌技术，并行编程技术，任务调度方式方法，并分析了解了现有的大尺度遥感镶嵌算法中存在的问题，针对运行速率低与可扩展性差等普遍问题，提出了基于任务树调度的大尺度遥感影像并行镶嵌技术，通过对大尺度遥感影像集进行解耦，解析影像间关系，构建具有前驱后续逻辑关系的任务树，利用高性能集群本地资源管理器分配集群高效的运算能力，智能调度监控，将已触发任务发送至就绪状态队列，等待空闲节点运行，节点中的子镶嵌任务采用MPI(Message Passing Interface)并行运算编程方法实现，达到多层次并行，充分利用现有硬件设施的目的。本文提出的调度方案为基于关键路径和状态队列（CPDS-SQ）的动态DAG(Directed Acyclic Graph)调度策略，并根据此调度策略完成了并行调度TTM（Task-tree Mosaic）系统，动态生成任务调度序列，有效减少任务树长度，增强任务并行度，大幅度缩减了并行镶嵌的运算时间，同时，动态调度过程中的纠错重发机制提高了程序的鲁棒性，对大尺度遥感图像的镶嵌实现提供了良好基础。本文针对上述调度方法设计实现了大尺度遥感镶嵌系统，详细阐述了系统软硬件的实现过程与结果。
张博宇[6]2019年在《基于Hadoop技术的商业银行数据审计模式研究》文中认为商业银行各业务领域大多采用基于关系型数据库的集中统一信息管理模式,为审计工作逐渐由传统的抽样现场审计模式向数据审计模式转变提供了新的发展契机。Hadoop作为一个高效、扩展性强、应用灵活的技术载体,与数据审计的需求相契合,对于数据审计的开展具有十分重要的意义。
参考文献：
[1]. 高性能计算中并行文件系统可扩展元数据服务的研究[D]. 陈起. 华中科技大学. 2013
[2]. 结构网格CFD程序的并行I/O技术研究[D]. 杨丽鹏. 国防科学技术大学. 2013
[3]. 基于日志的机群文件系统高可用关键技术研究[D]. 李晖. 中国科学院研究生院（计算技术研究所）. 2005
[4]. 基于HDFS的多用户并行文件IO的设计与实现[D]. 金松昌. 国防科学技术大学. 2010
[5]. 基于任务树调度的大尺度的遥感影像并行镶嵌技术的研究[D]. 褚彬. 北京工业大学. 2014
[6]. 基于Hadoop技术的商业银行数据审计模式研究[J]. 张博宇. 中国内部审计. 2019
标签：计算机软件及计算机应用论文; 元数据论文; 遥感影像论文; cfd论文; 并行处理论文; 高可用论文; 网格系统论文; 代理模式论文;