姚鹏[1]2013年在《面向网格应用的光网络监控方案研究》文中研究表明光子网格是网格技术和光网络结合的产物，它除了包括传统网格庞大的异构资源，还增加了光网络资源，比如光链路、光节点等。光子网格中的各种资源是动态变化着的，为了使光子网格能够有效、灵活的给用户提供服务，对其进行资源监控就显得非常重要。通过资源监控可以了解光子网格资源的负载情况，从而优化光子网格资源调配，均衡网格节点与网络负载，还能够发现网格节点及其网络的潜在问题和瓶颈，维护和升级光子网格系统。现有的网格工具包Globus Toolkit中的MDS（Monitoring and DiscoverySystem监控和发现服务）组件使用了一个可扩展的框架来监测网格环境中的各种资源的静态和动态信息。但是MDS的监视性能不理想，对用户提供的监视数据查询服务有限，而且缺少对光网络资源，特别是网络带宽的监控功能。为了使Globus Toolkit能够适应光子网格的监控，就必须对其进行二次开发。本文设计了一种适用于光子网格应用的监控方案，该方案利用Ganglia和NWS两种监视系统拓展了Globus Toolkit的MDS监视功能，使得光子网格环境中的资源能够被更好的利用。本文设计的监视系统能够实现的功能包括：1、对光子网格节点的CPU、内存、硬盘利用率、I/O负载、网络流量等状态消息实时监视；2、利用NWS的光网络带宽和光网络时延的实时测量和预测功能，将部分光网络资源纳入网格监视资源中，像其它网格应用资源一样发布给GRAM（Globus资源分配管理）；3、为用户提供一个监视性能图形的网页查看服务。本文设计的光子网格资源监视系统中，交互的监视数据均采用XML格式存储和传输，支持Globus Toolkit的异构特性。
孙岱[2]2004年在《网格监控研究与监控服务系统的设计》文中研究说明网格监控为网格系统中其他网格中间件提供与资源有关的重要性能数据，是网格系统进行性能调整和错误发现的依据，是保证任务顺利完成的重要支撑。在网格从基础理论研究阶段逐步走向应用阶段的今天，网格用户对网格监控提出了新的要求，如用户需要了解其任务的执行情况以及对资源的使用情况等。因此，本文着重研究网格任务监控，提出了实现任务监控的可行策略；开发了面向网格用户的监控服务系统，方便用户以Web方式获取所需的监控信息。 本文通过分析用户对任务监控的需求，将任务监控内容划分为任务状态监控和任务执行期监控。针对网格中间件对任务监控缺乏足够支持的现状，本文分析了实现任务监控要解决的关键问题，提出了相应的解决策略。 本文将网格监控在网格应用中的作用归纳为两点：一是监控，即获取资源信息、任务状态信息、出错信息；二是信息服务，即为用户和其他的网格中间件分别提供不同形式的信息服务。本文提出网格监控服务系统这一概念，剖析了系统的组成结构，提出了系统的开发方案。 最后，针对一个具体的网格应用问题——基于网格的现代协同设计，开发了监控与信息服务系统。进行了整体设计与详细设计，实现了部分功能模块。
刘东华[3]2002年在《面向网格的资源监控系统》文中提出网格是一种包含大规模分布异构资源的复杂系统,资源监控系统对于网格系统资源管理和健壮运行有重要意义。本文从基本理论和设计实现角度分析了网格监控系统的特点和问题,总结了网格监控的基本概念和原则,并介绍我们设计的两个面向网格的监控系统。网格监控系统的特点与难点与网格资源自身的特点息息相关,本文在这方面的主要贡献是充分利用网格资源逻辑上与拓扑上的内在关系,帮助实现网格资源监控系统。具体实现中,逻辑关系有助于简化资源定义,拓扑关系有助于系统部件分布和相互组合。本文从功能定义、组成元素、拓扑结构和评价标准角度分析了网格监控系统的理论问题。在网格监控系统评价方面,通过需求主体和功能的组合给出了具体的评价标准,覆盖了监控系统的主要需求和目标,有助于网格监控系统设计、分析和评价。文中介绍了我们的两个网格监控系统项目:GridMon和DTGMS。GridMon是面向具体环境的资源监控系统,它采取了叁层树状结构和统一的资源类型定义,已经实现,并运行良好。DTGMS是通用网格资源监测系统,它将监控系统中的相关数据划分为资源抽象类型、资源实例定义和资源状态数据叁个层次,采用有向无环图描述被监控资源实例间的关系。在数据分层的基础上,DTGMS分为维护层和工作层,分别从事元数据及系统维护和状态数据处理功能。DTGMS的设计支持多种资源类型和网络拓扑结构,有较强可扩展能力和良好可管理性,适合网格的特征和需求。
靳京[4]2006年在《面向用户的网格资源监控服务系统的研究》文中研究说明网格资源监控是网格动态负载均衡策略的基础,为用户定位故障,分析系统性能提供重要的性能数据,还可以直接供其它应用程序调用以降低程序设计的复杂度,增加应用程序的可移植性。但是在网格从基础理论研究阶段逐步走向应用阶段的今天,网格用户对网格监控提出了新的要求,如用户需要了解资源的使用情况等。因此,本文着重研究面向用户的网格资源监控,设计了面向网格用户的网格资源监控服务系统,方便用户以直观地方式获取所需要的资源信息。本文首先介绍了网格与网格资源监控的基本理论,着重论述了当前主流的网格技术—Globus和典型的网格监控实例—MDS,同时对网格监控结构GMA和多个网格项目中的监控服务进行了分析和研究。在此基础上,本文提出了面向网格用户的资源监控服务系统的体系结构,实现了叁个目标:(1)提供用户所需要的全部信息;(2)为各种信息提供便利的访问方式;(3)整个系统与平台无关、与位置无关,用户可以在任意地理位置用运行不同操作系统的计算机实现监控。面向网格用户的资源监控服务系统搭建在Globus工作平台上,通过部署数据收集、存储、查询及可视化等基础服务,并采用Java的文件读取和多线程等技术优化处理后,充分适应了网格环境的特点,具有良好的低延迟、低性能影响、可扩展性和可管理性。最后,针对实验室中搭建的网格系统,本文开发了相应的资源监控服务系统,实现了对该网格系统中所有计算节点的监控。
田鸣华[5]2004年在《网格环境下资源监控系统的研究与实现》文中提出网格是集成了Internet上大量分布异构资源的复杂系统,网格计算的目标是实现广域网范围内异构资源的共享和协同工作。在网格环境中,对资源状态、网络连接状态、应用程序运行状态的监控与分析,对于提高网格应用的性能至关重要。网格资源监控系统通过分析监控数据,掌握网格资源的利用情况和状态,可以及时发现故障,找出系统性能瓶颈,为网格资源调度及性能优化提供依据。因此,对网格资源监控系统的研究具有重要的学术意义和应用价值。 本文深入分析了网格资源监控系统的需求,研究了全球网格论坛提出的网格资源监控体系结构(Grid monitoring architecture,GMA),分析比较了几个基于GMA实现的网格资源监控系统,重点研究了网格环境下资源信息模型,资源信息的组织与管理,资源信息的实时监测与更新,资源信息的分布存储,资源信息有效期与优化以及资源监控服务的可扩展性等关键技术。 基于以上的分析和研究,本文自主设计并实现了面向服务的网格资源监控系统GridEye。该系统基于GMA体系结构,采用分布式结构设计,能对分布在广域范围内各种异构的资源提供系统、网络和应用层次的资源监测与控制,并为上层应用提供资源监控信息。系统设计逻辑上分为局部监控和全局监控两个层次。局部监控负责一个结点或区域的资源监控和资源详细信息的存储;全局监控负责对各局部监控的监控和管理,以及资源统计信息的存储。系统采用面向服务和模块化方法实现,具有灵活的可配置性、可管理性、可扩展性和高可用性。本文还对GridEye中的安全服务访问、资源信息归档优化、底层监控资源的接入和撤销作了深入的研究和具体实现。该系统已在中国国家网格系统软件中部署和试运行,用于监控网格环境中的多种资源,并为基于网格的上层应用提供灵活有效的资源信息访问支持。
张忠强[6]2008年在《GridCOMP网格中间件中的组件监控模型》文中研究表明网格技术作为近年来的研究热点,能够为不同管理域之间的资源共享与整合提供一条有效的途径。本文的研究对象是组件形式的网格监控系统,它力图通过收集和发布网格资源的状态信息,来帮助用户更好地监控和调度网格资源的使用情况,从而对网格提供的计算力进行更有效地利用。而网格资源的异构性、自治性、动态性等特点为网格监控系统的设计增加了难度。本文对网格监控模型、监控数据发现、监控数据收集等网格监控系统中的关键问题进行了深入研究,提出了新颖实用的解决方案。本文的主要成果和贡献包括:(1)介绍一种在GridCOMP网格中间件系统中基于Java管理扩展(JMX)技术的组件监控模型,这是一种网格环境下支持组件自动监控的网格资源监控模型。该模型能够为网格环境中的资源共享提供QoS保障,并提供对监控数据的一致访问接口,同时还支持对不同管理域中网格资源的统一监控。(2)该组件监控模型采用内部监控方式。监控组件作为一个primitive组件,可以与被监控组件通过GridCOMP技术组成复合组件,然后以整体的形式共同部署。(3)监控模型的部署采用ProActive技术的动态部署方式,使用XML(可扩展标识语言)配置文档将监控组件部署到被监控节点的Java虚拟机上。(4)针对网格监控的应用特征和GridCOMP的组件封装特性,为处理动态的监控数据和多种形式的查询,提出了将数据流技术集成到网格监控系统中的设计方案,并研究了监控数据流的查询优化算法。(5)针对复合组件多任务的监控,提出了多进程任务资源消耗的统计方法。算法在实现时采用树结构来存储系统进程树,通过对树的非递归遍历可以快速准确地统计出组件的资源消耗量。
朱绍风[7]2010年在《网格环境下资源监控问题的研究》文中研究指明网格[1]作为一种新型的网络计算平台,是建立在Internet上的一种新型的信息技术基础设施。它将高速互联网、高性能计算机、大型数据库、传感器、远程设备等融为一体,实现计算资源、存储资源、通信资源、软件资源、信息资源、知识资源的全面共享。因此,在网格环境下实现资源的全面共享是一种必然的选择。但是,由于网格资源具有分布性、动态性、异构性及自治性等特点,以及计算资源可能分布在世界各地,通过Internet连接在一起,这使得网格资源的有效管理较之传统的分布式网络更加复杂。由于这些特点,运行过程中某些节点可能会发生故障,网络断开或者出现性能问题。同时,节点的动态加入和离开也会使得网格资源管理变得更加复杂。这就要求在网格中提供一种资源监测机制负责对各种静动态资源进行监测,收集各种资源及节点的状态变化信息,使用户和应用程序能够及时掌握资源分配与调度、网络带宽、处理器负载、系统吞吐量等信息,及时解决网格系统中出现的各种障碍,以便提高整个网格性能。因而,对于网格这种高性能的计算环境来说,网格监控是非常重要的。本文分析了网格监控的国内外研究现状、监控难点和监控需求,总结了目前网格监控体系结构模型的不足之处。在此基础上,根据网格的具体情况,将扩展树结构应用于网格监控,将其作为网格监控体系结构模型,并提出了一种较好的面向服务的动态DHT资源发现策略。在前二者的基础上,本文提出了一种网格资源监控机制——GRM资源监控机制,分别对GRM机制的逻辑实现和技术实现部分做了研究,并通过实验完成了对相关资源信息的监控。最后,通过实验测试、性能分析表明,该机制安全、可靠、有效,能满足网格资源监控的应用需求。具体来说,本文所做的主要工作和创新点包括:1.根据网格的特点建立了合理的网格资源监控体系结构。通过查阅较多的文献和资料,比较了当前使用广泛的多种网格监控机制,总结了目前网格监控体系结构模型的不足之处,并简单分析了改进的方法。本文采用基于扩展树的网格监控体系结构模型,将网格节点划分了多个域,并统一定义了节点的服务。该结构具有较好的可扩展性,使监控系统的各部分之间松耦合,以便于监控系统在分布式环境下的部署。2.网格资源发现机制研究。严格定义了网格节点的资源的注册过程,设计了一种网格环境下的基于扩展树的DHT网格资源的动态发现策略。该策略主要讨论了如何进行动态资源的发现和监控过程,通过使用该策略,可以精确地监测到网格资源节点上的资源的实时情况,而且具有较强的动态性,能够适应网格资源的动态变化。3、插件式的传感器管理[2]。传统的监控系统一般只能收集预先定义的几种监控数据,这样不能满足不同用户的需求。本文结合目前的Web服务、JNI等技术,设计出实用的插件式的传感器组件,用户可以根据需要,定义自己的插件来搜集有用信息或者从系统中移除某个插件来解除对无用信息的监测收集,这将改变传统的监控不容易搜集用户自定义内容的缺点。4、GRM资源监控机制逻辑实现和技术实现。这部分是实验,在1介绍的监控体系结构之上,运用2提出的基于扩展树的动态DHT算法,发现到网格环境中的资源以后,这里着重从GRM的逻辑和技术两方面进行分析、实现,说明资源的远程注册、发现及动态加入/离开资源节点的检测的监控管理的过程。同时,本部分介绍了插件式的传感器技术,引入了数据收集探测器、动态调整监控间隔方法等概念,对监测到资源进行监控,监控所得数据,以图形的方式直观形象地展现给用户。最后,通过实验证明了GRM资源监控机制的有效性和可用性,并对实验结果进行了分析。
潘景山[8]2004年在《基于网格环境的资源监控的研究及实现》文中研究说明网格是利用互联网将分散在不同地理位置的计算机整合成一台“虚拟的超级计算机”,实现计算资源、存储资源、数据资源、信息资源、软件资源、通信资源、知识资源、专家资源等的全面共享和协同。网格是借鉴电力网(Electric PowerGrid)的概念提出来的,其最终目的是希望用户在使用网格计算能力时,就如同现在使用电力一样方便,所以对网格系统自身和所属资源进行有效的维护管理是实现网格系统的重要方面,这就需要相应的监控系统。对于高性能计算环境——网格来说,网络资源监控是非常重要的。通过监控可以发现性能问题的来源,分析系统性能瓶颈,从而为获得更好的性能调整系统和应用,帮助用户在最短时间内恢复系统:性能预测服务也需要监控的数据作为预测模型的输入:作业调度者也需要监控的数据来判断哪里有资源可用,从而更高效地调度资源,为网格动态负载均衡提供可靠的依据。网格监控的目标是对分布在不同地理位置的计算资源透明访问,以及对它们运行状态的统一集中监视和管理,从而在应用层为网格提供单一系统映像支持。 目前的资源监控系统难以全局适应网格的分布性、可缩放性、异构性及协同性等特点,因此,需要新的系统与新的技术来解决网格监控问题,GGF的GMA在这方面进行了开创性的工作。 本文首先对网格和网格资源监控的特点及网格资源监控的研究难点所在做了详细介绍;其次分析了当前国内外在该领域的研究现状:经过深入的研究,提出了两种基于网格环境的资源监控的解决方案:一是借助于LDAP的目录层次,引入与用户进行交互的代理服务,提出基于LDAP和代理的网格环境下资源监控系统的模型:二是考虑到WWW的通用性及Web服务的特点,在前面监控系统基础上,提出了基于Web的通用网格监控系统。本文对于这两种方案的体系结构分别进行了阐述及评价,从而进一步证明改进方案的可行性。文章最后给出方案中存在的问题并就下一步的工作进行展望。
梁毅[9]2005年在《面向网络计算的作业调度系统关键技术研究》文中认为在网络计算环境中,作业调度系统将网络计算环境中分布的资源整合起来,合理调度作业,充分利用网络中的资源,提高系统的利用率。因此成为网络计算环境的核心和灵魂。机群和网格作为网络计算环境的两个里程碑,成为了目前研究的热点。机群以其卓越的性能价格比和良好的扩展性成为了当今高性能计算的主流体系结构。目前,机群的发展呈现出支持的应用类型以及用户管理需求多样性的特征。而网格作为新兴的网络计算环境,它与机群系统最大的差别在于它是一个缺少中央控制、没有全知者以及强的信任关系的计算环境。网格平台的构建有赖于用户自愿提供资源,实现资源的共享和交换,减少资源冗余,从而形成了一个非合作式的网络计算环境。本文以网络计算环境的变化---从机群到网格为线索,对网络计算环境下作业调度的关键技术进行了总结和探讨。重点研究了(1)机群单管理分区环境下,作业调度策略问题;(2)机群多管理分区环境中,作业调度存在的资源视图割裂问题;(3)网格非合作式环境下,用户作业信息不完全导致传统作业调度策略失效问题。本文取得的具体研究成果如下:1.针对机群单管理分区环境下,作业调度策略难以兼顾作业执行效率和公平性问题,本文第叁章提出了一种结合Firstfit及预约回填策略的作业调度算法RB-FIFT。RB-FIFT调度策略通过预约策略解决了作业饥饿问题,实现作业调度的公平性;并通过firstfit和回填策略减少了作业执行中产生的资源碎片,从而提高了作业的执行效率。性能测试结果表明,与传统的先来先服务(FCFS)算法和Firstfit算法比较,(1)在精确估计作业运行时间的情况下,RB-FIFT算法在多项性能指标上有明显提高,其中作业最大响应时间的减小幅度最大为19.5%,平均等待时间最大减小幅度为54.9%,;(2) RB-FIFT算法的性能并不随着作业运行时间估计不精确性的增加而单调的增大或减小,与精确估计运行时间情况比较,其中作业平均等待时间最大减小幅度为30%。2.针对机群多管理分区环境下,资源分区导致资源视图割裂问题,本文第四章提出了基于动态租借原理的机群作业调度思想,阐述了实现该思想的关键技术,并给出了一个基于动态租借原理的机群作业调度系统DRJSS。性能试验结果证明,与既有的固定分区和动态作业推送解决方案比较,动态租借策略具有较好的性能优越性,其中作业平均等待时间最多下降了1.32倍。在资源频繁租借、回收的情况下,由于作业迁移开销仅为毫秒(ms)级,动态租借策略仍具有较好的优越性。3.针对网格非合作环境下,用户作业信息不完全导致传统作业调度策略失效问题,本文第五、六章引入微观经济学的机制设计理论,针对同构和异构环境,分别提出了基于同构资源聚合拍卖的作业调度算法HoRAA和基于异构资源聚合拍卖的作业调度算法HtRAA。HoRAA算法借鉴双边拍卖的思想,实现了促使资源买卖双方真实反映资
裘君[10]2005年在《DartConsole：数据库网格管理平台的设计与实现》文中研究表明网格是下一代Internet上的计算平台,其核心任务是管理分布在Internet广域环境中的各种类型的数据与服务资源,并为基于Internet的分布式应用提供一个统一的、虚拟的共享资源的计算平台。作为网格计算模型的一个重要组成部分,网格上的数据库管理问题一直以来是网格研究的一个热点。来自于科学与商业领域的大量网格应用迫切需要数据库系统的支持,因此,如何管理数据库网格环境、以及满足更广泛的网格应用的数据管理需求,已经成为一项亟待解决的新课题。本文从动态开放的网格环境下数据的资源共享与协同管理的应用需求背景出发,综合了现有的Internet下的数据资源的信息共享与整合管理的解决方案,DartConsole数据库网格管理模型提出了一套面向数据库资源的管理方案,解决了如下问题:统一的数据库资源访问、动态数据库网格环境的监控及性能管理、基于VO的数据库网格环境的安全管理等。在设计上,DartConsole平台基于OGSA框架的网格服务体系进行设计,并充分利用Eclipse的插件机制进行开发,满足了网格管理软件严格的可靠性、稳定性、规范性和高性能等方面的各项要求,同时又具有很好的可重用性和可扩展性,便于根据用户需求进行裁剪和定制。它以采用基于语义的资源融合为主线,提出了资源在语义层次上的规则推理,不仅使用户可以高效地为计算任务寻找合适的资源,更重要的是能够对资源语义信息进行管理,以及更高层次的语义推理,并为故障监控、自修复等服务提供接口。本文阐述了数据库网格管理的基本思想,描述了管理服务模型架构的设计及实现。本文还介绍了DartConsole在传统中医药研究领域的一个应用测试床。最后,本文进行了总结并提出了进一步的工作展望。本文得到以下基金资助:国家973计划(2003CB316906) -“语义网格的基础理论、模型和方法研究”之子课题“语义网格在中医药知识共享与服务的应用研究”;国家863计划(2001AA113142) -“支持中医药数据与知识深度共享的中医药应用网格”。
参考文献：
[1]. 面向网格应用的光网络监控方案研究[D]. 姚鹏. 南京邮电大学. 2013
[2]. 网格监控研究与监控服务系统的设计[D]. 孙岱. 中南大学. 2004
[3]. 面向网格的资源监控系统[D]. 刘东华. 中国科学院研究生院（计算技术研究所）. 2002
[4]. 面向用户的网格资源监控服务系统的研究[D]. 靳京. 燕山大学. 2006
[5]. 网格环境下资源监控系统的研究与实现[D]. 田鸣华. 国防科学技术大学. 2004
[6]. GridCOMP网格中间件中的组件监控模型[D]. 张忠强. 北京邮电大学. 2008
[7]. 网格环境下资源监控问题的研究[D]. 朱绍风. 山东师范大学. 2010
[8]. 基于网格环境的资源监控的研究及实现[D]. 潘景山. 山东大学. 2004
[9]. 面向网络计算的作业调度系统关键技术研究[D]. 梁毅. 中国科学院研究生院（计算技术研究所）. 2005
[10]. DartConsole：数据库网格管理平台的设计与实现[D]. 裘君. 浙江大学. 2005
标签：互联网技术论文; 网格系统论文; 用户研究论文; 网络模型论文; 网络节点论文; 异构网络论文; 服务设计论文; 环境监控系统论文; 动态模型论文; 用户分析论文;