李登[1]2002年在《分布式系统负载均衡策略研究》文中研究表明在计算机发展进入了网络计算的新阶段中，分布式系统已得到了越来越广泛的研究和应用。显然，未来对计算速度、系统可靠性和成本实效性的要求必将促使发展另外的计算机模型来替代传统的冯．诺依曼结构的计算机。由于分布式系统的并行性降低了处理的瓶颈，提供了更好的性能价格比，且具有在系统出现故障的情况下继续运行的潜力，因而分布式系统将具备更大的发展空间。 而分布式系统的优化主要指的是负载均衡。虽然负载均衡研究至今已有近20年的研究历史，但由于负载均衡策略是NP完全问题，真正令人满意的实现系统并不多。 本文首先讨论了分布式系统及分布式对象技术，然后分章节详细而全面地研究了负载均衡的算法和模型，研究了产生额外开销的原因，负载均衡策略研究中的困难。 本文的创新之处首先是在于提出了信息中心调度策略，该策略是在广泛研究了目前典型的负载均衡策略诸如分散式、集中式、发送启动和接收启动的基础上，综合其优点，克服其缺点，具备较大的适用性和实用性，可以作为企业化产品开发的基础。 其次，针对目前国内外的研究都集中在策略的提出上，对实现模型的研究比较少的情况，为此本文在综合各种负载均衡策略的基础上按照性能递增的顺序结合网络拓扑结构构建了链式模型、网状模型和链网模型这几种实现模型，并对其进行了系统的研究，对几种模型给出了各自相应的算法，并进行了评价，指出了这几种模型各自的优缺点及适用范围，分析了链网模型在动态负载均衡实现方面突出的优越性及高性能。这些模型以前面提及的策略为依据，将抽象的策略形象化，有助于进一步研究的借鉴。 最后，不同于一般的并行分布式实验以PVM进行实验，本文中对信息中心调度策略实现模型是依托先进的Java RMI技术，将分布式理论和分布式实现技术有机的结合了起来，为后继的分布式理论产业化研究打下了基础。
丁逸[2]2005年在《基于层次策略的动态负载均衡算法研究》文中提出随着计算机及网络技术的发展,大规模并行分布式处理系统得到了广泛的应用。对于一个分布式系统而言,多个节点之间如何进行动态的任务分配调度,即动态负载均衡,在很大程度上影响着系统的性能,因而具有较高的理论研究价值和应用前景,受到了人们长期的关注。近年来,各国研究人员对此进行了大量的研究,提出了一系列的动态负载均衡算法。但这些算法并没有完全解决目前存在的问题,因此仍有必要对分布式系统的动态负载均衡进行进一步的研究。本文对负载均衡所涉及的各个方面,包括概念、分类、特点、算法机制、驱动策略、难点、算法步骤等进行了详细的讨论,总结了负载均衡的研究现状,同时还重点分析比较了现有的多个静态和动态负载均衡算法,指出了它们各自的特点和缺陷。在上述讨论的基础之上,本文从网络基础体系结构——拓扑出发,通过对常见的网孔、超立方和网状拓扑进行逻辑上的改造,根据本文中所给法则将物理拓扑划分为多个物理区域并指定每个区域的信息中心节点,必要时对这些信息中心节点组成的二级逻辑分区再指定二级信息中心节点,依此类推,最后使得物理拓扑形成逻辑上的层次结构。通过推导和计算可以证明,网络上的通信经这样的层次处理后,能够从局部区域扩展到整体,确实减少了很多基础的通信开销。基于上述的层次方法,本文提出了一个新的动态负载均衡算法,能够较好解决已有算法的诸如稳定性不够、应用比较单一、通用性不够等缺陷和不足。在此基础之上,本文还提出了一个基于预测的算法机制,该机制能够应用于均衡算法使得节点负载信息能够被准确及时的获取,从而为任务的迁移提供更好的依据;并由此建立了一个基于预测的层次负载均衡模型。算法的主要思想是通过各个局部区域的优化达到系统整体的接近最优化并特别考虑了任务之间的相互关系和系统内节点性能可能存在的差异;算法还通过改进传统的驱动策略,使用新的任务调度规则,在改善底层通信的基础上,使得系统减少了较多的额外开销,提高了算法的效率。该算法的主要特点是:⑴自适应参数可调。算法不是单一的使用某种驱动策略,而是在系统运行过程中动态调整负载阈值和参数,视用户对系统的要求选择参数值,从而获得更好的性能表现。⑵系统稳定,不会出现颠簸。算法中局部区域的使用,使得节点处理机上任务的迁移首先在内部区域上进行,必要时再进行区域之间的迁移;同时算法改进了以往的驱动策略,迁移必须从重载节点到轻载节点,目的性强,避免了一些效率不高的迁移和对节点不必要的打扰。⑶简单实用。算法没有采用基于人工智能理论等耗费较大的调度方法,而是使用局部优化带动全局优化的思想方法和较有针对性的“极端”任务调度方法,除了增加一定空间耗费和任务迁移本身带来的通信路径上的开销外,额外开销比较少。⑷具有较好的通用性。算法可以适用于目前最常见的网孔和超立方拓扑构成的同构、异构分布式系统,也可以推广到最一般的网状拓扑。论文还通过实验比较和实例分析验证了层次策略负载均衡算法的正确性和有效性。因此,本文提出的层次策略负载均衡算法确实能够比较有效和灵活地解决分布式系统的负载均衡问题,从而弥补了现有算法存在的一些缺陷。
唐俊[3]2006年在《面向服务的消息中间件的研究》文中指出消息中间件和Web Services是两种主要的用于系统集成的中间件技术。为了适应课题中的企业级分布式系统集成,结合上述两种技术构建的面向服务的消息中间件模型可应用于该领域。该模型在消息中间件的基础上,实现了面向服务的体系架构。与Web Services技术的面向服务的体系架构不同,模型利用消息中间件的现有技术,用较为简单的方法实现了服务注册、服务发现和绑定等一系列关键活动,避免了使用Web Services中的诸多复杂协议。模型使用的服务描述机制不仅简单,而且是结构化和层次化的,能够支持模型中面向服务的工作流程。根据模型的设计目标,直接修改消息中间件的服务器引擎,增加了服务注册表组件,使得模型不仅能支持面向服务的一系列工作流程,还能利用消息中间件中消息传输保障机制,增强服务传输的可靠性。为了充分利用集成系统中的冗余设备,进一步提高系统性能,模型还采用了负载均衡技术。结合模型的特点,利用服务注册表组件的设计,模型采用了一种局部负载均衡机制,能简单实现服务请求分散转发和人工分流两种均衡策略。实验结果表明,这种负载均衡机制能有效分散系统负载,充分使用冗余服务设备,提高系统效率。实验还说明,单个的服务响应时延不会对负载均衡的效果造成影响,从而验证了模型在各种服务环境中的负载均衡效果。
谢敬伟[4]2017年在《分布式虚拟现实交互仿真系统研究》文中研究说明虚拟现实技术通过多种模拟感官体验的外部设备,建立一个逼真的叁维虚拟世界,提供参与者真实的沉浸感体验。而随着计算机图形学、网络技术、交互技术的不断发展,虚拟现实技术已经广泛应用于培训教育、工业训练、军事仿真等多个应用领域。分布式虚拟现实技术结合了虚拟现实技术和网络通信技术,通过高速网络将散落在各个位置的用户连接起来,实现信息共享,协同工作和实时交互。本文研究了一个基于分布式技术和Unity软件平台的分布式虚拟现实交互仿真系统,系统支持多人实时协同工作。由于分布式虚拟现实系统中普遍存在着真实性和流畅性不足的问题,针对这一问题,本文对系统中的人机交互关键技术和负载均衡机制进行研究,并提出了优化、解决的方案。论文首先对系统中人机交互关键技术进行研究,在对虚拟手的结构和运动规律进行分析后,根据其特点简化成多层的树形结构。为了实现虚拟手的姿态解算,对传统的一级扩展卡尔曼滤波器进行改进,提出了两级扩展卡尔曼滤波器,能够有效地降低计算复杂度,实现真实人手与虚拟手模型的同步。在此基础上,对系统中交互操作中的穿透处理和抓取操作进行了深入的研究。针对系统运行过程中负载不平衡的情况,本文设计了虚拟现实系统的负载均衡机制。基于分布式技术,并结合系统的应用需求,提出了由中心服务器和多个节点服务器协同工作的系统框架。节点服务器负责本地任务的调动,周期性收集负载信息发送到中心服务器,中心服务器根据系统负载情况,制定适合的负载均衡策略实现系统的平衡。最后,本文设计并搭建了分布式虚拟现实交互仿真平台,并对仿真平台进行实验验证。实验结果表明平台具有良好的稳定性和可靠性,能够实现在场景中的自由漫游,虚拟人物的同步交互和多用户并发访问等功能。
周顺[5]2010年在《面向Web Service的负载均衡策略研究》文中认为Web Service是一种不依赖于编程语言、计算平台和网络协议的开发标准,它可以通过高级的编程抽象,为应用开发者屏蔽分布复杂性。负载均衡的主要功能是合理透明地在服务器之间分配系统资源,以达到系统综合性能的最优化。基于中间件的负载均衡技术在整合异构系统、透明访问和扩展能力等方面具有优势。在中间模块上可以灵活实现多种负载均衡算法,来调整和满足不同应用的负载均衡需求,提高系统的扩展性、配置性、健壮性。本文在分布式系统的基础上,构建了一种新颖的、基于Web Service的负载均衡器——WSBLB(Web Service Based Load Balancer),在LARD算法的基础上,对请求强度进行了区分,并为了准确的描述系统的负载,改进了负载衡量系数,选择CPU利用率、内存利用率、访问率、系统响应时间、输入输出流量和进程数作为衡量系统负载的参量,实现了动态负载均衡调度策略。为了避免因监测服务器而加大WSBLB的压力,造成系统的单点故障,本策略将负载信息采集程序运行在机群内的各服务结点上。当相邻采集周期的负载差值超过标准值后调用平衡器上的WEB服务,报告服务器自身的负载状况。WSBLB根据负载信息进行同步操作,更换服务序列。这种方式可以减少因衡量负载变化而产生的额外连接与资源浪费。系统负载的跟踪以各个服务器不同时间段的性能参数作为衡量标准,并为每一个参数设置系数,描述不同时段影响系统负载的显着因素,避免了单一因素突变对数据表达的错误影响,使系统性能的评价更为准确。为了验证改进后策略的效果,本文设计了一个测试的方案。在此方案中,主要包括叁个组件：客户端,负载平衡器,服务端。在服务端部署简单的Web服务,包括页面访问、上传文件、下载文件和简单计算,在客户端运行测试工具模拟大量请求,平衡器根据不同的负载平衡策略负责任务的中间调度。从得到的数据分析负载均衡策略对系统性能的影响。实验中还采样了LARD等算法的数据,通过与本文负载均衡策略比较,证明面向Web services的调度策略能提高负载均衡能力,且在异质的、不同区域的集群系统中具有可行性。
牛升[6]2014年在《分布式文件系统的负载均衡策略研究》文中研究说明分布式文件系统从最初的网络文件系统发展至今,逐渐形成现阶段的云存储。它是在云计算(Cloud Computing)概念上延伸和发展出来的一个新概念。在大集群、动态的分布式文件系统中,随着文件数量、文件访问次数的增加,中心节点将成为整个系统的性能瓶颈。因此,减少中心节点在分布式文件系统中的依赖性是很重要的问题。此外,还有一种基于分布式哈希表(DHT)的分布式文件系统,其中不存在中心节点,并且文件根据DHT算法,均匀分布于系统中。但是,伴随着文件修改、热点出现,系统将无法保持负载均衡状态。负载均衡在分布式文件系统中是很重要的问题。系统负载状态影响着集群存储利用率和网络吞吐量。同时,已均衡的集群能够有效避免热点的出现,提高系统响应速度。因此,本论文将对基于DHT的分布式文件系统负载再均衡问题进行深入的研究。通过对现有负载再均衡算法研究与分析,其执行过程中,由于负载信息获取的局部性,导致在数据迁移过程中出现抖动的现象,并且数据迁移过程中会导致额外高负载节点的出现,从而影响负载均衡效率。因此,本论文通过扩大随机样本节点的个数,使计算出的估计值更加贴近实际值;在选择后继节点的过程中,采取双向延伸的方式,找出满足条件的后继节点,以此减少多余的数据迁移操作。该算法有效地解决了抖动现象的发生,避免了额外高负载节点的出现。同时,副本管理和节点选择也是分布式文件系统中的重要问题。文件系统中的副本分发策略与DHT算法中的文件分发策略不兼容。本论文通过采用软链接方式将副本存放位置重定向,保证两种策略的兼容。结合负载再均衡算法提出节点选择策略,避免数据迁移过程中,多个低负载节点同时选择同一个高负载节点的冲突问题。在负载均衡算法的应用中,使用Space-filling Curve将节点物理位置与逻辑位置对应起来,同时利用节点容量使用率将异构节点集群转换为同构集群。综上所述,本论文提出一种ILR(Improved Load Rebalancing)算法。采用Matlab数学软件和Chord仿真程序对分布式文件系统的负载均衡算法进行实验仿真。仿真实验生成数据后,将本论文提出的ILR算法与现有的负载在均衡算法从累积分布函数、节点负载状态、数据迁移次数和负载信息交换次数四个方面进行比较与分析。结果验证了ILR算法的有效性。
肖培棕[7]2009年在《分布式文件系统元数据负载均衡技术研究与实现》文中认为作为海量网络存储的一部分,分布式文件系统为应用提供高性能,高可用,高扩展的数据访问服务。分布式文件系统的服务分为元数据服务和文件数据服务两部分。为了保证元数据服务系统能够做到平滑地扩展和提高资源利用率,需要利用负载均衡来动态调整元数据服务节点的工作负载。为此,本文的主要研究工作包括:1.基于区域自治的元数据服务系统节点管理策略。该策略将系统划分为若干区域,每个区域保持适度的节点规模。区域内的节点通过自组织形式建立联系,同时有班长节点,负责联系其他区域,并起负载均衡决策的仲裁者作用。在广域分布式环境下,区域规模的动态调整和区域自治策略保证了元数据服务系统的易管理性和可扩展性。2.基于目录复制和目录迁移的元数据服务系统动态负载均衡策略。基于目录复制负载均衡策略又分为“发送者”驱动和“接收者”驱动两种驱动模式。“发送者”驱动的目录复制通过复制热点元数据,并将副本转移到其他元数据服务节点上来分散访问压力。“接收者”驱动的目录复制是从异地元数据服务节点复制热点元数据来减轻异地元数据服务请求的压力。基于目录迁移负载均衡策略则是通过将工作负载(元数据)从负载过重的元数据服务节点转移到负载过轻的元数据服务节点,以平衡负载。3.利用上述研究的节点管理和负载均衡策略,设计实现元数据服务系统中负载均衡子系统(简称元数据负载均衡子系统)。所研究实现的元数据负载均衡子系统,是863课题“新一代业务运行管控协同支撑环境的开发(2008AA01A317)”中分布式文件系统的重要组成。
崔园[8]2016年在《基于HDFS的分布式存储系统的研究与实现》文中认为随着大数据时代的到来,传统的技术已经无法满足日益增长的存储需求,分布式存储技术应运而生。HDFS是Apache开发的云计算平台Hadoop的分布式存储系统,可以运行在大规模廉价的服务器集群上,具有较高的容错能力,针对超大数据集的处理进行了优化,具有较高的数据吞吐量。然而,HDFS的设计也不是完美的,存在着一些缺陷。本文研究了HDFS分布式存储模型,针对HDFS可扩展性差和写延迟高的缺点,对其进行改进,主要工作和研究成果如下:(1)一种动态负载均衡的分布式NameNode策略。HDFS设计了单节点的元数据服务器(NameNode)来管理元数据,这种设计虽然实现起来简单高效但是存在叁个缺点:系统的可扩展性差、元数据可用性差和隔离性差。针对这个问题,现有的HDFS Federation策略和NCUC策略均存在着单点故障和没有动态负载均衡的缺陷。本文提出了一种动态负载均衡的分布式NameNode策略来解决这个问题。在本文提出的策略中,元数据通过多副本的形式存放在NameNode集群中,元数据分布的时候考虑到异构服务器之间的性能差异和当前的负载情况,当NameNode之间的负载动态变化时启动动态负载均衡策略,在客户端使用元数据缓存策略来降低元数据访问时间,当NameNode出现故障或者元数据副本丢失的时候启动元数据自动恢复。(2)一种延迟的自适应副本同步策略。HDFS使用简单的强一致性策略进行副本之间的同步,这种设计虽然保证了多副本之间始终处于一致性的状态,但是导致写文件延迟高和写吞吐率低的缺点,使得HDFS不适合有一定交互性等对于写性能要求高的场景。针对这个问题,现有的一些解决方案也存在着一些缺点:动态副本同步策略需要NameNode参与副本同步,而Quorum策略的读性能相对较差。本文提出了一种延迟的自适应副本同步策略来解决这个问题:在写操作执行的时候,选择部分副本执行副本同步,对其余的副本进行延迟的自适应副本同步,提高了写性能;通过使用BlockList结构,不需要NameNode参与副本同步,并且相较于Quorum策略也优化了读取性能。(3)本文对HDFS进行改进优化,在设计和实现的过程中使用了本文提出的动态负载均衡的分布式NameNode策略和延迟的自适应副本同步策略,解决了HDFS可扩展性差、元数据可用性低、写延迟高的问题。
蔡盛超[9]2014年在《分布式执行控制系统关键技术的研究与实现》文中研究表明随着互联网业务的发展，传统方式中采用单一服务器的软件系统可能会在硬件和性能上不能满足业务的需求，这个问题对更依赖服务器资源的应用业务层而言尤为严重。最简单有效的解决方式就是采用服务器集群，通过分布式技术提高系统的整体处理能力，来满足大容量、大数据和高并发且日益增长的用户需求。设计良好的分布式系统不但能提高系统当前的处理能力，而且具有较好的伸缩性，能够满足未来的业务需要。本文首先分析分布式系统中的通信方式；然后考察课题背景平台现状，设计和实现一个适用该平台且具有良好稳定性和伸缩性的分布式执行控制系统；最后对系统进行各项测试，并分析测试结果。本文设计的分布式执行控制系统具有如下两个创新之处：其一，采用注册服务方式。负责执行任务的执行节点向全局管理的中心节点提交注册信息，中心节点根据发布信息分配任务到对应的执行节点，通过远程方法调用执行任务，而不需要逐一询问执行节点，有助于提高系统的伸缩性；其二，采用动态加权负载均衡策略。中心节点通过执行节点的负载信息得到衡量节点剩余处理能力的权值，根据权值分配任务，从而达到负载均衡的目的，提高系统的整体处理能力和性能。本文设计的分布式执行控制系统使用java语言实现，能运行在不同的平台上。然而，由于java语言的效率相对低下，而且系统采用集中式的架构，使得系统的应用具有局限性，本文提出的应用模型和负载均衡策略适用于中等规模的软件系统。
邹方曼[10]2012年在《分布式负载均衡的Java实现》文中认为随着信息化进程的推进,分布式系统得到了广泛的应用和重视,但是由于任务到达的随机性,分布式系统中经常出现不同机器负载差异过大的现象。为解决这个问题,提出了负载均衡技术。负载均衡技术能合理的将客户端的请求分配到系统节点中,使得各个服务器的负载大致相同,从而能快速响应客户端的请求,提高整个系统的性能。本文前叁章描述了研究课题的背景和意义,介绍了负载均衡的基本概念并分析了分布式系统中负载均衡实现的方式。在此基础上,提出了一种适用于集中式(即中间节点负责调度任务)分布式系统的动态负载均衡框架。该框架通过SNMP协议远程获取标识服务器负载信息的参数,并通过一种改进的动态负载均衡策略调度任务。它能够有效的选取当前最佳的服务器(通常是空闲和低负载服务器)响应客户端的请求,实现任务的均衡分配。使用中,不需要安装其他的程序,只需将此框架嵌入到分布式系统中间件中即可实现系统的负载均衡。本文提出的系统全部使用Java语言实现。得益于Java语言的平台无关性,该框架具有一定的通用性,能运行于不同类型的平台上。然而,由于Java运行的效率相对较低,而且本课题以集中式系统为模型开发,使得该框架在大型复杂系统中具有一定的局限性,主要应用在中小企业的负载均衡中。本文的最后,搭建环境测试系统框架的可用性,并通过对结果的分析,证明了该框架的可行性,顺利完成了课题的任务。
参考文献：
[1]. 分布式系统负载均衡策略研究[D]. 李登. 中南大学. 2002
[2]. 基于层次策略的动态负载均衡算法研究[D]. 丁逸. 东南大学. 2005
[3]. 面向服务的消息中间件的研究[D]. 唐俊. 华中科技大学. 2006
[4]. 分布式虚拟现实交互仿真系统研究[D]. 谢敬伟. 浙江大学. 2017
[5]. 面向Web Service的负载均衡策略研究[D]. 周顺. 湖南大学. 2010
[6]. 分布式文件系统的负载均衡策略研究[D]. 牛升. 电子科技大学. 2014
[7]. 分布式文件系统元数据负载均衡技术研究与实现[D]. 肖培棕. 中国科学技术大学. 2009
[8]. 基于HDFS的分布式存储系统的研究与实现[D]. 崔园. 电子科技大学. 2016
[9]. 分布式执行控制系统关键技术的研究与实现[D]. 蔡盛超. 华南理工大学. 2014
[10]. 分布式负载均衡的Java实现[D]. 邹方曼. 北京邮电大学. 2012
标签：互联网技术论文; 负载均衡论文; 元数据论文; hdfs论文; 分布式文件系统论文; 分布式技术论文; 分布式架构论文; 节点服务器论文; 分布式处理论文; 分布式算法论文; 分布式部署论文; 动态模型论文;