网络流量特征研究和分布式被动测量系统设计

网络流量特征研究和分布式被动测量系统设计

马维旻[1]2004年在《网络流量特征研究和分布式被动测量系统设计》文中认为网络技术的迅猛发展特别是基于Internet应用的不断涌现,使网络从信息基础设施逐步演变成人类社会的基础设施。由于Internet发展的高度异构性和变化性,基于其上的应用与网络本身也面临着诸多挑战与种种矛盾。总体上来说,当前Internet仍然只是一个可用的网络。造成这种局面尽管与最初Internet的设计理念不无关系,但最根本原因在于我们对网络的运行特征与内在本质知之甚少,导致不能对网络进行有效利用。网络流量特征研究和网络流量被动测量是深入理解网络内在本质、了解网络运行状况的根本方法和手段,是网络性能提升、优化网络设计和实施流量工程的重要途径。本文以网络测量和仿真分析为手段,对网络流量特征特别是汇聚链路流量的自相似变化特性、流到达过程自相似特性进行了深入研究与探讨,对不同业务类型下的TCP拥塞窗口均值变化进行了分析,并提出了一套分布式被动测量系统的设计方案。论文的主要工作如下:1.研究了统计时分复用对流量自相似程度的影响。网络主干链路上的流量是由很多随机到达的流在汇聚节点进行统计时分复用后汇聚而成,通过对汇聚前后流量的自相似程度进行比较分析,揭示统计时分复用对网络流量特征的影响。研究表明,汇聚后流量的包计数时间序列自相似程度低于汇聚前各支路的自相似程度,特别是在网络吞吐量较大的情况下,其明显低于任何一个支路。另外,分别改变业务源数量和TCP接收窗口大小而不改变业务源发送速率,观察他们对自相似程度的影响。实验结果表明,网络流量的包计数时间序列的自相似程度并不随业务源数量的增加而减小,TCP接收窗口初始值的大小对自相似程度变化基本没有影响。2.对流到达间隔时间序列进行了多尺度分析。由于流到达间隔时间序列准确反映了流的到达过程,通过对其进行分析,有助于基于流交换的网络设备、服务器和基于流的计费系统设计。分析结果表明,全体流到达过程存在一定的相关性,但相关性比较弱,其流到达间隔序列在多个尺度上的尺度成分一般都小于0.7;TCP流到达过程的自相似特性与全体流的到达过程比较接近;HTTP流的到达间隔时间序列的自相似特性呈现出明显的多尺度特性,小尺度上几乎是不相关的,而大尺度具有长程相关性,其中HTTP流到达间隔时间序列中的少部分大序列值对其大尺度上的长程相关性有显着影响。3.研究不同流量特征的业务流对TCP拥塞窗口均值变化的影响。TCP拥塞窗口均值的变化特征可从一个方面反映出TCP的工作性能,变化越大,说明TCP工作越不稳定。论文采用网络仿真分析的方法,在TCP上加载不同流量特征的FTP业务流和WWW业务流,观察TCP拥塞窗口均值变化情况。实验表明两种不同的业务流对TCP拥塞窗口均值变化有不同的影响。当带宽比较小时,两种业务流下,TCP拥塞窗口均值变化的方差基本没有差异;当带宽比较大时,WWW业务流下的TCP拥塞窗口均值变化的方

梁晨[2]2009年在《基于DNMAI架构的分布式网络测量系统研究与应用》文中研究表明网络的异构性、复杂性、应用的多样性都使得了解网络成为了网络发展的必要条件,网络测量是人们了解网络性能最基本的手段之一。网络测量技术可以让人们多方位的了解和掌握网络,最大程度地利用网络带宽,并对网络性能加以改善,因此研究网络测量技术对计算机网络的发展具有非常重要的意义。研究发现网络分布和应用的多样性使得单点测量工具无法对网络进行全面的、综合的测量和了解,因此有必要研究和设计一种能够满足不同用户需求的,并能对网络进行全面测量和了解的系统,本文正是基于研究和设计一种适用不同网络环境和需求的分布式网络测量系统而展开的研究和开发工作。本课题的主要研究内容和成果:1.详细介绍了网络测量技术的基本概念、不同角度的分类以及相关方向的研究现状,分析了目前主流的测量方法和测量工具,阐述了网络性能测量框架模型及其特点,并对目前主流的网络测量体系结构做出了详细的分析和评价。2.本论文给出了适应不同环境和需求的网络测量终端硬件和软件设计框架以及开发模型,根据不同的平台和应用需求,将网络测量系统的开发分为以下四类进行研究和开发,它们分别是:基于思科公司Netflow协议的网络测量系统原理与开发、基于sFlow协议的网络测量系统原理与开发、基于PC系统的网络测量系统开发、网络测量终端设备的硬件与软件开发,用户可根据不同的需求进行选择和部署。3.将无线网络测量技术纳入研究体系,并对无线网络测量系统的开发做了较为详细的分析和研究,今后无线网络测量技术必将成为新的研究热点和研究方向。

王会明[3]2009年在《网络性能端到端主动测量研究与实现》文中研究说明网络性能测量是网络研究的重要内容,它对研究者理解现有网络状况起关键作用,还能为下一代互联网的规划和设计提供依据。对网络性能进行准确测量对流量工程、QoS路由、接纳控制等许多方面都有重要意义,是成功的设计、控制和管理网络的基本需求。端到端主动测量作为网络性能测量的重要手段,因其简单可控而被研究者广泛应用于网络性能测量研究中。本文对端到端主动测量技术进行如下几方面的研究:首先,设计了分布式双向主动测量协议(DTWAMP),并基于该协议设计实现了分布式端到端网络性能测量系统。DTWAMP以IETF IP Performance Metrics(IPPM)工作组提出的双向主动测量协议(TWAMP)为基础,对其进行分布式扩展。分布式端到端网络性能测量系统基于DTWAMP协议实现,可以同时对多条端到端路径上的双向延迟和丢包性能进行分布式测量,为网络测量研究者提供研究数据。其次,利用实现的分布式端到端网络性能测量系统,在Planetlab网络中进行了实际的测量活动并对结果进行分析。针对丢包性能的结果,本文将丢包分成异常丢包与链路随机丢包,并以此将网络路径划分为调整状态和稳定状态这两个状态,通过分析路径连续两次处于稳定状态的时间间隔(收敛时间),讨论了实时流媒体等新型网络应用对路径性能的需求。针对延迟性能的测量结果,本文也对路径的稳定性进行了简单的分析。最后,本文对端到端可用带宽的测量进行了研究,设计了新的测量算法。本文设计的TSprobe(a Two-Step probe methode / TSinghua probe)算法不需要紧链路(tight link)与窄链路(narrow link)重合这一不合理假设,解决了PGM(Probe Gap Model)类可用带宽测量算法所普遍面临的问题。在NS2上的实验表明,该算法测量时间短,测量负载低,其测量准确性平均可以达到99%以上,优于已有的测量算法。

张敏[4]2011年在《基于应用层和传输层的网络测量分析研究》文中提出随着互联网规模的不断扩张和网络应用的极大丰富,准确地认识和评估网络本身及网络应用的特征,有利于调整和改进现有的互联网基础软硬件设施,继而保障互联网健康持续的发展。作为当前观测、理解和评估互联网这个复杂巨系统的重要手段,网络测量研究正面临着诸多严峻的挑战。目前网络测量侧重于揭示网络本身或网络应用瞬时或短期的行为特征,而忽视了针对网络特征演变过程的刻画。有效地度量并描述互联网内涵不断变化演进的过程,有利于评估新技术或新协议对系统的影响,准确地预测网络发展趋势,是非常具有研究价值而鲜有报道的重要问题之一;其次,单一的小规模测量难以应对网络及其应用复杂度的提高和规模的扩大。如何针对具体的测量目的来设计综合性的测量方案?如何扩大测量规模?是测量方法设计上需要解决的关键问题;第叁,现有的大量实际的网络测量工作从孤立数据集入手,刻画分析网络的相关特性,缺乏融合多组数据集的研究分析;第四,当前网络测量研究结论的呈现较为单一和抽象,人们无法直观地了解互联网,同时也阻碍了研究人员之间的交流互动。如何借助于图形化手段,全面生动地表达测量结果是一个值得讨论的问题;此外,网络测量关键技术的探讨和理论性研究相对滞后,有待于深入的研究和建设。针对上述网络测量现存的主要问题,本文通过形式多样的测量实践,从互联网的应用层和传输层角度展开研究。论文的主要内容和创新如下:1)网络应用特征的持续性刻画和测量手段单一、规模较小是网络测量领域亟待解决的两大问题。本文针对互联网的支撑型基础应用——DNS根服务器系统和热门的P2P代表性应用·——EDonkey、迅雷,展开测量研究。通过针对散布在全球各地的分布式DNS根服务器系统的大规模长期协同测量,分析了四年来DNS根服务器系统基本特征的演变过程,评估了新技术IPv6和DNSSec (DNS Security Extensions, DNS安全扩展机制)在DNS根服务器系统中的实际部署和运行状态,填补了网络测量领域尚未针对该系统的大规模长期测量研究的空白。数据分析结果表明四年以来DNS根服务器在查询污染,工作负载,查询地理位置分布等基本特性表现出较强的一致性;DNSSec并未获得广泛的用户支持,有待于进一步的推广和部署。另一方面,针对P2P热点应用,综合考虑主被动测量的弊端和优势,本文设计了不同的测量方案,分别研究了EDonkey网络中假服务器行为特征;揭示了迅雷系统的基本构架和客户端的一般工作流程,验证并评估了迅雷系统的“盗链”行为。在揭示相关应用特征的同时,对网络应用新协议设计、网络流量管理等具有一定的实际意义。2)针对融合多组数据集的分析研究较少的现状,本文一方面从多组骨干网数据集入手,揭示了UDP流特征随P2P应用兴起所发生的变化;另一方面,从传输层和应用层两个角度,分析比较了国内外校园网数据集的基本特征,并且评估了基于常见流量特征的分类模型在不同数据集上的效用。实验结果表明Sizes类(分组包大小)特征的分类效果明显优于其他流特征。3)针对网络数据可视化较为单一抽象的现状,设计了基于AJAX技术的数据可视化交互式系统平台,不仅实现了全面的数据分析结论呈现和比较,而且最大限度地支持用户与数据集的交互,有利于研究人员之间的交互,为数据可视化提供了新的思路。4)针对网络测量关键技术和问题研究的相对滞后,围绕大规模协同测量和多组数据集分析两个方面,探讨了实际测量分析中测量探针位置选择、数据集规范、私隐信息去除、数据集共享等一系列关键性技术,对测量分析平台的建设和网络测量分析方法的研究具有一定的参考价值。

乐艳辉[5]2007年在《基于Netfilter的P2P流量测量系统研究》文中提出P2P网络应用在近几年得到了迅猛发展,以文件共享为主的P2P应用正在疯狂的吞噬带宽,已经严重影响到更为紧急的其他关键业务。因此,测量与控制P2P流量已经成为当前网络管理势在必行的措施。然而,P2P对带宽的影响至今还不能给出一个定量的评估,这一切源于P2P特有的协议特征给识别、测量它带来了巨大的挑战,传统基于端口的流量分类、测量方法已经失效。为彻底了解P2P流量特征及对带宽的影响,需要针对P2P流量测量展开研究。在研究的基础上探讨了一种通过应用层深层扫描来识别和测量P2P流量的方法,并设计和实现了一个基于Linux防火墙Netfilter的P2P流量测量系统P2P_M。Netfilter是Linux系统下的内核防火墙框架,具有良好的扩展性,可以通过Linux内核可加载模块技术对其增加一个内核模块进行扩展。Netfilter使用连接跟踪机制实现对数据包的高效过滤。在分析了通过应用层匹配来识别P2P流量技术的基础上,设计了一个基于Netfilter的P2P流量测量系统P2P_M。该系统利用已经提取的各种流行P2P协议的应用层特征,在Linux操作系统内核进行高速的应用层特征字符串匹配来识别P2P数据流,在识别的基础上运用连接跟踪技术进行流量统计。连接跟踪对peer之间的连接会话的源IP、目的IP、源端口、目的端口、协议构成的元组信息进行散列,以散列值作为索引建立hash表来对peer之间的连接会话进行标识,然后以连接为单位进行流量统计,实现对P2P流量的实时测量。P2P_M系统主要包含了四个模块:高效的P2P测量连接跟踪机制、内核P2P识别和统计模块、内核和用户空间通信模块、应用层流量分析模块。在局域网环境下,对系统进行了功能和性能测试。实验结果表明:系统能够实时的对流经局域网的以Bittorrent、PPLive为主的P2P流量进行识别和测量,根据测量数据,可进一步研究P2P流量特征。

佚名[6]2011年在《自动化技术、计算机技术》文中进行了进一步梳理TP112011011954一般成本环境下分散式多工厂资源调度/陈胜峰,蔚承建(南京工业大学信息科学与工程学院)//信息与控制.―2010,39(5).―640~645.研究多工厂一般成本结构特征,即工厂含有固定成本和单位成本,提出了一种分散式多工厂资源调度方法,该方法使用基于连续双向拍卖市场机制的ZI2策略。ZI2策略是一种包含价格和数量的二维报价策略,agent采用该策略在给定价格范围内随机提交报价。模拟实验结果验证了ZI2策略可以实现较高的调度效率,整体平均效率达到90%。图2表8参10

郭晓东[7]2011年在《基于覆盖网络的协作式校园网测量技术研究》文中研究指明随着计算机网络与教育信息化技术的发展,校园网的规模不断扩大,网络应用逐步复杂化,对网络的精细化管理已经成为校园网运行管理的一种新趋势。网络测量是网络管理的重要手段,广泛而准确的网络测量能够为网络管理员提供直观的数据,为网络性能监控、网络规划和优化、部署新应用、服务质量的比较、故障排查等需求提供原则、依据和方法,是实现校园网的精细化、智能化管理的基础之一。网络测量技术随着计算机技术的发展已经取得了很大的进步,从最初的集中式测量体系逐步过渡到基于P2P技术或基于Web Service技术的分布式体系结构,用于网络测量的网络协议也越来越完善,一大批开源的网络测量工具给网络测量的研究和实际操作带来了便利。本论文描述了一个基于覆盖网络的协作式校园网网络测量系统的设计与实现。该系统基于混合P2P结构实现节点管理和任务协作,可以用于分布式的QoS测量、协作式网络故障排查等网络管理工作。论文中介绍了P2P通信协议和消息编码,讨论了激励机制和安全机制,以及网络测量平台的典型应用场景。最后介绍了该系统在校园网上部署的情况以及获得的效果。

刘鹏[8]2006年在《高速链路流量可视化系统的研究与开发》文中指出随着Internet重要性的日益提高和网络结构的日益复杂,越来越有必要对网络中的流量情况进行深入的了解、分析,以利于发现网络瓶颈,优化网络配置,并进一步发现网络中可能存在的潜在危险。为此,需要对大规模网络中的流量进行可视化研究,并根据网络流量可视化的结果分析网络的性能,为加强网络管理、提高网络利用率、防范大规模网络攻击提供技术平台。 网络流量的可视化研究已成为目前的重点研究课题之一,本文正是针对这一问题设计了高速链路流量可视化系统,从而分析网络中流量的构成,从协议的角度分析网络流量的特点,利用分布式网络流量测量系统的高层结构以及其所提供的各类应用接口来实现网络流量的可视化。显示实时网络流量状态,让网络内部的运行情况透明化,通过对网络流量构成的统计,可以了解网络上各种协议的使用情况,以及网络应用的使用情况,从而更好地规划网络;根据网络应用程序产生数据流的特点,构建一个知识库,实现网络流量的应用程序识别功能,显示产生流量的各种应用程序的构成情况。网络流量的可视化对于优化Internet性能、提高其服务质量以及增强网络安全性具有重要的意义。 高速链路流量可视化系统的创新点有两个:一是对网络中的异常流量进行显示,以叁维空间描述数据流的方法为管理人员提供网络中可能存在的异常流量的图形表示,更加直观清晰的表现异常流量的组成情况。二是采用分布式技术,分布式流量测量系统进行网络流量的采集和分类,可视化系统利用与流量测量系统的数据接口来进行流量分析,实现流量的可视化。 可视化系统运行的实际情况表明,系统可以有效显示网络中各种流量的组成情况,系统利用可视化的方法实现了辨别异常流量的功能,主要是针对蠕虫病毒、扫描行为、DOS攻击所产生的流量的识别,同时还能显示网络的带宽利用率及分配情况以及网络中在线主机的数量统计等。

参考文献:

[1]. 网络流量特征研究和分布式被动测量系统设计[D]. 马维旻. 中国科学院研究生院(计算技术研究所). 2004

[2]. 基于DNMAI架构的分布式网络测量系统研究与应用[D]. 梁晨. 电子科技大学. 2009

[3]. 网络性能端到端主动测量研究与实现[D]. 王会明. 清华大学. 2009

[4]. 基于应用层和传输层的网络测量分析研究[D]. 张敏. 北京交通大学. 2011

[5]. 基于Netfilter的P2P流量测量系统研究[D]. 乐艳辉. 华中科技大学. 2007

[6]. 自动化技术、计算机技术[J]. 佚名. 中国无线电电子学文摘. 2011

[7]. 基于覆盖网络的协作式校园网测量技术研究[D]. 郭晓东. 山东大学. 2011

[8]. 高速链路流量可视化系统的研究与开发[D]. 刘鹏. 山东大学. 2006

标签:;  ;  ;  ;  ;  ;  ;  ;  

网络流量特征研究和分布式被动测量系统设计
下载Doc文档

猜你喜欢