一、高速网络内容监控若干关键技术(论文文献综述)
郭世现[1](2021)在《基于DPDK的实时流量分析系统》文中进行了进一步梳理随着移动互联网的普及和5G的飞速发展,网络上数据规模呈指数增长,数据的价值也被不断挖掘利用。数据中心作为数据进行传递和存储的基础设施,正在承载着这些复杂的网络数据。随着数据规模日益增长,在庞大的网络数据和高速网络传输面前,如何对网络进行流量实时获取、分析、存储是网络流量分析必须要面临的挑战。如何在不影响正常业务数据的情况下,高效完成对整个数据中心流量进行采集分析,是一个热点问题。目前传统的实时流量分析系统都是基于传统的协议栈实现,但是在高速网络的环境下,传统的实时流量分析系统会有极高的延迟率和丢包率。基于此,本文设计并实现了一个可以适应在高速网络环境中基于DPDK(Data Plane Development Kit)和DPI(Deep Packet Inspection)高速流量识别统计分析引擎系统,并以此搭建采集分析集群。该系统首先利用Kafka分布式消息队列技术和Spark Streaming实时流式计算框架对采集分析集群处理的数据进行实时分析处理,接着采用Druid大数据查询引擎对实时分析处理后的数据进行存储。最后,在设计上使用现在流行Grafana对数据按需求进行可视化展示。本系统通过模块化设计和可用性的实时监控和告警功能实现了灵活性、扩展性、以及稳定性。本系统在某汇聚机房晚高峰测试结果显示,在流量峰值300Gb/s的情况下,系统的平均单核处理能力达到了9.25Gb/s以上,系统的吞吐能力达到了9.7%,而基于传统协议栈Libpcap吞吐率不到1.2%,本系统实时处理能力足以覆盖整个数据中心出口处的网络流量。系统上线至今已经帮助业务人员和网络管理人员进行多次异常流量告警监控和流量调度以及设备割接等,大大降低了数据中心网络管理和运维成本,基本满足了现阶段实际生产环境下的所有需求。
钟慕尧[2](2020)在《基于容器和微服务的分布式演化计算平台的研究》文中认为随着大数据到来,新产生的数据量呈指数增长,人们面临的优化问题的规模也随之增长,通常用于解决此类问题的演化计算方法在大规模的数据下无法令人满意。而分布式计算和云平台在传统的开发模式下,需要对于每一个优化问题开发针对性的计算应用,浪费了大量资源。后来出现的分布式启发算法平台通常有部署复杂、并行化程度不高、扩展困难、用户和开发者界面不友好、算法和问题支持不多等不足之处。本文旨在克服上述计算平台的不足之处,为演化计算提供一个部署便捷、扩展灵活、界面友好、覆盖广泛的分布式计算平台,探索了演化算法的分布式应用可行性,对平台进行了架构和功能需求分析,基于这些需求进行了技术选型并设计了整个平台的架构。本文利用容器技术和微服务架构对平台功能进行了划分,设计并实现了资源管理微服务、任务控制微服务、RESTful风格的用户接口。本文结合典型的分布式演化计算模型设计并实现了算法库,并定义了问题库的开发规范,为开发者提供了便捷的方式进行算法和问题扩充。详细介绍了演化计算平台的整个架构的实现方法,对平台中每个组件都进行了说明。此外,本文还选取三个典型复杂优化问题,利用这些问题解释了组合优化问题在分布式演化计算平台上的实现原理和方法,并测试了平台的设计功能。
冉润[3](2020)在《高速网络背景下混合入侵检测方法的研究及应用》文中进行了进一步梳理近年来,随着互联网技术的飞速进步,极大地推进了当今社会的经济、文化和教育等领域的发展进程,但随着各类社会活动对计算机网络的依赖日益加剧,计算机网络成为黑客攻击的主要目标,网络犯罪有增无已。在这种情况下,各类网络安全技术相继出现,共同维护着现代网络的安全运行,入侵检测技术由于能够实现主动的网络安全防护措施,且具有实时地监控网络状态的特性,成为了网络安全领域的中热门的研究方向。Snort是一种基于误用入侵检测技术的网络入侵检测系统,能够有效避免计算机系统遭受入侵攻击的危害,由于其具备的开源性和模块化架构优势,受到网络安全领域研究者们的高度重视,有着大量的专家学者对其进行研究工作。但随着网络传输带宽的不断提升和网络入侵攻击类型的变化多端,Snort在面对这类由网络技术进步所带来的新挑战时,出现了具有较高的丢包率和无法检测变化后新型网络攻击行为这类问题,这为计算机系统的安全埋下了严重的隐患。基于上述背景,本文所做的主要研究工作包括以下三个方面:(1)针对Snort在高速网络环境下数据包捕获过程中出现的高丢包率现象,通运用高速数据包捕获技术PF_RING对Snort中的数据包捕获模块进行了优化,实验结果表明优化后的Snort数据包捕获模块在捕获性能上有着大幅的提升,极大程度上减少了丢包现象的发生。(2)针对基于误用入侵检测方法的Snort对新型入侵攻击行为无法检测的问题,提出了一种基于改进的PSO和BP神经网络的异常入侵检测方法。通过对粒子群优化算法中粒子位置和速度向量的更新公式和适应度函数进行优化改进设计了一个特征选择算法,以通过减少数据的特征维数来降低高维训练数据集对分类模型检测效果的影响;运用BP神经网络构建分类模型实现异常检测功能,并通过设计具有不同隐藏层结构的BP神经网络以确定实现异常检测效果最优的分类模型。利用CICIDS2017数据集对所提出的异常入侵方法的检测效果进行了实验评估,实验结果表明该方法在具有较低的检测时间消耗基础上,还有着较为精准的检测效果。(3)最后基于优化后的Snort和所提出的异常检测方法,设计了一种混合入侵检测模型,该模型中的误用检测模块由优化后的Snort来实现,异常检测模块由提出的异常入侵检测方法中所构建的BP神经网络分类模型来实现。通过在包含入侵活动的高速网络环境中对混合入侵检测模型进行了有效性验证实验,实验结果表明混合入侵检测模型在高速网络环境中有着较好的性能表现,且具备了对新型攻击行为的检测能力。
唐志颖[4](2019)在《基于数据中心网络的异常流高效检测和流矩估算研究》文中进行了进一步梳理网络流量测量是网络管理中的一个重要组成部分,在网络安全攻防领域具有重要的作用,诸如网络拥塞、DDOS攻击、蠕虫病毒等网络事件均可通过对网络流量的有效检测进识别。但随着网络数据的爆发式增长,以及网络传输速率的巨大提升,传统的网络流量检测方式面临着许多问题,在有限的存储空间下进行准确的流量统计成为一项挑战。而就数据中心这类特殊的网络来看,其除了会产生规模非常大的海量网络流量数据外,数据中心网络的流量分布特点也使得传统的流量检测方法具有极大的局限性。在互联网发展的早期,服务器主要用于对外提供服务,不同的服务业务又通过VLAN或安全区隔离成不同分区,所以这每一个分区都集中了该服务所需要的计算、存储等资源,不同分区之间有明显的界限,相互之间较难进行访问。所以传统的数据中心网络中,主要以客户端与服务器之间的南北向流量居多。在这种情况下,传统的网络流量检测方案往往是在数据中心网络的边界网关,或进出口交换机上部署相应的检测探针进行网络流的检测。而随着诸如大数据、云计算等高速流量网络应用的不断发展,传统的数据中心网络资源利用率低下的问题日益突出,为此出现了虚拟化、云计算管理等新技术,通过将各个分区中的资源进行池化,以达到充分利用网络中软硬件资源的目的。而在这个过程中往往涉及诸如虚拟机迁移、数据同步备份、协同计算等操作,这些操作极大的增加了数据中心网络内及数据中心之间的主机通讯,大幅度增加了数据中心网络的东西向流量。而传统的网络流量测量方案由于仅仅是把检测探针部署在网络出口边界上,所以只能够监听网络的南北向流量,无法满足对日益增长的东西向流量的检测需求,对于数据中心内部的网络,更是无法发现恶意的内网入侵,和网络故障等问题。即使是在数据中心网络中的关键节点部署硬件流量探针,也存在着硬件设备的部署成本较高,难以对全网进行部署的问题。所以就需要能够使用软件化,低成本的流量检测算法以部署到数据中心网络中的多核主机上,让数据中心主机在进行正常数据处理的同时,实现对网络流量的高速精确的测量。为此不少专家学者对网络流算法进行了深入的研究,并取得了丰富的研究成果,出现了基于数据包采样的测量算法,基于流的计数器的测量算法以及基于流的Sketch的测量算法这三大类数据流测量算法。而在这主流的三大类网络流算法中,以CountMin Sketch与Count Sketch为代表的、概要性计数的Sketch数据流算法由于能够能够充分地利用有限的内存资源,并提供较高的计算精度而备受关注,并被广泛应用于大数据,网络安全,流量工程等领域。虽然目前的大部分算法已经拥有不错的测量精度,但仍然存在着两大方面的问题,一是对于网络流数据的处理来说,这主流的三类算法各有利弊,即使是基于流的Sketch也面临着内存利用率不太高效,处理速度仍有提升空间的问题。二是对于网络中的各种突发事件,一般的网络流算法往往只能够提供非常有限的网络流度量信息,如果需要对多个网络事件进行检测将面临需要引入更多的数据流算法的问题。为此,本文主要探讨如何设计在数据中心这类高速网络环境中进行高效流量测量的通用算法,以已有的一些数据流算法为基础,首先提出了一种高度压缩的共享计数器结构CountMin virtual active counter(CM-VAC),以进一步适应有限存储空间与高速流量测量的需求,然后基于Univmon的论文思想进行改进并设计了本文的CMUnivmon算法以实现对网络流量的多个指标的检测,从而提升本文数据流算法的通用性。本文的主要贡献包括:(1)针对目前一些网络流算法的内存空间利用率低,处理速度仍可以进一步提升的问题,本文结合已有的 CountMin Sketch(CM)与 Virtual Active Counters(VAC)等算法,基于其中的关键技术设计实现了一种最小虚拟活跃计数器算法(CountMin virtual active counter,CM-VAC)。该算法通过将32位的计数器压缩到8位存储空间,并让多个流共享同一个计数器以减少算法所需要使用的内存空间。同时,算法概率性的更新计数器以及哈希函数值的分段使用也极大的提升了算法对网络流数据的插入与查询速率。(2)为了能够有效地检测出网络中层出不穷的异常流量事件,针对目前大部分网络流算法只能够聚焦于网络流量监测中的某一个测度的问题,本文在原有的Univmon算法结构上进行改进与设计,实现了一种内存空间十分紧凑的通用Sketch算法(Compressed memory Universal Monitoring,CMUnivmon)。该算法通过底层的 CM-VAC结构来统计网络中的整体流量信息,借助算法中原有的Heavy hitters堆作为热点过滤器从而进一步提升算法的插入速度与对Heavy hitters事件的检测精度。通过对不同流矩值的计算以给管理人员提供更多的数据流度量信息。(3)在理论分析的基础上,本文借助CAIDA真实的数据流trace信息对本文中提出的所有算法进行了性能测试,通过实验验证了本文算法的优越性。在文章的最后部分,本文基于所提出的通用流矩算法CMUnivmon,结合因特尔的DPDK开发套件,MySQL数据库与Flask网络框架设计了一个简单的基于数据中心主机的网络流量测量原型系统,通过搭建简单的流量仿真测试环境,说明本文提出的算法在真实网络环境中应用的可行性。
杨成浩[5](2019)在《面向应用驱动网络的网络应用分类与识别方法的研究与实现》文中提出随着网络技术的飞速发展,互联网正加速与生产生活各个领域相融合,而这一趋势也导致了网络中不断涌入大量的新型应用,传统网络需要应对网络应用更加复杂多变的网络资源需求,为不同的应用提供差异化通信服务,但是传统网络封闭僵化的体系结构限制了其提供差异化服务的能力。SDN技术可以实现对网络资源的灵活控制,解决传统网络封闭僵化问题,在此技术背景下,为了给应用提供差异化网络服务,“按需定制”的应用驱动网络引起了业界研究人员的关注。实现“按需定制”的前提是识别出不同应用对网络资源的不同需求。然而,现有网络应用分类与识别方法大多是以识别协议类型与安全属性为目的,无法反映应用的网络资源需求。因此,本硕士论文从应用对网络资源需求的角度,对面向应用驱动网络的网络应用分类与识别方法进行研究,主要工作包括以下几个方面:(1)针对当前应用分类方法无法刻画各类应用的网络资源需求问题,本文提出了一种基于网络资源需求的应用分类方法,能够根据应用的网络资源需求样本自身的分布特征进行聚类分析,将对网络资源需求相似的网络应用归为一类,并对不同类型的网络应用对网络资源的需求进行量化。(2)针对现有应用识别方法无法识别出应用的网络资源需求的问题,本文将深度学习与半监督学习相融合,提出了一种基于流量特征的网络应用资源需求识别方法。该方法为了提升弱分类器的构建速度,提出一种多级残差全连接神经网络模型,基于以第一部分研究成果标记的网络流量特征样本,构建并训练弱分类器集群;在此基础上,提出了一种基于类型识别准确率的增量学习方法,实现对弱分类器的更新训练,提高网络应用资源需求的识别准确率。(3)针对当前高速网络环境下要求数据包捕获处理速度快的需求,本文基于DPDK技术设计并实现了网络应用资源需求识别系统,通过DPDK技术绕开Linux内核进行网络流量特征提取处理,实现了对网络应用资源需求的快速识别。综上所述,为了实现“按需定制”的应用驱动网络,本论文对基于网络资源需求的网络应用分类与识别方法进行了研究,提出了基于网络资源需求的应用分类方法与基于流量特征的网络应用资源需求识别方法,然后基于DPDK技术设计并实现了一套网络应用资源需求识别系统,并通过一系列的仿真实验与系统实验,验证了本文研究成果的可行性与有效性。
刘兆禄[6](2019)在《基于Spark的网络流量分类研究》文中研究表明大数据时代,互联网飞速发展,网络规模呈指数增长,各种新型的网络服务层出不穷,网络组成也变得尤为复杂。网络流量分类(Network Traffic Classify,NTC)在分析用户行为、增强网络可控性、提高网络服务质量(Qualityof Service,QoS)和保障网络安全等方面起着至关重要的作用。随着互联网规模的持续扩大和性能的不断提升,当今大规模高速网络流量具有数据量大、多样性、传输快、价值密度低等特性;面对这些大规模高速网络的独有特性,传统的网络流量分类方法有些力不从心。为了能够迅速、准确地对大规模高速网络下的流量数据进行分类,本文利用决策树的相似性和权重集成策略对随机森林算法进行改进。通过计算决策树的相似度为依据,消除决策树之间的决策冗余,提高分类效率;依据决策树的分类性能为每棵决策树设定权重,并根据权重集成决策树形成随机森林,保证模型的泛化能力的同时提升模型分类性能。另外还利用流的启发式特点,引入强相关性指导聚合网络流量以此获得更好的分类性能。传统网络流量分类方法由于单机硬件资源的局限性都难以适用于大规模高速网络环境。因此为了突破单机资源的限制,文章使用Spark及其相关技术结合并行化的改进随机森林算法构建了适用于大规模高速网络环境下的流量分类系统。并且经过实验证明了系统良好的健壮性、可行性和可扩展性等;系统大幅度降低了分类时间,提高了分类效率。
李琪[7](2019)在《分布式图计算中的图划分问题研究》文中研究表明自20世纪90年代开始,以因特网为代表的信息技术的迅猛发展使人类社会大步迈入了网络时代,使得人类在任何地点任何时间都能够互联互通。从城市网络到全球航空网络,从大脑神经网络到各种新陈代谢网络,各种复杂网络已经充斥着人们生活的方方面面,包括经济,政治,科学等。复杂网络的研究能够广泛地应用到生物、计算机等各个学科领域,使人们更好的了解现实世界中的复杂系统。而如今,网络规模十分巨大,如果把大脑中的神经元看作顶点,神经元之间互连的树突看作边,那么整个网络将包含890亿个顶点及100万亿条边。如何对这些大规模图数据进行有效率的挖掘计算,是研究复杂网络的首要任务。并行计算技术是现在最成熟、应用最广、最可行的计算加速技术之一。因此研究复杂网络计算的并行加速技术具有十分重要的意义。而如何在各计算单元间分配任务是并行计算性能好坏的关键。图划分技术就是解决这一问题的有效手段。图划分问题的研究是随着实际应用的需求不断驱动。随着云计算技术的快速发展,不管是公有云还是私有云,不可避免会出现集群的异构性;数据量的快速增长对图划分算法的划分质量,划分效率及可扩展性提出新的要求;以寻找最短路径等为代表的局部挖掘的图计算应用的广泛性,对之前图划分算法都将成为新的挑战,使得之前划分技术难以适用当今复杂多变的集群环境和应用需求。针对以上三个挑战,分别提出了不同的解决方法。本文的主要贡献如下:1、针对异构计算环境下的分布式集群,本文提出了一种异构感知的流式图划分算法(HaSGP)。该方法根据并行异构环境中硬件性能的不同特点,合理的分配任务,使之提升分布式图计算的效率。同时针对流式图划分,设计了一种基于邻边结构的动态缓存数据管理机制,该机制有效的管理划分过程中的缓存数据。相对于现有的基于邻点结构的流算法,划分效率明显提升。2、针对大规模图划分的问题,本文设计了一种基于层次亲和聚类的分布式大图划分算法(DisHAP)。具体创新点为:设计了基于Boruvka算法的层次亲和聚类,将其作为初始划分。以顶点相似度为距离度量,迭代合并距离较近的两顶点,并移去子图中邻点相似度和值最小的顶点以约束规模过大的子图。在没有后续优化的情况下,划分质量也接近于现有的某些大图划分方法;针对大规模子图之间的割边率优化问题,DisHAP使用降维的操作,将初始划分结果线性嵌入为一维顶点序列。通过分片优化割边的方式对顶点序列重排列,将原问题转化为多个复杂度较小的子问题以利于并行计算。3、设计了一种面向多子图查询感知的图划分算法(Muti-QS)。该算法根据查询的历史记录对图数据进行动态的划分,实验表明,Muti-QS能够达到最高76%的查询在本地化执行。而且查询感知划分速度很快,因为它只对少量查询区域进行操作而不是优化大量的顶点。同时也提出了一种具有局部和全局屏障的混合模型—子查询屏障。由于子查询屏障中的局部屏障产生的最小化开销,使局部屏障能够最大化的减少本地化查询的延迟。而子查询屏障中的全局屏障能够很好的执行动态的优化分割。为了进一步降低分区之间的通信量,Muti-QS使用一种分离器和组合器,通过非集合通信进行同步,降低并发网络通信开销的影响。
路琪[8](2017)在《高速网络流量分析处理技术研究》文中认为本文以采用五元组定义的网络流作为研究对象,解决单链路10Gbps速率的网络信号接入,通过协议解析,内容识别技术等处理手段,恢复网络流信息,并通过设计硬件系统实现网络信号流级分析处理,并根据匹配结果执行不同的处理策略,从而实现网络流量分类。本文围绕高速网络信号处理的整个过程,主要完成了以下工作:(1)研究高速网络流量分析处理技术。针对不同格式的网络信号设计相应接入方案,并对网络流量分类技术进行了研究。(2)深入研究了高速网络内容识别关键技术。针对高速缓存技术、流识别算法、模式匹配算法进行了重点研究,提出了一种基于布鲁姆过滤器的TCAM匹配算法。(3)通过网络流量分析处理技术的理论分析和实际需求,采用模块化、功能化设计准则,设计和实现高速网络流检测系统硬件平台,并在平台上实现了多业务信号接入和基于TCAM的硬件流检测算法。(4)对所设计的流量分析处理平台进行测试并分析测试结果,对系统平台未来的发展提出了一些展望。
钟华,陶妍丹,桂勇胜[9](2012)在《基于栅格化信息网的高速网络安全防护技术》文中研究表明从高速网络安全监控设备与协议识别技术、高速网络入侵防御(IPS)技术和高速网络异常流量及行为检测技术等三方面重点阐述基于栅格化信息网的高速网络安全防护关键技术国内外同类技术的研究现状。指明高速骨干网络一体化安全监控设备系统结构、安全元数据分类、规范和描述技术、安全监控支撑技术、入侵防御技术、异常流量及行为检测技术的研究方向。
谢天宇[10](2012)在《高速网络环境下的入侵检测系统的研究》文中研究指明Internet的蓬勃发展,网络已经在人们的日常生活中扮演着越来越重要的角色。但是,随之而来的网络攻击手段也愈来愈复杂化、多元化、智能化。如何保证网络不受网络攻击入侵破坏受到人们的重视。入侵检测作为一种能够主动发现攻击行为的技术,有效地弥补了防火墙技术等传统安全防护技术的缺陷。随着不断增大的网络规模和网络流量,传统的入侵检测系统结构暴露出越来越多的局限性和缺陷,如工作量大、响应速度慢、处理能力不足问题和单点失效问题。本文设计了一个基于Hadoop集群的分布式入侵检测系统。采用分布式的三层体系结构:检测代理为第一层,负责检测入侵行为产生安全事件;数据收集器为第二层,处理第一层的数据;基于Hadoop集群构建的监控中心位于第三层。首先,本文介绍了入侵检测的定义、重要性和方法。分析了高速网络环境下的入侵检测系统所面临的主要问题和影响因素。随后,重点介绍了常见的三种分布式入侵检测系统的架构:集中分布式、层次分布式和对等协作式,并且研究比较了它们三者之间的优势和缺点。再后,本文研究分析了Hadoop集群技术,对它的两大核心技术HDFS分布式文件系统和MapReduce并行编程模型进行了细致的研究。然后,文章讨论了本系统的整体架构设计。并分析了系统组件的功能设计以及架构设计中的关键技术。再后,讨论了本系统的几个关键组件设计与实现。最后,论文提出了一种基于MapReduce编程模型的FP-Growth算法,用于解决在传统的关联规则算法无法处理海量入侵记录的问题。该算法的核心思想是:将无法基于内存构建的FP-树分解为多棵FP-子树,通过对子树的挖掘,得到全局的频度模式。根据实验结果,该算法在处理规模较大的数据时,随着计算节点的增加,算法性能也呈线性比例提升。
二、高速网络内容监控若干关键技术(论文开题报告)
(1)论文研究背景及目的
此处内容要求:
首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。
写法范例:
本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。
(2)本文研究方法
调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。
实证研究法:依据现有的科学理论和实践的需要提出设计。
定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。
定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。
跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。
模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
三、高速网络内容监控若干关键技术(论文提纲范文)
(1)基于DPDK的实时流量分析系统(论文提纲范文)
摘要 |
Abstract |
1 绪论 |
1.1 选题的背景和意义 |
1.2 国内外发展现状 |
1.2.1 数据包采集概况 |
1.2.2 数据包识别概况 |
1.2.3 分布式计算框架概况 |
1.3 本文的主要工作 |
1.4 论文的组织结构 |
2 相关技术 |
2.1 流量捕获 |
2.1.1 DPDK技术 |
2.1.2 网络多队列技术 |
2.2 流量识别 |
2.2.1 基于端口的识别技术 |
2.2.2 基于DPI的识别技术 |
2.3 数据处理 |
2.3.1 消息队列Kafka |
2.3.2 数据处理Spark Streaming |
2.4 数据存储与可视化 |
2.4.1 数据存储查询Druid |
2.4.2 监控打点Metrics |
2.4.3 前端可视化Grafana |
2.5 本章小结 |
3 系统需求分析 |
3.1 系统需求概述 |
3.2 系统的流程分析 |
3.3 系统功能性需求分析 |
3.3.1 采集识别统计和数据处理需求分析 |
3.3.2 数据可视化需求分析 |
3.3.3 系统可用性需求分析 |
3.4 系统非功能性需求分析 |
3.5 本章小结 |
4 系统设计与实现 |
4.1 部署方式 |
4.2 总体框架 |
4.3 数据库的设计与实现 |
4.4 高速收包引擎模块设计与实现 |
4.4.1 收包引擎性能优化 |
4.4.2 数据包捕获流程 |
4.5 数据包解析处理模块设计与实现 |
4.5.1 数据预处理 |
4.5.2 会话处理 |
4.5.3 会话识别 |
4.6 数据处理模块设计与实现 |
4.7 实时查询模块设计与实现 |
4.8 可视化模块设计与实现 |
4.9 系统可用性设计与实现 |
4.10 本章小结 |
5 系统测试 |
5.1 测试环境 |
5.2 数据源 |
5.3 系统测试 |
5.3.1 功能测试 |
5.3.2 性能测试 |
5.4 系统整体运行 |
5.5 本章小结 |
结论 |
参考文献 |
致谢 |
(2)基于容器和微服务的分布式演化计算平台的研究(论文提纲范文)
摘要 |
ABSTRACT |
第1章 绪论 |
1.1 课题背景及研究的目的和意义 |
1.1.1 课题背景 |
1.1.2 研究的目的和意义 |
1.2 国内外在该方向上的研究现状及分析 |
1.2.1 国外研究现状 |
1.2.2 国内研究现状 |
1.2.3 国内外研究现状总结 |
1.3 本文的主要研究内容 |
1.4 论文的主要结构 |
第2章 相关技术介绍 |
2.1 引言 |
2.2 演化计算 |
2.2.1 演化计算的发展概述 |
2.2.2 演化算法介绍 |
2.2.3 集中式架构与分布式架构 |
2.2.4 分布式演化算法 |
2.3 容器技术 |
2.3.1 容器技术发展概述 |
2.3.2 容器技术-Docker |
2.3.3 容器镜像与版本控制 |
2.4 微服务架构 |
2.4.1 微服务架构的发展概述 |
2.4.2 微服务架构特点 |
2.4.3 微服务架构和容器技术 |
2.5 本章小结 |
第3章 分布式平台的架构设计 |
3.1 引言 |
3.2 分布式平台功能需求梳理 |
3.2.1 分布式平台架构功能需求梳理 |
3.2.2 分布式平台服务功能需求梳理 |
3.3 分布式平台总体架构设计 |
3.4 微服务设计和实现 |
3.4.1 接口设计RESTful-Server |
3.4.2 作业监控微服务 |
3.4.3 资源监控和调度 |
3.4.4 日志报警 |
3.5 问题库设计 |
3.5.1 问题原型设计 |
3.5.2 问题库设计 |
3.6 算法库设计 |
3.6.1 分布式演化算法框架 |
3.6.2 演化算法框架组件 |
3.7 其他模块设计 |
3.7.1 .镜像管理模块设计 |
3.7.2 用户流程设计 |
3.8 本章小结 |
第4章 平台实现和测试 |
4.1 引言 |
4.2 计算节点硬件配置及运行环境 |
4.3 私有镜像仓库的搭建 |
4.4 计算机集群及对接服务层搭建 |
4.5 用户接口的实现 |
4.6 任务控制微服务实现 |
4.6.1 消息监听组件 |
4.6.2 数据库组件 |
4.6.3 配置分析组件 |
4.7 资源管理器的实现 |
4.7.1 监控组件 |
4.7.2 提交组件 |
4.7.3 停止组件 |
4.8 算法库实现 |
4.8.1 主从分布式演化算法框架的实现 |
4.8.2 岛屿分布式演化算法框架的实现 |
4.9 问题库实现 |
4.10 实例测试 |
4.11 本章小结 |
第5章 平台应用 |
5.1 引言 |
5.2 旅行商问题 |
5.2.1 旅行商问题概述 |
5.2.2 演化算法解决旅行商问题 |
5.2.3 并行演化算法求解 |
5.2.4 分布式演化算法 |
5.2.5 在平台上进行分布式计算 |
5.3 子集选择问题 |
5.3.1 子集选择问题概述 |
5.3.2 演化算法实现 |
5.3.3 演化算法的分布式实现 |
5.3.4 平台上实现最大覆盖问题 |
5.4 深度神经网络压缩问题 |
5.4.1 深度神经网络压缩概述 |
5.4.2 演化算法实现DNN压缩 |
5.4.3 演化算法分布式实现 |
5.4.4 平台上实现深度神经网络压缩 |
5.5 本章小结 |
结论 |
参考文献 |
致谢 |
(3)高速网络背景下混合入侵检测方法的研究及应用(论文提纲范文)
致谢 |
摘要 |
ABSTRACT |
1 引言 |
1.1 研究背景和意义 |
1.2 国内外研究现状 |
1.3 主要研究内容 |
1.4 论文组织结构 |
2 相关理论知识和技术 |
2.1 入侵检测概述 |
2.1.1 网络入侵检测基本概念 |
2.1.2 入侵检测系统 |
2.1.3 入侵检测系统的分类 |
2.2 数据包捕获技术 |
2.2.1 Linux内核网络协议栈 |
2.2.2 Libpcap |
2.2.3 零拷贝技术 |
2.3 本章小结 |
3 高速数据包捕获模块的研究与实现 |
3.1 基于PF_RING对 Snort数据包捕获模块的改进 |
3.1.1 Snort数据包捕获模块介绍 |
3.1.2 PF_RING技术介绍与分析 |
3.1.3 PF_RING工作原理分析 |
3.2 实验与分析 |
3.2.1 实验环境 |
3.2.2 实验过程 |
3.2.3 结果分析 |
3.3 本章小结 |
4 基于改进的PSO和BP神经网络的异常入侵检测方法研究 |
4.1 基于PSO的特征选择方法研究与改进 |
4.1.1 特征选择概述 |
4.1.2 粒子群优化算法 |
4.1.3 粒子群优化算法的改进 |
4.2 BP神经网络 |
4.2.1 BP神经网络概述 |
4.2.2 BP神经网络训练过程 |
4.3 实验与分析 |
4.3.1 实验数据集介绍 |
4.3.2 数据集预处理 |
4.3.3 评价指标 |
4.3.4 结果分析 |
4.4 本章小结 |
5 混合入侵检测模型的研究与实现 |
5.1 基于Snort和 BP神经网络的混合入侵检测模型 |
5.1.1 Snort概述 |
5.1.2 混合入侵检测模型的设计思路 |
5.1.3 混合入侵检测模型的工作流程 |
5.2 实验与分析 |
5.2.1 模型评价指标 |
5.2.2 实验环境 |
5.2.3 实验过程 |
5.2.4 结果分析 |
5.3 本章小结 |
6 结论与展望 |
参考文献 |
作者简历及攻读硕士/博士学位期间取得的研究成果 |
学位论文数据集 |
(4)基于数据中心网络的异常流高效检测和流矩估算研究(论文提纲范文)
摘要 |
Abstract |
第1章 绪论 |
1.1 研究背景 |
1.2 研究现状概述 |
1.3 本文研究内容 |
1.4 本文组织结构 |
第2章 网络流量测量相关知识 |
2.1 网络流量异常事件基础知识 |
2.1.1 网络流量异常事件分类 |
2.1.2 常见流量异常事件 |
2.2 流量测量相关知识 |
2.2.1 数据流建模 |
2.2.2 网络流相关测度 |
2.3 主流的三大类测量算法 |
2.3.1 基于数据包采样的测量算法 |
2.3.2 基于流的计数器的测量算法 |
2.3.3 基于流的Sketch的测量算法 |
2.3.4 各数据流算法优劣总结 |
2.4 本章小结 |
第3章 基于计数器共享的CM-VAC算法 |
3.1 CM-VAC算法结构 |
3.1.1 算法总体结构 |
3.1.2 活跃计数器 |
3.1.3 哈希函数优化 |
3.1.4 计数器操作 |
3.2 算法性能的理论分析 |
3.3 实验测试 |
3.3.1 数据包处理速度 |
3.3.2 估计精度 |
3.3.3 计数器层数s对算法的影响 |
3.4 本章小结 |
第4章 CMUnivmon流矩算法 |
4.1 流矩估计的定义 |
4.1.1 数据流算法的通用性 |
4.1.2 流矩估计的原理 |
4.2 CMUnivmon算法结构 |
4.2.1 插入阶段 |
4.2.2 查询阶段 |
4.3 CMUnivmon性能测试 |
4.3.1 算法处理速度 |
4.3.2 Heavy hitters检测精度 |
4.3.3 流矩计算精度 |
4.4 本章小结 |
第5章 系统的设计与实现 |
5.1 相关技术简介 |
5.1.1 Intel DPDK简介 |
5.1.2 Flask框架进行界面设计 |
5.1.3 MySQL数据存储 |
5.2 原型系统整体设计 |
5.2.1 在线处理阶段 |
5.2.2 离线分析展示阶段 |
5.3 原型系统功能展示 |
5.4 本章小结 |
第6章 总结和展望 |
6.1 研究成果总结 |
6.2 未来研究展望 |
致谢 |
参考文献 |
作者简介 |
(5)面向应用驱动网络的网络应用分类与识别方法的研究与实现(论文提纲范文)
摘要 |
abstract |
第1章 绪论 |
1.1 研究背景 |
1.2 研究现状 |
1.2.1 网络应用分类方法 |
1.2.2 网络应用识别方法 |
1.2.3 高速报文捕获机制 |
1.2.4 研究现状总结 |
1.3 研究目标 |
1.4 研究内容 |
1.5 论文组织结构 |
第2章 基于网络资源需求的应用分类方法 |
2.1 研究思路 |
2.2 基于网络资源需求的应用分类方法 |
2.2.1 基于网格聚类的子簇划分 |
2.2.2 基于密度聚类的初始聚类参数确定 |
2.2.3 基于K_Means聚类进行最终的应用类型划分 |
2.3 仿真实验 |
2.3.1 实验环境 |
2.3.2 实验分析 |
2.4 本章小结 |
第3章 基于流量特征的网络应用资源需求识别方法 |
3.1 研究思路 |
3.2 基于流量特征的网络应用资源需求识别模型 |
3.3 基于残差思想改进的全连接神经网络分类器构建 |
3.3.1 传统深度全连接神经网络模型及问题分析 |
3.3.2 基于残差思想改进的全连接神经网络模型 |
3.3.3 弱分类器集群的构建及线性组合 |
3.4 基于类型识别准确率的增量学习方法 |
3.5 实验分析 |
3.5.1 实验环境 |
3.5.2 模型识别准确率对比实验 |
3.5.3 模型收敛速度对比实验 |
3.5.4 基于类型识别准确率的增量学习效果对比实验 |
3.6 本章小结 |
第4章 原型系统的设计与实现 |
4.1 开发环境 |
4.2 系统设计 |
4.2.1 系统功能架构 |
4.2.2 数据库设计 |
4.3 系统实现 |
4.3.1 应用类型划分 |
4.3.2 分类器初始化构建 |
4.3.3 基于DPDK流量特征采集 |
4.3.4 网络应用资源需求识别 |
4.3.5 增量学习 |
4.3.6 识别结果查询与分析 |
4.4 系统验证与分析 |
4.4.1 系统验证目标 |
4.4.2 基于流量特征的网络应用资源需求识别方法有效性验证 |
4.4.3 基于类型识别准确率的增量学习方法可行性验证 |
4.5 本章小结 |
第5章 总结与展望 |
5.1 总结 |
5.2 展望 |
致谢 |
参考文献 |
攻读硕士学位期间参与的项目及发表的论文 |
作者简介 |
(6)基于Spark的网络流量分类研究(论文提纲范文)
摘要 |
abstract |
第一章 绪论 |
1.1 研究背景及意义 |
1.2 研究现状 |
1.2.1 分类技术研究现状 |
1.2.2 Spark技术研究现状 |
1.3 论文主要研究内容与创新点 |
1.3.1 主要研究内容 |
1.3.2 主要创新点 |
1.4 文章的组织结构 |
第二章 网络流量分类综述 |
2.1 网络流量分类基本概念 |
2.2 常用网络流量分类方法 |
2.2.1 基于端口号的网络流量分类方法 |
2.2.2 基于深度包检测的网络流量分类方法 |
2.2.3 基于机器学习的网络流量分类方法 |
2.2.4 网络流量分类方法总结 |
2.3 网络流量分类过程 |
2.3.1 网络流量分类步骤 |
2.3.2 网络流量的相关性 |
2.3.3 网络流量特征提取 |
2.4 本章小结 |
第三章 基于相似性和权重改进随机森林算法 |
3.1 随机森林算法概述 |
3.1.1 集成学习 |
3.1.2 决策树 |
3.1.3 算法构成 |
3.1.4 算法优缺点及改进方法 |
3.2 基于相似性和权重改进随机森林模型 |
3.2.1 决策树之间的相似性 |
3.2.2 决策树权重及集成策略 |
3.3 算法的并行化设计 |
3.4 本章小结 |
第四章 基于Spark平台的并行化设计 |
4.1 引言 |
4.2 关键技术介绍 |
4.2.1 Spark技术简介 |
4.2.2 HDFS技术简介 |
4.2.3 Kafka技术简介 |
4.2.4 Flume技术简介 |
4.3 分布式流量分类系统 |
4.3.1 系统设计 |
4.3.2 系统架构 |
4.4 系统流量抓取模块 |
4.5 数据处理模块 |
4.6 模型训练模块 |
4.7 本章小结 |
第五章 实验设计与分析 |
5.1 实验数据集和实验环境 |
5.1.1 实验数据集 |
5.1.2 实验环境 |
5.2 实验设计 |
5.3 评价指标 |
5.3.1 分类性能 |
5.3.2 加速比 |
5.3.3 可扩展性 |
5.4 实验结果分析 |
5.4.1 模型分类性能 |
5.4.2 基于Spark的流量分类系统评价 |
5.5 本章小结 |
第六章 总结与展望 |
6.1 本文总结 |
6.2 展望 |
参考文献 |
致谢 |
研究成果及发表的学术论文 |
作者和导师简介 |
附件 |
(7)分布式图计算中的图划分问题研究(论文提纲范文)
中文摘要 |
英文摘要 |
1 绪论 |
1.1 研究背景 |
1.2 研究现状 |
1.2.1 复杂网络 |
1.2.2 图划分技术 |
1.3 存在的问题 |
1.4 本文的主要工作 |
1.4.1 研究思路 |
1.4.2 研究内容 |
1.4.3 主要贡献 |
2 图划分相关理论与技术 |
2.1 图划分基础理论 |
2.2 经典图划分算法 |
2.2.1 离线划分 |
2.2.2 流式划分 |
2.2.3 动态重划分 |
2.3 分布式图计算平台 |
2.3.1 Pregel |
2.3.2 Giraph |
2.3.3 GraphLab |
2.3.4 TUX~2 |
2.4 本章小结 |
3 异构计算环境中图划分算法的研究 |
3.1 引言 |
3.1.1 研究背景 |
3.1.2 研究意义 |
3.1.3 挑战与贡献 |
3.2 问题定义 |
3.3 异构因素下的形式化建模 |
3.3.1 流式图划分 |
3.3.2 计算能力 |
3.3.3 通信带宽 |
3.3.4 共享资源竞争 |
3.4 异构环境下的图划分算法 |
3.4.1 异构感知的流式划分 |
3.4.2 邻边结构 |
3.5 实验评估 |
3.5.1 评估指标 |
3.5.2 计算能力异构 |
3.5.3 网络通信异构 |
3.5.4 共享资源竞争 |
3.5.5 图计算性能 |
3.6 本章小结 |
4 基于层次亲和聚类的分布式大图划分算法 |
4.1 引言 |
4.2 相关工作 |
4.3 问题定义 |
4.4 算法整体研究框架 |
4.5 基于层次亲和聚类的分布式大图划分过程 |
4.5.1 初始划分 |
4.5.2 互交换平衡优化 |
4.5.3 单点不平衡迁移 |
4.5.4 复杂度分析 |
4.6 实验评价 |
4.6.1 实验环境 |
4.6.2 数据集 |
4.6.3 初始划分 |
4.6.4 收敛分析 |
4.6.5 划分时间 |
4.7 本章小结 |
5 面向多子图查询系统的图划分算法 |
5.1 引言 |
5.1.1 研究背景 |
5.1.2 研究挑战 |
5.1.3 本章贡献 |
5.2 研究动机 |
5.3 问题描述 |
5.3.1 符号及定义 |
5.3.2 查询感知图划分问题 |
5.4 Muti-QS概述 |
5.5 查询感知图划分 |
5.5.1 监控 |
5.5.2 分析优化 |
5.5.3 执行 |
5.6 子查询屏障 |
5.7 分离组合器 |
5.8 实验评估 |
5.8.1 参数设置 |
5.8.2 自适应图划分 |
5.8.3 子查询屏障 |
5.8.4 可扩展性 |
5.9 本章小结 |
6 结论与展望 |
6.1 结论 |
6.2 展望 |
参考文献 |
附录 |
A 作者在攻读学位期间发表的论文目录 |
B 作者在攻读学位期间参加的科研项目 |
C 学位论文数据集 |
致谢 |
(8)高速网络流量分析处理技术研究(论文提纲范文)
摘要 |
ABSTRACT |
第一章 绪论 |
1.1 研究背景 |
1.2 课题研究的目的与意义 |
1.3 论文的结构安排 |
第二章 高速网络信号接入与流分类技术 |
2.1 高速骨干网络信号接入技术研究 |
2.1.1 高速以太网信号接入技术 |
2.1.2 POS信号接入技术 |
2.1.3 多类型混合信号处理 |
2.2 网络流量分类方法 |
2.2.1 流的定义 |
2.2.2 基于端口的网络流量分类 |
2.2.3 基于DPI的网络流量分类 |
2.2.4 基于协议解析的网络流量分类 |
2.2.5 基于统计学习的网络流量分类 |
2.3 本章小结 |
第三章 高速网络流量分析处理平台设计 |
3.1 系统总体设计方案 |
3.1.1 系统设计准则及功能需求 |
3.1.2 总体方案设计及论证 |
3.2 系统核心处理模块设计 |
3.3 高速网络信号收发模块设计 |
3.4 高速网络流缓存模块设计 |
3.5 高速网络内容匹配模块设计 |
3.6 数据管理模块与其他辅助模块设计 |
3.6.1 数据管理模块 |
3.6.2 时钟模块 |
3.6.3 电源模块 |
3.7 本章小结 |
第四章 高速网络内容识别关键技术 |
4.1 高速缓存技术 |
4.2 高速网络数据流识别算法 |
4.2.1 采样算法 |
4.2.2 哈希算法 |
4.2.3 大流识别算法 |
4.3 模式匹配算法 |
4.3.1 基于软件实现的经典模式匹配算法 |
4.3.2 基于布鲁姆过滤器的匹配算法 |
4.3.3 基于TCAM匹配算法 |
4.4 基于布鲁姆过滤器引擎过滤的TCAM模式匹配算法 |
4.5 本章小结 |
第五章 系统性能测试与结果分析 |
5.1 系统测试方案 |
5.2 系统功能测试 |
5.2.1 信号接入与数据包提取测试 |
5.2.2 关键词提取与匹配测试 |
5.2.3 数据管理单元测试 |
5.3 测试结果分析与平台升级 |
5.4 本章小结 |
第六章 总结与展望 |
致谢 |
参考文献 |
作者在学期间取得的学术成果 |
附录A PCB板设计图 |
附录B 软件程序总览 |
(9)基于栅格化信息网的高速网络安全防护技术(论文提纲范文)
0 引言 |
1 国外同类技术最新研究现状和发展趋势 |
1.1 高速网络安全监控设备与协议识别技术 |
1.2 高速网络入侵防御 (IPS) 技术 |
1.3 高速网络异样流量及行为检测技术 |
2 国内同类技术最新研究现状与成果 |
2.1 高速网络安全监控设备与协议识别技术 |
2.2 高速网络入侵防御技术 |
2.3 高速网络异常流量及行为检测技术 |
3 研究趋势 |
3.1 高速骨干网络一体化安全监控设备系统结构 |
3.2 安全元数据分类、规范和描述技术 |
3.3 高速网络安全监控支撑技术 |
3.4 高速网络入侵防御技术 |
3.5 高速网络异常流量及行为检测技术 |
4 结语 |
(10)高速网络环境下的入侵检测系统的研究(论文提纲范文)
摘要 |
ABSTRACT |
第1章 绪论 |
1.1 研究背景和意义 |
1.2 国内外相关研究现状 |
1.3 论文主要研究内容 |
1.4 论文组织结构 |
第2章 入侵检测技术与Hadoop集群技术 |
2.1 入侵检测基本概念 |
2.2 入侵检测系统的主要分类 |
2.3 入侵检测系统的发展趋势 |
2.4 高速网络入侵检测的主要问题和影响因素 |
2.5 常见分布式入侵检测系统架构的研究 |
2.6 Hadoop集群技术 |
2.7 本章小结 |
第3章 基于Hadoop集群技术的分布式入侵检测系统(HDIDS)设计 |
3.1 HDIDS系统设计思想 |
3.2 HDIDS系统各功能组件描述 |
3.4 HDIDS系统的特点 |
3.5 本章小结 |
第4章 基于MapReduce集群的分布式入侵检测系统的实现 |
4.1 检测代理的实现 |
4.2 传感器的实现 |
4.3 数据收集器的实现 |
4.4 存储模块的实现 |
4.5 本章小结 |
第5章 基于Mapreduce的入侵记录的数据挖掘 |
5.1 HDIDS入侵记录的特征挖掘处理流程 |
5.2 数据预处理 |
5.3 关联规则挖掘 |
5.4 基于MapReduce的频度挖掘算法 |
5.5 本章小结 |
第6章 总结与展望 |
6.1 总结本文工作 |
6.2 进一步研究的方向 |
参考文献 |
攻读学位期间发表的学术论文目录 |
致谢 |
四、高速网络内容监控若干关键技术(论文参考文献)
- [1]基于DPDK的实时流量分析系统[D]. 郭世现. 大连理工大学, 2021(01)
- [2]基于容器和微服务的分布式演化计算平台的研究[D]. 钟慕尧. 哈尔滨工业大学, 2020(12)
- [3]高速网络背景下混合入侵检测方法的研究及应用[D]. 冉润. 北京交通大学, 2020(02)
- [4]基于数据中心网络的异常流高效检测和流矩估算研究[D]. 唐志颖. 东南大学, 2019(06)
- [5]面向应用驱动网络的网络应用分类与识别方法的研究与实现[D]. 杨成浩. 东南大学, 2019(07)
- [6]基于Spark的网络流量分类研究[D]. 刘兆禄. 北京化工大学, 2019(06)
- [7]分布式图计算中的图划分问题研究[D]. 李琪. 重庆大学, 2019(12)
- [8]高速网络流量分析处理技术研究[D]. 路琪. 国防科技大学, 2017(02)
- [9]基于栅格化信息网的高速网络安全防护技术[J]. 钟华,陶妍丹,桂勇胜. 现代计算机(专业版), 2012(24)
- [10]高速网络环境下的入侵检测系统的研究[D]. 谢天宇. 东华大学, 2012(06)