基于网络连接记录的异常检测分类模型研究

基于网络连接记录的异常检测分类模型研究

米文涛[1]2003年在《基于网络连接记录的异常检测分类模型研究》文中认为随着计算机技术和Internet技术的迅猛发展,计算机安全问题日益突出和复杂。由于入侵检测技术对网络安全起着重要作用,进行入侵检测技术研究具有重要的意义。现有入侵检测技术存在很多不足之处,特别是不能适应海量数据环境下对入侵检测建模的要求。 本文从基于数据库的知识发现开始,简要说明了数据挖掘技术应用于入侵检测领域的优点;随后按照数据挖掘的过程,选用TCPDUMP程序收集的包级网络数据作为构建分类模型的训练和测试数据集,详细地说明了我们对该数据集的处理方法和过程:首先根据传输层TCP和UPD两种协议分解原始数据集,分别得到TCP报文和UPD数据报;然后按照TCP连接的目标服务类型,进一步对TCP报文数据分解;利用TCP连接四元组,得到每一次TCP连接的报文块;从这些报文块中提取出网络连接的基本特征属性,形成可以供分类算法学习检测模型的网络连接记录;对于在实际数据处理中遇到的各种问题,也进行了分析并给出了解决的办法。 论文的第四部分,详细研究了使用网络连接记录的基本特征属性构建基于时间的统计特征属性方法,通过选择适当的特征属性集来提高异常检测模型的分类精度,降低误报率;同时分析了影响检测模型分类精度的因素;对不同实验条件下得到的实验结果进行了比较和分析。通过大量的实验,表明应用我们所提出的基于网络连接记录异常检测分类模型的构建方法,能够以较为明显的阈值把正常网络活动与异常网络活动区分开,因此,本文提出的异常检测分类模型具有较好的检测性能。

卢彬[2]2005年在《应用数据挖掘技术的入侵检测系统研究与设计》文中指出随着计算机网络应用的普及和电子商务、电子政务的日益发展,计算机系统的安全问题越来越突出,攻击事件发生的数量逐年增加,近年的上升幅度更为明显。作为计算机安全领域的一个重要技术,入侵检测技术越来越受到人们的重视。然而,传统的入侵检测系统在有效性、适应性和可扩展性方面都存在不足,尤其是在遇到新的入侵类型时变得无能为力。针对这些不足,本文将从数据处理的角度,用数据挖掘的方法根据海量审计数据建立描述入侵行为的模型。我们从审计日志中归纳学习出分类规则,并以此作为描述入侵行为的工具,与现有系统结合建立新型入侵检测系统。本文首先对入侵检测系统的技术背景,系统架构进行了简要的说明和归类,对数据挖掘及其应用作简单分析,针对传统入侵检测技术的不足之处,将主要研究方向定在入侵检测系统模型的构建上,使用数据挖掘技术实施一个系统化、自动化的入侵检测系统。接着讲述分类问题,并应用分类算法进行实验,从审计数据中建立分类模型,并以此研究特征属性的构造对分类模型准确性的影响,根据对实验结果的分析,在入侵检测中增加了一定数量的特征属性,证明利用分类算法建立入侵检测模型的可行性。随后,根据Snort模型,建立误用入侵检测模型,将通过数据挖掘方法得到的检测模型应用起来,构建了基于数据挖掘技术的入侵检测系统Snort/DM,该系统模型引入学习智能代理、检测智能代理等概念,分析建立在Linux系统上的原型系统的结构,并对其中核心模块的详细设计进行介绍。

郭春[3]2014年在《基于数据挖掘的网络入侵检测关键技术研究》文中研究指明随着因特网的快速普及,网络已经渗透到了人们日常工作和生活的各个方面。然而,随之而来的各种安全威胁,对社会稳定和经济发展带来了不同程度的损害。作为主要安全技术之一,入侵检测技术能够在网络攻击造成广泛的破坏前检测到攻击行为,从而为防御策略的制定提供重要依据。而网络规模的不断扩大,各种新的安全漏洞和网络攻击手段层出不穷,对入侵检测系统的检测性能提出了更高的要求。数据挖掘是一种智能数据分析技术,能够从大量数据中发现有用的知识。本文综述了国内外在基于数据挖掘的入侵检测研究领域的最新进展,以基于数据挖掘的网络入侵检测关键技术为研究重点,对入侵检测中的特征降维及样本约简、基于离群点挖掘的异常检测方法、混合入侵检测模型等方面进行了研究。本文的主要研究工作可归纳如下:(1)研究了特征降维技术在入侵检测中的应用,设计了一种能够适用于入侵检测的特征提取方法。所谓特征降维,包含特征选择和特征提取两种方式,能够降低表征数据的特征向量的维数,从而使许多数据挖掘算法获得更好的效果。本文在分析入侵检测领域中的特征降维相关研究的基础上,提出了一种基于簇中心距离和的特征提取方法。该方法利用数据集中各数据样本与簇中心的一种特定关系——距离和,将表征数据样本的原始特征向量从高维空间转换到低维空间。文中的实验表明了该特征提取方法在入侵检测应用中的有效性。(2)研究了样本约简技术在入侵检测中的应用,设计了一种能够适用于入侵检测的样本约简方法。所谓样本约简,是数据约简中的一种方式,用于缩减数据集中的样本数量。与针对整个原始数据集的数据挖掘相比,使用约简后得到的子集能够降低数据挖掘成本和加快挖掘速度,有时甚至能够取得更好的效果。为了能够从原始数据集选出高质量的样本子集,本文提出了一种基于类中心的分层样本约简方法。该方法通过一个能够衡量数据集中样本相对于其所属类别代表能力大小的指标,和一种基于类中心的数据集等分划分策略,可以从原始训练集中选出一个样本子集,进而使用该子集来建立入侵检测模型。文中的实验结果表明该样本约简方法对入侵检测应用是有效的。(3)研究了离群点挖掘技术在入侵检测中的应用,设计了一种基于离群点挖掘的异常检测方法。通过离群点挖掘技术,能够发现数据集中偏离大部分数据的离群值。本文在分析离群点挖掘技术在入侵检测中相关研究的基础上,提出了一种基于簇中心位置变化的异常检测方法。该方法运用聚类算法从正常样本集中提取参考样本(簇中心)之后,通过目标样本(可为训练样本或待检测样本)增加前后簇中心位置的变化情况,为该目标样本赋予一个“离群程度分值”,并将离群程度分值大于一个异常阈值的待检测样本识别为异常样本。文中的实验结果表明该方法能够以较高的检测率完成网络异常检测任务。(4)研究了混合入侵检测模型的组成结构,设计了一种包含叁个检测模块的两层混合入侵检测模型。混合入侵检测模型结合了误用检测和异常检测两种检测方法,因而其能够结合两者的优点。本文在分析现有的几类混合入侵检测模型的组成结构及优缺点的基础上,提出了一种包含两个异常检测模块和一个误用检测模块的两层混合入侵检测模型。在该混合入侵检测模型中,两个阶段的检测模块相互合作,阶段2的两个检测模块分别能够识别阶段1的检测模块所产生的误报和漏报。文中的实验结果表明,该混合入侵检测模型能够以较低的误报率和较高的检测率完成入侵检测任务。

李波[4]2005年在《基于数据挖掘的异常模式入侵检测研究》文中指出随着人类社会信息化程度不断提高,对网络的依赖性也日益增强。如何能够保证信息化社会正常、安全、平稳地运转,计算机网络的安全性是最重要的环节之一,必须不断地加以充实、强化和提高。目前,网络互联领域的广度和深度正不断扩展,开放特性不断深化,越来越多的网络系统面临着被攻击和入侵的威胁。 入侵检测是一种通过实时监测目标系统来发现入侵攻击行为的安全技术。论文在分析了当前常用的入侵检测方法和入侵方法的基础上,提出了一种基于数据挖掘的异常模式入侵检测系统的设计方案。该方案针对网络入侵和攻击方法的特点,结合数据挖掘中的关联分析算法分析网络连接记录。 在运用关联分析算法对网络连接记录进行分析时,根据入侵检测的具体情况,对标准的Apriori算法进行了相应的修改,排除了一些无意义的规则对结果的影响,并通过实验证明了方法的可行性和有效性。提出了一种运用得到的规则进行检测的机制,可以提高系统检测的速度,降低系统资源的使用率。

胡艳[5]2003年在《面向大规模网络的分布式入侵检测系统》文中进行了进一步梳理入侵检测作为一种主动的安全保障措施,有效地弥补了传统安全防护技术的缺陷。随着计算机和网络的不断发展,分布式计算环境的广泛采用,以及Internet上分布式协作攻击的频繁出现,传统的基于单机的集中式入侵检测系统已经不能够满足系统的安全需求,应运而生的分布式入侵检测技术逐渐成为入侵检测领域的研究热点之一。本论文研究和构建了一个面向大规模网络的分布式入侵检测原型系统。 本文首先通过对一些典型系统的描述,分析了目前分布式入侵检测系统所广泛采用的结构模型。在比较了这些结构模型的优点和缺陷的基础上,我们选择了层次化协作模型,这个模型可以集中层次模型和协作模型的优点。我们将系统的部件分成两大类,分析器和感应器。每个检测区域包含一个分析器和多个感应器,感应器与分析器之间是层次型的从属关系,感应器负责收集安全审计数据,检测安全事件,并向所属的分析器汇报,分析器对感应器上报的信息进行聚合分析,并且与其它检测区域的分析器进行交互以完成协作检测和分布式响应。 以传统方式构建入侵检测系统是一个基于专家知识的手工处理过程,对于网络环境或者系统配置的改变缺乏良好的扩展性,对于新的未知攻击方式也没有很好的适应性。针对这个问题,我们使用数据挖掘算法对安全审计数据进行分析处理,帮助系统自动生成入侵检测规则以及建立异常检测模型,并且将这些检测规则和模型自动发布到网络中的其他检测结点。这样在系统中出现新的未知的攻击方式的时候,感应器就可以检测到后续的类似的异常行为,不需要对规则进行手工编码和人工发布。 分布式入侵检测系统的各个部件之间的通信需要统一的标准的消息格式,我们使用的是由IDWG所定义的入侵检测消息交互格式(IDMEF)。另外,我们对IDMEF进行了扩展,以支持系统中审计数据上报、规则发布、响应指令、协作分析等要求。 本文详细说明了感应器检测网络异常数据,收集安全审计数据,并向所属的分析器汇报,以及执行响应指令的过程;说明了分析器对安全审计数据进行分析挖掘,对感应器上报的信息进行聚合分析,多个分析器进行协作检查异常事件,对入侵行为进行分布式响应的过程。另外,我们对分布式拒绝服务攻击(DDOS)的检测和响应提出了在我们的分布式入侵检测系统中的可行的方法。

王洁松[6]2007年在《基于特征匹配与分箱技术的分布式网络入侵协同检测系统研究及实现》文中提出本文首先回顾了入侵检测技术的发展史,对目前的入侵检测技术进行了分析。通过分析主要的商用分布式入侵检测系统结构,以及国内外几个处于研究中的典型分布式入侵检测系统模型,提出本文的研究工作。通过分析国内外研究中已有的用于入侵检测的数据挖掘技术,本文选择基于聚类的入侵检测技术进行研究。使用KDDCup99网络入侵检测数据,对文献[101]中提到的HCM算法和FCM算法进行实验。通过分析实验结果,指出已有的聚类算法在进行聚类划分和孤立点判断时,具有划分粗略性问题。针对该问题,本文提出使用分箱统计的方法来划分和描述数据集的分布情况。基于分箱统计的HCM算法与原有算法相比,不需要频繁更新聚类中心,同时算法耗时问题也得到较好的改善。通过分析基于分箱统计的HCM算法的实验结果,提出基于分箱统计的FCM算法,解决了基于分箱统计的HCM算法存在的部分问题。面对信息网络系统结构日益复杂分布化,以及各种攻击技术的不断出现,目前的商用入侵检测系统已不能满足实际应用。本文指出IDS的发展应走协同之路,并提出一个DICDS模型,从数据采集协同、数据分析协同和系统响应协同叁个方面实现。本文的研究主要是实现DICDS的内部网络数据分析协同。在对基于分箱统计的FCM算法的实验中,通过分析检测判断错误的数据,本文提出将特征匹配与基于分箱统计的FCM算法相结合,进行协同分析网络连接数据记录。实验结果证明,这种协同检测方法的检测率较高,实时性好,能较好的发现新的攻击类型。

袁沛沛[7]2008年在《网络安全入侵检测技术》文中提出随着网络技术不断提高,计算机网络被广泛应用到人类活动的各个领域,网络安全也越来越受到人们的关注。为了能够需要能及时的发现恶意攻击,并在这种对系统或数据造成破坏之前采取措施,入侵检测系统应运而生。入侵检测系统已经成为网络安全的一道重要屏障。将数据挖掘技术应用于入侵检测系统,主要是用一种以数据为中心的观点,用数据挖掘的技术处理入侵检测系统中的海量数据,以提高整个系统的检测性能,有效的减少整个系统的误报率。入侵检测作为一种有效的信息安全保障措施,弥补了传统安全防护技术的缺陷。数据挖掘作为数据分析的有效手段被引入到入侵检测系统中,基于数据挖掘的入侵检测系统也成为一个新的研究领域。本文以基于数据挖掘方法的入侵检测技术研究为核心,首先对数据挖掘技术和入侵检测技术进行了研究和分析,探讨了用数据挖掘的方法在入侵检测中应用的可行性和必然性。在此基础上,重点研究了数据挖掘中的关联算法Apriori算法和聚类算法K-均值算法,分析其算法的缺点和不足并对两种算法做了适当的改进,使之更加适合用于入侵检测系统中。在本文的最后一章提出了基于数据挖掘技术的入侵检测系统的模型,并采用改进后的数据挖掘算法对其中的一些模块做了设计。数据挖掘用于入侵检测系统,通过分析,理论上是可行的。数据挖掘技术在入侵检测系统中的应用,必定会对入侵检测系统带来非常大的革新。

高志森[8]2007年在《混合式入侵检测系统中入侵检测分类器模型的研究与实现》文中研究指明入侵检测(ID)是一种动态的安全保护技术,它可以帮助解决防火墙、访问控制等传统保护机制不能解决的问题。但是常规的入侵检测在攻击检测中表现出自适应性不强、检测效率不高的问题。为了提高入侵检测的检测性能,学者们将免疫原理和数据挖掘中的技术应用到入侵检测中,产生了基于免疫原理的入侵检测和基于数据挖掘的入侵检测。本文首先介绍了入侵检测的研究背景和发展历程,并介绍入侵检测系统(IDS)的概念、原理,比较不同入侵检测方法的优缺点。然后,分析了基于免疫原理的入侵检测技术和基于数据挖掘的入侵检测技术,分别深入地讨论了这两种技术中使用的权值树算法和决策树分类算法。在这个基础上,设计和实现了基于免疫原理的入侵检测分类器模型和基于数据挖掘的入侵检测分类器模型。前者采用权值树算法建立反映进程正常系统调用的权值树森林,通过权值树森林实现对进程异常行为的检测,该分类器可用于基于主机的异常入侵检测系统中;后者采用数据挖掘中的决策树算法,建立一棵反映入侵攻击特征的决策树,使用决策树包含的入侵识别规则实现对网络入侵的检测,该分类器模型可用于基于网络的误用入侵检测系统中;这两种模型都通过实验验证了它们在入侵检测方面的有效性。本文中设计的这两个分类器模型将用于混合式入侵检测系统,该混合式入侵检测系统将与同学实现的蜜罐系统、防火墙系统协同工作,组成一个相对完善的网络安全系统。

沈琦[9]2005年在《基于数据挖掘的IDS分析器研究》文中进行了进一步梳理随着Internet的飞速发展,计算机网络已经在社会、经济、文化和人们的日常生活中扮演着越来越重要的角色。人们在使用计算机网络的同时,也深深的注意到网络安全的重要性。随着网络攻击手段的多元化、复杂化、智能化,单纯依赖防火墙等静态防御手段已难以胜任网络安全的需要。入侵检测作为一种主动的信息安全保障措施,有效地弥补了传统安全防护技术的缺陷。 但是面对不断增大的网络流量、日益更新的网络设施和层出不穷的攻击方式,传统的入侵检测模型越来越暴露出很多的局限性,如工作量大、响应速度慢以及正确率与效率低等。为了减少在系统构造过程中对专家经验的过多依赖,降低规则提取和编码的困难,本文设计了一个基于数据挖掘技术的入侵检测系统模型。通过引入数据挖掘技术,系统可以从大量的网络事件中挖掘出频繁模式,进而提取有效的检测规则,用于指导IDS网络入侵分析。 本文首先对网络入侵检测技术进行了研究,详细介绍了误用检测和异常检测各自的优缺点,并分析了各种体系结构的入侵检测系统的实现方式和特点,阐述了现有入侵检测系统存在的问题以及发展方向。然后针对现有IDS自适应能力不强,建模代价高,可扩展性差的局限性,在深入研究了数据挖掘技术中关联分析、序列分析以及分类分析的基础上,将知识发现过程同传统的入侵检测技术结合起来,设计了一个基于数据挖掘技术的入侵检测系统模型。该模型主要分为数据挖掘部分和入侵检测部分,其中,数据挖掘部分是整个模型设计的核心,它的主要功能在于能够自动、快速的从海量数据中构建出知识规则库。规则库构建的每一步都是建立在对实际入侵特点分析的基础上,通过比较、选择合适的算法,为后续过程提供有效的输入信息,最终产生简洁、精确的规则集合。模型的设计中给出了数据预处理的方法,并重点介绍了频繁模式的挖掘、比较以及在此基础上构造分类器所需的属性集的过程。最后根据网络数据的具体情况,本文引入关键属性、参考属性以及相对支持度的约束,对关联规则挖掘算法FP_Growth进行了扩展,解决了基本关联挖掘算法中产生大量无用模式的问题,从而帮助系统发掘出更有意义的模式,提高了系统挖掘的执行效率和规则库的准确度。

彭国星[10]2008年在《分布式关联规则算法和分布式决策树算法的对比研究》文中认为随着计算机技术,网络技术的飞速发展以及广泛采用的分布式计算环境,DDOS网络攻击的行为也越来越多,入侵检测已经是非常重要的防御基础设施中的一种方式。但随着呈指数级增长的数据,传统的方式不能解决目前大规模分布式环境下的网络安全问题。数据挖掘,能够从大量的网络检测数据中找到隐含的有用的知识,与入侵检测技术结合,可有效地提高入侵数据的分析、判断效率和精度。本文阐述了分布式关联规则算法(FDM)、分布式分类决策树算法(SPRINT)。对这两种算法的特点作了详细的分析和比较,指出了它们各自的优势和不足。并参考这两种算法作者提出了在分布式入侵检测环境下的改进型的分布式关联规则算法(TFDM)、改进型的分布式决策树算法(TSPRINT)。算法使用Microsoft Visual C++6.0开发。试验数据用XML统一格式。通过对算法性能的比较和实验结果表明:TFDM算法优于FDM算法,TSPRINT算法优于SPRINT算法,对分布式的大数据集的挖掘TFDM算法优于TSPRINT算法。

参考文献:

[1]. 基于网络连接记录的异常检测分类模型研究[D]. 米文涛. 太原理工大学. 2003

[2]. 应用数据挖掘技术的入侵检测系统研究与设计[D]. 卢彬. 上海理工大学. 2005

[3]. 基于数据挖掘的网络入侵检测关键技术研究[D]. 郭春. 北京邮电大学. 2014

[4]. 基于数据挖掘的异常模式入侵检测研究[D]. 李波. 东北大学. 2005

[5]. 面向大规模网络的分布式入侵检测系统[D]. 胡艳. 中国科学院研究生院(电子学研究所). 2003

[6]. 基于特征匹配与分箱技术的分布式网络入侵协同检测系统研究及实现[D]. 王洁松. 南京信息工程大学. 2007

[7]. 网络安全入侵检测技术[D]. 袁沛沛. 西安建筑科技大学. 2008

[8]. 混合式入侵检测系统中入侵检测分类器模型的研究与实现[D]. 高志森. 南京航空航天大学. 2007

[9]. 基于数据挖掘的IDS分析器研究[D]. 沈琦. 武汉理工大学. 2005

[10]. 分布式关联规则算法和分布式决策树算法的对比研究[D]. 彭国星. 中南大学. 2008

标签:;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  

基于网络连接记录的异常检测分类模型研究
下载Doc文档

猜你喜欢