基于网络数据包的异常检测系统的设计与实现

基于网络数据包的异常检测系统的设计与实现

程恩[1]2006年在《基于机器学习的入侵检测系统研究》文中提出传统的基于神经网络的入侵检测系统采用前馈神经网络对网络数据包的头部信息进行分析,可以有效检测网络数据包内部的异常行为,但是未考虑网络数据包在时间维度上的动态序列统计特性、未分析网络数据包正文信息,因此,难以发现网络数据包序列之间的异常,缺乏对应用程序层的网络异常检测能力。另一方面,现有基于主机系统日志的入侵检测,在训练阶段受限于噪音数据带来的负面影响,存在高误警率的缺陷。基于机器学习的入侵检测系统采用基于Elman神经网络的入侵检测与基于鲁棒SVM近邻分类的入侵检测两种方式解决上述问题。基于Elman神经网络的入侵检测运用聚类算法对网络数据包正文进行聚类,克服了遗漏网络数据包正文信息的缺陷。同时,利用Elman神经网络的再发生机制来记忆网络数据包的动态序列统计特性,提高了对网络数据包序列之间异常行为的检测能力。另一方面,基于鲁棒SVM近邻分类的入侵检测采用鲁棒SVM的最优分类面对主机系统日志的特征空间进行加权,实现可变尺度的近邻分类,从而消除噪音数据带来的负面影响,降低入侵检测的误警率。同时,对主机系统日志的特征空间进行加权可以消除近邻分类算法中的维数灾难,提高检测的准确率。基于Linux操作系统采用C和C++语言实现了基于机器学习的入侵检测系统,并对林肯实验室的DARPA测试数据在网络级和主机级两个层次进行了测试。测试表明:在误警率为0的要求下,基于Elman神经网络的入侵检测可以达到92.7%的检测率;在误警率为2.3%时,检测率为96.2%。在误警率为0的要求下,基于鲁棒SVM近邻分类的入侵检测可以达到87.3%的检测率;在误警率为2.8%时,检测率为100%。

王文奇[2]2006年在《入侵检测与安全防御协同控制研究》文中指出本文以国家863高技术研究发展计划资助项目“集成化网络安全技术研究”(编号:2003AA142060)中的“网络协同安全技术研究”和国家863高技术研究发展计划资助项目“黑客监控技术研究”(编号:2001AA142100)为背景开展研究工作。 协同化防御是当前网络安全领域的发展趋势之一。协同化防御首先要准确检测攻击行为,为此本文对入侵检测分析技术进行了研究,主要目的是降低误警率和重复报警率。在高速网络环境中,入侵检测还存在许多问题,本文对其所面临的关键技术进行了研究。同时也对协同化防御中的协同控制相关技术进行了研究。 本文的主要研究成果和创新点如下: 1.提出了一种确定的并发变迁面向对象Petri网模型 本文首先提出一种确定的并发变迁面向对象Petri网(Determinate Concurrent Transfer Obiect Oriented Petri Net,DCTOOPN)模型,并给出了该模型的形式化描述。解决了并发的不确定性无法描述入侵行为、Petri网的状态爆炸和攻击模型复用的问题。 2.建立了基于DCTOOPN的分布式入侵检测系统 首先设计了DCTOOPN模型翻译成Java代码的算法,将其应用于分析引擎中,然后在此基础上建立了基于移动代理的分布式入侵检测系统。该系统降低了入侵检测的误警率和重复报警率。 3.提出了针对高速入侵检测的网桥数据分流的体系结构及最佳完整性动态均衡分流算法 利用网桥中的防火墙架构,在操作系统的内核层和链路层将网络数据高速分流,解决了由于无法分流所有网络层数据而导致的入侵信息丢失问题。设计了针对高速入侵检测的最佳完整性动态均衡分流算法,保持了连接完整性、负载均衡、线速度转发,有效提高了入侵检测的分流效果。 4.提出了基于代理的协同控制框架 提出了一个能够满足多安全系统协同化防御的基于代理的协同控制框架,该框架具有安全性、协同性及可扩展性。采用统一的加密认证策略,在已有协议的基础上,设计了一个新的密钥管理协议,KG逻辑分析表明,该协议有很好的安全性。提出了控制中心等关键组件的保护方案,安全系统之间的协同报文交换采用

林龙涛[3]2007年在《高速网络环境下入侵检测系统研究》文中指出入侵检测系统是一种软件与硬件的结合,它通过分析网络或主机上发生的事件来发现其中的安全隐患。随着近几年网络攻击事故频频出现,影响范围越来越广泛,入侵检测系统得到越来越多的重视,成为网络安全方案的重要组成部分。基于网络的入侵检测系统以网络报文作为原始数据源,实时地分析网络上的通信。与基于主机的入侵检测相比,基于网络的入侵检测系统已经成为入侵检测系统的主流。但是随着网络带宽飞速增长,基于网络的入侵检测系统面临许多的困难。本文设计了一种高速网络环境下的网络入侵检测系统。采用新的设计,克服了以往系统在高速网络环境下的缺陷,提高了入侵检测的速度。本文将分层抽样理论应用于网络入侵检测系统,系统主要分成异常检测模块和抽样模块两个部分。异常检测模块的检测引擎部分采用基于孤立点发现和字节分布检测的异常检测模型,通过统计网络数据包负载字段中的字节分布规律,得到数据包异常的度量,将其作为抽样模块中的分层特征参数。抽样模块中,根据得到的分层抽样参数抽取出高速网络海量数据包中有价值的样本。通过对样本进行检测反映总体的特征。本文在对入侵检测系统进行概述之后,着重阐述了异常检测模块中的孤立点发现方法和字节分布检测方法,以及抽样模块中的分层策略和层内抽样策略。在此基础上,设计并程序实现了一个完整的入侵检测系统原型,使用MIT林肯实验室开发的DARPA 1999年IDS评测数据集对抽样算法和异常检测算法的性能进行验证和分析,实验表明本方法可以有效地提高检测速度。

董迎亮[4]2011年在《基于改进WM算法的网络入侵检测系统的研究与实现》文中提出随着信息技术的一日千里的发展,人们交流和共享信息的方式也发生了翻天覆地的变化。尤其计算机网络技术的发展,使计算机网络资源的共享程度得到了前所未有的加强,信息的处理和传递完全突破了时间和地域的限制,信息全球化成为不可抗拒的世界潮流。人们的日常生活越来越依赖于计算机网络,然而就在人们享受它带来极大方便的同时,也给人们带来了全新的安全威胁。由于计算机网络的自身的缺陷、开放性以及黑客对操作系统和网络安全体系的深入研究,可能绕过常规安全体系进入系统。如果黑客对计算机网络加以滥用,将会导致不可预估的严重后果。进入上世纪90年代以来,网络安全领域的入侵检测技术受到越来越多方面的关注。入侵检测(Intrusion Detection)技术在网络安全领域扮演着重要的角色,相对于传统的防火墙静态安全防御技术来说,入侵检测是一种动态主动的安全技术。入侵检测是指“通过对行为、安全日志或审计数据或其它网络上可以获得的信息进行操作,检测到对系统的闯入或闯入的企图。入侵检测的作用包括威慑、检测、响应、损失情况评估、攻击预测和起诉支持。入侵检测技术是为保证计算机系统与计算机网络系统的安全而设计与配置的一种安全技术。入侵检测技术能够及时发现并报告系统中未授权非法行为或异常行为,是一种用于检测计算机网络系统中违反安全策略行为的技术。入侵检测系统的数据源一般来自系统数据和网络数据,因此,按照根据数据来源源可以把入侵检测系统分为基于主机的入侵检测系统(Host-Based Intrusion Detection System, HIDS)和基于网络的入侵检测系统(Network-Based Intrusion Detection System, NIDS)两种类型。基于主机的入侵检测系统(HIDS):基于主机的入侵检测系统:在重要的主机安装入侵检测程序。该程序主要是监测主机的系统审计日志、系统性能参数、系统配置参数和网络实时连接等情况。基于网络的入侵检测系统(NIDS):基于网络的入侵检测系统:一般被部署在比较重要的网络节点,实时地捕获流经本网络节点的所有数据包。然后对每一个数据包进行特征码提取与规则库里面规则进行匹配。如果数据包的特征码与规则库的规则吻合,入侵检测系统就认为发生了入侵行为并会发出警报。入侵检测系统的数据包分析方法多种多样,因此,按照数据分析方法和检测机制的不同,可以将入侵检测系统分为异常入侵检测系统(Anomaly detection Intrusion Detection System, ADIDS)和误用入侵检测系统(Misuse Detection Intrusion Detection System,MDIDS)两种类型。●异常检测(Anomaly detection):基于所有的入侵行为都与正常行为可以区分的假设,从而建立正常活动的特征轮廓,当主体活动违反其规则库里面的规律时,则将其视为可疑的入侵行为。该技术的关键是如何选取合适异常阈值和如何选取合适特征值。异常检测技术的优点是可以发现利用新型手段的入侵行为,缺点是会产生一定的误报率。●误用检测(Misuse Detection):基于所有入侵行为和手段都能够被提取出来并被表达为一种特征或模式,入侵检测系统的主要任务就是检测主体活动是否符合这些特征或模式。误用检测技术的关键是如何提取并表达入侵行为的模式。因此入侵模式提取和表达的准确程度将直接影响整个入侵检测系统的能力。误用检测技术优点是误报率较低,缺点是只能发现规则库中已知规则的攻击。本文主要针对基于网络的入侵检测系统(NIDS, Network-based Intrusion Detection System)和基于误用检测技术(Misuse Detection)两方面展开深入研究,在学校实验室局域网络环境下,基于Windows 7操作系统平台,参考国外着名开源网络入侵检测系统—Snort的整体设计思想,实现了对本网络入侵检测系统的具体实现,包括数据包捕获与解析模块、检测引擎和日志报警输出等模块的详细设计和实现。为了提高本入侵检测系统引擎模块的性能,本文还对WM多模式匹配算法进行了深入分析与研究。针对原有经典的BM单模式匹配算法在入侵检测系统的应用中所出现的在处理大规模网络数据包时的效率降低缺陷的不足,本文提出了将一种基于改进WM算法应用在本网络入侵检测系统的检测引擎当中,此举意在提高入侵检测系统处理海量规则集时的速度。WM算法是在广泛借鉴了BM算法的思想设计出来的,并针对多模式匹配特点在具体设计上做出了部分修改。算法采用散列(Hash)技术和高效过滤等方法,能有效减小了匹配冲突。还利用前缀表过滤掉了无效模式字符串,是算法在匹配过程中的效率进一步提高。为了进一步提高WM算法的整体性能,在本文中提出在WM算法原有的叁张表的基础上,添加第四章表—后缀表。这样就会过滤掉更多无效模式串,更提高算法的匹配速率,减小匹配时间。

黄敏[5]2002年在《入侵检测技术的研究与应用》文中认为网络的广泛应用使人们不得不关注网络安全,而黑客事件的频繁发生则迫切要求解决网络安全问题。本文从研究入侵技术入手,分析了入侵过程的各个阶段、各种入侵方法,总结了网络安全事故的根源及入侵技术的发展趋势。然后,重点对入侵检测技术作了研究,介绍了入侵检测方法的分类,分析了各种入侵检测方法及其优缺点,指出了当前入侵检测系统存在的问题和面临的挑战,归纳出了入侵检测技术的发展方向。在对网络入侵检测系统的研究中,本文提出将主机知识、网络域知识结合到网络入侵检测系统中,解决了网络入侵检测系统易受插入攻击、躲避攻击的问题;本文提出了检测子网的概念,根据检测需要将物理子网划分为几个检测子网,可以实现负载的分流和检测任务的专业化分工,负载分流可以彻底解决高速网对网络入侵检测系统的威胁,专业化分工可以大大提高检测引擎的处理速度。最后,将理论与实践相结合,本文设计并部分实现了一个分布式的入侵检测系统,网络检测单元采用基于规则匹配的特征检测方法,主机检测单元采用基于神经元网络的异常检测方法,尝试将基于主机的入侵检测和基于网络的入侵检测、特征检测和异常检测结合起来进行优势互补。

朱广彬[6]2010年在《基于数据挖掘的入侵检测技术研究》文中认为随着网络技术的不断发展,网络攻击手段也层出不穷,人们对网络安全提出了更高的要求。入侵检测是一种积极主动的安全防护技术,作为信息安全保障体系结构的重要组成部分,对于入侵检测技术的研究已经引起越来越多人的重视。传统的入侵检测系统将网络抓取的数据包逐一与规则库中的规则进行模式匹配,随着网络带宽的不断提高,检测效率上存在着巨大的挑战。而且其规则库中的规则根据“专家的知识”手工编码,只能检测已知攻击,而对未知攻击或者已知攻击的变种则无能为力,自适应差。数据挖掘技术可以从海量审计数据中发现各种入侵行为和正常行为模式,将数据挖掘技术引入入侵检测中,将有效提高入侵检测系统的检测效率和自适应性。首先,本文介绍了入侵检测和数据挖掘的相关技术,指出了目前入侵检测存在的问题,讨论了数据挖掘技术在入侵检测中的应用,为基于数据挖掘的入侵检测系统的提出提供了理论基础。其次,重点研究了数据挖掘算法中的关联规则算法和聚类分析算法。在对Apriori关联规则算法进行深入分析的基础上,指出其在挖掘入侵行为模式、转化,为入侵规则以提高入侵检测自适应性方面的优势。针对K-means聚类算法应用于入侵检测时的不足进行改进,在此基础上提出了一种基于改进K-means的异常检测算法。设计实验并利用KDD CUP 99实验数据集作为测试数据进行实验分析。然后,在通用入侵检测框架(CIDF)的基础上,设计了一种基于数据挖掘的入侵检测系统。该系统分别利用Apriori算法和改进的K-means算法构建关联分析模块和聚类分析模块,将异常检测与误用检测相结合,试图解决入侵检测的检测效率及自适应性瓶颈问题。最后将设计的系统利用Java语言进行实现并进行了系统测试。测试结果表明该系统不仅提高了入侵检测的效率而且具备了检测未知攻击的能力。

廖小燕[7]2004年在《基于定性映射的网络入侵检测系统的设计与实现》文中提出网络技术的飞速发展给人们的日常工作带来了巨大的便利,网络的地位越来越重要,同时,也给人们带来了安全问题。随着攻击工具的增加与使用的方便,入侵事件日益猖獗。为了增强网络的安全性,人们采用了各种网络安全技术。入侵检测技术是近年来继“防火墙”、“数据加密”等传统安全保护措施后的新一代安全保障技术,它被认为是防火墙之后的第二道安全闸门,对计算机和网络资源上的恶意使用行为进行识别和响应。入侵检测作为一种主动的信息安全保障措施,有效地弥补了传统安全防护技术的缺陷。它通过构建动态的安全循环,最大限度地提高系统的安全保障能力,减少安全威胁对系统造成的危害。目前,入侵检测已经成为网络安全的一个重要分支。 本文在深入分析网络安全知识与攻击检测方法的基础上,将属性论方法巧妙地应用到入侵检测领域,研究并开发了一个基于定性映射的网络入侵检测系统。由于入侵行为的识别可看作是基于合取的复杂性质判断,并且以区间阵列为定性基准的定性映射可表达为由多维属性确定的一个定性判断操作,所以我们可利用以区间阵列为定性基准的定性映射来完成网络数据包的识别工作。 根据属性论的思想,本文对捕获到的网络数据包进行特征提取,从中抽取出12维具有代表意义的属性构成特征向量。对于每一类攻击行为,本文引入二值权重{0、1}表示各分量对最终结果的影响程度。然后以加权后的特征向量为标准对入侵特征模式库进行搜索,如果找到,该行为就属于攻击行为。并且,在字符串匹配工作中,本文采用了BM改进算法。 经过大量测试表明,基于定性映射的网络入侵检测系统能较好地识别多类攻击行为,具有较低的误报率和漏报率,为我们进一步研究入侵检测打下了较好的基础。

裴龙[8]2002年在《网络入侵检测系统的分析与设计》文中研究说明传统的安全模型已经不能适应网络技术的发展,PPDR模型应运而生。入侵检测技术是PPDR模型的重要组成部分,入侵检测系统是对“防火墙”、“数据加密”等安全系统的有效补充。它对计算机和网络资源上的恶意使用行为进行识别,并为对抗入侵提供重要信息,它不仅检测来自外部的入侵行为,同时也监督内部用户的未授权活动。 入侵检测系统按照数据来源分为基于主机和基于网络两种,入侵检测分析技术主要分为异常入侵检测和误用入侵检测,目前国际上主要流行的入侵检测系统是采用误用入侵检测技术的网络入侵检测系统。 论文首先比较和分析了传统安全模型和PPDR模型;其次论述了入侵检测系统常用技术;再次介绍了下一代入侵检测分析技术:基于协议分析的入侵检测技术;最后设计和实现了采用协议分析和模式匹配协议分析方法的网络入侵检测系统。作者分析和实现对网络数据包的捕获、对IP协议解码和TCP协议解码,正确的实现了IP分片重组和TCP流还原,将UNICODE编码的HTTP请求解码为ASCII编码。介绍了如何描述攻击特征,使用了改进的字符匹配算法进行特征匹配。 相对于同类程序,我们认为设计的系统具有高性能,增强了系统的反规避能力,减少了误报。论文对于企业建立网络安全体系和实现国产的入侵检测工具具有非常现实的意义。

孙学涛[9]2003年在《基于网络数据包的异常检测系统的设计与实现》文中研究表明入侵检测是一种主动防御技术,是多层次网络安全防范体系的重要组成部分。从所采用的技术看,入侵检测系统大致可分为误用检测和异常检测两大类;从检测数据的来源看,又可分为基于主机的和基于网络的两种。其中,基于网络的异常检测具有能发现新攻击、能及早做出响应等优势。而要实现真正的安全,检测新攻击的能力是必不可少的。 对正常行为的描述是异常检测系统必须要解决好的核心问题之一。研究人员先后提出或采用了基于概率统计、基于模式预测、基于神经网络等多种方法,其中有一些目前仍处于理论研究阶段。本文从所考察的对象、事件的建模、关联分析等方面对如何构建正常行为模型进行了较为深入的探讨。传统的基于概率统计的方法采用的是静态模型,即根据历史上事件出现的频率来计算新事件的异常值。本文采用一种与时间相关的动态模型来计算新事件的异常值。按照这种动态模型,新事件的异常值与上次出现新事件以来的时间长度有关。本文还采用IF-THEN形式的规则对所考察的多个属性进行关联分析,并对规则运用上述动态模型,即某一条件下某属性取得新值的异常值与相同条件下该属性上次取得新值以来的时间长度有关。通过对多个属性的分别考察和对其关联性的考察,提高正常行为描述的准确性。 本文运用上述思想,在Linux平台上设计和实现了一个基于网络数据包的、旨在保护重要Web服务器的异常检测原型系统。基于对攻击行为的分析,本原型系统以TCP连接的若干个属性为考察对象。常见的基于网络的入侵检测系统一般只对网络数据包的包头或包头中的某些内容进行考察,而本文实现的原型系统不仅考察数据包的包头,而且还考察数据包应用负载的部分内容。不但对这些属性进行了多变量统计检测,而且采用一学习算法自动生成规则集,进行关联检测。文中给出了该原型系统的总体结构图和重要流程图,较为详细地介绍了条件规则的生成与使用,给出了数据包捕获、多变量统计、关联检测等重要模块的设计,列出了重要的数据结构,并对实现中所使用的主要函数做了说明。最后,对本文所做的工作进行了总结,指出了有待进一步研究的若干问题。

吴四维[10]2005年在《分布式入侵检测系统中若干关键技术的研究与实现》文中研究说明互联网的发展为全球范围内实现高效的资源和信息共享提供了方便,但同时也对信息的安全性提出了严峻的挑战。现在,信息安全已逐渐发展成为信息系统的关键问题。传统的基于主体的信息安全模型已经不能适应网络技术的发展,p~2DR模型应运而生。入侵检测技术是p~2DR模型的重要组成部分。入侵检测作为一种主动的信息安全保障措施,是对“防火墙”、“数据加密”等传统安全防护技术的有效补充。它对计算机和网络资源的恶意使用行为进行识别,并为对抗入侵提供重要信息。它不仅检测来自外部的入侵行为,同时也监督内部用户的未授权活动。它有效地弥补了传统安全防护技术的缺陷。通过构建动态的安全循环,可以最大限度地提高系统的安全保障能力,减少安全威胁对系统造成的危害。 本文首先对网络安全现状、当前的网络安全技术进行了一定的研究;然后从信息系统的安全模型开始,介绍了基于主体访问对象的经典安全模型和p~2DR动态安全模型;阐述了入侵检测系统对于维护信息系统和计算机网络系统的重要性,随后提出了本文要完成的工作——研究适用于大规模网络的分布式入侵检测系统。研究了入侵以及入侵检测技术概念的提出背景和发展过程。分析了入侵检测系统基本的工作原理、系统模块。 在系统模型设计方面,本文提出了一种层次化协作的混合型分布式入侵检测系统模型。该模型将受保护网络划分成若干个安全管理区,并且该模型由探测代理、监视代理、策略执行代理叁个部分组成。各部分之间角色的分工借鉴了CIDF模型,并且在每种代理的内部模块的设置上也力求功能完整独立。整个模型在数据来源的分布化、分析检测的分布化、多区域检测的协作化叁个层次上体现分布式入侵检测的特点。另外,监视代理的数据融合部分采用了分析探测代理发送的事件之间相关度的方法提取局部异常事件。随后,给出了实现该模型的重点问题。 本文在Windows 2000平台下构造了基于规则的网络探测代理,其中的规则集使用的是Snort的。并且在Snort的规则解析基础上,提出了改进的规则解析方法——将Snort的二维规则链表重新划分成规则子集,并针对传输层协议给出了不同的集合划分方法,给出了在程序设计时遇到的若干技术问题的解决方案。最后,我们为了测试网络探测代理的运行效率进行了丢包率测试、CPU负载测试,测试结果表明在正常的网络通信中,系统可以达到有效的运行状态。 作为网络安全的一个重要研究领域,分布式入侵检测仍然存在着众多的问题和技术难点,本文的最后给出了今后针对该领域我们的研究方向。

参考文献:

[1]. 基于机器学习的入侵检测系统研究[D]. 程恩. 华中科技大学. 2006

[2]. 入侵检测与安全防御协同控制研究[D]. 王文奇. 西北工业大学. 2006

[3]. 高速网络环境下入侵检测系统研究[D]. 林龙涛. 青岛大学. 2007

[4]. 基于改进WM算法的网络入侵检测系统的研究与实现[D]. 董迎亮. 吉林大学. 2011

[5]. 入侵检测技术的研究与应用[D]. 黄敏. 哈尔滨工程大学. 2002

[6]. 基于数据挖掘的入侵检测技术研究[D]. 朱广彬. 北京交通大学. 2010

[7]. 基于定性映射的网络入侵检测系统的设计与实现[D]. 廖小燕. 上海海事大学. 2004

[8]. 网络入侵检测系统的分析与设计[D]. 裴龙. 西南交通大学. 2002

[9]. 基于网络数据包的异常检测系统的设计与实现[D]. 孙学涛. 中国人民解放军信息工程大学. 2003

[10]. 分布式入侵检测系统中若干关键技术的研究与实现[D]. 吴四维. 东北大学. 2005

标签:;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  

基于网络数据包的异常检测系统的设计与实现
下载Doc文档

猜你喜欢