高速网络实时信息流监控系统

高速网络实时信息流监控系统

张红红[1]2006年在《高速网络实时信息流监控系统的研究》文中提出针对网络信息流分析和监控的实时、高效的原则,详细讨论了一个高速网络信息流分析与监控系统。本文将整个系统分为两大模块:网络流量监控和网络信息分析。系统相对于国内同类系统而言,具有在数据处理能力和可扩充性方面的优势。

李笠[2]2002年在《高速网络实时信息流监控系统》文中研究表明随着INTERNET的快速发展,计算机网络犯罪的增多已经威胁到国家和政府的安全。如何在不涉及个人隐私的情况下对网络信息流进行安全监控,是各国政府现在重点研究的课题之一。本文就是针对网络信息流分析和监控的实时、高效的原则,详细讨论了一个高速网络信息流分析与监控系统。本文将整个系统分为两个大的模块:网络流量监控和网络信息分析。在网络流量监控技术上,本文介绍和对比了SNMP协议和Cisco NetFlow技术,并利用NetFlow技术实现了广域网数据流量的分析和处理。在网络信息分析和处理技术上,本文又将此模块分为两个部分:首先是简述了数据包截获技术和集群技术,其中对网络底层信息监听过滤技术作了详细阐述。另外为了提高系统效率,只将用户关心的应用数据过滤截获,本文还特别介绍和分析了基于BPF模型的网络信息过滤机制。针对高速网信息流量大的特点,系统在一个Linux集群-LVS上实现了数据包处理的分布性;最后,本文对网络数据还原的叁个层面:IP层、TCP层和应用层作了还原分析,特别对应用层的协议还原作了详细分析,并实现了其中简单高层协议的数据还原。系统相对于国内同类系统而言,具有在数据处理能力和可扩充性方面的优势。

吴钟琴[3]2007年在《基于Linux/UNIX的机群监控系统的关键技术的研究与实现》文中认为迅速发展的PC机、工作站和高速网络系统,使高性能超级计算机从高端大型机向计算机机群发展。但是,机群系统因其结构松散、节点独立性强等原因会导致维护困难。国际上流行的方式是在节点机的操作系统之上建立一层机群管理系统。机群监控系统是机群管理系统中的重要组成部分,其基本任务是监控机群系统的各个性能指标,在系统发生异常时提供报警/预警信息。国内外已有机群监控系统虽具有丰富的功能和良好的性能,但仍存在普遍的不足:(1)大部分机群监控系统采用C/S架构,在节点软件发生异常时,监控系统将无法获取该节点的监控信息;(2)未充分利用监控信息预测系统的异常;(3)在无人值守的情况下,在某个节点发生异常时,虽然有些监控系统已提供电子邮件或短消息报警功能,但无法判断系统管理员是否已收到报警信息。作者在对现有几个典型机群监控系统研究分析的基础上,设计了基于C/M/S的叁层通信模型和半异步通信协议,对机群监控系统进行了总体设计,并实现了数据采集器、流数据挖掘器和短消息收发器等模块,从而实现了基于Linux/UNIX的机群监控系统ACMS(Automatic Cluster Monitoring System)。本文的主要特色和创新之处为:(1)通过实现Telnet协议,可获得与服务器端软件失效的节点的通信,并采集该节点的监控信息。(2)提出了将流数据挖掘技术应用于机群监控系统中,设计了流数据挖掘算法,用以预测机群系统将来时间可能发生的异常和发生异常的概率,并根据预测结果进行预警。(3)设计了短消息报警/预警系统和系统管理员之间的人机交互协议,使监控系统在无人值守时具有判断系统管理员是否获悉报警/预警信息的功能,并且具有重发短消息的功能,从而提高了报警/预警系统的可靠性。本文对ACMS的主要模块——数据采集器、流数据挖掘器和短消息收发器进行了测试,验证了它们的可行性和功能。ACMS中的各模块实现了预定的功能,弥补了现有机群监控系统存在的几个不足之处,提高了机群监控系统的可靠性,使其向智能化方向迈进。本文研究实现的ACMS已首次运行于对上海华虹集团计通智能卡系统有限公司所研发和维护的上海轨道交通3号线、4号线和5号线的AFC(自动售检票)系统的中央计算机系统服务器的监控上。其中用于预警的流数据挖掘模块需要大量真实数据进行反复测试和验证,因此还处于测试阶段。运行实践表明,ACMS性能稳定,能可靠地实现监控报警功能。

彭武杰[4]2010年在《基于Ganglia和MDS的校园计算网格监控研究》文中指出网格环境中的资源是分布的、异构的、数量庞大而且随机变化的,网格节点可能随时加入和离开网格环境,这些特性会导致资源和任务运行信息的频繁采集,大量消耗节点资源,也容易导致网格任务调度时被分配给无效的节点,严重影响网格任务调度的执行效率。所以构建一个灵活高效的网格资源监控系统,监控节点资源和在其上运行的网格任务的资源消耗信息,是网格计算中重要的环节。校园计算网格是利用校园网内的计算资源构建的计算网格,为校园环境内的各种研究工作提供高性能的计算能力。校园计算网格(UCGrid 3.0)的核心技术是基于GT4开发的计算网格分布式中间件,并以此为基础建立了校园计算网格门户,提供了校园计算网格运行的各种功能。校园计算网格可以解决校园内很多资源没有充分利用而同时有很多任务得不到相应资源的问题。建设校园计算网格的关键技术之一是解决资源监测问题。资源监测为校园计算网格提供必要的与资源有关的性能数据,是资源发现和资源分配的基础。本文以校园计算网格平台UCGrid3.0为监控对象,设计并开发了校园计算网格监控系统,包括校园计算网格监测门户和校园计算网格监控器。以往的研究仅限于资源监测方面,本文研究的监控系统包含监测和控制两个方面,提出了对校园计算网格全面的监控方案。校园计算网格监测门户是对校园计算网格中的各种资源的实时监测平台,提供了对CPU、内存、硬盘、网络流量等各种静态和动态的资源信息的实时监测并通过图形化方式展现。为了弥补GT中MDS组件对资源信息监测的全面性和实时性方面的不足,校园计算网格监测门户引入了Ganglia监控框架,基于Ganglia二次开发。监测门户通过与gmond组件进行通信,将gmond收集的网格资源实时信息通过web页面的方式展现,同时将实时资源信息写入到MDS和数据库中。校园计算网格监控器CGAMS可以监控校园计算网格中间件、GT网格环境、网格数据库等,为校园计算网格的持续正常运行提供保障。CGAMS分为中心控制端和信息反馈端,分别部署在校园计算网格的中心节点和各分节点上,两端之间通过基于Socket的异步通信机制进行通信。其中中心控制端提供对中心节点上的校园计算网格中间件和GT组件的监控,并接收信息反馈端发送过来的GT组件运行的状态信息,同时中心控制端还可以恢复分节点的GT组件重新正常工作。CGAMS采用多线程技术开发,确保了在同一时间可以并发完成各种不同的功能。由校园计算网格监测门户和网格监控器组成的校园计算网格监控系统,不仅可以实时地监测网格环境中的各种资源信息,同时还可以控制与校园计算网格相关的各种组件,为校园计算网格提供了一个集监测和控制于一体的全面资源监控解决方案。校园计算网格监测门户和网格监控器CGAMS分别在已有的校园计算网格环境中进行了部署。在运行过程中该监控系统取得了良好的效果,不仅为网格资源的调度提供全面的数据支持,同时也可保障校园计算网格的持续正常工作。

闵旭[5]2006年在《电厂信息系统应用集成和负荷优化分析与设计》文中指出随着我国电力体制改革的深化,实现厂网分开,竞价上网,电力市场有序竞争将更加激烈,追求投资效益最大化已成为投资主体的内在动力,这就要求电厂必须通过信息化实现生产过程高度自动化和管理现代化以达到“减员增效”的目的。与此同时,我国近年来开始频繁出现电力短缺问题,这进一步增加了发电企业优化资源配置和提高生产效率的紧迫性。因此,建设高效的集成信息系统,实现火力发电厂机组的优化运行以便达到“节能降耗”的目的,对企业今后的生存和发展具有重要的战略意义。本文首先深入分析了流程工业计算机过程集成系统(CIPS)理论体系的功能、层次结构和设计思想,系统地总结了当前对实施火电厂CIPS的相关研究,然后对火力发电厂的生产流程特征进行了系统的分析,并进一步发展了电厂CIPS体系模型,提出了火电厂CIPS层次结构模型和集成框架模型,将电厂的生产过程控制系统(DCS)、管理信息系统(MIS)、以及厂级监控信息系统(SIS)进行了有机集成,为发电企业内部生产过程建立集成信息系统、实现“管控一体化”的目标提供了理论及技术指导。根据火力发电厂层次结构模型和集成框架模型,设计出通用的厂级监控系统的网络架构和软件的体系结构,提出了SIS系统的网络拓扑结构应采用冗余的星形结构,并给出了电厂综合决策支持系统的架构模型和功能模型。考虑到SIS系统中的全厂负荷优化分配管理功能是实现“节能降耗”的主要方法,本文对等微增率法和动态优化法两种优化分配算法进行了研究,设计出两种算法的程序计算流程图和实时机组负荷分配模型,比较出各自的优缺点和不同的适用范围。最后结合安徽淮北矿业集团盐化项目4X135MW自备热电厂建设项目,验证了本文观点在建设火电厂集成信息系统时的方案合理性和优越性,并对火电厂集成信息系统的进一步发展提出展望。

付强[6]2009年在《基于自适应技术的网络异常行为检测系统的研究与实现》文中研究说明随着网络应用的不断发展,如何在网络数据流中发现异常行为,并给出实时预警,已经成为当前网络安全领域的重要研究课题。本文讨论了网络数据流NETFLOW的一般概念以及数据流异常行为检测系统的总体框架,重点研究了基于自适应技术进行网络数据流异常检测的实时处理算法、安全事件的分类入库与结果展示技术、异常检测系统的部署过程。主要工作有:1.在经典的主成分分析算法(PCA)的基础上,提出了一种基于多维数据特征自适应技术的网络数据流异常事件检测算法。其基本思想是:把采集来的网络原始数据流交给PCA处理,形成该数据流关于某特定异常事件(如DDOS)的特征维度及统计数据,经实测结果与预测结果的比较,确定各特征维关于该异常事件的贡献率,按照阈值剔除贡献率小的特征维,从而判断是否出现相应的异常事件。其中,阈值初始取经验值0.5,以后可以在0.1范围内自动调整。实践结果表明,该算法能有效地检测常见的网络异常事件,且执行开销较小。2.按照目前人们最关注的DDOS、网络扫描和网络拥塞叁类网络异常事件,设计并且实现了异常事件的分类、报警和相关异常信息的入库。异常事件相关信息主要有:IP、端口、包大小、字节大小、发生时间、持续时间等信息。并且分别按月、按天、按小时统计异常发生规模以及实时趋势分析,并提供各种展示图表,供人们随时查询检测所用。3.基于Tomcat5.5容器,实现了网络异常行为检测系统的web服务包装和部署,人们通过浏览器可以方便地访问到相应的异常行为检测服务。

刘文昭[7]2008年在《网络信息内容监测系统研究与实现》文中指出随着信息时代的到来,互联网已经进入了每一个人的日常生活。然而,互联网建立在自由开放的基础之上,随着人们在互联网上进行的活动日益增多,网络上传递的信息也开始鱼龙混杂,于是如何对互联网上的信息内容进行监测管理成为了人们研究的热点问题。另外,随着802.11无线局域网协议的提出,计算机网络环境正在发生转变,如何在无线802.11网络环境下实现对信息内容的监测,急需得到研究和解决。网络信息内容监测是网络监测中的一个重要分支,它主要监测网络上传递的信息的具体内容。网络信息内容监测一般采用从网络通信中间过程进行捕获、分析和还原的方案,而数据捕获、协议分析、应用数据还原、内容分析与过滤是网络信息内容监测的关键技术。802.11无线局域网环境下的网络信息内容监测具有很多新问题,包括大量的管理帧和控制帧对数据捕获的影响,新的帧格式对协议分析的影响,无线认证加密对数据还原的影响,等等。本文对网络信息内容监测的原理与关键技术做了研究,对无线802.11网络环境下的新问题做了研究与讨论,之后提出了一种基于Linux系统的网络信息内容监测系统。该系统采用数据捕获、协议分析、会话重聚、应用数据还原、内容分析与过滤五层结构,实现的功能包括网络通信数据包的捕获,捕获数据包的详细协议分析,对telnet远程登录命令交互过程、ftp传输的目录和数据文件、http上网浏览的网页等几种应用层会话内容的还原,根据用户关注的敏感特征词进行的关键词分析过滤。该系统支持无线802.11环境,并具有很好的扩展性。在详细的设计了系统的结构和每一层结构之后,本文对系统进行了实现,并详细地给出了其中关键的会话重聚层、应用数据还原层、内容分析与过滤层的实现流程。在本文最后部分,对系统进行了以太网环境和无线802.11网络环境下的功能测试,给出了测试结果,并对本文做了总结,对下一步工作提出展望。

徐文君[8]2010年在《面向制造的网络服务质量相关理论和关键技术研究》文中指出当前,网络技术已经被广泛地应用于多个工业领域,尤其在制造领域中,网络技术的应用和推广取得了令人瞩目的成绩。制造网络可以被认为是通过先进制造模式(如制造网格和云企业等)实现的网络化资源共享管理机制和由Internet实现的计算机通信网络基础架构的集成,因此服务质量(Quality of Service, QoS)保障和优化的观念对于制造网络尤其重要,一方面需要保证用于数据传输和交互的通信网络基础架构的良好运行性能,另一方面还需要对各类网络化的制造资源进行有效管理;以提升相关制造企业的运行效率以及协同和资源共享能力。在制造网络中,如果没有QoS机制的支持,整个网络企业系统的性能都将降低,各类制造资源也无法得到有效利用。针对上述问题,按照“相关理论——关键技术——应用系统”的研究路线,本文对面向制造的网络服务质量相关理论和关键技术进行了深入研究,开展的主要工作如下:(1)讨论了制造网络QoS的概念,建立了制造网络整体QoS保证模型,提出了QoS导向的制造网络服务体系框架。该体系框架集成了网络化资源服务管理和通信网络基础架构两部分的QoS策略,一方面采用蜜蜂优化算法实现对制造资源服务的QoS管理,另一方面在网络基础架构中利用网络QoS策略以满足资源服务管理对于网络传输能力的需求。此外,基于系统自上而下的QoS参数映射机制使整体QoS性能优化的目标得以实现。制造网络中底层网络基础架构是整个系统信息数据传输和交互的前提和支撑,在后续的内容中,主要面向制造中底层网络基础架构的QoS性能优化展开相关关键技术的研究。(2)网络控制系统(Networked:Control System,NCS)是制造网络的典型应用系统之一。NCS中分组传递时延的随机性和动态性对系统控制性能有着较大影响,因此网络分组传递的单向时延估计对于NCS控制性能的优化设计十分重要。分析了当前单向时延估计算法存在的不足,提出了一种适用于NCS、结合在线式测量和端到端估计的混合式单向时延估计算法——HOWDE。该算法针对NCS的运行方式和特点而设计,权对系统中控制启动初始帧的单向时延采用在线式测量方法进行估计,并将其作为端系统运算的参考标量,而对于后续前向和反向通道中的单向时延,则采用端到端的估计方法,基于前期获得的控制启动初始帧参考标量,结合系统两端统计所得的RTT值,通过端系统的运算得出分组传递的单向时延估计值。从而在准确获取NCS中前向和反向通道的单向时延值的同时,不会给系统造成过多的计算开销和网络负担。(3)高速网络是Future Internet的发展方向之一,制造网络中采用高速网络实现底层网络基础架构,可以有效满足日益复杂的制造协同和信息共享对数据传输和交互的高性能需求。在底层通信网络中,用于传输实时数据的UDP协议由于不具有任何控制机制而十分容易引起网络的拥塞,造成共存的TCP数据流性能降低,使整个网络运行的QoS性能下降。针对这个问题,提出了面向高速网络、具有拥塞控制机制的不可靠传输协议——FAST DCCP和EEFAST DCCP。基于DCCP协议并采用FAST控制机制而实现的FAST DCCP协议,通过多Options策略克服了DCCP协议无法在大拥塞窗口下正常运行的缺陷,利用FAST机制实现了对不可靠数据传输的拥塞控制,并且能够区别的对待数据包丢失事件,对丢失的数据包不再重传,以满足数据传递的实时性需求。在FAST DCCP的基础上,提出了加强型端到端协议EEFAST DCCP。该协议基于所测量的单向时延对拥塞窗口大小进行动态控制,从而消除反向流所造成的不良影响。(4)在高速网络基础架构中,现有的高速传输协议在RTT公平性、TCP友好性等网络QoS性能等方面仍存在着缺陷和不足。基于此,提出了采用混合式拥塞控制机制的高速传输协议——HCC TCP。该协议将队列时延作为首要的拥塞度量指标,而将分组丢包作为次要的拥塞度量指标。协议中基于时延的控制机制通过对前向单向时延的统计测量,准确的估计出前向路径中的拥塞状态,从而根据时延信息动态调整拥塞窗口的大小,使其稳定在可以完全利用可用带宽资源的窗口值上。当基于时延的拥塞控制机制由于设置参数的制约而无法在网络中有效运行时,协议则采用基于分组丢包的控制机制对窗口大小进行调整,使窗口的增长呈线性到曲线的变化,从而将窗口能够尽可能长时间的维持在分组丢包事件窗口值附近,降低分组丢包的发生概率,取得良好的带宽利用率。(5)针对制造产业中中小型企业(Small and Medium Size Enterprises, SMEs)所面临的挑战,基于Future Internet提出了能够使SMEs运行于未来企业系统的创新网络环境,同时对该环境的体系结构和相关方法论进行了描述和分析,从而使SMEs能够在快速变化和充满竞争的市场环境中生存并取得成功。最后,以欧盟第七框架计划ICT和NMP中的相关项目为应用实例对本领域的研究进展进行了分析,指出了所提出的创新网络环境较现有研究成果所具有的先进性,以期能够帮助制造企业成功应对未来市场的挑战。

刘琴霞[9]2014年在《110kV数字化变电站的技术设计及应用研究》文中研究表明自上世纪80年代中期以来,尤其是微机自动化技术出现以后,变电站综合自动化技术在我国获得了长足进展。当前,在社会对环境、资源等需求巨大而其容量又有限的大背景下,为不断提高用户对电能质量的高要求,智能电网、互动电网受到了各方的极大关注。显然,变电站综合自动化是构建智能电网和互动电网的重要组成部分,而电网的智能化和互动化发展方向又必将要求变电站中信息采集、信息传输、信息处理与应用的全数字化,因此,数字化变电站以其高可靠性、多扩展性和抗干扰性等特点,已然成为当下十分热门的研究课题。本文首先论述了数字化变电站的发展历史和国内外研究动态,然后介绍了数字化变电站的概念及优势,分析了智能设备、网络结构、GOOSE(面向通用对象的变电站事件)技术等;之后根据新投入运行的110kV安华变、110kV直埠变、110kV商务变输变电工程,对数字化变电站二次装置的配置原则和方案、数字化变电站的信息交互实现等进行了设计;接着,结合运行实际,分析了数字化变电站对运行维护提出的新要求,并根据传统变电站与数字化变电站一、二次设备应用的区别,提出了适应数字化变电站的运行维护方法;最后,以110kV安华变改造为例,运用全周期成本(LCC)法比较了传统非数字化和数字化改造方案的全周期成本。叁个数字化变电站项目的实践应用,为更加深入的了解数字化变电站的工程实施提供了依据,并将对绍兴智能电网的建设、运行和管理带来深远影响。本文研究成果能够为今后推广数字化变电站提供丰富的技术经验,有效提升了变电站综合自动化水平,具有较高的推广应用价值。

王翀[10]2011年在《500kV智能变电站的设计方案研究》文中提出电力系统的发展面临着许多挑战,智能电网被认为是有效的解决方案。变电站智能化是坚强智能电网建设的基本前提和关键环节之一。本论文以实现智能变电站的“信息化、自动化、互动化”为目标,以智能电网相关技术导则、规定和智能化技术的发展现状为理论支撑,重点研究了变电站智能化设备的发展应用情况和典型智能变电站实施方案。在对智能化设备研制情况充分研究和考虑智能化设备可靠性及经济性的基础上,本论文提出了500kV变电站的智能化设计方案,为今后智能变电站工程的实施提供了重要参考和借鉴价值。

参考文献:

[1]. 高速网络实时信息流监控系统的研究[J]. 张红红. 光盘技术. 2006

[2]. 高速网络实时信息流监控系统[D]. 李笠. 昆明理工大学. 2002

[3]. 基于Linux/UNIX的机群监控系统的关键技术的研究与实现[D]. 吴钟琴. 华东师范大学. 2007

[4]. 基于Ganglia和MDS的校园计算网格监控研究[D]. 彭武杰. 成都理工大学. 2010

[5]. 电厂信息系统应用集成和负荷优化分析与设计[D]. 闵旭. 华中科技大学. 2006

[6]. 基于自适应技术的网络异常行为检测系统的研究与实现[D]. 付强. 国防科学技术大学. 2009

[7]. 网络信息内容监测系统研究与实现[D]. 刘文昭. 北京交通大学. 2008

[8]. 面向制造的网络服务质量相关理论和关键技术研究[D]. 徐文君. 武汉理工大学. 2010

[9]. 110kV数字化变电站的技术设计及应用研究[D]. 刘琴霞. 华北电力大学. 2014

[10]. 500kV智能变电站的设计方案研究[D]. 王翀. 华北电力大学. 2011

标签:;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  

高速网络实时信息流监控系统
下载Doc文档

猜你喜欢