视频通信中的差错隐藏及基于DSP的视频优化技术的研究

视频通信中的差错隐藏及基于DSP的视频优化技术的研究

唐文佳[1]2004年在《视频通信中的差错隐藏及基于DSP的视频优化技术的研究》文中进行了进一步梳理近年来,随着计算机和网络技术在世界范围内的普及应用,人类进入了数字化信息时代。与此同时,人们对信息与通信的需求日益突破地域和时间的限制,视频通信已成为信息与通信领域中最引人注目的发展方向之一,而以视频编码、存储、处理为基础的视频技术更是视频通信的核心领域。作者在研究生阶段参与了“移动多媒体通信中的信源、信道联合编码技术”(国家863重大专项:“数字视音频编码、传输、测试与应用系统”中的子项目 No.2002AA119010)和“基于多媒体的远程视频监控系统”项目,主要从事视频通信的研究。作者的主要工作任务是其中的核心技术视频解码器中差错隐藏技术的研究和“基于DSP的MPEG-4视频编码器”的实现及优化。本文首先对视频通信以及视频编码技术做了简要介绍,确定了本文的研究重点,并对本文的选题和主要工作做了说明。接下来介绍了最新的国际标准H.264,并对其中的关键技术进行了详细的分析。然后介绍了无线网络传输仿真平台,并且对H.264在网络传输中的应用进行了仿真实验。本文论述了现有的后处理视频解码差错隐藏技术,具体介绍了在H.264中使用的差错隐藏算法,分析了多帧差错隐藏技术的优点,接着阐述了其在场景变换中带来的差错蔓延的问题。在此基础上,提出一种新的结合场景变换的多帧差错隐藏算法。实验结果证明,该新算法在对突发场景变换和淡入淡出场景变换中的差错隐藏处理方面表现出了良好的性能,主观效果和客观效果都要比单纯使用多帧差错隐藏技术要好。本文详细探讨了基于DSP的MPEG-4视频编码器的实现与优化策略。我们在该处理芯片基础上做了大量的工作,包括程序移植、算法级优化、代码级优化和指令级优化。然而同许多DSPs的应用一样,CPU在高速处理数据的同时, 处理速度与片外数据存取速度的不匹配问题成为系统性能提高的主要瓶颈。作者先介绍该DSP的结构以及视频编码器的系统实现框架,接着阐述与硬件结构相关的视频编码关键技术和优化方法,然后从DSP中CPU的Cache特性结构方面展开研究,提出一种适宜于在DSP CPU上进行视频数据处理的数据排列新算法,并且将其成功地应用到基于Trimedia PNX1301的MPEG-4程序优化工作中,取得了较为满意的效果。最后对全文进行总结,对有待继续研究的工作提出初步设想。

刘亚荔[2]2007年在《基于DSP的H.263无线视频通信系统》文中研究表明多媒体视频通信系统的研究是通信应用的研究热点之一。视频信息处理运算量大,基于DSP设计并实现视频通信终端,是能够快速处理如此大信息量的最佳方法。多媒体数字处理技术和无线网络技术的发展,促使无线视频通信系统成为应用的新趋势。目前大多数的视频传输应用都建立在固定的公共IP网络接口基础上,单一的传输模式使视频监控等应用的范围受到限制,所以研制集多种传输模式于一体的无线多媒体视频通信系统具有研究和应用价值。论文以ISM频带上的因特网无线电模式为理论基础,提出无线视频网络的多点对多点方案,重点研究作为基本节点的无线视频处理终端,设计以太网和无线射频两种方式传输的DSP视频传输方案。论文研究无线视频传输系统所涉及的关键技术,实现基于DSP的以太网传输,并且作无线传输扩展部分的研究。主要包括以下内容:无线视频通信关键技术的研究。主要集中于基于专用多媒体芯片的视频压缩算法,视频流传输技术和视频处理平台的研究。视频编解码标准H.263,主要用于低速率的视频传输,是论文在DSP上实现和优化的主要算法。RTP/RTCP实时视频传输协议,能够为网络多媒体视频流提供相应的可靠性、流量控制,提高传输的实时性。无线视频通信终端是无线多媒体通信系统的重要组成部分,它完成视频的采集、压缩和通信接口等功能。论文以TI公司的高性能多媒体处理器DM642作为核心,采用基于嵌入式操作系统DSP/BIOS的软件实现视频编解码和系统控制的方案,移植和优化低比特率的H.263算法。设计DSP以太网通信模块的硬件接口,运用网络开发包NDK的TCP/IP协议栈,搭建网络传输的软件平台,并实现RTP/RTCP协议,控制装载H.263视频流的UDP数据包,通过IP网络实时传输。扩展DSP的UART接口,通过RS232方式,连接无线数据传输模块nRF905,测试传输无线采集数据。在PC机监控端使用支持实时H.263码流的播放软件,同时连接无线收发芯片,完成DSP与PC机终端的双机通信。最后对整个开发系统进行联合调试,测试各项功能。论文实现和设计了具有网络和射频两种模式的无线视频数据传输方案,为构建多点无线视频通信网络建立了基础。

胡建荣[3]2006年在《无线环境中H.264解码器设计与DSP实现》文中指出H.264/AVC,作为视频标准发展的最新成果,是由ITU-T视频编码专家组和ISO/IEC运动图像专家组联合提出的视频编码标准。无论从编码的效率方面,还是从有效的适应各种网络和各种应用领域的灵活性方面,H.264/AVC都体现着视频编码技术的很多优势。这些新特性使H.264/AVC标准在提供相同视觉效果的同时获得大约50%比特率的节省。数字视频标准的发展也必然导致工业领域的巨大变化,促进各厂商开发适合H.264标准的视频编解码器。 随着第叁代移动通信的高速发展,多媒体通信终端设备具有广泛的应用前景,可以应用于可视电话,视频会议,数字电视及无线多媒体通信等领域。目前,数字信号处理器(DSP)的高速发展,为我们实现高效实时的多媒体信号处理提供了可能性。正是基于以上的背景,在DSP上实现H.264编解码算法具有很好的研究意义,并具有广泛的市场发展前景。 多媒体视频通信一个主要的问题是信号的抗误码能力以及信号的差错后处理方法。目前比较通用的差错后处理方法是差错隐藏方法。这种方法充分利用了视频信号的时域和空域相关性,在解码端对信号进行后处理,而不需要在视频码流添加多余的控制信号(零冗余)。因此在视频通信领域得到广泛应用。在H.264解码器中引入差错隐藏机制,可以有效地提高解码图像的主观效果和客观质量。 本课题对H.264视频压缩标准作了一定的研究,主要完成了两部分工作:对解码器中差错隐藏技术的作了系统的研究,并针对无线环境应用,提出一种整帧丢失的恢复算法;实现了基于TI DM642平台上的H.264 Baseline Profile解码器,给出了针对DSP平台优化的一些措施和结果。

安维嵘[4]2004年在《H.264解码算法的研究及其在DSP平台的实现》文中研究指明本课题主要分为两个部分:基于DSP的H.264视频压缩算法标准解码器的实现;对视频差错隐藏算法的研究。H.264/AVC,作为视频标准发展的最新成果,是由ITU-T视频编码专家组和ISO/IEC运动图像专家组联合提出的视频编码标准。该标准的主要目的是进一步提高压缩效率,并为视频信号提供一个适合网络传输的接口。无论从编码的效率方面,还是从有效的适应各种网络和各种应用领域的灵活性方面,H.264/AVC都体现着视频编码技术的很多优势。这些新特性使H.264/AVC标准在提供相同视觉效果的同时获得大约50%比特率的节省。数字视频标准的发展也必然导致工业领域的巨大变化,促进工业领域开发适合新标准的视频编解码器。本课题就是基于此,对H.264视频压缩标准作了一定的研究,并实现了基于TI C6416 DSP的H.264视频解码器终端。本课题的另一个工作是对视频传输中差错隐藏技术的研究,并结合H.264标准,提出了一种适合H.264标准的差错隐藏算法。本课题中,对时域差错隐藏算法作了系统的研究,基于H.264提出了子块匹配搜索算法,该算法利用视频信号的时域相关性,并利用H.264的新特性,提高了差错信号的恢复效果。

李榕[5]2010年在《无线信道中的低码率视频编码关键技术研究》文中研究表明网络技术与多媒体技术的发展,促进了通信技术向综合化、数字化、智能化、个性化的发展。3G技术的迅速普及,在无线信道网络平台上传输语音、数据、图像,成为了新型通信业务的发展动力。由于无线信道相对于有线信道,呈现出完全不同的网络特性;移动终端相对于固定终端,也对应用提出了不一样的要求,因此,研究无线信道环境中的网络视频传输关键技术,具有重要的理论和实践意义。本文分析了无线网络传输环境,指出低码率视频压缩技术、码率控制技术、差错控制技术及节能技术是解决无线传输环境高带宽波动、高误码率和移动终端运算能力弱、待机时间短的关键技术。针对经典的码率控制由于需要计算方差而带来的计算复杂度较高的缺点,提出了一种基于优化比特分配的低复杂度码率控制算法。首先根据图像的复杂度分配帧层的目标比特数;然后在宏块层利用复杂度和运动信息计算编码的权重,确定最优编码器。实验结果表明,该算法能在不降低视频传输质量的情况下,将码率更稳定地控制在目标码率附近。在分析了主流的低码率视频编码技术分类的基础上,选择了近年来兴起的“视觉感兴趣编码算法(ROI算法)”作为研究对象,指出视频分割算法是影响ROI算法效率和质量的关键技术。经典的视频分割算法需要做大量的预处理工作,以提高分割的准确率,运算量大。本文在基于支持向量机分类的基础上,通过合理选取初始类中心,在图像分类的过程中动态地调整分类数量,提出了一种基于运动矢量聚类分析的视频分割算法,对静止背景下的移动目标进行分割,作为感兴趣区域。该算法利用了视频压缩算法的中间处理结果,预处理工作少,算法并行度高,算法复杂度低,易于硬件实现。在此基础上,实现了对运动区域的优先编码,采用基于SPIHT算法的精细编码;对背景区域或视觉不敏感区域的H.264编码。实践证明,该方法提高编码效率和传输效率,符合人眼视觉效果。针对经典视频分割算法对复杂纹理图像分割效果不好,效率低下的问题,使用了离散幅度信号变换理论,建立以信号量化精度作为尺度的离散幅度多分辨率分析为基础的视频分割算法。实验结果表明,该算法能很好对卫星图像等复杂纹理图像进行分割,同时适合于硬件实现高速实时并行处理。最后,针对差错控制算法进行了讨论,提出了一种解码端差错检测及差错隐藏的算法。比较空间相邻宏块、时间相邻宏块,利用大块视觉效应原理,可以检测出错误宏块,并采用空域隐藏、时域隐藏的方法进行错误隐藏。实验表明,该算法能很好的检测出错误宏块,并进行错误隐藏。在各个算法理论及仿真实验的基础上,进一步讨论了硬件实现、算法优化的方法,利用DSP、FPGA和GPU的硬件特性,提高运算速度,降低功耗。

李鹏[6]2006年在《基于uClinux的嵌入式视频通信系统研究》文中指出信息家电、网络设备和仪器仪表等领域专业化、智能化和小型化成为一种发展趋势。把Linux操作系统应用到家电、移动通信设备领域,开发嵌入式视频通信系统具有非常重要的意义,这是当今的一个研究热点和焦点,也是IT业发展的主流方向之一。本文的工作主要包括叁个部分:嵌入式操作系统uClinux内核剖析,基于ARM的嵌入式视频采集系统设计,视频通信过程中出现的失真建模以及差错控制方法研究。文章首先对uClinux操作系统内存管理、内核结构、文件系统进行介绍,并分析了在ADSP-BF533 EZ-KIT系统板上移植uClinux操作系统的方法;随后设计了一款基于ARM的视频采集系统,实现彩色、灰度图象的采集;最后对视频通信过程中的端到端延迟因素、丢包现象进行了建模分析,并回顾和总结了各种网络差错控制方法。

李元哲[7]2011年在《基于H.264视频编码的车载监控系统设计》文中提出随着无线网络的发展,特别是3G技术的应用,可传输的信息量大大增加,为传输包括图像和GPS等车载信息提供了可能,由于无线网络的便利,监控终端可以在网络覆盖的任意地区,24小时监控,并且服务器可以在任何接入互联网的地方架设,脱离了线路的束缚,大大拓宽了传统监控系统的应用范围。H.264视频压缩技术提供了比上一代MPEG4有更高的压缩比和更好的网络容错性能,从而为3G网络条件下传输清晰流畅的车载监控视频提供了条件。本文根据现有技术和市场实际需求,结合无线移动通信技术,对车载监控的发展状况和趋势作了调查,在此基础上对H.264编码算法技术基本编码原理和差错控制进行了深入研究,并对H.264的开源模型的性能做出比较,选择出适合车载编码的模型,然后在分析用户功能需求的基础上,提出总体车载监控终端的实现方案。车载监控终端分为车载信息采集子模块和视频采集子模块,车载信息采集子模块主要负责采集图形、GPS等信息,实现了由PIC为主控单元,CPLD做串口扩展来采集多个摄像头照片信息。视频采集子模块主要负责图像的采集和压缩,由OMAP3530开发板为平台,完成了USB摄像头的驱动和图像采集以及DSP端编码器的移植。最后提出了一种基于自定义FMO (Flexible Macroblock Ordering)的编码器差错控制方法,它是在官方FMO模式的基础上提出的。通过编码实际的车载监控视频,并经过3G信道仿真和与其它FMO模式对比,证明了该方案在保护重要区域获得较好的错误隐藏效果的同时提高了整体的压缩比率和编码效率,适合用于3G无线网络的传输。

刘志东[8]2007年在《3G视频编解码器软件设计和优化实现》文中研究指明随着3G移动通信技术在世界范围内的蓬勃发展,以视频多媒体应用为核心的3G“杀手级应用”,成为工业界及相关研究机构的研究热点。3G视频应用实现的关键在于满足3G需求的视频编解码器,本课题的目的正是为了设计满足3G商业化应用所需要的视频编解码器软件。本论文以3G终端中广泛应用的OMAP1510双核心处理器为平台,采用H.263和MPEG-4视频编解码标准,并按照3GPP标准的建议,完成了3G视频编解码器软件的设计和优化实现。第一章介绍了3G及视频编解码技术的相关背景知识,并阐述了3G通信对视频编解码技术的要求。第二章对视频编解码器软件的硬件平台——OMAP1510的DSP子系统及其集成开发环境CCS的功能特点进行了介绍,并分析了硬件平台和开发环境对视频编解码器性能实现的影响。第叁章完成编解码器软件的设计和优化。先完成总体设计,主要内容包括:方案设计、功能模块划分、各功能模块接口及程序流程设计;然后,通过数据流优化设计、算法优化设计、C语言级优化、关键函数汇编加速以及硬件协处理加速等方式达到3G通信对实时编解码性能的要求。第四章论述了去块滤波算法的作用,分析了通常采用的去块滤波算法流程的缺点,并设计了一种性能优化的基于宏块的去块滤波算法处理流程。第五章设计实现了自适应宏块刷新,重同步,数据分割以及错误掩盖和错误恢复等容错策略。第六章对编解码器性能和图像质量进行了测试和分析。经测试分析,本视频编解码器软件达到了实时编解码的要求,图像质量良好,可以满足3G视频通信的需要。

朱江[9]2007年在《基于DCT的可伸缩视频编码的研究》文中研究表明本论文对基于DCT的可伸缩视频编码进行了研究,主要包括以下内容:1.流媒体信源编码技术的研究近十几年来,数字视频编码技术不断发展成熟,新的技术能够以国际标准的形式迅速的应用于实际之中。科研向产业的有效转化使得国际上对于视频编码技术的研究始终保持活跃。近年来,随着宽带因特网的迅速普及,以及移动通信从2G向3G的过渡,视频业务由于网络和终端性能的提高也面临着爆炸性的发展。从用户的角度来说,通过网络观看视频有两种基本的方式:基于下载的和基于流的方式。当采用基于下载的方式时,用户需要先将完整的视频文件下载到本地存储,然后才能播放观看。这种方式需要等待的时间随着视频数据量的增加而增加,同时受到网络带宽的限制,并使得用户无法从一个视频流向另一个流方便的切换。而基于流的方式则是一边下载一边播放。因此,视频流系统成为了今天和未来的视频业务存储与发布的主要方式。本文首先介绍视频流系统的构成,对实现视频流系统的叁种方式进行分析比较。然后分别详细讲述其中的转码和可伸缩视频编码技术的发展情况。2.基于H.264/AVC的可伸缩视频编码的研究随着H.264/AVC国际视频编码标准的逐渐成熟和推广,包括流媒体在内的越来越多的视频应用已经或即将采用H.264/AVC标准。而在迅速扩大的流媒体业务中,由于存在不同的网络和不同的终端,因此对于视频编码的可伸缩性方面的要求也越来越迫切。实现可伸缩视频编码既可以基于小波变换,也可基于DCT变换的编码结构。前者具有天然的嵌入式特性,更利于可伸缩性的实现。但是包括H.264/AVC在内的众多基于DCT的编码标准已经占领了广大的应用市场,因此基于DCT变换的可伸缩视频编码将更好的兼容现有标准,更利于推广应用。所以ISO的MPEG和ITU—T的VCEG,同意联合起来将SVC作为H.264/AVC的扩展集并由联合视频组(JVT)提出了草案。所谓的可伸缩视频编码技术要求视频编解码器在比特流级别具有以下可伸缩特性:通过简单的丢包或截断码流等操作提取出的子码流具有较低的空间一时间分辨率和/或较低的码率(对应于较低的视频质量),同时任何可能的子码流的编码效率应该与相应非可伸缩视频编解码器相当。可见,可伸缩性包含了时域、空域和质量(SNR)叁个方面。本文重点研究了空域可伸缩性的实现。分析了空域可伸缩编码的分层结构和实现细节。提出了一种新的针对空域可伸缩编码层间预测的快速模式选择的方法,使得运算复杂度大大降低的同时,编码率失真性能只有轻微的降低3.H.264/AVC视频编码在DSP上的实现H.264/AVC虽然大大提高了压缩效率,但是与之相伴的是同样大幅提高的实现代价,包括更高的运算性能和更多的存储空间。这也造成了H.264/AVC走向实际应用的最大障碍。另一方面,在算法专用芯片尚未成熟的时候,具有可编程特性和丰富的多媒体功能的数字信号处理器(DSP),成为了在嵌入式终端上实现H.264/AVC算法的最佳平台。本文采用基于德州仪器(TI)公司的多媒体DSP——TMS320DM642的硬件平台,以国际H.264/AVC开源代码X264为参考软件,实现了H.264/AVC CIF格式的实时编码。

张洋[10]2008年在《基于ZSP500处理器的3G可视电话视频编解码软件设计》文中提出随着3G时代的到来,无线网络的带宽将呈现大幅度的增长,这给移动应用带来无限的契机。作为3G的标志性业务,移动可视电话一直受到运营商和用户的特别关注。移动可视电话提供实时语音和视频双向通信。3G视频应用实现的关键在于满足3G需求的视频编解码器,本课题的目的正是设计为了满足3G商业化应用所需要的视频编解码软件。本文以ZSP500处理器为平台,采用MPEG-4视频压缩标准,并按照3GPP标准的建议,完成了3G视频编解码器软件的设计和优化。本文共分为六章,安排如下:第一章,绪论部分,介绍了3G可视电话及视频压缩编码技术的相关信息,并阐述了本课题完成的工作及意义。第二章,采用MPEG-4标准为可视电话视频编码标准,并实现编解码器软件的总体设计,主要内容包括:方案设计、功能模块划分、各功能模块接口及程序流程设计。第叁章,论述了在复杂通信环境情况下,如何在现有条件下尽量改善视频通信质量,进行差错隐藏。第四章,介绍了编解码器软件实现的平台——ZSP500,并在C语言级别上进行了优化。第五章,实现汇编级别的优化。第六章,总结和展望。

参考文献:

[1]. 视频通信中的差错隐藏及基于DSP的视频优化技术的研究[D]. 唐文佳. 华中科技大学. 2004

[2]. 基于DSP的H.263无线视频通信系统[D]. 刘亚荔. 北京邮电大学. 2007

[3]. 无线环境中H.264解码器设计与DSP实现[D]. 胡建荣. 河海大学. 2006

[4]. H.264解码算法的研究及其在DSP平台的实现[D]. 安维嵘. 清华大学. 2004

[5]. 无线信道中的低码率视频编码关键技术研究[D]. 李榕. 华中科技大学. 2010

[6]. 基于uClinux的嵌入式视频通信系统研究[D]. 李鹏. 西安电子科技大学. 2006

[7]. 基于H.264视频编码的车载监控系统设计[D]. 李元哲. 哈尔滨工程大学. 2011

[8]. 3G视频编解码器软件设计和优化实现[D]. 刘志东. 浙江大学. 2007

[9]. 基于DCT的可伸缩视频编码的研究[D]. 朱江. 北京邮电大学. 2007

[10]. 基于ZSP500处理器的3G可视电话视频编解码软件设计[D]. 张洋. 浙江大学. 2008

标签:;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  

视频通信中的差错隐藏及基于DSP的视频优化技术的研究
下载Doc文档

猜你喜欢