基于稀疏光流场的序列图像分析研究

基于稀疏光流场的序列图像分析研究

张淑芳[1]2003年在《基于稀疏光流场的序列图像分析研究》文中研究说明动态序列图像分析是计算机视觉研究领域中十分热门的问题,它的基本任务是从图像序列确定物体叁维运动参数及结构参数。基本分析方法有两种:基于特征的方法和基于光流的方法。由于经典光流法对噪声敏感,算法费时,不利于对目标进行实时跟踪。因此本文结合两种方法,采用稀疏光流法进行计算。首先,本文采用微软公司提供的 VFW (Video For Windows) 软件包开发纯软件的视频采集程序,提高了程序的通用性;其次,对采集的图像进行图像平滑、阈值分割和边缘跟踪等一系列预处理,以去处图像噪声,分离目标物体和背景,并提取出目标物体的边缘点,为稀疏光流场的计算做好准备;再次,采用面积约束和夹角约束相配合的方法快速准确地提取特征点,并利用具有强大并行处理能力的Hopfield神经网络来完成序列图像间特征点的松弛匹配,在此基础上利用视差计算特征点处的稀疏光流;最后,利用稀疏光流进行叁维物体运动参数和结构参数的估计。采用散焦法估计物体深度,并进行深度修正以满足测量精度要求,从而解决了单目视觉估计深度的难题;在获取物体深度信息的条件下,采用一种从光流场恢复物体叁维运动参数的强壮算法,只需要5个特征点就可以唯一确定物体叁维运动参数。

韩钧宇[2]2012年在《基于稀疏模型的高精度光流估计方法研究》文中研究表明光流估计是计算机视觉领域的基础科学问题之一,大量的优秀的光流估计方法被提出来。近来基于迅猛发展的压缩感知理论,利用光流的稀疏特征进行光流估计是一类新颖有效的光流估计算法。本文深入研究了光流梯度域(场)的稀疏特征,分别从鲁棒稀疏光流信号恢复方法、参数化模型增强稀疏性和显式的遮挡处理叁个方面,提出了高精度的光流估计方法。首先,我们基于光流梯度域的稀疏特征,将光流估计问题严格表示为一个e0范数优化问题。为了有效地求解稀疏光流信号,基于压缩感知理论,我们将e0范数优化问题转换为通常的e1范数问题,然后通过加权e1策略提升估计效果。为了有效地处理运动不连续和噪声的问题,我们选用e1范数替代传统的e2范数约束灰度守恒等式,从而获得更加精确的光流估计效果。为了更好地估计存在旋转、尺度变换等复杂运动形式的运动区域的光流场,我们采用参数化运动模型描述光流,并提出了通用的基于运动参数梯度稀疏的光流估计方法。通过分析,我们发现随着运动模型参数自由度提升,参数梯度域的稀疏特征能够获得有效地提升,但同时使得光流估计问题更加病态。实验表明,采用适当自由度的参数模型描述光流,才能得到最好的稀疏光流估计效果。遮挡是影响光流估计效果的重要原因。为了有效地处理遮挡,本文提出了种基于感知遮挡的稀疏光流估计方法。与现有的稀疏估计方法不同,我们显式地处理遮挡区域的光流估计问题。我们检测遮挡区域的像素点,并采用方向块匹配策略初始遮挡像素点的光流信息。为了有效地估计,我们将梯度稀疏估计模型转化为变分求解问题,并提出了有效的求解策略。为了提升在运动边界处的估计效果,我们采用了加权策略。加权策略在引入极少附加计算的情况下,有效地提升了光流估计精度。本文在采用稀疏模型描述光流估计问题的背景下,深入分析了稀疏信号求解策略、稀疏特征的选择和提升、遮挡处理等极具研究价值的问题对光流估计效果的影响,并提出了高精度的光流估计方法。

朱婧, 焦淑红[3]2006年在《基于光流场的序列图像分析》文中提出光流场是计算机视觉的一个主要研究方向,微分法是计算光流场的一个常用方法,但由于经典光流场对噪声敏感,算法费时,不利于对目标进行实时跟踪,因此文中采用稀疏光流进行计算,根据特征点相关匹配得到序列图像光流场,并与经典算法进行比较,验证了算法的有效性。

徐志刚[4]2012年在《序列图像超分辨率重建技术研究》文中提出近年来,随着科学研究和实用技术的不断深入发展,人们对高分辨率视频和图像序列的需求日益增长。但是,在实际的获取过程中,这些图像和视频通常会受到多种降质因素的影响,难以满足实际应用的需要,超分辨率重建技术(Super-resolution,SR)应运而生。超分辨率重建技术可以在现有硬件水平下对已获得的图像和视频进行处理以提高它们的分辨率。这类方法不需要耗费高昂的成本,又可以取得较好的处理效果,具有很高的科研价值和商业利益,因此获得了广泛的关注。本论文首先介绍超分辨率重建技术的研究背景和发展动态;其次系统分析了序列图像超分辨率重建的理论基础、系统架构和方法类别;随后以基于空域的序列图像超分辨率重建方法研究为主线,重点研究运动估计、局部几何边缘结构特性保持、参数自适应设置以及彩色图像重建等问题。在此基础上,本论文提出多个算法,并取得一定的研究成果和理论创新。论文取得的研究成果和创新点主要包括:1.提出一种序列图像配准算法。该算法首先基于小波多分辨的思想,生成图像金字塔,相对于图像中逐点搜索的配准方法,减小配准过程中的搜索空间,有效提高配准的速度。然后通过由局部灰度熵准则、最大相关系数度量准则和简化欧式距离比例不变准则构成的改进多约束准则鉴别项提取同名特征点,剔除虚假匹配特征点对的影响,并依据金字塔结构逐步精确化配准结果,同时通过最小二乘法计算配准参数。实验证明,本算法配准误差较小,精度较高,速度较快,同时具有较高的可靠性。2.提出一种基于全变分正则化模型的序列图像超分辨率重建算法。该算法针对数字全变分方法在图像重建中存在的不足,设计基于图像局部结构信息的局部自适应度量函数作为各向异性耦合系数,对低阶全变分模型和超数字化全变分模型进行耦合,构建基于自适应耦合局部数字全变分的正则化模型并用于超分辨率重建。该方法在重建过程中不仅能够抑制噪声,保持图像边缘等重要几何结构,而且能够抑制阶梯效应,并能提高图像的整体清晰度和保真度。3.提出一种基于学习和稀疏表示的高分辨率迭代初始图像生成算法。该算法首先通过非均匀插值方法融合低分辨率图像序列各帧信息生成高分辨率初始插值图像,然后利用基于学习方法构建的过完备稀疏表示字典估计该插值图像的高分辨率先验图像,再将二者迭加作为用于迭代重建算法的高分辨率初始图像。该算法充分利用低分辨率图像序列的信息和基于学习方法提供的高频信息,有效提高高分辨率重建初始图像的质量,对增强重建图像效果有一定的帮助。4.提出一种基于MAP的自适应正则化超分辨率重建算法。该算法首先利用基于学习的方法生成高分辨率迭代初始图像,其次利用低分辨率图像序列信息自动获取正则化重建方法的模型参数,增强算法的自适应性并降低正则参数调整的复杂度,然后利用对陡坡边缘保持特性较好的叁边滤波模型作为正则项进行超分辨率重建。此外,为消除可能的配准误差对重建图像的影响,采用循环迭代的方式,同时估计配准参数和重建图像。通过对合成图像序列和真实图像序列进行的实验分析,该算法能更好地保持图像的边缘结构信息,并使重建图像的纹理更清晰。5.提出一种彩色序列图像通道信息联合超分辨率重建算法。该算法利用基于学习的方法提高重建初始图像的质量,同时综合运用图像在RGB色彩空间和YCbCr空间携带的信息,利用RGB信息构造数据保真项,基于YCbCr信息构造亮度正则项和色度正则项。该方法兼顾通道信息间的相关性,从而有效提高彩色图像序列的超分辨率重建效果,对多通道图像的超分辨率重建处理具有一定的参考价值。通过对重建图像峰值信噪比的测试和主观视觉效果的度量验证了该算法的有效性。

韩雪[5]2017年在《基于稀疏表示的图像超分辨率重建算法研究》文中研究表明超分辨率图像重建技术是一种重要的数字图像处理技术,是通过对一幅或多幅具有互补信息的低分辨率图像的处理来重构一幅高分辨率图像。本文在基于稀疏表示的超分辨率图像重建方法基础上,围绕图像的运动配准、多帧图像的超分辨率重建、单帧图像的超分辨率重建和超分辨率图像重建软件的编写等问题展开研究。主要研究工作和成果如下:(1)由于图像序列间存在运动误差,运动配准精度影响多帧图像超分辨率重建的精度。本文研究了基于改进的像素递归的运动配准方法,基于梯度采用模极大值法提取边缘像素点计算运动参数,以减小背景区域和平滑邻域的干扰。为了提高大位移的运动目标的配准精度,提出一种结合块匹配和像素递归的由粗到精的运动配准方法,采用块匹配方法进行粗配准,再用改进的像素递归方法进行精细配准。实验表明,结合块匹配和像素递归的算法在仿真实验和实际实验中都有很高的配准精度。(2)针对基于稀疏表示多帧图像超分辨率重建模型的不足,本文研究了局部结构相似性稀疏模型,引入稀疏编码估计误差项,利用图像序列中的大量冗余根据局部结构相似性来获得稀疏编码系数的良好估计,以提高稀疏表示的有效性。为了进一步提高重建效果,提出一种局部结构自适应的稀疏表示图像重建算法,基于最大后验估计自适应设定正则参数,能根据局部结构在迭代过程中自适应地更新图像的稀疏编码,使重建模型具有普适性。实验表明,基于局部结构自适应的稀疏表示多帧图像超分辨率重建算法可以很好地保留边缘细节和平滑非边缘区域。(3)针对单帧图像信息不足的问题,本文研究了基于非局部自回归稀疏字典学习的单帧图像超分辨率重建算法。该算法对低分辨率图像采用各向异性扩散方法去噪改善图像质量,提取高、低分辨率图像块的特征组成联合样本对,训练过完备字典以充分稀疏地表示图像。实验表明,基于非局部自回归稀疏字典学习的单帧图像超分辨率重建算法有较好的重建效果。(4)采用Visual Studio 2010和MFC完成了超分辨率图像重建软件的编写,用C++实现了超分辨率图像重建算法,能够实现多帧图像的运动配准和超分辨率重建以及单帧图像的超分辨率重建,并对软件进行了测试。

马金凤[6]2013年在《运动分析及时空特性约束的单臂造影重建》文中认为进入本世纪以来,心血管疾病已成为人类健康的头号杀手,对世界医疗卫生系统提出了挑战。冠脉造影图像是目前临床上诊断和治疗心血管疾病的一种常用手段,为了更加直观和精确的向医生提供造影检查结果,冠脉造影叁维重建的理论应运而生。本文是在已有叁维重建理论的基础上对其进行完善,使得该方法更加符合自动化定量医学诊断的需要。本文首先分析了叁维重建中匹配的原理和方法,提出一种时空特性约束多尺度协同匹配的方法,并利用重迭模式检测修正可能的匹配错误,提高了匹配的准确性和鲁棒性,提高了重建的精度。就单臂造影重建中运动补偿问题,本文提出了呼吸运动自动提取方法;与原有手动提取方法相比自动化程度更高,该方法不仅能够自动提取单个序列的呼吸参数,而且可以自动提取不同视角图像序列的呼吸参数。利用提取得到两个角度序列的呼吸参数和心脏运动参数分别进行呼吸运动的叁维重建和心脏运动的叁维重建。此外,文章最后基于稀疏光流法对造影图像序列进行二维和叁维的运动分析,更新了冠脉运动模型库;并利用叁维运动分析的量化结果估算出形状模型的变形参数,从而建立心脏表面的形状模型,得到心脏运动的量化表达。

关震宇, 李杰, 杨欢, 徐蓓蓓, 刘畅[7]2014年在《基于直线稀疏光流场的微小型无人机姿态信息估计方法研究》文中研究表明针对无人飞行器视觉导航系统的需求,提出一种基于直线稀疏光流场的微小型无人机姿态信息估计方法。研究了图像直线稀疏光流场的概念,并推导出该种稀疏光流场的计算方法;在直线稀疏光流场的基础上,建立了地平线投影模型,并提出一种基于直线稀疏光流场的飞行器俯仰角速度、滚转角速度和偏航角速度等姿态信息的估计方法;分别使用文中提出的直线稀疏光流场的计算方法和Horn算法对一组测试图像进行数值仿真,仿真结果显示在图像边缘附近,直线稀疏光流场的计算方法与经典的Horn算法具有相近的精度,但时间开销减小到后者的6%;使用无人机航拍图像序列对于基于直线稀疏光流场的飞行器姿态信息算法进行离线仿真,并对比同时搭载的角速度陀螺的测量结果,结果显示,使用文中所述的基于直线稀疏光流场的无人机姿态提取方法可以估计飞行器的俯仰、偏航、滚转叁通道角速度信息,其最大绝对估计误差除滚转通道小于±10°/s外,其余两通道均小于±5°/s,并对于误差产生的原因进行了进一步讨论。

王效文[8]2014年在《基于光流法的车辆检测与跟踪》文中研究表明近年来,在智能交通领域中,基于视频的车辆检测跟踪已成为一个重要的研究方向。光流法在视频运动分析等领域具有极其重要的基础地位,能得到目标详细的二维运动信息,但光流算法计算的不适定及不能实时运算等问题限制了其广泛应用,因此研究出一种能实时执行且精度较高的光流算法对推广此算法在实时领域的应用显得尤为重要。若能将实时光流技术应用于智能交通领域,对智能交通的发展也大有裨益。本文详细阐述、分析了微分光流法的基本原理,并据此提出了多帧光流模型和其线性化求解方法,简化了光流的求解过程并提高了其估算精度;选择GPU平台做算法移植,解决光流的实时计算问题;根据所得实时稠密光流给出了车辆检测跟踪方案。首先,时域相关性在视频分析中具有重要作用,但在估算光流时这一特性却很少被应用。针对这一情况,提出在H-S光流模型基础上引入前向帧并加入时域相关性约束,从而构造出多帧光流模型。同时,针对能量泛函线性化求解过程异常复杂的情况,提出运用迭代重加权最小二乘法(IRLS)简化这一求解过程。其次,根据光流算法在像素间耦合性低这一特点,选择对其进行GPU平台移植。在计算统一设备(CUDA)架构下通过多线程并行执行方式同时对多个像素的光流值进行估算。在估算结果精度相当的情况下,在GPU上执行时间远小于CPU上执行时间。对于分辨率为640*480的视频图像可以达到实时性运算,能满足一般的应用要求。最后,给出一种改进的车辆检测跟踪方案。一方面,方案使用GPU平台计算所得实时稠密光流,相较于特征光流法和区域稠密光流法,可获得更加准确的全局运动信息,相较于帧差法等运动检测算法,也能获得更好的运动目标提取效果;另一方面,方案根据光流场所得到的速度矢量对车辆帧间的位置进行预测和匹配,能够对车辆在跟踪过程中常见的状态变化进行判断和处理,在实验中取得了预期的效果。

李元博[9]2013年在《基于运动边界模型的光流估计方法研究》文中认为光流估计问题是计算机视觉领域的基本问题之一,从提出后一直都受到很大关注。由于运动边界不满足光流的平滑假设,对光流估计的精确度有很大影响。随着对光流估计中运动边界问题的深入研究,学者们都提出了许多提升光流估计精度的算法。本文针对运动边界问题进行分析建模,分别从对运动边界的稀疏建模与增强稀疏性角度,以及通过分割对运动边界进行显式建模的角度,对算法进行分析并实现。在运动场景中存在不同物体的运动,使得光流的全局平滑假设不能成立,而在同一个物体上,各点的运动可以用同一个运动模型来表示,运动参数具有一致性。这种一致性导致了光流梯度在同一运动区域上大多是近似为零的值,而在不同物体之间的运动边界上是较大的非零值,这也导致了在光流场中运动边界的稀疏性。根据压缩感知理论,信号的稀疏程度影响着信号的重构精度。为了提高光流稀疏信号的重构精度,我们从光流梯度信号的统计分布和最大似然估计角度,提出了增强光流梯度信号稀疏性的模型,并将之简化为迭代优化加权的问题。为了增强对运动边界估计的清晰度和对灰度守恒假设的鲁棒性,我们进一步采用鲁棒函数对加权模型进行约束,得到加权的TV-模型。实验证明通过光流的先验统计分布得到的加权策略,在最大似然估计及鲁棒估计中,都可以提高光流估计的精度。从另一个角度考虑对运动边界显式的建模。通过对光流建立马尔可夫随机场进行图像分割,将光流场分割为不同的运动区域,在运动区域之间可以显式的对运动边界进行建模,同时在区域内可以满足光流的平滑假设。并且结合运动边界和光流可以检测出不满足灰度守恒假设的遮挡区域,在遮挡区域通过光流平滑假设得到光流的估计。这种分层模型不仅提高对运动边界估计的准确性,从而提高整体的光流估计精度,更检测出遮挡区域,从而提高遮挡区域的光流估计精度。本文在对运动边界对光流估计影响进行分析的基础上,根据运动边界相对于光流场的稀疏性,提出了增强光流梯度稀疏性的先验概率模型及优化方法,并实现了基于图像分割的对运动边界显式建模的分层光流估计方法。在实验中证明了在光流估计问题中,对运动边界采用更精确的模型可以得到更精确的光流估计结果。

李晗[10]2015年在《结肠内窥镜视觉导航系统中光流寻径算法的研究》文中认为智能化医疗设备和医疗机器人技术,是一个多学科交叉的热门领域,其应用的一个重要方面是无创微创外科手术(MIS),即利用人体的天生管腔或手术小孔来导入医疗器械或医疗机器人以实现对人体的检测、诊断、治疗和手术等。结肠内窥镜是诊疗结肠癌等疾病的重要手段,但目前手术操作存在某些不足,如穿孔、出血等。因此,利用机器人和计算机技术对结肠内窥镜诊疗设备进行智能化改造具有重要的研究意义和应用前景。本文以克服内窥镜检查穿孔、提高内窥镜智能化水平为目标,研究了结肠内窥镜视觉导航系统的光流寻径算法,主要内容如下:(1)针对常用结肠内窥镜寻径方法的优缺点,研究了基于光流法的自主机器人避障系统,得出了将光流法与结肠内窥镜视觉导航系统相结合的基本思路。(2)在传统光流算法的基础上,研究了一种改进的微分算法—稀疏LK光流法。分析了HS光流法、LK光流法、匹配法以及稀疏LK光流法,在MATLAB 7.0软件平台上进行对比实验,验证了稀疏LK光流法在运行时间和结果精度上都要优于另外叁种。(3)考虑到稀疏LK光流法在帧间运动较大时,容易光流丢失,导致效果较差,本文提出一种改进的稀疏LK光流法:金字塔LK稀疏光流法。通过分析比较,确定了3层金字塔LK稀疏光流法作为本文研究的主要算法。将改进的光流法与传统的LK光流法进行了性能对比实验,结果表明:金字塔LK稀疏光流法在计算间隔较大的帧间光流场时,计算结果精度较高,程序运行所消耗的时间也大大减少了。(4)制定了基于光流法的平衡策略方案。针对原始平衡策略只适用于走廊等简单环境,提出了一种改进的内窥镜寻径平衡策略。该策略利用图像中心部分的光流幅值来判断前方是否存在即将碰撞的肠腔壁,实验结果表明,改进的平衡策略能使结肠内窥镜做出较好的行动决策。利用MATLAB7.0重建结肠CT图像的叁维体,在重建的结肠叁维体上进行了光流寻径算法的实验,实现了视觉寻径。

参考文献:

[1]. 基于稀疏光流场的序列图像分析研究[D]. 张淑芳. 天津大学. 2003

[2]. 基于稀疏模型的高精度光流估计方法研究[D]. 韩钧宇. 西安电子科技大学. 2012

[3]. 基于光流场的序列图像分析[J]. 朱婧, 焦淑红. 弹箭与制导学报. 2006

[4]. 序列图像超分辨率重建技术研究[D]. 徐志刚. 中国科学院研究生院(西安光学精密机械研究所). 2012

[5]. 基于稀疏表示的图像超分辨率重建算法研究[D]. 韩雪. 东南大学. 2017

[6]. 运动分析及时空特性约束的单臂造影重建[D]. 马金凤. 华中科技大学. 2013

[7]. 基于直线稀疏光流场的微小型无人机姿态信息估计方法研究[J]. 关震宇, 李杰, 杨欢, 徐蓓蓓, 刘畅. 兵工学报. 2014

[8]. 基于光流法的车辆检测与跟踪[D]. 王效文. 江苏科技大学. 2014

[9]. 基于运动边界模型的光流估计方法研究[D]. 李元博. 西安电子科技大学. 2013

[10]. 结肠内窥镜视觉导航系统中光流寻径算法的研究[D]. 李晗. 长沙理工大学. 2015

标签:;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  

基于稀疏光流场的序列图像分析研究
下载Doc文档

猜你喜欢