复杂动背景下的“低小慢”目标检测技术
吴言枫1,2,王延杰1,孙海江1*,刘培勋1
(1.中国科学院 长春光学精密机械与物理研究所,吉林 长春 130033;2.中国科学院大学 材料科学与光电技术学院,北京 100049)
摘要: 为了在复杂天空背景下检测出低空慢速小目标,本文研究了“低小慢”目标的视觉显著性区域特征,融合扫描线填充算法,提出了一种动态背景下“低小慢”目标自适应实时检测技术。首先,根据图像的亮度对比度获取显著性图。接着,使用形态学梯度提取显著性特征,通过三帧差分算法得到种子点。然后,使用扫描线填充算法进行生长,结合提出的自适应双高斯算法分割出前景。最后,根据候选目标的面积占比变化、质心距离变化、宽高比差异剔除虚假目标,完成检测。为了验证算法的有效性,本文选取了7组复杂天空背景的视频序列进行测试,并与其他优秀检测算法进行了对比。结果表明,本文提出的算法对运动目标检测的平均运行时间为0.040 9 s,平均检测准确率为89.97%,相比于其他算法的平均运算时间减少了0.35 s,检测的平均准确率提高了24.5%。算法在复杂背景下具有较好的稳定性和较强的鲁棒性。
关 键 词: 计算机视觉;视觉显著性;扫描线填充;曲线拟合;自适应阈值分割
1 引 言
“低小慢”目标是指在超低空(5~100 m)或低空(100~2 000 m)飞行、飞行速度小于200 km/h、且不易被发现的小型航空器或空中漂浮物。以无人机为代表,因其购买渠道多样、制造成本低、操作方便,敌对势力可能通过无人机携带微型相机或炸药对重要区域造成威胁,检测“低小慢”目标已成为维护空防安全的重点课题。“低小慢”目标在远距离时呈现小目标特性,在图像上所占像素较少(仅占几个或十几个像素),缺乏背景先验信息和检测过程中很重要的纹理特征,所以传统的检测手段难以满足检测要求。
教师工作繁忙,每天在学校和家这两点一线之间穿梭。每天几乎一样的工作和生活难免会让人心生厌烦,感觉工作、生活没意思。而读书或者读诗却可以调剂自己的单调生活,成为释放压力、控制负面情绪的绝好途径。杨绛先生说:“人烦恼过多,是因为书读得太少而想得太多。”听人读书,也可以让我们开阔视野、获得力量、修身养性。
为了准确检测到此类目标,各国学者已经进行了大量研究,并提出了多种算法。Jing Hu等人利用基于循环掩膜的非局部均值滤波建立背景估计模型,通过将图像的灰度分布和时间信息联系起来,实现红外点目标检测[1]。Weiping Yang等人将二维中值滤波简化为一维中值滤波,进行背景消除,剔除虚假目标[2]。邓鹤等人通过图像的局部熵(Local Entropy,LE)和一维经验模态分解(Empirical Mode Decomposition,EMD)实现小目标检测[3]。Sungho Kim应用Laplacian尺度空间理论寻找最佳尺度中的全局最大值,并通过Tune-Max估算目标的位置和尺度,应用Hessian矩阵剔除了虚假目标[4]。E.Abdelkawy等人使用二维高斯函数构建字典,提出了2D-FOS二维正交搜索算法,算法的时间复杂度主要取决于字典中的候选目标数量和图像尺寸,该算法与其他正交方法相比,计算时间明显减少[5]。Sungho Kim等人提出了区域自适应滤波器,滤波器使用几何分析进行区域分割,同时采用了空间一致性滤波器剔除虚假目标[6]。解婷等人提出基于同组过滤器(Peer Group Filter,PGF)、二维经验模式分解(Bidimensional Empirical Mode Decomposition,BEMD)和局部逆熵(Local Inverse Entropy,LTE)的新型红外小目标检测算法,其中PGF被用来消除噪声,BEMD可以有效地估计背景并将背景从原始图像中移除,LTE可以实现有效分割,得到目标[7]。
通常“低小慢”目标的检测方法可以分为两大类:一类是对于单帧图像进行目标检测。这一类方法使用滤波算法来剔除复杂背景和估计前景目标。形态学Top-Hat变换[8]、高通滤波[9]和匹配滤波[10]等算法均可以实现目标的实时检测,但在低信噪比条件下准确率不高。二维熵[11]、小波变换[12-14]、偏微分方程(Partial Differential Equations,PDE)[15]和概率主成分分析矩阵[16](Principal Component Analysis,PCA)等方法的检测准确率较高,但无法实现实时检测。另一类方法是基于多帧图像检测目标。该类方法需要通过帧间上下文信息来实现目标检测[17-19],如粒子滤波[20]、移动式加权管道滤波[21-22]和似然比检验[23]等方法。这类算法准确率很高,但无法在目标隐匿于背景或噪声的情况下进行有效检测。
由图3的时序图可以看出,OSERDES2使用CLK0和CLKDIV两个时钟进展数据速率转换,其中,CLK0是高速串行时钟,CLKDIV是分频并行时钟[3]。在每个CLKDIV的上升沿将8位并行数据同时传入,经过固定的CLK时钟后,用CLK时钟将数据按顺序解串出来。每个OSERDES2必须与BUFPLL配合使用。BUFPLL可以将输入的高速时钟按照需求进行分频,同时生成一个SERDESSTROBE与OSERDES2的IOCE端口相连,来驱动OSERDES2正常工作。用一个BUFPLL同时驱动级联的OSERDES2的主和从模块。图像信息的串化部分原理图设计如图4所示。
本文分析了低空慢速小目标的灰度特性,采用局部对比度直方图生成视觉显著性图像,使用形态学梯度和三帧差分算法去除复杂天空背景得到种子点,并通过扫描线填充算法生长出目标。最后提出自适应双高斯算法分割出前景,并根据候选目标的面积占比变化、质心距离变化、宽高比差异来剔除虚假目标,完成检测。
2 感兴趣区域获取
2.1 视觉显著性模型
人眼视觉显著性是人类感知系统对视觉信号的响应。根据心理学研究,视觉信号具有独特性、稀缺性以及奇异性,视觉系统更容易获取图像中的颜色、纹理、形状、亮度等高对比度特征。对比度根据位置划分可以分成全局对比和区域对比两种。图像的全局对比倾向于将目标和周围环境分离,而图像的区域对比主要受目标和周围区域影响,相距很远的区域所起的作用较小。图1(a)是可见光相机拍摄的低空慢速小目标的原始图像,图1(b)反应了目标和周围区域的灰度分布情况,图1(c)显示了原始图像的三维能量分布情况。通过观察可以发现,低空慢速小目标所占像素较少且缺乏纹理信息。在复杂的天空背景中,干扰因素主要以噪声、云层、部分的地面场景和光照变化为主。在此情况下,目标和背景的灰度值存在明显差异,目标与相邻区域的对比度同样会存在明显差异,所以“低小慢”目标具有较为明显的颜色统计特征。因此,本文决定依据图像的颜色全局对比[24]来提取图像的视觉显著性图像。
图1 “低小慢”目标的特征分析图像
Fig.1 Feature analysis of the LSS-target image
(1)
C (I p,I q)=‖I p-I q‖ ,
(2)
其中:I 表示原始图像,I p、I q表示图像中的任意像素,取值范围是[0,255],Sal (I p) 为该像素的显著性值,C (I p,I q) 为每个像素的显著性特征值与图像中其他所有像素的欧式距离总和,‖·‖为颜色距离度量。公式(1)展开后的形式如下:
Sal (I p)=C (I p,I 1)+C (I p,I 2)+…C (I p,I N ) ,
(3)
其中:N 为图像中的像素总数量。如果进行上述计算,时间复杂度会很高,为了提高算法的实时性,通过直方图对像素按照颜色特征值归类,在此定义下,相同颜色的像素点具有相同的显著性值,特征值的计算即可简化为如下形式[25]:
核医学检查显示:单纯FT3显著升高且摄碘率降低14例;单纯FT4显著升高且摄碘率降低10例;FT3、FT4升高且摄碘率降低30例,共计阳性患者54例,阳性率为90%;超声检查阳性患者45例,阳性率为75.0%,核医学检查与超声检查联合显示阳性患者60例,阳性率为100.0%。
通常来讲,西药具有很多的种类,要想合理的使用西药药剂,就需要根据西药的相关种类来进行合理的分类与排序,可以根据临床用药的方法,把药物分为口服类,注射类和外用类等,同时还可以根据药物的的作用或者性质进行区域的划分,逐一进行储存。以便于有效的避免药物和药物之间出现不良的反应。在药物管理存放的过程中要做好防晒的措施,以免药物受到阳光的照射儿产生变质,还要进行良好的通风措施,保持储藏环境的干燥,还在对储藏药物的地方做好防火的措施,有些较为特殊的药物要进行特殊的管理,摆放的过程中要严格的按照相关的标准进行摆放。
(4)
其中:f n 为特征值的出现频率。图2(a)表示的是原始图像的颜色直方图,图2(b)表示的是不同颜色对应的显著性值。图2(c)表示了视觉显著性图。
图2 视觉显著性结果
Fig.2 Visual saliency results
2.2 梯度差分算法
为了在视觉显著性特征图中找到种子点,本文将形态学基本梯度[26]与三帧差分算法[27]进行了融合,提出了梯度差分算法。首先,利用参考点位于中心的3×3正方形掩模分别提取相邻且连续的视觉显著性图像的基本形态学梯度特征。然后对提取到的特征进行三帧差分,从而获得种子点。算法原理如图3所示。
图3 梯度差分算法原理图
Fig.3 Schematic diagram of gradient difference algorithm
本文算法采用C语言编写,在Intel(R) Core (TM) i5-6500 CPU@3.2 GHz,4.00GB内存,Windows7系统的电脑上,应用OpenCV 2.4.10 和Microsoft Visual Studio 2010软件搭建了实验环境并编写算法。本文算法中Q =80,τ R,G,B=30,σ R,G,B=20。
数学形态学[28]是一种基于形状的图像处理操作,包含膨胀、腐蚀、二值开闭、形态学梯度、Top-Hat变换等多种形态学的代数运算子。计算图像的形态学梯度是几种重要的形态学操作之一,该方法适用于图像的特征抽取,由形态学最基本的膨胀和腐蚀两种基础操作适当的组合实现。
膨胀是将与物体接触的所有背景点合并到该物体中,使边界向外部扩张的过程。用结构元素和原图像做卷积,计算结构元素所覆盖区域的最大值,并赋值给参考点指定像素的过程。其数学表达式如下:
(5)
其中:X 为原始图像,Y 为结构算子,E 为掩膜。
腐蚀是一种消除边界点,使边界向内部收缩的过程。可以用来消除小且无意义的物体。其用结构元素和原图像做卷积,计算结构元素所覆盖区域的最小值,并赋值给参考点指定像素。
其数学表达式如下:
X ·Y ={E |((Y )E⊆X )} .
(6)
常见的形态学梯度包含基本梯度、内部梯度、外部梯度、方向梯度4种。内部梯度是原图像与腐蚀后图像的差值图像;外部梯度是膨胀后图像与原图像的差值图像;方向梯度是使用水平方向与竖直方向的直线作为结构元素得到的,水平方向与竖直方向的结构元素分别为膨胀图像与腐蚀图像的差值图像;基本梯度是膨胀后图像与腐蚀后图像的差值图像。
为了获取更多种子点,本文使用基本形态学梯度进行计算,其数学表达式如下:
dst =X ⊕Y -X ·Y .
(7)
2.2.2 差分算法
将谷底最小值作为分割阈值代入公式,即可有效提取前景。
B (x ,y )=|A n+1 (x ,y )-A n (x ,y )} ,
(8)
图像中像素的显著性特征值可以用其与图像中其他像素点的颜色对比度来定义:
(9)
其中:B (x ,y )表示相邻两帧图像的差分结果,D (x ,y )表示差分算法的分割结果,P 为经验阈值。
使用帧间差分算法进行检测时,会产生“空洞”和“鬼影”现象,且无法识别静止或运动速度很慢的目标,故不能作为“低小慢”目标检测的有效手段。三帧差分算法在两帧差分算法的基础上进行了改进,算法将相邻三帧图像并为一组进行差分,能够准确检测到运动目标之中的像素点,可以作为提取种子点的有效手段。其数学公式描述如下:
(10)
(11)
治疗前,两组上颌中切牙凸距差、倾角、磨牙位移、上下齿槽座角、尖牙间宽度之间均无统计学差异(P>0.05)。治疗后2个月,两组上颌中切牙凸距差、倾角、磨牙位移、上下齿槽座角、尖牙间宽度指标相比于治疗前均有明显改善(P<0.05);观察组以上各测量指标均优于对照组(P<0.05)(表2)。
(12)
其中:W (n +1,n )和W (n ,n -1)表示相邻两帧图像的分割结果,Diff (x ,y )表示三帧差分算法的分割结果,Q 为经验阈值。
图4 梯度差分结果
Fig.4 Gradient difference results
梯度差分的效果如图4所示,从实验效果可以看出,基于局部对比度的显著性特征图像在经过形态学基本梯度运算后,相当于第二次过滤了图像的显著性前景特征,由此再进行差分算法,得到的种子点更为精确,且种子点所在区域与实际前景区域基本稳合。梯度差分算法可以自动获得具有明显区域性的种子点,且基于强灰度特征差分后得到的种子点具有较好的可控生长门限,可以避免生长过后分割成过多区域这一情况的出现。
3 “低小慢”目标检测
3.1 基于扫描线填充的区域生长
区域生长[30]是指将成组的像素或区域发展成为更大区域的过程。该过程从图像内部的指定像素点(种子点)开始,由此出发找到所有具有相似属性的像素点并合并到此区域。首先检测种子点的颜色,若其与边界像素点和指定填充色均不相同,则用填充色填充该点。然后检测相邻像素点,重复以上判定,直到检测完图像中的所有像素点为止。从当前点检测相邻像素的传统方法有两种:一种为四向搜索,是指从四连通区域寻找下一个像素;另一种为八向搜索,是指从八连通区域寻找下一个像素。区域生长是一个迭代的过程,这里每个种子像素点都迭代生长,直到处理过每个像素。
传统的区域生长算法[31]虽然能提供良好的边界信息和分割结果,但是迭代过程导致了算法时间复杂度较高,实时性不好。本文改进的基于扫描线填充的区域生长算法采用的是一种避免递归,提高效率的思想。该算法不再采用递归方式处理图像的四邻域区域和八邻域区域,而是沿水平方向分行扫描并填充像素段,以分段形式处理相邻的像素点。
算法流程(图5)如下:
(1)初始化一个空的堆栈用于存放梯度差分算法得到的种子点,并将种子点压入堆栈。
图5 扫描线填充算法流程图
Fig.5 Flow chart of scan line filling algorithm
(2)记录种子点的颜色属性,然后沿种子点所在扫描线分别沿左、右两个方向进行生长,判断符合要求的像素段并进行填充,直到扫描至图像边界为止。判定公式如下:
1.国际税制改革深化对中国参与及智力贡献的挑战。2016年是后BEPS时代的开局之年,国际税制改革转入打造非“最低标准”项目成果升级版的后BEPS议程,中国的作用及国际税收规则智慧贡献再次面临考验,这关切发展中国家在国际税收合作中的话语权及税收利益的公平分配。
(13)
其中,δ t为目标局部区域的像素平均值,δ b与σ b分别为目标邻域背景局部区域像素的平均值和标准差。定义平均信杂比[34]为
(3)记下填充后扫描区段的起始坐标,确定与这一区段相连通的上、下两条扫描线上是否存在连续的符合如下判定要求的像素点:
(14)
其中,γ R 、γ G 和γ B 分别表示相邻扫描线上像素在R 、G 、B 通道像素的灰度值。σ R 、σ G 和σ B 为判定阈值。
如果存在,则将该区段左右两端的像素点作为新的种子点保存起来并依次压入堆栈。
(4)继续步骤(2),直到填充结束。
本文改进的区域生长算法考虑了扫描线上像素的相关性,种子像素不再代表一个孤立的像素,而是代表一个尚未填充的区段。算法在处理过程中只需要将每个水平像素段的起始点压入堆栈即可,不需要将当前种子点周围所有尚未处理的邻域点都压入堆栈迭代生长,可以节省堆栈空间。并且本算法在选取生长所需的新的种子点时充分考虑了其邻域像素点的相似性,区域生长过程中不再对已经扫描过的像素段进行迭代计算,算法的时间复杂度较低,且生长后的图像前景具有更好的区域连通性。
3.2 自适应目标分割
为了在图像中分离出前景,本文提出了一种新的自适应阈值分割算法。算法使用双高斯函数来拟合图像的直方图,并采用最大似然估计自适应求解出谷底最小值,将其设为最佳阈值有效提取前景。
直方图可以表示图像组成成分在灰度级的概率分布。每个概率值表示小于或等于该灰度值的概率。设灰度级为[0,L -1]范围的数字图像的直方图是离散函数,则有:
H (s k )=n (k )k =0,1,…L -1 ,
(15)
(16)
其中:n 为图像的总像素数量,s k 为第k 级图像的灰度,n k 为灰度级为s k 的像素总数。P (s k )为灰度级s k 的概率密度。对于经过改进区域生长算法处理后的图像,目标和背景的直方图通常呈现双峰特性,且服从高斯分布,故本文采用双高斯函数来对直方图进行拟合:
(17)
其中,a 1,b 1,c 1,a 1,b 2,c 2为待确定参数,采用最大似然估计对上述方程进行求解:
(18)
对上式取对数:
(19)
求L 对a 1,b 1,c 1,a 2,b 2,c 2的偏导数为零的解:
(20)
(21)
(22)
(23)
(24)
(25)
使用本方法拟合后的直方图具有明显的极大极小值,拟合结果如图6所示。
图6 双高斯函数拟合直方图结果
Fig.6 Double Gauss function fitting histogram results
通过式(19)~(24)可求得a 1,b 1,c 1,a 2,b 2,c 2的估计值,将其代入公式即可求得函数的谷底最小值:
如我所料,学生顿时傻眼了,面面相觑,有些平时互动多的同学试探性地起哄——谁知道啊?是啊,谁知道老师走了多少步?谁知道老师会提这个莫名其妙的问题?但不管怎么说,老师就是这么真真切切地从大家的眼皮底下走过,只不过一开始大家并不知道老师要问这个问题,所以好像视若无睹了。
(26)
帧间差分算法[29]是通过对视频图像序列的连续两帧图像做差分运算获取运动区域的算法。相邻两帧图像之间的差别即为对应位置像素值差的绝对值。其数学公式描述如下:
(27)
本文提出的基于双高斯拟合直方图的自适应阈值分割算法结果如图7所示。
老贾看到钱币之后,依旧面无表情。虽然手上又是摸又是掂量,但是脸上却纹丝不动,孟导看不出老贾的意思,心里焦躁得不行,只得离开座位绕着老贾和他的那盒子钱踱起步来,不时还偷偷观察老贾的神色。过了好一阵子,老贾才把目光从这盒子钱上移开,陷入了短暂的思考。孟导实在是受不了这种气氛,看老贾一闲下来马上就问如何,急切的心情可以赶上产房外新生儿的父亲了。
图7 自适应阈值分割结果
Fig.7 Adaptive threshold segmentation results
3.3 剔除虚假目标
理想的“低小慢”目标是一个闭合的连通区域,呈现斑点状、具有较小的熵和近似均匀的强度,可以根据候选目标的面积占比变化、质心距离、填充率差异、宽高比差异来剔除虚假目标,降低虚警率。其计算方法如下:
①自动获得所有包含疑似目标的最小外接矩形;
②计算目标面积占比:
“南海核心利益说”提出后,美国南海政策调整速度加快,针对中国的一面越来越突出。2010年2月4日副助理国务卿施大伟(David B. Shear)、副助理国防部长谢尔在国会听证会上对南海局势发言谨慎。施大伟系统地提出了美国在南海的重要利益,谢尔则突出了美国要用实力维护地区和平稳定的决心。[21]2个月后,“南海核心利益说”被抛出。6月以来美太平洋部队司令罗伯特·威拉德上将(Robert Willard)多次声称美国在南海的诸项重要利益。7月23日希拉里国务卿在ARF发表“美国在南海有重要利益”的讲话,由此美国南海政策的新近转型基本告一段落。
(28)
③计算目标中心距离变化:
(29)
④计算宽高比:
(30)
其中,表示目标在图像中所占像素的数量,K (x ,y )表示包含候选目标的最小矩形所占像素的数量;b w和b h分别表示包含候选目标的最小矩形的宽度和高度。假设集合R 中包含了m 个候选目标区域{r 1,r 2,r m },剔除虚警后的目标集合为T ,剔除虚假目标的具体流程如表1所示。
表1 剔除虚警流程
Tab.1 Eliminating false alarm process
4 实验结果及分析
为了验证本文算法的有效性,本文选取了涵盖目标尺度变化,光照变化,姿态变化,遮挡等复杂情况的7组视频进行了测试(表2),并将实验结果与Vibe算法[32]、PBAS算法[33]进行了对比分析。为了保证实验结果的公平性和准确性,本文使用引用文章的开源代码进行了测试。
表2 实验中的测试视频
Tab.2 Test sequences in our experiments
2.2.1 数学形态学梯度
第一步是判断红色和绿色控制终端,选择设备的五条布线中的任意两条,并测量钢笔。此时,需要注意布线的重复测量,然后确定两个布线的零电阻。第二步是判断公共端,选择第一步中没有测量的三条布线中的任何一条,用红笔测量,其余两条布线用黑笔测量。当两个布线测试的电阻高于或低于8000欧元时,红笔连接到公共端。三个步骤是电源的正负连接。报警灯和变频器的输出由同一终端控制。一般来说,当报警灯接通时,公共终端引线处于暂停状态,这很容易被工作人员忽略。事实上,这也是事实。由于使用了公共控制终端,因此有必要连接公共终端以确保警示灯正常工作。
表2中局部信杂比(Signal to Clutter Ratio,SCR)的计算方式如下:
(31)
其中,P R 、P G 和P B 分别表示所扫描像素在R 、G 、B 通道的灰度值。β R 、β G 和β B 分别表示该行种子点在R 、G 、B 通道像素的灰度值。τ R 、τ G 和τ B 为判定阈值。
(32)
其中,J t为目标个数,SCR i 为第i 个目标的信杂比。
当下,将社会主义核心价值观与高校精神文明相结合,已经成为人们的关注点,这是促进高校建设、发展的重要因素和重点实施内容。精神文明体系是一个高等院校的灵魂所在,不断地完善精神文明建设也是推动高校改革升级的内动力。目前,我国各个高校已经开始重视对社会主义价值观的培育和推行。而且学术界也对此内容进行了专门的研究并取得了良好的成果。但是,针对社会主义核心价值观和高校精神文明建设的具体践行研究还不够深入。大学生对于社会主义核心价值观的理解不能仅限于教材书本,要从书本中走出来,将在教材中的理论知识点融入到自身的实际生活之中,转化为行动。培养自己的综合素质。
4.1 评价指标及对比
为了定量分析检测算法的性能,实验中采用检测准确率P d(Detection accuracy)、虚警率P fa(False alarm rate)以及算法的时间复杂度(Time complexity)来评价算法的检测效果[35]:
独立学院法学专业在人才培养上以市场为导向,以实用为落脚点。因此,要努力创新适合独立学院法学专业学生发展的教学质量评价体系。这一评价体系“必须要考虑学校的办学定位及人才培养定位,教师评价的重点及方式应该与学校的定位、发展战略、人才培养类型等相适应。”[3]
(33)
(34)
其中,N t表示正确检测到的目标帧数,N a表示实际含目标视频的总帧数,N f表示检测到的目标虚警总数量,N 表示测试视频序列的总帧数。
2.3.3 剪切波弹性成像(shear wave elastic imaging,SWEI)剪切波弹性成像是基于剪切波速度的测量,通过检测声辐射力激发组织而产生的剪切波的传播进行成像的方法,直接测量的是剪切波速度本身,通过公式计算出目标组织的杨氏模量。它可分为瞬时弹性成像 (TE)、单点剪切波成像(qSWE)、 多 维剪切 波 E 成像 (2D-SWE、3DSWE)。SWE可以有效地避免人为因素的影响,在不施加外力的情况下,通过测量目标组织的剪切波速度来判断组织的硬度[7]。
本文使用3种检测算法分别对7组视频进行了测试,获得的检测准确率P d,虚警率P fa,算法的时间复杂度分别如表3、表4所示。其中,算法的平均耗时为测试视频中单帧检测时间最大值和最小值的平均值,算法的总耗时为完成完整测试视频所用的时间。
表3 检测准确率P d及虚警率P fa
Tab.3 Detection accuracy and false alarm rate (%)
表4 算法的时间复杂度
Tab.4 Average time consumption and total time consumption of the proposed algorithm
图8 对比实验结果
Fig.8 Comparison of experimental results for different algorithms
为了更直观地说明对比结果,图8给出了本文算法及对比算法的实验结果。其中,图8(a)为原始测试图像视频序列(Vedio1-Vedio7),图8(b)为Vibe(Visual Background Extractor)算法的实验结果,图8(c)为PBAS(The Pixel-Based Adaptive Segmenter)算法的实验结果,图8(d)为本文算法实验结果。
4.2 结果分析
通过对比可以看出,Vibe算法在动态复杂天空背景环境下进行检测时具有明显的“鬼影”现象,检测准确率较低。在此基础上改进的PBAS算法可以去除大面积的“鬼影”,并在信杂比大于3的视频序列中具有较高的检测准确率,但是算法时间复杂度较之前更高,在低信杂比环境下检测准确率较低。本文提出的算法在信杂比小于1的视频序列中仍具有81.6%的检测准确率,且虚警率较低,仅为5.1%。算法的时间复杂度、检测准确率P d及虚警率P fa这3个评价标准对于7个测试视频均达到最佳,在信杂比较低的视频序列中,检测准确率较其他算法平均提高了11.4%,时间复杂度仅为Vibe和PBAS算法的十分之一。本文算法在光照变化、尺度变化、姿态变化及背景干扰的情况下依旧具有较好的鲁棒性,优于Vibe和PBAS算法。
从图9可以看出,算法可以在复杂动态天空背景中剔除虚假目标并准确发现真正目标,矩形框代表算法自动检测到的“低小慢”目标。
图9 本文算法检测结果
Fig.9 Detection results by proposed algorithm
5 结 论
为了在复杂天空背景下检测出低空慢速小目标,本文在应用局部亮度对比度提取图像视觉显著性特征的基础上,融合了形态学梯度和三帧差分算法来获取种子点,通过改进的扫描线填充算法有效去除复杂背景。同时,提出了新的自适应直方图分割算法来提取前景,并根据目标的面积占比变化、质心距离变化、宽高比差异剔除虚假目标,完成检测。
对7组测试视频进行实验,实验结果和数据表明:本文提出的算法对运动目标检测的平均运行时间为0.040 9 s,平均检测准确率为89.97%,相比于其他算法平均运算时间减少了0.35 s,检测的平均准确率提高了24.5%。与其他的优秀检测算法相比,本文算法能够获得更多的有效信息并减少背景信息的干扰,具有更好的鲁棒性和更好的实时性。
参考文献:
[1] HU J,YU Y,LIU F. Small and dim target detection by background estimation[J]. Infrared Physics &Technology ,2015,73:141-148.
[2] YANG W P,LU X P,LI J CH,et al .. Fast algorithm of infrared small target detection in jitter background[J]. Proceedings of SPIE ,2015,9476:947614.
[3] DENG H,LIU J G,CHEN ZH. Infrared small target detection based on modified local entropy and EMD[J]. Chinese Optics Letters ,2010,8(1):24-28.
[4] KIM S,YANG Y,LEE J,et al .. Robust scale invariant small target detection using the Laplacian scale-space theory[J]. Proceedings of SPIE ,2008,6969:696911.
[5] 姜志国,韩冬兵,袁天云,等.基于全自动控制显微镜的自动聚焦算法研究[J].中国图象图形学报,2004,9(4):396-401.
JIANG ZH G,HAN D B,YUAN T Y,et al .. Study on auto focusing algorithm for automatic microscope[J]. Journal of Image and Graphics ,2004,9(4):396-401.(in Chinese)
[6] ABDELKAWY E,MCGAUGHY D. Small infrared target detection using two-dimensional fast orthogonal search(2D-FOS)[J]. Proceedings of SPIE ,2003,5094:179-185.
[7] 解婷,陈忠,马荣毅.一种基于PGF、BEMD和局部逆熵的新型红外小目标检测方法[J].红外与毫米波学报,2017,36(1):92-101.
XIE T,CHEN ZH,MA R Y. A novel method for infrared small target detection based on PGF, BEMD and LIE[J]. Journal of Infrared and Millimeter Waves ,2017,36(1):92-101.(in Chinese)
[8] BAI X ZH,ZHOU F G. Analysis of new top-hat transformation and the application for infrared dim small target detection[J]. Pattern Recognition ,2010,43(6):2145-2156.
[9] WANG P,TIAN J W,GAO CH Q. Infrared small target detection using directional highpass filters based on LS-SVM[J]. Electronics Letters ,2009,45(3):156-158.
[10] REED I S,GAGLIARDI R M,STOTTS L B. Optical moving target detection with 3-D matched filtering[J]. IEEE Transactions on Aerospace and Electronic Systems ,2002,24(4):327-336.
[11] GUARIGLIA E. Entropy and fractal antennas[J]. Entropy ,2016,18(3):84.
[12] SHEN X M,DENG L. Game theory approach to discrete H∞filter design[J]. IEEE Transactions on Signal Processing ,1997,45(4):1092-1095.
[13] 刘伟宁.基于小波域扩散滤波的弱小目标检测[J].中国光学,2011,4(5):503-508.
LIU W N. Dim target detection based on wavelet field diffusion filter[J]. Chinese Optics ,2011,4(5):503-508.(in Chinese)
[14] 刘希佳,陈宇,王文生,等.小目标识别的小波阈值去噪方法[J].中国光学,2012,5(3):248-256.
LIU X J,CHEN Y,WANG W SH,et al .. Denoising algorithm of wavelet threshold for small target detection[J]. Chinese Optics ,2012,5(3):248-256.(in Chinese)
[15] CASELLES V,KIMMEL R,SAPIRO G. Geodesic active contours[J]. International Journal of Computer Vision ,1997,22(1):61-79.
[16] LIU ZH J,CHEN CH Y,SHEN X B,et al .. Detection of small objects in image data based on the nonlinear principal component analysis neural network[J]. Optical Engineering ,2005,44(9):9093604.
[17] 郭文佳,朱晓辉,王向军.野外图像监测中地平线附近的弱小目标的实时检测[C].光电技术与系统文选——中国光学学会光电技术专业委员会成立二十周年暨第十一届全国光电技术与系统学术会议论文集,中国光学学会,2005.
GUO W J,ZHU X H,WANG X J. Real-time detection of weak and small targets near the horizon in field image monitoring[C]. Optoelectronic Technology of China Institute of Optics and Optoelectronic Technology Specialized Committee Establishment 20th Anniversary and National Photoelectric Technology And System Academic Conference,Chinese Optical Society,2005.(in Chinese)
[18] 胡谋法,王书宏,李超,等.空时域联合去相关检测可见光背景下的运动小目标[C].光电技术与系统文选——中国光学学会光电技术专业委员会成立二十周年暨第十一届全国光电技术与系统学术会议论文集,中国光学学会,2005.
HU M F,WANG SH H,LI CH,et al .. Detection of small moving targets in the visible light background by the joint spatio-temporal correlation detection[C]. Optoelectronic Technology of China Institute of Optics and Optoelectronic Technology Specialized Committee Establishment 20th Anniversary and National Photoelectric Technology and System Academic Conference, Chinese Optical Society,2005.(in Chinese)
[19] 洪普,王群,阮建斌,等.复杂背景红外弱点目标检测[C].中国光学学会2010年光学大会论文集,中国光学学会,2010.
HONG P,WANG Q,RUAN J B,et al .. Infrared weak target detection in complex background[C]. A Collection of the 2010 Optical Conference of the Chinese Academy of Optics, hinese Optical Society,2010.(in Chinese)
[20] 姚成乾,陈伟.基于改进粒子算法的红外弱小目标检测研究[J].激光与光电子学进展,2017,54(11):111101.
YAO CH Q,CHEN W. Infrared dim target detection based on improved particle swarm optimization algorithm[J]. Laser &Optoelectronics Progress ,2017,54(11):111101.(in Chinese)
[21] 刘靳,姬红兵.基于移动式加权管道滤波的红外弱小目标检测[J].西安电子科技大学学报(自然科学版),2007,34(5):743-747.
LIU J,JI H B. Detection method for small targets in the IR image based on the variable weighted pipeline filter[J]. Journal of Xidian University ,2007,34(5):743-747.(in Chinese)
[22] 黄宇,张晓芳,俞信.光子成像静止点目标的管道滤波探测方法[J].中国光学,2013,6(1):73-79.
HUANG Y,ZHANG X F,YU X. Pipeline filtering detection of stationary point targets in photon images[J]. Chinese Optics ,2013,6(1):73-79.(in Chinese)
[23] NIE H SH,HUANG ZH J,DIAO J T,et al .. A wiener filter based infrared small target detecting and tracking method[C]. Proceedings of 2010 International Conference on Intelligent System Design and Engineering Application,IEEE,2010:184-187.
[24] ZHAI Y,SHAH M. Visual attention detection in video sequences using spatiotemporal cues[C]. Proceedings of the 14th ACM International Conference on Multimedia,ACM,2006:815-824.
[25] 王晓阳,彭真明,张萍,等.局部对比度结合区域显著性红外弱小目标检测[J].强激光与粒子束,2015,27(9):32-38.
WANG X Y,PENG ZH M,ZHANG P,et al .. Infrared small dim target detection based on local contrast combined with region saliency[J]. High Power Laser and Particle Beams ,2015,27(9):32-38.(in Chinese)
[26] 毋亚北,王卫华,吴巨红,等.基于形态学梯度的红外目标检测[J].光电工程,2012,39(9):81-85.
WU Y B,WANG W H,WU J H,et al ..IR target detection based on morphological gradient[J]. Opto -Electronic Engineering ,2012,39(9):81-85.(in Chinese)
[27] ZHANG Y Z,WANG X Y,QU B. Three-frame difference algorithm research based on mathematical morphology[J]. Procedia Engineering ,2012,29:2705-2709.
[28] GONZALEZ R C,WOODS R E. Digital Image Processing [M]. RUAN Q Q, RUAN Y ZH, trans. 2nd ed. Beijing:Publishing House of Electronics Industry,2007.
[29] 肖丽君,于哲舟,周栩,等.基于对称差分算法的视频运动目标分割[J].吉林大学学报(理学版),2008,46(4):691-696.
XIAO L J,YU ZH ZH,ZHOU X,et al .. Moving object segmentation based on symmetrical differencing algorithm in video sequences[J]. Journal of Jilin University (Science Edition ),2008,46(4):691-696.(in Chinese)
[30] 范宏深,倪国强,冯煜芳.复杂背景可见光图像中弱小目标探测的新算法[J].光电工程,2004,31(6):48-51.
FAN H SH,NI G Q,FENG Y F. A new algorithm for small and dim target detection of visible image under heavy clutters[J]. Opto -Electronic Engineering ,2004,31(6):48-51.(in Chinese)
[31] WU Y F,SUN H J,LIU P X. A novel fast detection method of infrared LSS-target in complex urban background[J]. International Journal of Wavelets ,Multiresolution and Information Processing ,2018,16(1):1850008.
[32] BARNICH O,VAN DROOGENBROECK M. ViBE:A powerful random technique to estimate the background in video sequences[C]. Proceedings of 2009 IEEE International Conference on Acoustics,Speech and Signal Processing,IEEE,2009:945-948.
[33] HOFMANN M,TIEFENBACHER P,RIGOLL G. Background segmentation with feedback:the pixel-based adaptive segmenter[C]. Proceedings of 2012 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops,IEEE,2012:38-43.
[34] 王敏敏,孙胜利.并行压缩成像系统的压缩域小目标检测[J].光学 精密工程,2016,34(10):2549-2556.
WANG M M,SUN SH L. Small target detection in compressed domain of parallel compression imaging system[J]. Opt .Precision Eng .,2016,34(10):2549-2556.(in Chinese)
[35] 李正周,曹雷,邵万兴,等.基于空时混沌分析的海面小弱目标检测[J].光学 精密工程,2018,26(1):193-199.
LI ZH ZH,CAO L,SHAO W X,et al .. Detection of small and weak targets in sea surface based on spatio temporal chaos analysis[J]. Opt .Precision Eng .,2018, 26(1):193-199.(in Chinese)
LSS-target detection in complex sky backgrounds
WU Yan-feng1,2, WANG Yan-jie1, SUN Hai-jiang1*, LIU Pei-xun1
(1.Changchun Institute of Optics ,Fine Mechanics and Physics ,Chinese Academy of Sciences ,Changchun 130033,China ; 2.University of Chinese Academy of Sciences ,Beijing 100049,China )
Abstract: In order to detect LSS(Low, Small and Slow) targets in complex sky backgrounds, we study the visual salient region characteristics of the LSS target and scan line filling algorithm and propose an adaptive real-time detection technology for LSS targets in dynamic complex backgrounds. Firstly, a saliency map is obtained based on the Luminance Contrast(LC) of the image. Secondly, the morphological gradient is used to extract the saliency feature and the seed points of the scan line filling algorithm are obtained by the three frame difference algorithm. Then, the scan line filling algorithm is used to grow the image and the foreground is segmented using the proposed adaptive double Gauss threshold segmentation algorithm. Finally, according to the change of the object′s area of occupation, the center distance and the aspect ratio of the candidate target, the false targets are eliminated and detection is completed. In order to verify the effectiveness of the algorithm, 7 test groups of complex sky background video sequences are selected and compared with other excellent detection algorithms. The results show that the running time of the proposed algorithm for moving object detection is 0.040 9 s and the accuracy rate is 89.97%. When compared with other algorithms, the average running time is reduced by 0.35 s, and the average accuracy of detection is enhanced by 24.5%. The algorithm has good stability and is robust in target detection in complex backgrounds.
Key words: computer vision;visual saliency;scan line filling;curve fitting;adaptive threshold segmentation
中图分类号: TP394.1; TH691.9
文献标识码: A
收稿日期: 2018-03-14;修订日期:2018-04-04
基金项目: 国家自然科学基金青年基金项目(No.61602432)
Supported by the National Natural Science Foundation of China Youth Science Foundation Project(No.61602432)
文章编号 2095-1531(2019)04-0853-13
doi: 10.3788/CO.20191204.0853
*Corresponding author ,Email :sunhaijiang @126.com
作者简介:
吴言枫(1992—),男,吉林长春人,博士研究生,2015年于吉林大学获得学士学位,主要从事数字图像处理、计算机视觉方面的研究。E-mail:wuyfciomp@yahoo.com
王延杰(1963—),男,吉林长春人,研究员,博士生导师,主要从事实时图像处理、电视跟踪和自动目标识别技术的研究。E-mail:wangyj@ciomp.ac.cn
孙海江(1981—),男,吉林辉南人,副研究员,主要从事目标识别与跟踪技术及高清视频图像增强显示方面的研究。E-mail: mailto:sunhaijiang@126.com
刘培勋(1986—),男,吉林榆树人,助理研究员,博士,主要研究方向为数字图像处理及机器视觉。E-mail:liupx@ciomp.ac.cn
标签:计算机视觉论文; 视觉显著性论文; 扫描线填充论文; 曲线拟合论文; 自适应阈值分割论文; 中国科学院长春光学精密机械与物理研究所论文; 中国科学院大学材料科学与光电技术学院论文;