摘要：为提取道路固定摄像头监控视频的关键帧，提出了基于帧间相关性的关键帧提取算法．算法将监控视频中的彩色图像帧预处理为灰度图像帧，结合滑动窗口机制，通过帧间相关性与帧自相关性的相对偏差与阈值θ的比较判定关键帧．实验结果表明，算法流程清晰，能够有效提取与目测一致的关键帧，同时关键帧的灵敏程度可以通过阈值θ调节．
关键词：关键帧；帧间相关性；滑动窗口；道路监控
道路监控视频中的关键帧是最具代表性和最重要的图像帧，关键帧的提取一般满足两个基本原则：尽可能准确、完整地反映镜头的主要内容或感兴趣的内容；数据量小，计算简洁．道路监控中主要关注监控区域内运行车辆的信息和监控区内异常信息，因此道路监控视频关键帧是清晰的识别进入监控区的车辆信息和出现异常的图像帧。基于帧间相关性的关键帧提取算法通过将当前关键帧与当前帧的相关性和关键帧的自相关性的相对偏差与阈值θ进行比较，以判定当前帧是否为关键帧，将视频图像帧的ＲＧＢ值转化为灰度Ｙ值进行分析和处理，减小了计算量，降低了算法复杂度；使用滑动窗口，有效防止过多连续冗余的关键帧，能得到更具有代表性的关键帧。
一、基于帧间相关性的关键帧提取算法
1.算法流程
（１）从视频文件中分离出视频流信息，获取视频流中图像帧数目Ｎ；
（２）初始化．将第０帧定义为第一个关键帧Ｓｋ＝Ｓ０；计算关键帧自相关函数值ｒ（ｋ）；从ｉ＝１帧开始遍历帧序列；
（３）判断视频中的所有图像帧是否已经遍历结束，如果完成遍历则结束，否则转至下一步；
（４）判断滑动窗口Ｗ内是否有关键帧，在Ｎ帧内从第ｉ帧遍历到ｉ＋ｗ帧，即ｉ＝ｉ→ｉ＋ｗ且ｉ＜Ｎ．以下过程迭代进行：
①在Ｎ帧内，计算滑动窗口内的每一帧与关键帧Ｓｋ的互相关函数值ｒ（ｋ，ｉ），其中ｉ＝ｉ＋０、ｉ＋１…ｉ＋ｗ－２、ｉ＋ｗ－１；
②计算滑动窗口内互相关函数值ｒ（ｋ，ｉ）与ｒ（ｋ）差的绝对值最大的点ｘ，其中差值｜Δｒ｜＝｜ｒ（ｋ）－ｒ（ｋ，ｉ）｜；
③判断第ｘ帧是否为关键帧，即判断｜Δｒ｜／ｒ（ｋ）－θ＞０是否成立．如果ｘ帧是关键帧则转到下一步，否则转至⑤；
④当前关键帧Ｓｋ＝Ｓｘ，重新计算关键帧自相关函数ｒ（ｋ），并输出当前关键帧信息．
⑤帧索引ｉ＝ｋ＋１，转向③；遍历帧的索引值ｉ＝ｉ＋１，转至③．
2.监控视频图像帧预处理
道路监控视频帧是从道路监控视频流中获取的图像帧．获取的图像帧信息包含了图像每一个像素的ＲＧＢ值．本文利用图像的灰度值分析帧间相关性，灰度图像是每个像素只有亮度差别而没有颜色差别的图像．将道路监控视频中的图像转化为灰度图像公式为
Ｙ＝０．２９９Ｒ＋０．５７８Ｇ＋０．１１４Ｂ
式中，Ｙ为图像的灰度，第ｉ帧中第ｊ个像素点的灰度值Ｓｉ（ｊ）＝Ｙｉ（ｊ）．第ｉ帧灰度图像的信息集合Ｓｉ表达式为
Ｓｉ＝｛Ｙｉ（１），Ｙｉ（２），Ｙｉ（３）…Ｙｉ（Ｍ）｝
式中，Ｍ为ｉ帧图像的总像素．将原来图像帧的ＲＧＢ转化为图像帧的灰度信息Ｓｉ，降低了算法复杂度，减小了计算量．
3.视频帧相关性
视频帧之间的相关性用ｒ表示，第ｍ帧与第ｎ帧之间的相关性，用互相关函数ｒ（ｍ，ｎ）表示，定义为
式中，ｒ（ｍ，ｎ）是Ｓｍ与Ｓｎ的相关函数；Ｓｍ、Ｓｎ分别是第ｍ、ｎ帧图像信息的集合；Ｍ是像素点的总数；ｉ表示图像帧中第ｉ个像素点；Ｓｍ（ｉ）表示第ｍ帧图像中第ｉ个像素点的亮度值．第ｍ帧的自相关函数ｒ（ｍ）定义为
监控视频中的２帧图像，若变化很小，则互相关性很大，接近图像的自相关性；若２帧图像变化越大，互相关性越小．
4.视频关键帧判别
第ｘ帧Ｓｘ是否为关键帧，与当前关键帧Ｓｋ相比较得出．如果当前关键帧Ｓｘ与第ｘ帧的互相关性ｒ（ｋ，ｘ）和关键帧Ｓｘ的自相关性ｒ（ｋ），使得判别函数ｇ（Ｓｋ，Ｓｘ）大于０，表示第ｘ帧Ｓｘ相对于关键帧Ｓｋ是关键帧．其中关键帧判别函数ｇ（Ｓｋ，Ｓｘ）的表达式如下：
ｇ（Ｓｋ，Ｓｘ）＝｜ｒ（ｋ，ｘ）－ｒ（ｋ）｜／ｒ（ｋ）－θ
式中，ｒ（ｋ，ｘ）表示Ｓｘ帧与当前关键帧Ｓｋ的相关函数值，ｒ（ｋ）表示当前关键帧Ｓｋ的自相关函数值，θ为自定义阈值，是一个经验值．如果ｇ（Ｓｋ，Ｓｘ）大于０，表示第ｘ帧Ｓｘ相对于关键帧Ｓｋ是关键帧，否则不是关键帧．
5.滑动窗口
为避免提取出过多连续冗余的关键帧，得到具有代表性的关键帧，在判别关键帧时采用滑动窗口．滑动窗口是将ｗ个连续的图像帧组合成一个集合，若不存在关键帧，窗口移动到最后一个窗口的后一帧；存在关键帧，窗口移动关键帧的后一帧．在提取关键帧的过程中，将当前关键图像帧Ｓｋ与滑动窗口内的所有图像帧（Ｓｉ，Ｓｉ＋１，Ｓｉ＋２…Ｓｉ＋ｗ－１）相关性最小的第ｘ帧图像Ｓｘ，再根据关键帧判别函数ｇ（Ｓｋ，Ｓｘ）判别其是否为关键帧，如果第ｘ帧不是关键帧，则滑动窗口滑动至第（ｉ＋ｗ）帧；如果第ｘ帧是关键帧，则滑动窗口滑动至第（ｘ＋１）帧．滑动窗口大小等于帧速率，本文实验的监控视频为ＰＡＬ制式、ＡＶＩ格式，帧速率为２５帧／秒．
二、实验与分析
在Ｗｉｎ７环境下，使用ＶＣ＋＋平台实现本文提出的基于帧间相关性的道路监控视频关键帧提取算法．以某车行道上一段９９．８８ｓ、２ ４９７帧的监控视频为例．监控中有行人移动，还有２辆车先后通过，在算法灵敏性不高，仅将车辆通过定义为关键帧的情况下，目测最佳关键帧为３帧：２辆车分别通过时的图像帧和第２辆车通过之后的背景图像帧．在阈值θ不同的情况下提取关键帧的结果。其中，提取关键帧数是指通过算法提取的关键帧数，有效关键帧数是指与目测关键帧有关联的帧数．可以看出，当阈值θ大于２．９％之后不能有效地提取出所有关键帧，尤其是当阈值θ为４．１％、４．４％时不能提取出关键帧；当阈值θ在０．２％到２．９％之间时，可以有效地提取与目测相关联的３个关键帧，其中当阈值θ为０．２％、０．５％时，算法灵敏度很高，将行人也判断为关键帧，若仅关注车辆行驶，则阈值θ在２．０％到２．９％之间提取出的３个关键帧均为有效关键帧，效果最好．在阈值θ为２．６％时，提取的关键帧如图1所示．由图1可知，提取的第一个关键帧为第一辆车驶入监控区，第二个关键帧为第二辆车驶入监控区，第三个关键帧为第二辆车驶出监控区，与目测关键帧一致。
图1阈值为２．６％时提取的关键帧序列
结束语
本文提出基于帧间相关性的道路监控视频关键帧提取算法，实验表明，在固定摄像头的道路监控视频中可以有效地提取出与目测一致的关键帧．算法流程清晰，其中滑动窗口机制降低了关键帧冗余度，提高了关键帧的代表性．但算法不适用于转动的摄像头的情况，在以后研究中，将进一步完善算法，使其在摄像头转动的情况下，也能有效地提取出关键帧．
参考文献：
［1］王璐，于超，李鑫，等．基于图像关键帧定位技术仿真［Ｊ］．计算机仿真，２０１４，３１（２）：４１９－４２２．
［2］刘高军，杨丽．改进的互信息量相似度曲线关键帧提取研究［Ｊ］．计算机应用与软件，２０１４，３１（２）：１５３－１５６．
［3］卜庆凯，胡爱群．一种新的镜头边界检测和静态视频摘要提取方法［Ｊ］．东南大学学报：自然科学版，２００７，３７（４）：５５９－５６４．
论文作者:周洁
论文发表刊物:《基层建设》2018年第33期
论文发表时间:2018/12/18
标签：关键论文; 图像论文; 相关性论文; 阈值论文; 算法论文; 视频论文; 窗口论文; 《基层建设》2018年第33期论文;