基于剪切系数的视频指纹内容拷贝检测
苏志贤
浙江安防职业技术学院, 浙江 温州 325200
摘 要:拷贝检测技术广泛应用于版权控制中，用于保护未经授权使用数字视频，关键在于如何提取可靠的视频指纹。本文提出一种基于剪切系数的视频指纹内容拷贝检测算法，利用TREC VID2018和Inria Copy Days数据集的相关数据，进行视频图像攻击实验，并与其它经典算法进行比较。实验结果表明：本文算法对大多数攻击都具有鲁棒性。其F1平均得分约为0.99分，假阳性率低于0.01%，定位准确率97%。
关键词:视频指纹; 剪切系数; 剪切波
在互联网时代，成千上万的视频被上传到网络，这些视频中有不少是非法复制或篡改现有媒体的版本。这种广泛存在的视频版权侵权使得网络视频版权管理成为一个复杂的过程，同时也要求开发快速、准确的拷贝检测算法。由于视频是最复杂的数字媒体类型，迄今为止它在版权管理方面受到的关注最少。视频复制检测任务是确定一组视频中是否有重复，但是查询视频可能会失真，例如亮度变化、文本插入、压缩和裁剪等[1]。数字视频内容在不同媒体上的传播越来越多，使得在大型视频数据库中搜索副本成为一个新的问题。因为视频有不同的格式，所以基于视频内容的拷贝检测过程比基于名称、描述或二进制更有效。视频指纹识别已被提出用于此目的。视频指纹是从视频派生出来的基于内容的签名，可以专门用来表示某一个视频[2]。人们要在视频数据库中查找视频的副本，可以在相应的指纹数据库中搜索其指纹并进行匹配。两个指纹的紧密性代表了相应视频之间的相似性，但是两个感知上不同的视频应该有不同的指纹[3]。传统的视频指纹提取算法都是基于DCT技术，本文尝试使用高级剪切变换来生成视频指纹。另外，Keith基于剪切波域中的统计特征，提出一种通用的无参考图像质量评估模型，它是基于自然场景统计和基于训练的方法的结合，可以估计各种各样的图像失真[4]。本文试图利用该模型的粗尺度，设计一种鲁棒变换不变的视频指纹剪切系数，用于基于内容的视频拷贝检测应用。
1 基于剪切系数的视频指纹分析
1.1 剪切波变换
Amerini在研究中发现，如果自然图像被一些常见的畸变所扭曲，粗尺度中的线性关系将被保留，但细尺度中的线性关系会受到干扰，特别是细尺度中的线性关系[5]。剪切波变换是一种多尺度、多维的小波变换，能够处理不同尺度上的方向性信息。将具有复合扩张的仿射系统定义为：
(1)
其中分析系数Øa,s,t称为剪切系数，由以下公式计算：
(2)
2）道路的绿化需要与沿江风管带的景观相互呼应，尽量与风光带一起做到常绿和落叶相互搭配，四季有花，层次分明。
其中Ma,s通过以下公式计算：
(3)
从Trec vid 2018和Inria Copy Days数据集中随机选择366个视频帧，生成一个数据集。视频拷贝检测中常见的五种失真类型分别是亮度变化（LC）、jpeg、jpeg200（jp2）、盐和胡椒噪声（PN）、高斯噪声（GN），相应的剪切器记为S1-S5。在这五种变形中，S3至S4中的分段谱相关函数算法受到畸变的严重影响，而S2与分段谱相关函数算法的鲁棒性在所有类型的畸变上几乎相同。因此，利用S2的方向信息构造相对稳健的指纹是可行的。
(4)
房屋建筑工程水平的提升离不开技术的有效支持，对此，房屋建筑工程在使用节能技术时还应遵循“提高能源使用效率”的原则，而非仅解决当前的施工问题。使用节能技术时也应采用多种方法，全面考虑社会的现状与未来的发展战略，以有效提升能源的使用效率，保护当地的经济与社会稳定。同时，房屋建筑工程使用节能技术时还应充分考虑时间因素，我国虽然具备足够的能源，但未来消耗量较大，为了进一步提升能源的使用效率，建设企业应分阶段使用节能技术，针对地域特点设计完善的施工方案，在预测未来使用量的基础上解决资源紧缺问题。
为了进行比较，实验中使用著名的2D-DCT和2D-DCT-2AC指纹算法。2D-DCT指纹作为图像搜索的感性散列，在对下采样灰度图像进行2D-DCT变换的基础上，利用中值
为阈值的低频DCT系数生成64位指纹。为了解决不同DCT系数下不同动态范围的问题，只使用两个具有相似动态范围的低频AC DCT系数，以获得更强健的视频指纹。其中50%重叠的32×32重叠块用于生成96位的2D-DCT-2AC指纹。此外，OIS是CBCD应用程序的传统视频指纹，它是通过将每个帧划分为一个网格，并将其分类为一个有序强度签名而得到的。由于这三种指纹算法在CBCD系统的实现中得到了广泛的应用，因此在鲁棒性评估中，将它们与所本文提出的基于剪切系数的视频指纹进行比较。以NHD为相似性测度，利用不同阈值进行匹配，采用两种常用的真阳性率（TPR）和假阳性率（FPR）指标进行评价。它们被定义为：
(5)
本文提出一种基于粗尺度的剪切系数指纹设计方法，用于视频指纹内容拷贝检测。所提出的基于检测系数的视频指纹定义为使用6个方向的4阶剪切波变换。剪切波变换可以看成一个分解工具，同时考虑尺度和方向信息。首先，在输入图像中适用双通道非子采样分解，将输入图像递归分解为低通图像和高通图像。其次，在每一尺度的分解中，利用快速傅立叶变换算法，通过二维傅立叶变换将高通图像变换成频域，然后在频域上应用6个方向的笛卡尔网格生成6个方向的子带。最后，利用剪切系数揭示输入图像的多尺度和多方向信息。
1.2 视频指纹剪切系数的鲁棒性
对于健壮的视频指纹，信号的低频信息对许多失真如噪声破坏等具有鲁棒性。因此，粗尺度下的剪切系数更可取，因为这种剪切系数对不同类型的扭曲和变换具有较强的鲁棒性，同时对感知不同图像保持较高的分辨力。为证明剪切区高尺度系数的性质，采用子带系数振幅归一化进行评价，定义为：
一般来说，一个合格的视频指纹应能在不同类型的失真下，对感知相似的视频片段进行有效的识别。归一化汉明距离（NHD）是测量不同指纹之间相似性的一种著名度量，它等于两个指纹之间的不同比特数，对长度进行归一化[7]。因此，采用NHD对Trec vid 2018和Inria Copy Days数据集的单个图像或视频帧上的基于剪切系数的视频指纹鲁棒性进行评估。评估数据集是通过从122个视频中随机选择3帧来创建的，总共有366帧来自Trecvid2018数据集，143幅来自Inria Copy Days数据集。为了测试其鲁棒性，常用的失真类型被应用到这些选定的帧上。对于亮度失真，使用亮度变化、盐和胡椒噪声、高斯噪声、文本插入和jpeg压缩。为了实现一个全面的评估，一些失真被结合在一起，创造更具挑战性的攻击。组合1失真强调亮度攻击，其中结合亮度变化、盐和胡椒噪声、高斯噪声、jpeg压缩和文本插入的失真。组合2变形强调几何攻击，结合了字母框和旋转的变形。在这些畸变情况下，共有509张原始图像和4581张畸变图像作为测试图像。
(6)
在通常情况下，二进制散列可以唯一地表示成2L项，其中L是散列的长度。如果散列的长度太短，则假阳性率将很高。为所提出的基于剪切系数的视频指纹选择合适的参数，本文对具有不同散列长度的假阳性率进行实验。在参数选择中，发现S1的散列长度应该大于31位，以实现相对较低的假阳性率，而S2图像的最小散列长度为7位。在此基础上，选择M=128作为输入图像块大小，M1=7作为S1的采样块大小，M2=3作为下采样方向S2图像块大小，生成所提出的基于剪切系数的视频指纹。因此，S1散列为48位，各方向散列为8位，总位长为96位。
上式中Aa为各向异性膨胀矩阵，Bs为剪切矩阵。剪切波变换的框架是各向异性的，在不同的尺度、位置和方向上定义了分析函数，因此与传统的小波变换相比，剪切波能够更有效地检测方向信息。如果信号f可以用n个最大系数的部分和进行重建，剪切波变换的近似特性如下：
1.3 基于剪切波的指纹结构
相关理论表明，剪切器S1对非定向空间信息和S2对定向信息具有良好的鲁棒性[6]。本文提出利用S1和S2对视频图像进行鲁棒视频指纹生成。该指纹算法的输入图像是一个预先处理过的灰度图像，可重新缩放到的M×M大小。将S1图像（M1×M1）进一步向下采样以生成S1哈希，然后将另外的图像（M2×M2）也生成不同方向哈希。根据差分编码规则，当前像素值大于或等于之前的像素值，则指定位“1”，否则指定位“0”。因此，S1散列的位长度为（M1×M1-1）位，方向散列的长度为（M2×M2-1）位。
其中SHØf(a,s,t)是剪切系数，a,s,t分别是比例、方向和时间参数。
2 实验结果与分析
2.1 基于剪切系数的视频指纹统计评价
网板主要由丝网、网框和掩膜图形等组成。具体参数设置包括网板开孔尺寸、厚度及开孔方向。网板开孔尺寸主要由印刷板对应焊盘的尺寸决定；网板的越厚则开孔越小，越不有利于焊膏释放；焊膏释放在焊盘的长度方向与印刷方向一致时，印刷效果较好。常见网板设计工艺见表1。
当前，我国高等学历继续教育正处在历史发展的转型关键期，既需要加强规范、提高质量，又需要鼓励创新、促进改革。“四个回归”为高校加快改革步伐，办人民满意的高等学历继续教育提供了基本遵循，也为回答高等学历继续教育“培养什么人、怎样培养人、为谁培养人”这一根本问题提供了逻辑起点。遵循“四个回归”，高等学历继续教育必须坚持中国共产党的全面领导，坚持立德树人、育人为本，坚持规范办学、提高质量，切实遵循高等教育规律、成人教育规律和远程教育规律，走内涵式发展道路。具体到高校办学实践工作，应努力做好以下几个方面。
傅立叶变换如下：
(7)
(8)
在本实验中，使用300个图像进行评估，这些图像是从Inria Copy Days数据集中选择的。利用NHD方法计算每帧图像与其畸变图像的相似性。为了说明数据集中测试帧相似度的统计分布，计算了TPR和FPR，以验证其性能。两个NHD阈值被用来定义匹配，这意味着如果NHD小于NHD阈值（THR1=0.1和THR2=0.2），图像被认为是知觉相似的。这两个阈值分别为0.1和0.2，常用于多媒体拷贝检测系统。如阈值=0.1，基于剪切系数的视频指纹对大多数亮度畸变具有鲁棒性。但是所有四种评估算法都不能在使用0.1阈值的信盒和旋转类型的失真中表现良好。主要原因是0.1的阈值对于使用NHD进行相似性比较过于严格。对于一个实际系统，阈值0.2可以实现更高的TPR性能，这是因为四种算法都得到了改进，特别是在畸变的几何类型上。此外，在TPR性能方面，基于剪切系数的视频指纹在大多数类型的失真上表现突出。此外，指纹识别性能也是视频指纹识别算法的一个关键特性，良好的指纹识别应保证尽量低的指纹识别特性。从FPR结果来看，包括基于剪切系数的视频指纹在内的大多数测试算法都可以实现低的FPR，具有良好的识别性能。实验结果表明，与三种比较的指纹算法相比，该算法具有较高的鲁棒性和较好的性能。
鉴于以上我区的水果包装中存在的问题来看，未来水果包装的发展趋势应当顺应国家环保的号召，走绿色环保型的道路，要采用绿色环保的材料进行包装，对于那些化学物质严重超标的包装物要尽量避免使用，以免造成对环境的破坏和对人体健康的危害。但是在低碳环保的同时，也要做到节约资源，保证产品的质量，降低包装资源的损耗率。只有这样，才能做到资源的可持续利用和发展。
3.2 基于TIRI的CBCD系统评估
本实验使用Trec vid 2018数据集评估基于剪切系数的视频指纹内容拷贝检测算法的性能。为了进行性能比较，我们还实现了基于TIRI系统评估的三个著名视频指纹。这些系统被命名为TIRI-2D-DCT、TIRI-2D-DCT-2AC和TIRI-OSI。此外，在这些系统实现中采用常用预处理过程，包括下采样灰度输入视频的归纳和TIRIS的生成。其中，采用4帧/秒的降采样帧大小和帧速率生成预处理的输入视频，并用于生成TIRIS。在本实验中，从Trec vid 2018数据集中选择了122个视频作为参考视频，用于生成带有拷贝问题的查询。然后，使用另外122个视频作为非引用来形成查询，没有复制问题。在评估中，从每个参考和非参考视频集中随机抽取查询，长度为15 s。此外，对这些查询实施了8种类型的攻击，其中976个查询被复制，976个查询没有被复制。变形的8种类型是几何攻击，包括字母框和旋转、亮度攻击、亮度变化、盐和胡椒噪声、高斯噪声、文本插入以及时间攻击。在搜索数据库之前，使用相同的指纹算法预先生成指纹参考数据库。阈值0.2用于基于NHD的相似性匹配，这在CBCD系统的大多数实现中都是常用的。对于一个健壮的CBCD系统，它应该实现精确性（辨别性）和召回（健壮性）之间的平衡。为了评估提议的TIRI-SBVF、TIRI-2D-DCT、TIRI-2D-DCT-2AC和TIRI-OIS的性能，本文采用F分数（Fλ）作为综合指标，定义为：
(9)
其中λ是精确性和召回之间的组合权重。本文将平衡F分数（
1）作为
λ分数，可以更普遍地捕捉到分数的精确性和回忆性。拷贝视频段的检测和定位是CBCD系统的两个主要任务。检测的目的是检测参考视频中的任何复制片段，而定位的目的是定位匹配视频中的复制片段。根据实验结果，本文算法在亮度和时间类型的攻击上可以达到约0.99的F1平均得分。此外，本文算法总是优于比较方法，能在诸多几何变形中获得特别好的性能，假阳性率远低于0.01%。值得一提的是，旋转攻击是所有对比视频指纹的常见挑战，在实际的CBCD系统中，一些预处理方法可以克服这一挑战。但是本文算法在两个具有挑战性的失真中表现最佳。拷贝视频段的定位精度通常与检测性能有关，它定义为在查询中正确定位了多少个查询，而这些查询是通过拷贝问题检测到的。根据实验结果，大多数算法都能很好地处理定位任务，本文算法也具有很好的定位性能，其平均精度可达97%左右。
4 结论
本文提出了一种基于剪切系数的视频指纹内容拷贝检测算法，将时间信息中的代表性图像作为视频指纹。基于剪切波变换的多尺度、多方向分解特性，设计了基于剪切系数的视频指纹。针对具有四尺度剪切变换的S1和S2的不同类型失真具有很强的鲁棒性，对这些剪切图像的下采样图像采用1位差分编码构造了基于剪切系数的视频指纹。在基于归一化汉明距离的统计评估中，与已知的TIRI-2D-DCT、TIRI-2D-DCT-2AC和TIRI-OSI三种指纹算法相比，该算法具有较高的鲁棒性。此外，通过与基于另外3种拷贝检测系统的比较，对视频检测和定位性能进行评估。实验结果表明，基于剪切系数的视频指纹是一种鲁棒的视频指纹，具有较强的识别能力和对多种视频拷贝攻击的鲁棒性。本文算法能达到约0.99的F1平均得分，假阳性率＜0.01%，平均定位精度约97%。
参考文献
[1] Ashok Kumar R, Kaliyaperumal G.Optimal fingerprint scheme for video on demand using block designs[J]. Multimedia tools and applications,2012,61(2):389-418
[2] Kim S, Lee SH, Ro YM. Rotation and flipping robust region binary patterns for video copy detection[J]. Journal of visual communication & image representation, 2014,25(2):373-383
[3] Zahedi M, Ghadi OR. Combining Gabor filter and FFT for fingerprint enhancement based on a regional adaption method and automatic segmentation[J]. Signal, image and video processing, 2015,9(2):267-275
[4] Yuan F,. Po LM, Liu MY, et al. Shearlet Based Video Fingerprint for Content-Based Copy Detection[J]. Journal of Signal and Information Processing, 2016,7(2):84-97
[5] Amerini I, Caldelli R, Del Mastio A, et al. Dealing with video source identification in social networks[J]. Signal Processing. Image Communication: A Publication of the the European Association for Signal Processing, 2017,57(4):1-7
[6] Li YM, Po LM, Xu XY, et al.No-Reference Image Quality Assessment with Shearlet Transform and Deep Neural Networks[J]. Neurocomputing, 2015,154(12):94-109
[7] Guzamn J, Feregrino C, Morales-Sandoval M, et al.A robust and low-cost video fingerprint extraction method for copy detection[J]. Multimedia tools and applications, 2017,76(22):24143-24163
Detection for Video Fingerprint Content Copy Based on Cut Coefficient
SU Zhi-xian
Zhejiang College of Security Technology, Wenzhou 325016,China
Abstract: Copy detection technology is widely used in copyright control to protect unauthorized use of digital video, the key is how to extract reliable video fingerprints. In this paper, a video fingerprint content copy detection algorithm based on shear coefficient is proposed. Video image attack experiments are carried out using TREC VID2018 and Inria Copy Days data sets, and compared with other classical algorithms. The experimental results show that the proposed algorithm is robust to most attacks. The average score of F1 was about 0.99, the false positive rate was less than 0.01%, and the accuracy of location was 97%.
Keywords: Video fingerprint; shear coefficient; shear wave
中图法分类号:TP391
文献标识码:A
文章编号:1000-2324(2019)04-0630-04
收稿日期:2018-06-12
修回日期:2018-07-25
基金项目:浙江省教育厅一般科研项目:“城市视频监控”智慧运维管理平台构建研究(Y201839383)
作者简介:苏志贤(1988-),男,硕士,讲师,主要研究方向为智能视频监控技术的应用. E-mail:297004967@qq.com
标签：视频指纹论文; 剪切系数论文; 剪切波论文; 浙江安防职业技术学院论文;