摘要：为了全面提高RPN网络提取预选框的召回率(recall)，提出一种全新优化RPN网络的算法，首先，使用深层网络特征图训练一个RPN网络，称之为深层RPN，其次，使用浅层网络特征图训练一个RPN网络，称之为浅层RPN，最后，通过弱化的非极大值(soft-NMS)算法将深层RPN和浅层RPN输出的预选框进行融合，从而，全面提高预选框的抓取潜在目标的能力。基于PASCAL VOC数据集的训练和测试实验表明，该优化后的预选框提取网络比RPN提取预选框的召回率提高7%。
关键词：召回率；RPN；预选框；特征图
随着卷积神经网络[1]统领整个目标检测领域，以Faster R-CNN[2]为代表的“two-stage”目标检测算法大放异彩，其中，提取预选框尤为重要，Selective Search[3]通过图片区域颜色、纹理和大小的相似性进行区域迭代合并，提取最终区域的外切矩形框就是需要的预选框。Edge Boxes[4]通过结构化方法检测图片中目标的可能边缘，集合某种策略将边缘合成若干个区域，通过区域的某种相似性，计算出预选框。上述两种算法利用输入图片自身的属性，能有效地提取预选框，但是需要消耗大量时间，于是，利用卷积神经网络的提取预选框算法RPN应运而生，通过两个1×1的卷积神经网络，分别输出整张图片中预选框的坐标和预测分数，该方法能在极短的时间内提取预选框，为实现实时目标检测做出巨大贡献。
一般而言，基于基础卷积神经网络第四层输出的特征图训练RPN网络，但是该特征图相较输入图片进行了16倍降采样，造成大量小尺寸目标的特征图消失，极大影响了提取预选框的召回率，从而造成整个目标检测算法的准确率降低，针对该问题，本文提出使用更浅层特征图来训练RPN，减少潜在目标丢失（尤其小尺寸目标）的可能性，将浅层RPN和深层RPN输出的结果通过弱化的非极大值抑制算法融合，并且，在此过程中，提出一个语义增强网络，用于增强浅层RPN分类性能不足的问题，最终，大幅提高预选框网络的召回率。
1.基于RPN优化的预选框提取网络
虽然Ren S等人的RPN提取预选框算法相较传统的算法速度大幅提升，并且能更有效抓取潜在目标，但是由于基础网络大幅降采样，造成大量小尺寸目标的特征图消失。本文提出一种基于RPN优化的提取预选框算法，基于基础网络第四层输出的特征图训练一个深层RPN，基于基础网络第三层输出的特征图训练一个语义增强的浅层RPN，最后两个RPN输出的预选框通过soft-NMS[6]算法融合。
1.1语义增强网络
在试验中发现直接将基础网络第三层输出的特征图训练一个浅层RPN，会造成该RPN的分类能力极差，为了提高浅层RPN的分类能力，本文提出一个语义增强网络，能有效提高浅层网络输出特征图的语义。
1.2损失函数
本文分别需要训练深层RPN和浅层RPN，采用分步训练的方案，先分别单独训练好两个RPN，最后将其模型参数进行合并即可，且训练深层RPN和浅层RPN使用相同的损失函数，损失函数如下。
(1)
上式中i表示第i个anchor，pi是第i个anchor为目标的预测概率，若该anchor是目标则pi为1，反之则pi为0，ti为一个四维向量，为预选框的参数化坐标，ti*表示正样本anchor相关联的参数化坐标，Lcls表示二分类交叉损失函数，Lreg是用于预选框坐标回归的smooth L1损失函数。
2.实验结果及分析
为了验证优化算法的有效性，采用NVIDIA GTX 1070Ti GPU、Intel Corei7-7700K CPU、16G DDR4 ROM和Ubuntu16.04系统的工作站，基于PASCAL VOC数据集进行训练和测试，将其与国内外先进的预选框提取算法进行比较，以下是几种算法实验比较结果。
图3召回率与IoU折线图，左图：选取测分数最高的50个预选框；中图：选取预测分数最高的100个预选框；右图：选取预测分数最高的200个预选框
由图3的结果表明，本文的预选框(Dual RPN)算法表现最佳，尤其，针对左图，选取预测分数最高的50个预选框，设置IoU阈值为0.5，进行评估发现，本文提出的预选框算法实现94.4%的召回率，比RPN高10.4%，比Selective Search高41.4%，比Edge boxes高38.4%。对于中图和右图，评估预测分数最高的100个预选框，随着IoU阈值增加，发现本文基于RPN优化的提取预选框(红色曲线)算法始终比RPN、Selective Search和Edge boxes有更加优秀的预选框提取效果。
3.结论
本文基于RPN提出一种新的预选框提取算法，采用基础网络第四层输出的特征图训练一个RPN网路，称之为深层RPN；利用基础网络第三层输出的特征图训练另外一个RPN网络，为了解决第三层特征图语义信息不足的问题，提出一个由3个3×3×512卷积模块组合而成的语义增强网络，用于增强第三层特征图语义；采用弱化的非极大值抑制(soft-NMS)算法融合来自两个RPN网络的预选框。最后，基于PASCAL VOC数据集，通过统计不同IoU阈值下各预选框算法的召回率实验表明，本文提出的基于RPN的优化算法能较大幅度提高提取预选框能力，能更加有效地抓取图像中的潜在目标。
参考文献
[1]Lecun Y L , Bottou L , Bengio Y , et al. Gradient-Based Learning Applied to Document Recognition[J]. Proceedings of the IEEE, 1998, 86(11):2278-2324.
[2]Ren S, He K, Girshick R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[C] International Conference on Neural Information Processing Systems. 2015
论文作者:司凤洋
论文发表刊物:《信息技术时代》2018年8期
论文发表时间:2019/4/9
标签：算法论文; 网络论文; 特征论文; 语义论文; 目标论文; 浅层论文; 卷积论文; 《信息技术时代》2018年8期论文;