陕西中国旅行社 陕西省西安市 710000
摘要: 本文基于经典的残差网络结构，提出一种改进后的残差模块。该结构可以在不增加网络深度的前提下，提取更多的样本特征，从而提升网络性能。以MNIST手写字体库为训练集，使用tensorflow做为机器学习库，在GPU上训练模型。实验结果表明，改进后的残差模块可以更好的提出网络特征，从而提高预测的准确度。
关键词：图像处理；卷积神经网络；残差神经网络
概述
卷积神经网络通过使用局部感受野、权重系数共享、池化技术等手段，解决了传统的全连接神经网络中网络参数过多，难以训练的问题。2015年，微软在研究分析卷积神经网络的基础上，提出一种残差网络模型，该模型可以极大加深网络深度。本文在分析残差网络结构的基础上，针对残差模块表达能力不够的问题，提出一种改进算法。该算法可以在不增加网络深度的前提下，提取更多的样本特征，从而提升网络性能。
1 残差神经网络
残差神经网络的产生主要基于以下两点：网络的最终输出是在样本实际值的基础上加上一个微小的扰动，反向传播的就是这个扰动值。扰动值的大小一般很小，容易落入神经元激活函数的饱和区，使网络训练变的缓慢甚至无法训练[2]；在一个浅层网络叠加多个恒等映射层形成新的深层网络，其性能应该不会比浅层网络更差。但实际实验中不存在这样的深层网络，说明用多层神经网络表示恒等映射是很困难的。
设网络的学习目标是映射函数H(x)，残差网络的思想是使得网络的学习目标不再是H(x)，而是一个残差值F(x)=H(x)-x。网络的最终输出由残差值F(x)和原始输入x相加而成。
残差网络重点关注扰动值的变化。而扰动值是一个非常微小的变量，很小的变化就会带来很大的变化率，这就使网络变的更敏感。残差网络中另外一种被称为bottleneck的残差模块可以在不增加网络参数数量的前提下，有效提高网络的深度，从而提高网络性能。
2 改进残差模块
残差神经网络解决了深度网络难以训练的问题，在很多场景中表现优秀，但是该网络仍然有一些不足：
1) 为了增加网络深度采用的bottleneck模块需要有升维和降维操作，这些操作会导致输入数据中部分信息丢失；
2) 神经网络中，每层神经元的数量对网络性能也有很大影响，残差网络致力于增加网络深度，使用的卷积核过于单一，无法从多个维度提取样本特征；
针对上述问题，本论文提出一种改进后的残差神经网络，该网络可以在利用残差网络现有优势的基础上，增加对样本数据的观察维度，从而提取更加丰富的样本特征。改进后的残差模块如图1所示。
图1 改进后的残差神经网络示意图
网络输出由一个残差网络和一个恒等映射模块叠加而成。与经典残差网络的区别在于，卷积层水平扩展了多个不同尺寸的卷积核。图3.3的示例中使用了3*3和5*5两种不同尺寸的卷积核，不同尺寸的卷积核可以使网络同时观察到样本不同的特征，从而使得卷积核收敛到不同的值。
期刊文章分类查询,尽在期刊图书馆需要说明的是，同一层中，卷积核的个数是不做限制的，即可以设置N个相同尺寸的卷积核[1]。不要求每种类型卷积核的个数相同，因为不同类型的输入数据，对不同尺寸的卷积核敏感。
3 实验与结果分析
3.1 网络结构
输入数据首先经过残差模块，然后再经过两个全连接模块后输出。全连接模块由2个全连接层组成。第一层有1024个神经元，采用LeRU激活函数，并以p=0.5的概率进行随机弃权操作；第二层有10个神经元，采用softmax激活函数。
3.2 改进残差模块的性能提升
为了验证本文提出的改进残差模块的性能，我们用改进后的残差模块搭建多层神经网络，并与经典残差网络比较。每两个卷积层构成一个残差模块，为了突出对比，经典残差网络中，我们使用卷积层的概念而非残差模块。实验结果见表2。
表1 改进残差网络与经典残差网络结果比较 表2 卷积核分布对网络性能的影响
从表1中可以看出，深度神经网络的性能在开始阶段随着网络深度的增加而增加。在深度达到某个阈值后，网络性能开始下降，这种性能的下降从一个方面印证了深度网络难以训练这一特性。对比同深度下不同网络的准确率可以发现，改进后残差网络因为提取了更多的样本特征，所以有更高的准确率。
3.3 卷积核对性能的影响
在固定使用3个残差模块的基础上，改变卷积核的分布特性，从而研究不同卷积核对网络性能的影响。结果如表2所示。
表中“(1*1,8)*1, (3*3,12)*1, (5*5,12)*1”表示感受野1*1、8通道的卷积核一个，感受野3*3、12通道的卷积核一个，感受野5*5、12通道的卷积核一个。
对比表中1、3两行，用3*3感受野的卷积核代替1*1感受野的卷积核后，网络性能有小幅度提升，因为3*3的感受野融合了原始输入中的部分像素，从而可以更有效的表达输入信息。对比1、4两行，第4行相当于网络每层的神经元数量扩大一倍，网络中的自由参数变多，导致网络的泛化能力降低，说明单纯增加网络宽度不会带来性能的提升。对比1、2两行，使用5*5感受野的卷积核代替1*1感受野的卷积核后，网络性能提升不如第3行明显。因为在28*28像素大小的平面上书写一个阿拉伯数字，大部分笔画的变化特征局限在一个很小的范围内，5*5的像素大小相对于数字中包含的特征变化来说过于不敏感，所以对网络准确率的提升效果不如3*3感受野的卷积核。对比1、5两行，其中第5行相当于原始的残差网络，可以看出，本文提出的改进残差网络模块能够提升网络性能。
4 结束语
本文提出一种改进算法在不增加网络深度的前提下，可以有效提取输入样本的特征，从而是使网络达到更高的精度，提升网络性能。然后构建不同的神经网络，研究不同网络深度以及不同的卷积核分布对网络性能的影响。实验数据表明，本文提出的改进残差模块与原始残差神经网络相比性能有明显提升，在MNIST数据集上，改进后的网络错误率降低了0.4%。
参考文献
[1] 蒋帅. 基于卷积神经网络的图像识别[D]. 硕士学位论文]. 长春: 吉林大学, 2017.
[2] Schmidhuber J. Deep learning in neural networks: An overview[J]. Neural networks, 2015, 61: 85-117.
论文作者:陈飞
论文发表刊物:《防护工程》2018年第24期
论文发表时间:2018/12/18
标签：卷积论文; 网络论文; 神经网络论文; 模块论文; 性能论文; 深度论文; 样本论文; 《防护工程》2018年第24期论文;