摘要：深度学习作为当前信息处理领域的研究热点，目前在医疗、教育、图像处理等领域都展示出了惊人的潜力，本文主要就深度学习常见的卷积神经网络算法，从其各层的基本结构（主要是输入层、卷积层、激励层、池化层、全连接层）进行了简单的介绍，同时对卷积神经网络算法的优缺点进行了讲解。
关键词：卷积神经网络；深度学习；优缺点
引言
卷积神经网络（CNN）发展自神经网络模型，传统神经网络并不适合处理图像等数据，因为传统神经网络中神经元与相邻层上的神经元均有连接，这就意味着处理图像等数据是会遇到大量的计算、或设置大量的参数。为了解决这些问题，卷积神经网络诞生了。
卷积神经网络主要分为以下几层：输入层、卷积层、激励层、池化层、全连接层。
1 各层介绍
1.1 输入层
输入层对数据做一些处理，比如去均值（把输入数据各个维度都中心化为0，避免数据过多偏差，影响训练效果）、归一化（把所有的数据都归一到同样的范围）、PCA降维等等。
1.2 卷积层
对图像和滤波矩阵做内积的操作就是所谓的“卷积”操作。在进一步阐释卷积操作前，先说明几个重要参数：①深度：神经元个数，决定输出的depth厚度。同时代表滤波器个数；②步长：决定滑动多少步可以到边缘；③填充值：在外围边缘补充若干圈0，方便从初始位置以步长为单位可以刚好滑倒末尾位置，使总长能被步长整除。
对图片数据，颜色分为RGB三个通道，分别对应矩阵的第三维三层。下图中卷积神经元有两个（亦即两个滤波器），数据窗口步长为2，填充值为1。那么如何得到最右侧的输出呢？
将标注为深蓝色的3*3矩阵与滤波器对应的通道3*3矩阵做内积相乘（即相同位置的数字相乘），再将所得内积相加，最后加上偏置Bias b0的值（这个Bias b0我没研究清楚，大概是由于类似于数学模型y=ax+b，类比a为滤波器，x为输入数据），即可得到如图第一个输出矩阵的（1,1）元素。
由于步长为2，将深蓝色框整体右移2格，这样再计算内积，得到右侧第一个输出矩阵的（1,2）元素。依次进行下去，直到两个滤波器的计算全都结束，得到最后的输出结果。
1.3 激励层
梯度下降中，sigmoid容易饱和、造成终止梯度传递，且没有0中心化。所以CNN的激励层选用的是ReLU函数进行激励。
ReLU函数其实是分段线性函数，把所有的负值都变为0，而正值不变，这种操作被成为单侧抑制，这使得神经网络中的神经元也具有了稀疏激活性，因为它不存在梯度消失问题，使得模型的收敛速度维持在一个稳定状态，当模型增加N层之后，理论上ReLU神经元的激活率将降低2的N次方倍ReLU。实现稀疏后的模型能够更好地挖掘相关特征，拟合训练数据。
1.4 池化层
在卷积神经网络中，没有必要一定就要对原图像做处理，而是可以使用某种“压缩”方法，这就是池化，也就是每次将原图像卷积后，都通过一个下采样的过程，来减小图像的规模。
1.5 全连接层
全连接层在整个卷积神经网络中起到“分类器”的作用。如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话，全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。在实际使用中，全连接层可由卷积操作实现：对前层是全连接的全连接层可以转化为卷积核为1x1的卷积；而前层是卷积层的全连接层可以转化为卷积核为h*w的全局卷积，h和w分别为前层卷积结果的高和宽。
2 优缺点
2.1 优点
（1）共享卷积核，对高维数据处理无压力
（2）无需手动选取特征，训练好权重，即得特征分类效果好
（3）通过减少与上层神经元的连接减少了很多参数及计算量
（4）一组连接可以共享同一个权重，而不是每个连接有一个不同的权重，这样又减少了很多参数
2.2 缺点
（1）需要调参，需要大样本量，训练最好要GPU
（2）物理含义不明确（不知道没个卷积层到底提取到的是什么特征，而且神经网络本身就是一种难以解释的“黑箱模型”）
（3）可能面临“平移不变性”：稍微改变同一物体的朝向或位置，可能并不会激活那些识别该物体的神经元。
（4）池化层可能导致一些有价值的数据丢失。
参考文献
[1]https://zhuanlan.zhihu.com/p/47184529
[2]http://cs231n.github.io/convolutional-networks/#overview
[3]https://zh.wikipedia.org/wiki/%E5%8D%B7%E7%A7%AF%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C
[4]https://blog.csdn.net/v_JULY_v/article/details/51812459
[5]Survey of convolutional neural network 李彦东 郝宗波 雷航.
论文作者:尚楠 卢茜君
论文发表刊物:《知识-力量》2019年10月43期
论文发表时间:2019/9/27
标签：卷积论文; 神经网络论文; 步长论文; 神经元论文; 数据论文; 内积论文; 矩阵论文; 《知识-力量》2019年10月43期论文;