天津市南开医院放射科 天津市 300100
摘要：在大数据时代背景下，医学影像数据也迅速积累，基于神经网络的深度学习算法日渐成熟，特别是卷积神经网络，已经迅速成为分析医学图像的重要方法，为实现医学影像的自动分析及辅助诊断提供了新的契机。本文综述深度学习算法在医学影像学的最新研究进展。首先，介绍深度学习算法的模型及框架，及其在医学影像学中的应用，并从深度学习应用最多的几个类型及领域具体分析研究进展，最后，总结研究动向，预测研究趋势，并提出深度学习在医学影像研究中可能存在的问题及建议。
1 研究背景
当前，数据已经渗透到每一个行业领域，且每时每刻都会产新鲜数据，人们对于海量数据的挖掘、运用以及决策，比以往更加紧迫。大数据包括5个特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）、Veracity（真实性）。生物医学也正加速进入大数据时代【1-3】，而医学影像大数据则是量级最大的，是由DR、CT、MR等医学影像设备所产生并存储在PACS系统内的大规模、高增速、多结构、高价值和真实准确的影像数据集合，与医院信息系统（HIS）大数据、检验信息系统（LIS）大数据和电子病历（EMR）等同属于医疗大数据的范畴。
随着技术的发展，医学影像设备能以更快地速率和更强大的分辨率来收集数据，这些数据大多要进行人工分析，人工分析的缺点很明显，容易导致漏诊和误诊。另外，目前我国医学影像数据的年增长率约为30%，而放射科医师数量的年增长率约为4.1%，其间的差距是23.9%，放射科医师数量增长远不及影像数据增长。这意味着放射科医师在未来处理影像数据的压力会越来越大，甚至远远超过负荷。利用分析工具对许多诊断任务进行初始过滤来筛选异常，并可以量化测量值和时间的变化，对改善诊断质量和减轻医生负担起到至关重要的作用，在这些工具当中，深度学习被迅速的证实了其优越性及准确性，并以一种前所未有的速度不断发展【4】。
本文首先介绍深度学习算法的模型及框架，及其在医学影像学中的应用，并从深度学习应用最多的几个类型及领域具体分析研究进展，最后，总结研究动向，预测研究趋势，并提出深度学习在医学影像研究中可能存在的问题及建议。
2 深度学习算法的模型
深度学习算法是对神经网络的进一步改进，包含了更多的计算层，在医学影像处理中使用到的深度学习模型主要有，SAE、RBM、DBN、CNN、U-net及FCNN。
2.1神经网络
神经网络是一种模仿生物神经网络的结构和功能的数学模型，是深度学习算法的基础架构。神经网络由大量的节点（或称神经元）之间相互联接构成，每个节点代表一种特定的输出函数，称为激励函数（activation function），每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。1986年由Rumelhart和McClelland为首的科学家提出的BP神经网络，即多层前馈型神经网络，是最经典、使用最广泛的神经网络模型。很长时间以来，神经网络都难以训练，直到2006年Hinton和bengio展示了一种无监督学习及有监督学习堆叠起来的多层深度神经网络，得到了很好的性能表现【5】。神经网络已经被用于解决各种各样的问题，例如机器视觉和语音识别，这些问题都是很难被传统基于规则的编程所解决的【6】。
2.2 AE、RBM及DBN
自动编码器（AE）【7】、限制玻尔兹曼机（RBM）【8】以及RBM堆叠后得到的深度信念网络（DBN）都是在深度学习领域广泛使用的基础性结构。它们都作为无监督学习的模型，通过最小化重构误差，提取系统的重要特征，自动对输入数据进行分类；更重要的是，通过多层的堆叠和逐层的预训练，层叠式自动编码器和深度信念网络都可以在后续监督学习的过程中，帮助整个神经网络更好更快地收敛到最小值点，完成分类任务。
2.3 卷积神经网络CNN
卷积神经网络（CNN）由一个或多个卷积层和全连接层（经典的神经网络）组成，自2012年以来，在图像分类和图像检测等方面取得了巨大的成就和广泛的应用【9】。卷积神经网络是一种前馈型神经网络，强大之处在于它的多层结构能自动学习特征，并且可以学习到多个层次的特征。较浅的卷积层感知域较小，学习到一些局部区域的特征，较深的卷积层具有较大的感知域，能够学习到更加抽象一些的特征。这些抽象的特征对分类很有帮助，可以很好地判断出一幅图像中包含什么类别的物体，但是因为丢失了一些物体的细节，不能很好地给出物体的具体轮廓、指出每个像素具体属于哪个物体，因此做到精确的分割就很有难度。在随后的几年里，使用相关技术但更深的神经网络架构得到迅速发展【10】，在计算机视觉领域，深度卷积神经网络已经成为了必不可少的技术。
2.4 全卷积网络FCNN
2014年，加州大学伯克利分校的Long等人提出全卷积神经网络（FCNN）【11】。FCNN是将传统CNN中的全连接层转化成一个个的卷积层，并利用卷积神经网络的反向传播原理及学习能力，得到较准确的图像分割结果。FCNN无需全连接层即可进行密集的像素预测，使用这种方法可以生成任意大小的图像分割图。之后，图像语义分割领域几乎所有的先进方法都以该模型为基础。
2.5 U-Net
U-Net是 Olaf Ronneberger等在 2015 年提出的网络结构，并在2015年世界细胞跟踪与识别挑战赛中取得了第一名【12】。U-Net的基础就是全卷积神经网络，不同于FCNN，U-Net较浅的高分辨率层用来解决像素定位的问题，较深的层用来解决像素分类的问题，将浅层特征图与深层特征图结合，用于图像分割及边缘检测。
3、深度学习算法在医学影像学中的应用
疾病诊断是深度学习在医学上的主要应用之一。它基于患者的疾病相关数据，经深度学习模型预测异常病变或发病风险。在医学影像方面，通过对图像的分类、定位以及分割和检测等方法的组合应用可以对2D和3D医学影像数据进行辅助诊断和分析。自动化的疾病辅助诊断能更快地处理数据，为医师提供参考，且其判断不易受到主观因素的干扰，在减轻医师工作负担的同时提升效率和诊断准确率。目前，应用深度学习算法进行辅助诊断已经涉及到了多个解剖领域，如脑、眼、肺、乳腺、心脏、腹部
3.1 脑
脑部的解剖图像主要来源于CT、MRI、功能MRI以及正电子发射断层扫描（PET），很多生物医学工程的科学家利用这些成像工具并结合深度学习模型从图像中提取特征。目前，大量的研究涉及阿尔茨海默氏病的分类、脑组织和解剖结构（如海马体）的分类，以及其它重要病变的识别和分割，如神经胶质瘤、白质病变、脑梗死及脑出血。阿尔茨海默病（AD）又是一种起病隐匿的进行性发展的神经系统退行性疾病，最常见的临床特征是患者在晚年陷入痴呆状态。我国已经进入老龄化社会，而在接下来的20 年里，估计患病人数将增加一倍，到2050年大概每85个人中将有一人患此病。由于患病人数激增，AD患者的护理费用急剧上升，对AD的早期诊断和治疗越来越重要，而深度学习成为辅助诊断的重要手段。Payan 等【13】基于SAE进行预训练，提出了一种用于 AD 诊断的 3D 卷积神经网络。Hosseini-ASL E等【42】提出了一种新的深度监督自适应 3D-CNN 网络，该网络自动提取识别 AD 特征，捕获由 AD 引起的变化，包括脑室大小、海马形状及皮质厚度。
3.2 乳腺
乳腺的辅助诊断是神经网络应用最早的领域之一，最近，科学家们的兴趣又开始回归【43】，使得乳腺影像的分割与识别技术显著提高，几乎实现了人类专家对乳腺影像感兴趣区域进行分割的表现。
期刊文章分类查询,尽在期刊图书馆由于大多数乳房成像技术都是二维的，所以在自然图像分割和识别中成功的方法很容易被转移到乳腺图像上。但仍面临三个巨大挑战：（1）对类肿瘤病变的检测和分类；（2）检测和分类微钙化点；（3）乳腺癌风险评分。
目前，国内外都有针对乳腺癌的筛查措施，应该有大量的数据可供使用。但不幸的是，公共医学影像数据并不可用，因此，监督式的深度学习模型很难快速发展，许多论文使用的是小数据集，导致了性能不高。一些项目通过探索半监督学习、弱监督学习，以及转移学习【14】，来改善模型性能。
当大数据集可用时，可以获得更好的结果。在2016年的SPIE医学影像会议上，乳腺X线成像CAD领域一家领先公司的研究人员宣布，他们使用AlexNet（基于CNN模型，2012年ImageNet图像识别大赛冠军模型），在公司专有的大型数据库上进行训练，多年前就已经获得了一个性能优于手工提取特征的系统【15】。
3.3 肺
肺癌是目前发病率和死亡率最高的恶性肿瘤之一，肺癌筛查方法是依靠传统的X线胸片、CT、痰脱落细胞及纤维支气管镜等，而胸部X线及CT是最常见的放射学检查，一些研究使用大量的X线胸片和文本报告来训练系统，这些系统结合了CNN的图像分析和RNN的文本分析。在最近的一项针对肺结节CT检测的挑战中，基于CNN架构的LUNA16模型被所有的顶级深度学习系统所使用，这个系统仍然依赖于传统的基于规则的图像处理系统对结节进行候选，但是使用深层神经网络进行候选检测的系统譬如Unet，执行得也很好。目前，完全由计算机通过CT来估计个体是否患有肺癌的几率仍然是一个重要的课题，在2017年Kaggle 的数据科学大赛中，就有超过1000个参赛队伍，针对这个主题来争夺100万美金的奖励。
3.4 心脏
深度学习已经应用到心脏图像分析的许多方面，MRI是最常见的研究形式，左心室分割是最常见的任务，还包括冠状动脉中心线跟踪、图像质量评估以及自动钙化积分。大多数论文涉及的都是简单的2D CNN，Poudel等人【16】将CNN和RNN结合，在Unet模型中引入了一种重复的连接，通过切片来分割左心室，并不断学习用于下次分割。这一领域最大的挑战是2015年的Kaggle数据科学大赛中，目标是在心脏MRI中自动测量收缩压和舒张压。192个参赛队参加了20万美元的奖金竞赛，排名最高的参赛队伍都使用了深度学习，特别是CNN或u-net。
3.5腹部
腹部的深度学习应用发展有限，目前大部分都是用来对肝脏、胰腺、肾脏、膀胱和前列腺等脏器进行定位和分割，主要的成像形式仍然是CT和MRI，尤其是肝脏CT肿瘤的分割以及前列腺MRI的分析涉及的最多。在SLIVER07的肝脏分割和PROMISE12的前列腺分割挑战赛上，绝大部分应用仍然使用半自动或交互的方式进行分割，直到2016年CNN才开始占据排行榜的榜首。
4 总结
综上所述，我们可以很明显的看出，深度学习已经渗透到了医学影像学中的各个方面，而且正以惊人的速度发展，从2016年1月至2017年1月全世界有242篇论文涉及深度学习及各种学习模型。事实上，一些经过训练的网络可以直接下载并应用到医学图像上，这也促进了深度学习在医学影像学中的应用。
深度学习应用于生物医学数据的分析和诊断也存在一些问题：（1）模型不易分析，这是神经网络模型的通病．即在得到效果优秀的模型之后，要分析不同数据特征在该模型中的重要程度并不容易，即黑盒子；（2）数据量巨大，深度学习模型由于复杂的模型结构，数据量少时容易出现过拟合现象，而能提供的有标签数据很少，即有监督的学习算法实施起来很困难，为深度学习模型的训练增加了难度；（3）运算开销大，深度学习模型规模大，训练时对内存和CPU及GPU都有较高要求，且模型训练时间长，因此对硬件环境要求较高；（4）深度学习并没有实现全智能，它没有人类的思维，因此在应用上很难代替人类医生，毕竟深度学习的研究依赖的是大量的已有数据样本，而对于疾病而言，它的变异性往往是不可控的。
尽管困难重重，但是结合当前医疗改革的趋势，可以预想深度学习在医疗方面的应用也将会有更大的需求；并且随着深度学习方法的更加精准完善，相信基于深度学习的医疗诊断技术完全可以克服这些困难。
参考文献：
[1]Genomes Project C，Auton A，Brooks LD，et al. A global reference for human genetic variation. Nature，2015，526（7571）：68-74.
[2]Consortium EP. The ENCODE（ENCyclopedia Of DNA Elements）Project. Science，2004，306（5696）：636-640.
[3]Chadwick LH. The NIH roadmap epigenomics program data resource. Epigenomics，2012，4（3）：317-324.
[4]董可男，王楠. 智能医疗时代的曙光 - 人工智能+健康医疗应用概览. 大数据时代，2017，4.
[5]Bengio，Y.，Lamblin，P.，Popovici，D.，Larochelle，H. Greedy layer-wise training of deep networks. In：Advances in Neural Information Processing Systems. 2007，153–160.
[6]张方圆，郁芸等. 人工神经网络在临床医学中的应用. 北京生物医学工程，2016，4：422-428+434.
[7]Vincent，P.，Larochelle，H.，Lajoie，I.，Bengio，Y.，et al. Stacked denoising autoencoders：Learning useful representations in a deep network with a local denoising criterion. J MachLearn Res 11，3371–3408.
[8]Hinton，G. A practical guide to training restricted Boltzmann machines. Momentum，2010，9（1），926.
[9]Krizhevsky，A.，Sutskever，I.，Hinton，G. Imagenet classification with deep convolutional neural networks. In：Advances in Neural Information Processing Systems. 2012，1097–1105.
[10]Liu，Y.，Gadepalli，K.，Norouzi，M.，Dahl，G. E.，et al. Detecting cancer metastases on gigapixel pathology images. 2012.
[11]Long，Jonathan，Evan Shelhamer，and Trevor Darrell. “Fully convolutional networks for semantic segmentation.” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015.
[12]O. Ronneberger，P. Fischer，and T. Brox，“U-net：Convolutional networks for biomedical image segmentation，” in MICCAI. Springer，2015，234–241.
[13]Payan A，Montana G. Predicting Alzheimer's disease：a neuroimaging study with 3D convolutional neural networks. arXiv：2015，1502.02506.
[14]Hwang，S.，Kim，H. Self-transfer learning for fully weakly supervised object localization. arXiv：2016，1602.01625.
[15]Fotin，S. V.，Yin，Y.，Haldankar，H.，Hoffmeister，et al. Detection of soft tissue densities from digital breast tomosynthesis：comparison of conventional and deep learning approaches. Medical Imaging，2016，9785.
[17]Poudel，R. P. K.，Lamata，P.，Montana，G. Recurrent fully convolutional neural networks for multi-slice MRI cardiac segmentation. arXiv：2017，1608.03974.
论文作者:窦瑞欣
论文发表刊物:《中国误诊学杂志》2017年第25期
论文发表时间:2018/2/2
标签：神经网络论文; 深度论文; 数据论文; 卷积论文; 模型论文; 医学影像论文; 图像论文; 《中国误诊学杂志》2017年第25期论文;