(国电南瑞科技股份有限公司信息系统集成分公司 江苏省南京市 211100)
摘要：当前的深度学习方法使用在基于大型图形处理单元（GPU）的计算机上训练的卷积神经网络（CNN）非常成功。该方法的三个局限性是:1)基于简单的分层网络拓扑结构;2)网络采用人工配置以达到最优效;3)神经元模型的实现在成本和功耗上都比较昂贵。在本文中，评估了使用三种不同的计算架构来解决这些问题的深度学习模型:量子计算来训练复杂的拓扑结构，高性能计算(HPC)来自动确定网络拓扑结构，以及低功耗硬件的神经形态计算。由于目前量子计算机的输入尺寸限制，实验中使用MNIST数据集。结果显示了将这三种架构结合使用来解决上述深度学习限制的能力。结果表明，量子计算机可以在网络复杂度增加的情况下，在可控制的时间内找到高质量的层内连接权值;高性能计算机可以找到最优的基于层的拓扑结构;在低功耗记忆硬件中，神经形态计算机可以表示其他结构的复杂拓扑结构和权值。
关键词：高性能计算；深度学习；计算平台
引言
我们研究的三个平台，量子、高性能和神经形态计算，在处理数据的方式上有很大的不同。选择一个可以同时用于这三个方面的深度学习问题受到每个方面所能支持的数据量的限制。目前D-Wave支持1000个量子位元，这将问题的大小限制在输入和深度学习网络上。MNIST是在深度学习社区[1]中被广泛研究的手写数字集合。这些数字的图像非常小(28×28像素，共784像素)，可以使用1000量子位量子计算机和其他结构进行分析。
虽然多年来已经有许多深度学习方法被提出，但CNN始终在标准数据集上提供最高的精确度，通常是进行此类比较的首选网络。然而，量子体系结构提供了一种不限制层内连接的本机BM表示，这对于传统计算机在计算上是不切实际的。同样，对于神经形态计算机，spiking神经网络提供了一个基于时间的分析模型。一个强连接的BM和一个依赖时间的spiking神经网络与CNN的运作方式都有很大的不同，但是通过与它们各自的平台结合，相信可以增强或加强CNN模型。
1、实验
本研究的目的是探索解决深度学习当前局限性的方法，即复杂的拓扑结构，它们更接近自然，自动配置网络的超参数，并使用神经元和突触本地实现深度学习模型硬件。
本文使用三种架构，量子计算，高性能计算机和神经形态计算以及三种不同的深度学习模型，LBM，CNN和SNN来解决这些问题[2]。
量子方法允许深度学习网络拓扑比传统计算机更复杂。结果显示训练收敛与大量的层内连接，从而开启了使用可以在量子计算机上训练的更复杂拓扑的可能性。对于增加的层内连接没有基于时间的性能损失，但是，可能需要进行更多采样以减少潜在的错误。
HPC对此问题的贡献主要集中在自动开发最佳网络拓扑以创建高性能网络。今天使用的许多拓扑都是通过反复试验方法开发的。这种方法适用于标准研究数据集，因为研究团体可以学习和发布为这些数据生成最高精度网络的拓扑。使用尚未广泛研究的数据集时，这是一个不同的问题。 HPC方法提供了一种优化CNN超参数的方法，在处理新数据集时节省了大量时间。
对该问题的神经形态贡献是提供本机实现和基于低功率忆阻器的硬件以实现SNN。该网络有可能拥有比CNN更广泛的连接以及随着时间的推移动态重建自身的能力。如果我们有一种机制可以找到在这些设备上部署的良好网络解决方案，那么对于神经形态计算机有许多好处（包括健壮性，低能耗和小型设备占用空间），这在当今的实际环境中非常有用[3]。
2、讨论
回顾这三个实验的结果，可以同时使用这三种架构来创建超出我们当前能力的强大深度学习系统。实际上，目前的量子计算机在其可以解决的问题的大小和范围上是非常有限的，但是训练非常复杂的深度学习网络的能力使其具有非常有趣的潜力。
期刊文章分类查询,尽在期刊图书馆它可用于为非常复杂的网络生成权重，这些网络使用当前系统无法解决，从而可能解决更复杂和更具挑战性的问题。然而，量子机器的可扩展性是一个真正的问题。正如我们所观察到的，将输入层的大小限制为1000 qubit严重限制了可以使用此方法分析的问题的大小。我们认为复杂网络的最佳用途可能是CNN中的更高层。这些层通常结合了相当丰富的特征，并且可以从增加的层间连接中获益。这些层通常具有比原始输入更小的输入尺寸，这减轻了该方法的可扩展性问题并且可以提高整体精度。
自动发现最佳深度学习拓扑的HPC方法是一种相当强大且可扩展的功能，但在开发和计算机成本方面相当昂贵。能够在未经研究的数据集（实验科学数据）上使用深度学习方法可以为科学界提供巨大的时间节省和分析收益。
神经形态方法受到缺乏稳健的神经形态硬件和算法的限制，但它具有使用时间分析和极低功率硬件分析复杂数据的潜力。这种方法最引人注目的方面之一是SNN和神经形态硬件的组合，可以分析数据的时间方面。 MNIST问题没有时间成分，但人们可以想象具有图像和时间方面的数据集，例如视频。已经表明CNN方法在图像侧表现良好，也许SNN也可以通过分析时间方面来提供增加的准确度。
3、总结
当前的深度学习网络基于这种人类感知神经模型，并且使用在大型GPU集群上训练的CNN进行了高度优化。 这项技术有助于解决多年来一直挑战研究人员的问题，例如照片中的物体和面部识别。 这些CNN网络的拓扑结构包括具有共享权重和完全连接层的卷积层，没有层间连接，虽然强大，但非常简单。
本文针对深度学习的三个主要限制:1)包含层内连接的复杂拓扑的训练模型;2)自动确定网络拓扑的最优配置;3)在本地硬件中实现复杂拓扑。为了解决这些问题，我们在三个不同的架构上探索了一个简单的深度学习问题:量子计算机、高性能计算机和神经形态计算机。这些体系结构解决了三个问题:量子计算的复杂拓扑结构;基于高性能计算的网络拓扑优化低功耗实现与神经形态计算。
考虑到1000个量子位元的输入大小限制，我们使用MNIST数据集进行评估，并使用最适合架构的神经元模型和拓扑结构:CNN用于HPC;SNN神经形态;量子的BMs。
我们从这三个实验中得到的结果证明了使用这三个架构来解决复杂的深度学习网络的可能性，这些网络目前无法使用冯•诺依曼架构进行训练。
量子计算机实验证明了一个复杂的神经网络，即神经网络。，可以成功地对MNIST问题进行训练。这是量子方法的一个关键优势，为训练非常复杂的网络打开了可能。高性能计算机可以将复杂的网络作为构建块，并对数千个模型进行比较，从而为给定的问题找到性能最佳的网络。最后，将性能最佳的神经网络和权值实现到一个由忆阻器组成的复杂网络中，生成一个低功耗的硬件设备。这种功能在冯•诺依曼架构中是不可行的。这有可能解决比目前通过深度学习可以解决的更复杂的问题。
参考文献：
[1]Y. LeCun, C. Cortes, and C. J. Burges. The MNIST database of handwritten digits, 1998.
[2] S. H. Adachi and M. P. Henderson. Application of quantum annealing to training of deep neural networks. arXiv:1510.06356v1, October 2015.
作者简介：
盛健荣（1980-），男，江苏南通人，工程师，本科，电力自动化、IT基础架构、信息系统优化。
论文作者:盛健荣
论文发表刊物:《电力设备》2019年第9期
论文发表时间:2019/10/16
标签：拓扑论文; 量子论文; 深度论文; 网络论文; 计算机论文; 形态论文; 神经论文; 《电力设备》2019年第9期论文;