（1.东北石油大学软件学院；2.东北石油大学计算机与信息技术学院，黑龙江 大庆 163318）
基金课题：黑龙江省大学生创新项目（201810220033）：基于人工智能的鲜花识别系统的研究与实现
摘要：在线序贯极限学习机在训练过程中易产生奇异矩阵，导致过拟合引发模型泛化能力下降的问题，本文提出一种基于正则化在线极限学习机OS-ELM算法。初始训练阶段引入正则化因子，降低模型对隐含层节点的依赖程度。该算法可以使OS-ELM避免产生奇异矩阵，有效地提升模型的分类以及泛化能力。仿真实验表明该算法具有可靠的稳定性以及较高的分类精度和泛化能力。
关键词：在线序贯极限学习机；奇异矩阵；过拟合；正则化
1引言
极限学习机（Extreme Learning Machine，ELM）是Huang G.B等人[1]于2004年提出来一种快速神经网络学习算法。相比于传统的前馈神经网络学习算法，训练过程不需要反复地进行调整，即可完成对神经网络的快速学习和训练。但ELM对输入权重和隐含层节点偏置的随机初始化、隐含层节点个数的难以确定，使得其性能变得极其不稳定，导致预测的精度不高。为此，Liang等人[2]提出在线序贯极限学习机算法OS-ELM。OS-ELM在一定程度上改善上述问题，模型的预测精度有所提高且性能更加稳定，但在训练过程中，由于很难确定隐含层节点的个数，会得到一个幅值很大的输出，导致过拟合的出现，使得模型的泛化能力下降。为了解决这一问题，本论文提出了基于正则化的在线序贯极限学习机（OS-ELM based on Regularization，R-OS-ELM）算法，通过引入正则化因子，降低模型对隐含层节点的依赖程度，避免因奇异矩阵而导致的过拟合问题，有效地提高模型的分类能力与稳定性。
2在线极限学习机OS-ELM模型算法
3实验
3.1实验数据
在本实验中，首先选用了UCI数据库中的标准数据集Wine、Banknote authentication验证模型的分类性能。此外，为了验证改进算法在实际应用中的性能表现，本文还将其应用于花卉图像识别分类任务中，采用图像数量为5000张的花卉图像数据集，其中包括玫瑰花、向日葵、百合、梅花、水仙共5中花卉图像各1000张。
3.2实验结果
分别利用ELM、OS-ELM以及R-OS-ELM这3种算法对每个数据集进行3次实验，最后取3次实验结果的平均值用于分析，其中Wine、和Banknote 数据集以及花卉数据集用于分类任务，以准确率为评价指标。实验结果如下表所示：
表1 Wine和Banknote数据集测试结果（分类）
表2 花卉数据集测试结果（分类）
由表1、表2可知，无论在分类任务中还是回归任务中，ELM、OS-ELM、R-OS-ELM的性能表现依次呈递增状态，即OS-ELM和R-OS-ELM的性能较传统的ELM均有明显的提高，并且加入正则化机制后的R-OS-ELM算法在3种算法中分类的精度最高并且性能最稳定。
4结语
本文针对ELM算法，利用正则化机制能够产生稀疏解的特点，对传统算法做出改进，提出了基于正则化的在线序贯极限学习机算法。该算法通过在OS-ELM的初始训练阶段引入正则化因子，以降低模型对隐层节点的依赖程度，这样不仅可以解决由于ELM对输入权重和偏置的随机初始化以及隐层节点个数的难以确定而导致的稳定性不高的问题，同时还可以解决OS-ELM在训练过程中容易产生奇异矩阵而使得模型泛化能力下降这一问题，有效地提高ELM模型的预测的精度以及泛化能力。
参考文献
[1]Guang-Bin Huang,Qin-Yu Zhu,Chee-Kheong Siew. Extreme learning machine: Theory and applications[J]. Neurocomputing,2005,70(1).
[2]LIANG N Y,HUANG G B,SUNDARARAJAN P. A fast and accurate online sequential learning algorithm for feedforward networks［J］．IEEE Transactioins on Neural Networks,2006,17( 6):1411-1423．
[3]杜占龙,李小民,郑宗贵,张国荣,毛琼.基于正则化与遗忘因子的极限学习机及其在故障预测中的应用[J].仪器仪表学报,2015,36(07):1546-1553.
[4]王权,陈松灿.基于l_1-正则化的ELM回归集成学习[J].计算机研究与发展,2012,49(12):2631-2637.
[5]楚永贺. 极限学习机算法在分类问题中的研究与应用[D].辽宁师范大学,2017.
[6]尹钊,贾尚晖.Moore-Penrose广义逆矩阵与线性方程组的解[J].数学的实践与认识,2009,39(09):239-244.
[7]杨晶晶.在线极限学习机及其在图像识别中的应用[J].电子产品世界,2012,19(04):64-67
作者简介：姚玉军（1997—），男，黑龙江齐齐哈尔人，大学本科。主研领域：机器学习与深度学习；通信地址：黑龙江省大庆市龙凤区东北石油大学。
肖芷翊（1998—），女，湖北宜昌人，大学本科。主研领域：机器学习与深度学习；通信地址：黑龙江省大庆市龙凤区东北石油大学。
刘志刚（1979—），男，吉林蛟河人，副教授 /博士。主研领域：机器学习与深度学习；通信地址：黑龙江省大庆市龙凤区东北石油大学。
论文作者:姚玉军1 肖芷翊1 刘志刚2
论文发表刊物:《知识-力量》2019年3月下
论文发表时间:2019/1/21
标签：算法论文; 正则论文; 在线论文; 学习机论文; 模型论文; 极限论文; 节点论文; 《知识-力量》2019年3月下论文;