摘要:商业银行是市场经济的参与主体之一,具有盈利性的特征,也是国家金融体系的组成部分,有责任维护金融市场稳定,避免在信贷产品经营中出现系统性风险。信用风险是常见的风险形式,但如果得不到有效控制,也有可能酿成系统风险,因此,商业银行既要完善风险管理体系,又要应用先进的风险评估技术。Bp神经网络是辅助商业银行个人信用评估系统建设的一种技术,其有先进性的一面,也有自身的不足,在实际应用中需要不断改进,才能更好地发挥规避信用风险和提高信贷产品经营质量的效用。
关键词:Bp神经网络;个人信用评估;改进;算法
长期以来,我国传统金融机构的个人信用评估以人工审查为主,即银行组织信审员,依据贷款政策以及申请人的资料,进行人工的信用评分,最后决定是否符合贷款条件。中国人民银行于1999年开始建设个人信用信息基础数据库(征信系统),到2005年已完成与商业银行联网,成为查询个人信用的主要途径。而信用贷款仅依靠征信查询不够全面、准确,因此各家商业银行及互联网金融企业,积极地建设本单位的个人信用评估系统,如引入SAS的风险审批系统、Fairsaac公司的信贷审核决策系统、Bp神经网络模型等。
Bp神经网络是由Rumelhart和McClelland为首的科学家在上世纪80年代提出的概念,是一种按照误差逆向传播算法训练的多层前馈神经网络,即同反向传播算法进行学习,是由正向传播和方向传播组合而成的。它把数学和统计模型用于个人信用评估,具有一定辅助信贷审批的作用。本文在分析常规Bp神经网络的基础上,探索深度Bp神经网络改进方法和应用价值。
1.常规Bp神经网络模型与算法
1.1Bp神经网络模型
Bp神经网络模型是由输入层、隐含层和输出层构成。其中,输入层按照能够体现个人资质的指标来设定,如单位或职务指标、财产或收入指标、失信指标等;隐含层是对应上级指标的考察分项,一般是若干个由人为设定的资料或;输出层是指信用额度或信用评分。
神经网络有模式识别能力、自组织、自识别和自学习等特点的计算机制,其知识编码于整个权值网络,呈现分布式存储,而且有一定的容错能力。通过分类功能找出影响因素作为输入向量X=(x1,x2…,xn),隐含向量Y=(y1,y2,…,yp),Z代表相应综合评估的值,即神经网络的输出值。当算法和隐含层的考察分项设定合理,网络就能以任意精度逼近有界区域上的任意连续函数,形成了有效的Bp神经网络信用评估模型。
1.2Bp神经网络算法
反向传播算法又称Bp算法,是一种由指导学习的算法,应用最快下调法调整权值,可分为两个过程。
(1)正向传播
第一步:隐含层神经元的输入、输出。 j=1,2,…,p。公式中,Wij表示输入层第i个单元与隐含层第j个单元间的联结权重;Oj表示隐含层第j个单元的阈值;p表示隐含层的单元总数,n为输入层单元总数。然后,计算隐含层的单元输出。, 表示隐含层第j个单元的输出,表示激活函数。
第二步:输出层各神经单元的输入、输出。 j=1,2,…,q。公式中,Wij表示输入层第i个单元与隐含层第j个单元间的联结权重;Oj表示隐含层第j个单元的阈值;q表示输入层的单元总数。最后,计算输出层各单元的输出:,表示隐含层第t个单元的输出,表示输出层使用的激活函数。
(2)反向传播
为了隐含层和输出层的权重修正量和阈值误差最小,权重和阈值应沿误差的负梯度方向变化,因此,定义一误差函数:,其中,为对样本模式输出单元的误差函数,为期望输出。
隐含层和输出层各单元的权重修正和阈值修正: 。公式中,表示输出层的调整误差, ;α表示学习速度,是可调节的收敛速度。
隐含层和输入层的权重修正及阈值:;。公式中,表示隐含层的调整误差,;β表示学习速度,用来调节学习的收敛速度。
2.改进的Bp神经网络算法
常规的Bp神经网络的缺点是局部极小和收敛速度的问题,在条件不充分时,也存在完全不能训练的问题,因此需要改进Bp神经网络,即采用深度Bp神经网络算法。改进Bp算法的思路有很多种,启发式学习算法是比较常用的一种,这一算法是通过分析函数梯度来改进算法,可分为有动量的梯度下降法和自适应的梯度下降法。下文阐述将附加动量法和自适应学习率调整法两种相结合,采取自适应学习速率动量梯度下降反向传播算法对网络进行训练。
采用动量法降低了网络对误差局部细节的敏感性,可抑制网络陷于局部极小。常规的Bp算法在修正权值W(k)时,只是按照k时的负梯度方式修正,不能利用之前积累的经验,即以前时刻的梯度方向,导致学习过程中发生振荡,收敛速度缓慢等问题。因此,改进的Bp算法是:
W(k+1)=W(k)+∂[(1−η)D(k)+ηD(k−1)]。公式中,D(k)=表示k时刻的负梯度,D(k-1)表示k-1时刻的负梯度;∂表示学习率,∂>0;η为动量因子,0≤η<1。
学习率决定收敛速度,因而自适应调整学习率可缩短学习时间。常规Bp算法的收敛速度慢与学习率有关,深度Bp神经网络算法首先要采用自适应调整学习率,其特征的准则是:检查权值是否降低了误差函数,若是,则说明选取的学习率值偏小,可增加一个量级;若不是,则较小学习率值。改进方法如下公式所示:W(k+1)=W(k)+∂(k)D(k);∂(k)=2λ∂ (k−1)。公式中,D(k)表示k时刻的权值负梯度;λ表示调整学习参数,取值为1或-1。当连续2次迭代梯度方向相同,说明下降太慢,应当选取参数1,;当连续2次迭代梯度相反,说明下降过快,应当选取参数-1.
深度Bp神经网络算法具有更强的适应性和稳定性,其应用到个人信用评估系统中,一方面,可提高网络收敛速度,速度学习的时间;另一方面可有效抑制网络陷入局部极小,提高系统的稳定性和容错能力。
3.深度Bp神经网络的应用
运用MATLAB将数据标准化并随机抽取一家商业银行的560名优质客户和240名不良客户作为训练集,其余140名优质客户和60名不良客户作为测试集。应用改进BP神经网络算法建模并进行测试,采用Batch处理修改权重。
(1)确定初始权重与初始输入。对输入的初始值进行归一化处理,考察是否达到局部极小和合适的收敛速度。
(2)选择网络层次。采用三层BP神经网络,即输入层、隐含层和输出层,要考虑选择合理的神经元个数和网络训练时间。
(3)确定隐含层神经元个数。依据一般原则,一是,隐含层节点数介于输入和输出节点数之和的53%-70%;二是,隐含层节点数要小于训练样本数,当多余样本数时,可合并一些次要节点。
(4)确定权重的调整公式和训练参数。结合动量的梯度下降法和自适应的梯度下降法,即改进后的计算方法进行信用评估。
(5)训练过程和结果。在训练集随机抽取80%的数据进行训练,并且进行拟合,另外20%的数据作为测试集。使用Train函数来训练创建的Bp神经网络,设置训练步长值为1200,预期误差目标0.165,设定最优隐含层节点数为20。通过运算结果:经过3次迭代后,达到预期误差目标,综合拟合度为96.152%,用于个人信用评估模型比较合理,训练时间较短,精准度较高。
结语
深度Bp神经网络在算法和建模细节上有所改进,提高了信用评估系统的适应性和稳定性,减少了常规Bp神经网络的缺陷。商业银行应用基于深度Bp神经网络建立的信用评估系统进行风险评估,不仅运行效率较高,而且评估准确度更有一定程度的提升。
参考文献
[1]闻新,张兴旺,朱亚萍,李新著.智能故障诊断技术:MATLAB应用[M],北京航空航天大学出版社,2015.09
[2]陈哲贇.统计方法在个人信用评估体系上的应用[D],华东师范大学,2012
[3]高泽斌,白倬宁,刘帅,刘秋梅.基于Adaboost-BP神经网络的个人信用评估研究[J].建筑科技,2017(14)
[4]张冠珠,刘朝东.改进BP神经网络在个人信用评估系统的应用[J].齐齐哈尔大学学报,2008(5)
项目名称:基于深度Bp神经网络的个人信用评估研究,编号:201810378376。
论文作者:王凌飞,徐小玥,吴琼,唐庆星,徐睿杰
论文发表刊物:《基层建设》2019年第2期
论文发表时间:2019/4/11
标签:神经网络论文; 算法论文; 梯度论文; 单元论文; 误差论文; 个人信用论文; 商业银行论文; 《基层建设》2019年第2期论文;