张红军[1]2002年在《一种新的前馈神经网络训练算法及其在控制中的应用》文中研究指明神经网络控制是智能控制的重要分支，是当前控制领域的研究热点之一。本文主要对前馈神经网络的训练算法及前馈神经网络在自动控制中的应用进行了研究。GEKF算法自从提出以来以其优越的收敛性能得到神经网络界学者的广泛承认，但是由于GEKF算法具有很高的计算复杂度和存储要求，这大大限制了GEKF算法的实际应用。为克服GEKF算法的缺陷而尽可能保留其优势，一些学者基于降低维数和局部化的思想进行了有益的探索，例如DEKF算法和MEKA算法。本文提出了一种新的前馈神经网络训练算法——局部线性化最小二乘算法，它将整个网络的全局参数识别问题看成一系列子系统的局部参数识别问题，并且将局部参数辨识问题转化成递归的线性化最小二乘问题。仿真表明，本文中提出的新算法与DEKF算法和MEKA算法相比，具有基本相同的计算复杂度，但具有更好的收敛性能，其收敛性能与GEKF算法非常接近。 然后，本文将非线性系统鲁棒无模型自适应控制理论与前馈神经网络相结合，提出一种基于前馈神经网络的非线性系统自适应控制方法。在该方法中，使用前馈神经网络作为系统辨识器，应用局部线性化最小二乘算法对前馈神经网络进行在线训练以在运行中快速逼近非线性时变系统，并基于前馈神经网络辨识器来计算出非线性系统的自适应控制律。控制仿真表明，本文提出的非线性系统自适应方法具有计算简单、调节速度快的特点，表现出很强的鲁棒性和抗干扰能力。最后，本文对产生仿真结果的原因进行了简要的分析。
张莉[2]2012年在《几类神经网络的分析与优化及其应用研究》文中认为人工神经网络是人工智能研究领域的重要分支之一，在控制、预测、优化、系统辨识、信号处理和模式识别等方面有广泛的应用。本文分析和研究了几类主要的神经网络模型：进化神经网络、Integrate-and-Fire神经网络以及细胞神经网络，并将其应用于函数逼近、模式识别、数据分类和图像处理。论文的主要研究工作可概括为以下几个方面：1．对无约束全局优化问题，分别将高斯变异和正交杂交用于差分进化算法的变异算子和杂交算子中，给出了一种插值局部搜索算子，提出了嵌入正交杂交和局部搜索的差分进化算法。对20个标准测试函数作了数值实验。与文献中其它差分进化算法的比较结果表明了算法的有效性。由预估-校正法确定前馈神经网络结构的情况下，将改进的差分进化算法和Levenberg-Marquardt （LM）算法相结合，提出了一种混合训练算法，优化前馈神经网络的权值和阈值。将该进化神经网络应用于函数逼近、模式分类和识别问题。2．对同时含有二进制变量和实数变量的非线性优化问题，采用二进制和实数混合编码，在差分进化变异算子中引入异或逻辑运算处理二进制变量，将正交杂交引入到杂交算子中，提出了一种协同二进制—实数差分进化算法。对该算法作了大量的数值测试，并与文献中已有的进化算法作了比较，结果表明了该算法性能优良。将改进的协同二进制—实数差分进化算法和尺度化共轭梯度反向传播算法相结合，构成两阶段训练算法，同时优化前馈神经网络的结构和权值。将该进化神经网络应用于函数逼近和模式分类问题。3．对含有二进制变量和整数变量的非线性离散优化问题，采用二进制和整数混合编码，分别将异或逻辑运算和正交杂交引入到离散差分进化算法的变异算子和杂交算子中，提出了一种协同二进制—整数差分进化算法，对该算法作了大量的数值测试，并与文献中已有算法作了比较，结果表明了该算法的有效性。采用协同二进制—整数差分进化算法，同时进化前馈神经网络的结构和整数权值。将该进化神经网络应用于函数逼近和模式分类问题。4．针对Lapicque提出的Integrate-and-Fire（IF）模型，给出了一种新的侧抑制连接的IF网络模型，并讨论了其输入—输出关系。与以往的IF模型相比，此模型的活动方程被大大简化了。其运行结果很好地拟合了神经细胞的生理特性，尤其是该模型较好地匹配了突触连接的非线性特性。对其点火机制进行了改进，采用异步点火法，这使得网络的适应性有了很大的提高。讨论了指数衰减阈值对高斯白噪声刺激下的IF神经元的影响，主要研究了对点火脉冲时间间隔的均值和标准差的影响。结果显示当阈值衰减缓慢时，不论神经元的点火频率何时与衰减频率相当，脉冲时间间隔的变化系数都能达到最小值。通过改变噪声强度或者输入电流而改变点火频率也可以产生同样的影响。分析了在神经元点火后重新设置膜电位所引起的误差。5．提出了一种具有经典条件反射行为的认知模型，该模型以IF神经元为基本元素，互联形成具有反射弧结构的神经网络，能充分表现经典条件反射对时间的依赖性。计算机仿真显示IF模型能成功地模拟习得、遗忘、刺激间隔效应、阻止和二阶条件反射等现象。6.提出了一种具有暂态混沌的细胞神经网络，该网络是利用欧拉算法将模型的状态方程转化为离散形式，并引入一项负的自反馈而形成的。对单个神经元的仿真发现该模型具有分叉和混沌的特性。在函数优化中，该网络首先经过一个倍周期倒分叉过程进行混沌搜索，然后进行类似Hopfield网络的梯度搜索。由于它利用了混沌搜索固有的随机性和轨道遍历性，因而具有较强的全局寻优的能力。用两个函数优化的例子验证了这种网络的有效性。
许廷发[3]2003年在《GABOR小波神经网络算法及其在灰度图象目标识别中的应用研究》文中研究说明本文主要研究的是Gabor小波神经网络算法及其在灰度图像目标识别中的应用。研究涉及神经网络理论、小波分析理论和小波神经网络理论及其它们在目标识别中的应用技术。论文以基于多CPU神经网络目标识别系统的设计与实现为宗旨，在理论和实践两个方面研究和探讨了系统实现过程中所涉及的关键算法和关键技术。论文包括以下诸方面内容： 对目前国际、国内BP神经网络算法、小波变换理论、Gabor小波神经网络算法以及在目标识别中的应用现状进行了综述，对存在的问题进行了剖析。同时以灰度图像目标识别为主线，阐述与论文直接相关的基本理论和关键技术。 详细分析了多层前馈型神经网络描述及训练算法机理，从数学的角度推导了误差逆传播算法(BP算法)，同时指出了BP算法存在的问题。构建了一种用于多目标识别的改进的BP算法。 阐述了Gabor滤波器原理。给出了Gabor小波滤波器的表达式。根据理论分析和实际需要，设计了多通道Gabor滤波器，提取了灰度图像目标纹理特征。相应地给出了一个基于多通道Gabor滤波器特征神经网络识别算法。 给出了相位迭加不变量pc的定义。从理论上详细探讨了用Gabor小波求解相位迭加不变量PC的数学过程，给出了相应的PC不变量的公式。 详细分析了log gabor函数性能，给出了用log gabor求相位迭加(PC)不变量的修正公式。最后，设计了基于相位迭加(PC)不变量的神经网络目标识别新算法。 阐述了叁种不同的目标表示法，即基于特征的目标描述法、基于模板的目标描述法和基于Gabor小波神经网络目标描述法，同时分析了叁种表示法的优缺点。详细阐述了Gabor小波神经网络构建方法，重点构建了Gabor小波神经网络的训练算法，给出了理论分析和算法的具体步骤。 本文的主要研究思想就是：运用并行的Gabor小波神经网络算法对灰度图像目标进行实时识别。研究的思路：根据前馈神经网络模型(BP网络)和Gabor小波理论在目标特征提取和识别中的处理方法，有机地把二者结合起来。同时构建了用于灰度图像目标识别的Oabor小波神经网络模型，应用优化理论和自适应技术，使目标识别系统达到实时处理的目的。 本文研究的主要成果和创新点有： (1)提出了一种适于多CPU目标识别系统改进的BP神经网络训练算法。主要是用变步长方法及输入向量归一化方法，对所选激励函数在理论上做了调整，最后，在多CPU的目标识别的神经网络系统上实现了该算法。 (2)基于多分辨分析原理，设计一种新的基于Gabor小波的多通道滤波器。该滤波器能对低质量的灰度图象目标进行特征提取，并有很好的鲁棒性。滤波器的中心频率是一个从低到高的范围，滤波器采用6方向，4尺度，对灰度图象直接进行小波变换，用Gabor小波变换系数的模的平均值和其标准方差来表示抽取的灰度图象目标的纹理特征，最后，把获得的小波特征输入到改进的BP神经网络分类器进行分类识别。 (3)提出了一种基于Log Gabor小波的低层次的图象分割、边缘特征中国科学院博士学位论文:Gabor小波神经网络及其在灰度图象目标识别中的应用研究提取的方法。主要是运用小波变换频域中的相位信息提取目标特征不变量，这种不变量对目标的亮度、光线变化具有不变性。运用PC特征不变量特征结合神经网络算法对灰度图象目标进行了识别，识别率明显的提高。 (4)提出了Gabor小波神经网络模型及其训练算法。主要从理论方面对Gabor小波神经网络进行了分析，同时运用BP算法原理构建了一种适合目标识别的Gabor小波神经网络训练算法。理论和仿真实验表明，Gabor小波神经网络的收敛性和鲁棒性均明显优于BP网络。该算法应用于目标识别时，不仅提高了识别的精度，而且克服了BP算法易陷入局部极小的缺陷。 (5)对多神经网络集成算法进行了初步的探讨研究，给出了一种用于自动目标识别(ArR)的神经网络集成算法，并结合算法设计了一个基于多CPU并行结构的多目标识别神经网络系统。该算法是运用不同规模和初始条件下形成的同种类型的神经网络分类器。主要运用的是改进的BP神经网络，并把每一个神经网络输出映射为后验概率，然后进行加权平均判决。最后利用设计的神经网络系统进行了实时识别。
吴海舟[4]2017年在《共生生物体搜索算法及应用研究》文中研究表明共生生物体搜索算法源于对生态系统中生物体生存繁衍共同生活这一共生关系的模拟,是一种新颖的元启发式优化算法。该算法结构简单,无需可调参数,鲁棒性、搜索能力强,且容易实现,算法自提出以来愈来愈受到国内外学者极大的关注,在复杂优化和工程计算等方面得到广泛地应用。随着研究的不断深入,研究者发现该算法仍存在着收敛速度慢,寻优精度不高等缺点,限制了共生生物体搜索算法的应用范围。本论文将共生生物体搜索算法应用于解决实际问题,同时对算法中存在的不足进行分析,通过优化算法的结构和引入更新策略提高算法的性能,进一步完善算法的理论基础,扩展其应用范围。本文的工作主要包括以下3个方面:(1)在训练前馈神经网络的问题中,采用梯度下降法,如BP算法易陷入局部最优且对初始值敏感,共生生物体搜索算法具有较强的局部探测和全局开采能力。通过分析和比较,实验结果表明,该算法在优化神经网络中的权值和阈值时表现出高精度和高效率。(2)针对聚类分析问题,传统方法如k-means方法存在对初始值敏感,易陷入局部最优的缺点;共生生物体搜索算法在优化聚类问题时,具有更好的全局搜索能力,避免过早陷入局部最优的同时能够提高寻优精度。实验仿真结果表明,该算法在数据集的聚类分析性能上有显着提高。(3)进一步增强算法的局部搜索能力,将和声搜索策略融入共生生物体搜索过程,形成含有四个搜索阶段(互利阶段、片利阶段、寄生阶段、和谐阶段)的混合共生生物体搜索算法。为解决0-1背包问题,将混合算法离散化,并引入贪心搜索策略对求解过程中的可行解进行及时修正。达到增强算法的局部和全局搜索能力。
熊建秋[5]2006年在《水科学信息分析计算新方法及其应用》文中进行了进一步梳理水科学信息分析计算长期以来都是国内外研究的热点，一直处于积极探索和不断发展之中，特别是近一二十年，随着科学技术的进步，涌现了大量既有理论深度又有应用价值的研究成果，使这个领域的深入研究具有广阔的空间。 本论文依托973国家重点基础研究发展规划项目“长江中下游湖泊富营养化发展趋势预测方法研究”(NO.2002CB412301)和国家自然科学基金项目“基于子波和分形理论的水文尺度分析新途径”(NO.40271024)，在总结吸收相关前人研究成果的基础上，基于大量实际水文水资源资料，运用现代智能科学的有关新理论和新技术，系统地研究和完善了部分水科学信息分析计算的新方法，提出了多种耦合预测模型，广泛适用于水科学和其它相关领域。此外，本文发现并明确指出了传统小波分解耦合预测方法的不足，并针对不足提出了信号倒置小波分解和信号滑动小波分解解决方案，对于科学合理地使用小波分析具有重要的指导意义和较高的实用价值。概括起来，本论文的主要研究内容和成果包括以下几个方面(各部分之间的联系请见第20页图1.1)： (1) 全面系统地引入针对小样本数据且具有优良推广性能的支持向量机方法(SVM)，将SVM初步应用于水电边坡稳定性预测、水流挟沙力预测和年用电量预测等实例，获得了较传统方法更好的效果；如何合理选择SVM的参数，目前仍缺乏有效的方法，这严重限制了SVM的实际应用，为此首先尝试引入了免疫进化算法(IEA)来优化SVM核函数参数，取得了一定的效果；考虑
齐峰[6]2011年在《人工神经树网络模型的优化研究与应用》文中研究指明人工神经网络是模拟生物神经网络进行信息处理的一种数学模型,是由大量神经元广泛互连而成的网络,其目在于通过模拟大脑的某些功能机制,实现一些特定的功能。人工神经网络以其具有大规模并行处理、容错性、自组织和自适应能力等特点,己成为解决复杂问题的有效工具。目前,已存在的神经网络模型有很多,其中多层前馈神经网络是研究和应用较多的模型之一。它是由简单神经单元构成的具有明显层次结构的网络模型,且有良好的非线性品质,灵活有效的学习方式,较强的非线性系统模拟能力,因此被广泛的应用于系统辨识、数据挖掘、信号处理、故障诊断等领域。尽管Hornik等证明了仅需一个具有单隐含层的前馈神经网络就可以逼近任意复杂度的函数,但是如何找到合理的神经网络结构和相应参数取值却是一个NP-hard问题。因此,多层前馈神经网络仍然存在一些难题:首先,在网络拓扑结构设计方面,网络隐层数及各隐层隐节点数的选择,通常根据实际问题采用“经验法”或“适凑法”来确定,具有较强的不确定性,然而神经网络的泛化能力很大程度上取决于神经网络拓扑结构的设计,因此传统网络结构设计方法容易导致神经网络的泛化能力差;在网络参数优化方面,传统的基于梯度下降的误差反传算法虽然有良好的数学理论支撑,但是仍然存在收敛速度慢、易陷入局部最优、对参数初始值敏感等缺点,极大的限制了多层前馈神经网络的应用。针对多层前馈人工神经网络的特点、存在的问题以及相关技术的研究趋势,本论文研究了一种新的基于树编码的人工神经网络模型:神经树网络模型及其优化问题,并对其在数据挖掘领域中的典型应用做了深入的探讨。本文主要研究内容概述如下:1、针对神经树网络模型在实际应用中遇到的问题及特点,从以下两个方面对神经树网络模型的描述进行研究和改进:(1)对神经树网络模型定义的改进:解决了模型中函数节点的孩子节点中终端节点重复导致过多无效个体产生的问题以及神经树网络模型的最大深度设置问题。(2)根据神经树网络模型的自身特点,给出了一种新的神经树网络模型元组描述法,为神经树网络模型提供了一个方便和科学的描述方法。2、通过研究目前关于神经树网络模型拓扑结构和参数已有的优化方法,从以下叁个方面对其优化方法进行研究和改进:(1)在神经树网络模型拓扑结构优化方面:提出了基于积木块库的改进遗传规划算法、基于层次可变概率向量的PIPE算法和基于树编码的粒子群优化算法。相关仿真实验表明,上述方法可以有效的减少进化过程中无效个体的产生,提高神经树网络模型的进化收敛速度和误差精度。(2)在神经树网络模型参数优化方面:引入差分进化算法,该算法具有控制参数少、实现容易、不易陷入局部极小等特点,非常适合神经树网络模型的参数优化。(3)在神经树网络模型拓扑结构优化和参数优化协调方面:针对目前先拓扑结构优化后参数优化学习策略可能产生的“干扰适应度评价”问题,提出了一种改进的BGP算法,实现了神经树网络模型拓扑结构和参数的同时优化。相关仿真实验表明,该算法能有效的提高神经树网络模型的进化收敛速度和误差精度。3、结合集成学习提出了神经树网络集成的概念,对神经树网络集成在数据挖掘领域中的分类和预测问题上的应用进行了研究并提出了若干相关模型: (1)在分类问题方面:提出了一种以神经树网络模型为基本分类器的神经树网络集成方法,以“输出结果处理法”为主要研究对象,构建了基于纠错码的神经树网络集成分类模型,同时给出了该集成分类模型的算法设计和工作流程,最后在若干UCI数据集上对该集成分类模型的有效性和优越性进行了实验验证;另外,提出了基于Bagging和Boosting的神经树网络集成分类模型,同时给出了两种集成分类模型的算法设计及其在若干UCI数据集上的仿真实验对比。(2)在预测问题方面:提出了基于Bagging和Boosting的神经树网络集成预测模型,并以非线性函数模拟为应用对象,与相关模型的性能分别进行了仿真实验对比。4、根据神经树网络模型研究的实验需求,结合面向对象技术和软件Matlab R2008a,在Visual Studio .NET 2008开发环境中以C#语言为基础,构建了神经树网络模型仿真实验平台。该平台具有实验数据预处理、神经树网络模型构建、神经树网络模型优化算法集成以及实验结果图形化展现等功能。最后,该仿真实验平台被用于解决房地产价格指数预测和铁路客运量预测两个实际问题。
孙炎珺[7]2003年在《鲁棒自适应BP算法及其在股票价格预测中的应用》文中认为本文从基本BP算法在应用中存在的不足出发，着重分析了训练样本中所含噪声对基本BP算法在网络训练过程中产生的不良影响，并以此为依据，采用鲁棒统计技术，同时在优化算法上做了一些有益的改进，提出一种新的具有较强抗干扰能力的BP算法——鲁棒自适应BP算法，并将其应用于动态BP网络，进行股票价格的预测，取得了较好的预测效果。与基本BP算法相比，本文提出的鲁棒自适应BP算法具有以下优点：(1) 与鲁棒统计技术相结合，通过训练样本相对偏差的大小，确定不同训练样本对能量函数的贡献，来抑制含高噪声干扰样本对网络训练的不良影响，从而增强训练的鲁棒性，提高网络训练的收敛速度；(2) 采用相对偏差和绝对偏差两种偏差形式对权值进行调整，提高了网络的训练精度； (3)在采用梯度下降算法对权值进行调整的基础上，通过将学习速率设为训练误差及误差梯度的特殊函数，使学习速率依赖于网络训练时误差瞬时的变化而自适应的改变，从而可以克服基本BP算法容易陷入局部极小区域的弊端，使训练过程能够很快的“跳出”局部极小区域而达到全局最优。大量仿真结果表明，本文提出的鲁棒自适应BP算法在收敛速度，收敛精度，尤其是抗噪声干扰的能力上比其他BP算法具有更好的优势。算法的应用上，本文根据股票市场具有高噪声，高度非线性，难于精确建模等特点，将提出的鲁棒自适应BP算法应用于动态BP网络中进行股票价格的预测，一方面通过动态BP网络实现了无需精确建模而得到系统良好特性的效果，另一方面发挥了本算法鲁棒性强的优势，克服了训练样本中高噪声对网络训练的影响，从而得到较好的预测结果。
参考文献：
[1]. 一种新的前馈神经网络训练算法及其在控制中的应用[D]. 张红军. 大连理工大学. 2002
[2]. 几类神经网络的分析与优化及其应用研究[D]. 张莉. 西安电子科技大学. 2012
[3]. GABOR小波神经网络算法及其在灰度图象目标识别中的应用研究[D]. 许廷发. 中国科学院研究生院（长春光学精密机械与物理研究所）. 2003
[4]. 共生生物体搜索算法及应用研究[D]. 吴海舟. 广西民族大学. 2017
[5]. 水科学信息分析计算新方法及其应用[D]. 熊建秋. 四川大学. 2006
[6]. 人工神经树网络模型的优化研究与应用[D]. 齐峰. 山东师范大学. 2011
[7]. 鲁棒自适应BP算法及其在股票价格预测中的应用[D]. 孙炎珺. 北京工业大学. 2003
标签：自动化技术论文; 前馈神经网络论文; 神经网络算法论文; 模型预测控制论文; 网络模型论文; 自组织神经网络论文; 预测模型论文; 仿真软件论文; 网络优化论文; 能力模型论文; 进化算法论文; gabor论文; 算法论文;