潘少华[1]2002年在《拉格朗日正则化方法与线性规划原—对偶算法的研究》文中提出本论文主要对拉格朗日正则化方法和线性规划原-对偶算法进行了研究，其中，前者是一种特殊的光滑化方法，为本文线性规划原-对偶内点和非内点算法的建立提供了基础。 极大熵方法是解有限极大极小问题的一种有效光滑化法，它通过在极大极小问题的拉格朗日函数上引进Shannon信息熵作正则项，给出一致逼近极大值函数的光滑函数。因该函数所具有的优良性质，使其在求解各类优化问题中得到了广泛的应用。 本文从两个方面发展了这种熵正则化方法，即将其从极大极小问题推广到一般不等式约束优化问题上和用一般函数代替熵函数作正则项，建立新的正则化方法。为了克服不可微正齐次函数δ(·|R_-~m)给约束优化问题的等价无约束形式求解带来的困难，我们将其目标函数M(x)重新用一个以经典拉格朗日函数为目标的锥优化问题来表示。当将熵函数作为正则项加到拉格朗日函数上，我们得到了逐点逼近于M(x)的光滑函数。经证明，该函数即为指数罚函数。在此基础上，通过用一般可分离乘子函数代替熵函数作正则项，建立了一种新型正则化方法，即拉格朗日正则化法。该方法不仅提供了统一光滑不可微函数M(x)和δ(·|R_-~m)的办法，而且还给出了一种构造罚函数的统一框架，由此将罚函数与经典拉格朗日函数从对偶空间的角度联系在一起。 本文上篇共含四章，主要进行拉格朗日正则化法的研究。第一章为绪论，简单描述了熵正则化方法与罚函数法的研究现状；第二章，针对有限极大极小问题，通过研究熵正则化方法与指数(乘子)罚函数方法之间的关系，揭示熵正则方法的数学本质；第叁章将极大熵方法推广到一般不等式约束优化问题上，建立了拉格朗日正则化方法；第四章利用第叁章建立的拉格朗日正则化方法，给出一种构造罚函数的统一框架，并通过具体的罚和障碍函数例子加以说明。 本文下篇集中建立求解线性规划的有效原-对偶算法。在各种内点法里，最成功的也是最为有效的当属原一对偶路径跟踪算法.但现有的算法几乎都是基于标准摄动方程组，即标准线性规划对数障碍问题的卜K-T系统，建立起来的。本文从叁个不同的角度来改造此摄动方程组，并建立相应的原一对偶路径跟踪内点和非内点算法。 经过对标准中心化方程Xs二户。实施代数等价变换，我们得到了一个新的扰动K一K一T方程组，并针对具体的幕变换，由此摄动方程组给出了彭积明等人在缩减大步算法的复杂性界限时所使用的牛顿方程。在这一事实和彭等人的出色结果激发下，我们利用一个特殊的代数变换一对数变换，建立一个不可行大步原一对偶路径跟踪内点算法。该算法在遵循中心路径的同时，沿着原一对偶嫡函数的最速下降方向达到线性规划的原一对偶解集。另外，基于min一Inax本身所具有的“均化”作用，我们定义了一个新的邻近度量函数，并以其最优性条件作为中心化方程。其目的是在摄动方程本身建立一种自调节机制，以使牛顿方向能够根据上一次迭代点的信息在各个互补对之间作出自适应的调整。前述的两种方法是针对扰动K一K一T系统进行的，而本文的另一种方法是采用NCP函数，直接将标准线性规划K一K一T条件化为一个不含内点约束的等价方程组，以此改造标准摄动方程组。 下篇由后四章组成。第五章简单回顾了线性规划及内点法，并重点介绍了原一对偶路径跟踪内点算法。第六章研究了对标准中心化方程实施代数等价变换的作用，并特别就对数变换情形，建立一个不可行大步原一对偶路径跟踪内点算法，同时给出其收敛性及复杂性界限分析。第七章，通过构造一个新的邻近度量函数，提出一个具有自调节功能的原一对偶路径跟踪内点算法，并将其与线性规划软件LIPSOL和彭等人的M。IPM进行数值比较，证实了该算法的有效性;第八章，基于NCP函数及其光滑函数，建立求解线性规划的非内点原一对偶路径跟踪算法，并给出相应的全局及局部收敛性分析。
李艳敏[2]2018年在《稀疏优化算法研究》文中进行了进一步梳理压缩感知是基于信号稀疏性提出的采样理论,是数字化时代的一个重要手段,它广泛应用于压缩成像、天文学、雷达成像、通信、医学图像等领域.重构算法是压缩感知应用于实际的关键,所以寻找有效的稀疏优化算法成为解决问题的重中之重.本文主要以压缩感知信号重构为背景,结合原始对偶内点算法、线性Bregman迭代算法和截断牛顿内点算法以及改进微分进化算法对最小l1范数问题的求解进行了深入的研究和分析.论文所开展的主要研究工作如下:(1)在阐述压缩感知问题的研究背景、意义及研究现状的基础上,重点介绍稀疏优化算法的研究现状及意义.(2)主要研究了智能算法中的微分进化算法,并在这一基础上对其进行改进,提出了一种改进微分进化算法,将其应用于压缩感知问题的求解中,并用该方法说明了l1范数具有较好稀疏解,且进一步说明了当变量较少时,改进微分进化算法在信号重构中具有较好的效果.(3)对几种经典的凸优化算法进行对比分析,即原始对偶内点法、线性Bregman迭代算法和截断牛顿内点法,并给出数值模拟,结果表明原始对偶内点算法有较好的重建效果.(4)对正则化参数的选取问题进行研究分析,重点研究了截断牛顿内点法的正则化参数选取,通过数值模拟表明,当正则化参数选择恰当时有相对较好的重建效果.
参考文献：
[1]. 拉格朗日正则化方法与线性规划原—对偶算法的研究[D]. 潘少华. 大连理工大学. 2002
[2]. 稀疏优化算法研究[D]. 李艳敏. 西安理工大学. 2018