多元线性回归中多重共线性的研究论文

多元线性回归中多重共线性的研究

□赵玉新

【内容摘要 】在实际应用中，消除多重共线性对线性回归分析中的参数估计以及模型影响，主要是采用成分回归、岭回归以及对偏最小二乘回归这三种解决方法，本文将针对这三种研究方法对多重共线性的影响进行深入分析，在已有的文献研究基础之上，对三种方法的理论以及性质进行整理和扩充，结合相应的实际情况，探究这三种研究方法的优劣，提高多元线性回归中多重共线性研究的深入以及实际应用价值。

【关键词 】多元线性回归；多重共线性；对偏最小二乘回归

近年来不少学者都在积极探索解决多元线性回归中的多重共线性研究，对三种解决方法进行深入探讨，针对每种解决方法的优劣以及实际应用效果进行深入分析，探讨每种解决方法的实际应用情景，从而提高多元线性回归的统计分析有效性以及预测准确性。三种方法的适用对象以及使用机理，本文研究的中心，其目的是为了提高实际问题中多元线性回归的分析效果，降低多重共线性对分析结果及预测结果的影响，明确这些解决方法的实用情景以及模型预测分析是多元线性回归应用继续解决的问题。

财务预算管理的全面实施需要企业能够制定出有效、详细的可实施方案，方案中要包含具有的实施步骤以及相应的考评机制，通过合理、科学的财务指标对实施的结果进行评价，以此来确保预算的及时性和高效性。通过预算控制还能够避免员工工作积极性不高的问题，通过对国有企业所有管理者、员工进行考评，从而来刺激其工作的积极性。

一 、多元线性回归中多重共线性的研究意义

多重共线性问题是多元线性回归中自变量由于线性关系或者是近似线性关系，导致变量的显著性更加隐蔽，不利于察觉，所以增加了强参数估计的方差，导致模型的构建更加复杂、不稳定，不利于多元线性回归分析。若是多元线性回归中多重共线性存在于自变量系统之中，依旧是采用最小二乘拟合回归系数，就会降低模型的精确度以及可靠性，原因如下：一是当自变量完全相关时，最小二乘回归系数难以估计；二是自变量之间若是存在不完全共线线性，虽然回归系数可以估计但是估计方差会与自变量共线性成正比例关系；三是高度相关条件下，回归系数的估计值会与样本数据的微小变化的波动性大，导致回归系数估计值稳定性下降；四是所示多重共线性影响较为严重，则回归系数统计检验就难以顺利进行；五是当自变量高度相关下，最小二乘法得到的回归模型中的回归系数难以解释物理含义，所以导致回归系数的取值价值下降，严重会导致回归系数符号与实际情况相反；六是回归模型基于样本，多重线性也是抽样数据所以建立的回归模型若是用于预测，就难以保证预测期间数据不会受到多重共线问题影响，相对的共线性问题对预测结果虽然不会造成严重影响，但是预测结果却难以确定；七是多重共线一旦出现，回归系数就难以用一般解释方法进行解释。由此可见多元线性回归中多重共线性影响严重，无法满足多元线性的模型构建以及参数估计，不利于预测以及统计分析，研究多重共线性的消除是提高多元线性回归分析价值提升以及模型稳健性的重要保障。

现阶段学者们探索出的多重共线性解决方法主要是成分回归、岭回归以及对偏最小二乘回归三个方法，能够有效消除多元线性回归中多重共线性形象，针对自变量以及变量小系统的数据进行多样处理。不过在解决线性回归模型的多重共线性问题之中，这三种方法各具优势，但是在岭回归及主成分回归之中岭参数以及特征因子筛选问题还是备受争议，而对偏最小二乘回归的机理及模型作用更加明显。

3.4.2 线粒体自噬及其在AKI中的作用 线粒体自噬通过选择性清除受损与去极化的线粒体以维持线粒体的质量及细胞内稳态。线粒体自噬首先在神经退行性疾病中发现，但其在AKI中也扮演了重要角色。肾脏为满足电解质重吸收及代谢废物排出的需求，需要拥有数量仅次于心脏的线粒体数目及氧耗量。增加的氧化应激、炎症以及ATP产生时的解偶联都与AKI相关，同时也可以促使线粒体去极化及功能受损，从而触发线粒体自噬[18-19]。

二 、多元线性回归中多重共线性的解决方法分析

(三)对偏最小二乘回归。对偏最小二乘回归主要是针对多因变量的统计关系之中，尤其是在回归分析中若是自变量与因变量之间的个数较多，则因变量与自变量之间都会存在严重的多重共线性问题，所以就不能采用一般的多元回归方法，因此需要利用最小二乘法进行建模，提高数据统计分析的效果以及数据价值。

(二)岭回归。岭回归消除多重共线性得解决机理，主要是针对自变量中的复共线性也就是|XX'|≈0时，给XX’加上正常的数矩Kl(k>0)，那么X'X+KI=0的可能性就会高于X'X，那么此时的基本思想:当出现多重共线性时，X'X≈0，从而使参数的β^=(X'X+KI)^-1X'Y就会高于普通最小二乘估计的β，那么得到的模型就会更加稳定。岭回归应用主要应用于经济数据分析，可以针对进口总额Y以及国内总产值X₁、储存量X₂以及总消费量X₃之间的关系进行分析，实际应用案例有2011年的法国经济数据分析，通过收集得到的11组数据，计算出各个自变量及变量的平均值、方差、然后通过对给定的原始数据进行标准化及中心化，可以进一步得出最小二乘回归，进而得出所需的特征值以及回归方程，再通过岭估计的概念在回归方程中通过不同K值的代入能够得到残差平方和是岭迹k的单调增函数，从而得到回归的岭迹图，取得稳定的K值之后就可以得到所需的岭回归方程，用于统计分析以及预测技术。

(一)主成分回归。主成分回归的核心思想是主成分分析，根据多元统计方法针对多个变量间的相关系进行分析，利用几个互不相关的主成分构建新的综合指标，从而替换原有的具有一定相关性的P个指标，从而确保主成分具有更多的原始信息。具体步骤如下：一是摒除因变量Y，只考虑自变量的集合进行主成分提取，先是确定自变量集合的前m个非零特征值及向量，之后再针对主成分的性质，从均值为零和方差算子入手，前者是E(F h)=0，h=1,2,…,m，后者为var(F h)=λh h=1,2,…,m所以有var(F1)≥var(F2)≥…≥var(Fm)，能够反映出原变异信息的反应精度；二是针对第一主成分与所有原变量的相关度进行最优问题确定，也就是寻找一个综合变量与原有所有自变量形成最相关，换言之就是第一主成分的确定；三是对主成分进行协方差确定，也就是针对主成分之间的不相关线性进行多重相关性回归建模，通过成分提取思路，摒除因变量Y的影响，但是主成分回归难以解释Y，所以其应用范围有限。

对偏最小二乘回归的基本思想如下：第一，记t₁=X₀W₁,则能够将多元线性回归中多重共线性的消除转变为优化问题，确定max。第二，将X₀和Y确定在t₁的回归线上，也就是实现回归方程的数值带入，例如：X₀=t₁p₁'+X₁。第三，则是将残差矩阵中的X₁和y₁代替X₀和y，然后采取提取t₁的方法，进行第二个综合变量的t₂的提取，以此类推，提取所有的综合变量，目前比较流行采用的是交差有效性，针对Y进行成分t₁,t₂,…的普通多元线性回归线防城区入定，然后针对X₁,X₂…进行线性组合得到PLS1回归模型。总体而言，对偏最小二乘回归采用的是循环式的信息分解与数据提取，所以能够确保原始信息与变量信息的保存，自动排除对Y解释无意义的数据，能够有效对数据进行综合性分析及模型构建，虽然对数据要求比较高，但是其应用范围是最广的。

三 、结语

总而言之，比对起成分回归以及岭回归而言，对偏最小二乘回归虽然在数据方面比较严格，但是其研究分析方法以及模型实用性较高，岭回归则是能够在均方误差无偏估计最小原则的情况下选择岭参数，而成分回归则是能够利用主成分加权残差平台进行筛选特征值，在实际应用过程中各有千秋，但对偏最小二乘回归的模型最为有效，所以在消除多重共线性中备受关注。

综上所述，NAFLD患者存在免疫调节紊乱，CD4+CD25+T细胞的变化与NAFLD病情程度及多种危险因素密切相关，外周血CD4+CD25+T细胞水平在一定程度上可反映NAFLD患者的病情进展及肝细胞损害程度，提示检测NAFLD患者外周血CD4+CD25+T细胞水平或许可协助判断其病情及预后；并为临床NAFLD的治疗提供新的参考。

【参考文献 】

[1]张凤莲.多元线性回归中多重共线性问题的解决办法探讨[D].华南理工大学,2015

[2]刘红卫.线性回归模型中多重共线性问题的应对策略及其几点改进[D].西南交通大学,2016

[3]赵东波.线性回归模型中多重共线性问题的研究[D].渤海大学,2017

[4]谢小韦.浅析多元线性回归中多重共线性问题的三种解决方法[J].科技信息,2012，28:117～118

【作者简介 】赵玉新，女，辽宁人；北京信息职业技术学院讲师，硕士；研究方向：计算机软件与理论

标签：多元线性回归论文;  多重共线性论文;  对偏最小二乘回归论文;  北京信息职业技术学院论文;