非参数回归及其应用，本文主要内容关键词为：及其应用论文,参数论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
国外将非参数估计连同非稳定性、非线性一起称之为“三非”，将非参数估计应用于经济模型中，用来解决经济生活中的诸多问题，已被视为经济研究的前沿。国内目前已开始运用非稳定性、非线性方法来研究经济问题，但对于非参数估计应用的研究，几乎是个空白。本文拟就最基本的非参数估计及其应用进行研究，以期达到抛砖引玉的目的。
一、非参数估计
假定有了一组关于两变量X和Y的数据｛（x[,i]，y[,i]），i＝1，…，n｝。如果认为这两个变量有一个近似的函数关系y≈m（x），或者更具体地，对i＝1，…，n
y[,i]＝m（x[,i]）+ε[,i] （1）
这里ε[,i]可看成是随机干扰。如何去估计函数m（x）则是我们的目的。对于这个问题，大体上有两种估计方法。一种是参数估计，也就是假定该函数的形式是已知的，并且可写成带参数的形式m（x，θ），这里θ为仅有的未知量（可以是向量）。因此，只要估计出θ的值，问题就解决了。经典的线性或非线性回归就属于这种方法。参数估计有很多优点，特别是其表达式简单直观，分析容易，用起来方便。但是，世界是复杂的。并不是所有的关系都能用一个有限的数学式子来表达。在许多情况下，即使引入大量的参数，仍不能改善拟合的结果。这时，人们可用非参数估计。在非参数估计中，并不假定也不固定函数m（x）的形式，也不设置参数，函数在每一点x的值都由数据决定。 显然，如果把原始数据点出来，由于随机干扰的存在，数据有很大的摆动，极不光滑。因此要去除干扰，也就是说，需要使图形光滑。最简单也是最为人知的就是所谓三点平均，也就是每一点m（x）的值都取离x 最近的三个数据点的相应的y值的平均。如果用来取平均的点越多， 所得的曲线越光滑。当然，如果用所有n个数据点来平均，则m（x）为常数， 虽然这
_时x最光滑，但失去了数据中除均值之外的所有信息，拟合的残差也大。所以说，不仅要去除尽可能多的干扰，还要防止在去除干扰时把有用的信息也丢掉。可以看出，即使决定了用多少数据进行平均，也存在如何平均的问题。也就是说，要决定每个数据点在估计m（x）的值时应起何种作用的问题。显然，并不是每个点的作用都应该一样。直观上，和x点越近的数据对决定m（x）的值应起越大的作用，这就需要加权平均。因此，如何加权（或如何选择权函数）来光滑及光滑到什么程度，则成为这个领域的中心问题。
非参数估计有如下优点：
1.在抽取样本对总体进行估计时，不必依赖于样本所从属的总体的分布形式，可以广泛地运用于不同类型的总体。事实上，在某些情况下，如果对总体具体分布形式不清楚，也只有借助于非参数估计方法才能解决问题。也就是说非参数估计方法对总体分布所加条件较宽，因而模型适用面广，和参数方法相比，它具有较好的稳健性。
2.这种方法与总体分布所具有的参数无关，所以也无须对总体分布所特有的参数进行估计或检验。
3.非参数估计方法不需要参数估计方法那样严格的假定，不需要检验总体的参数，使得条件容易满足。所以，非参数估计方法能在广泛的基础上，得出更加带有普遍性的结论。
4.如果方法选择得当，非参数估计方法与参数估计的效力就会相差不多，当参数估计中的假设得不到满足时，非参数估计会比参数估计方法更为有效。
非参数估计也有其缺点：如果对总体的了解足以确定它的分布类型的话，非参数估计就不如参数估计有更强的针对性。它没有充分利用样本所携带的关于总体的信息，因而有时它的效率会低一些，或者在相同的精度下，非参数估计比参数估计需要更大的样本。所以，非参数估计是一种比较保险，略带保守性的方法。不过，近年来的研究表明：典型的非参数估计和参数估计相比，即使在最有利于参数估计的情况下，效率的损失也比较小，特别是在大样本情况下更是如此。
基于上述原因，有时即使能用参数估计，人们也宁可扩大对问题范围的提法，使之具有非参数形式，从而使用非参数估计方法。
二、非参数回归
1.核估计和K近邻估计
非参数回归的方法很多，这里我们先讨论核估计。
考虑y[,i]＝m（x[,i]）+ε[,i]，i＝1，…，n。可假定E（ε[,i]）＝0，E（ε[,i]）＝σ[2]＜∞以及对i≠j，ε[,i]和ε[,j]是不相关的。如果假定变量X和Y都是随机的，它们有联合分布f（x，y），而X的（边际）分布为f（x）。一般说来，m（x）可认为是Y在给定了X＝x之后的条件期望，即
m（x）＝E（Y│X＝x）＝∫y f（y│x）dy＝∫yf（x，y）dy／f（x） （2）
Nadaraya 和Watson 于1964 年用下面的式子来估计m （x）（称为Nadaraya—Watson估计）：
（3）
这里函数K（·）称为核，是刚才提到过的加权平均中的函数。 和前面的式子比较，这里
（4）
显然是密度f（x）的估计，用
表示。h称为带宽，h 的大小决定用来估计m（x）时各个数据点的参与程度，h的大小依赖于数据， 因此也可写为h[,n]。在最近的研究中，有人提出，即使对一组数据，如果h也依i而变（称为局部加权），则有一些好的性质。实际上h体现了变量X 的方差。通常对权函数要求∫K（u）du＝1，以使
的确是一个分布密度。核K（·）的形式可以多种多样，在回归中，也不一定要求分母是f（x）的估计，特别当X不是随机的时候。因此，更一般的m（x）的估计可写为
（5）
这里W[,i]为依赖于｛x[,i]，i＝1，…，n｝的权函数。
其次，讨论K近邻估计。
对f（x）的值的核估计的加权是以数据点到x 的欧式距离为基础的。于是对各点估计时用的信息多少不均。所谓K近邻估计法是指， 加权时离每一个x最近的K个数据值都被用来估计相应的f（x）的值。为估计f（x），把x到所有数据点的距离│x－x[,1]│，…，│x－x[,n] │由小到大排序，并记为
d[,1]（x）≤d[,2]（x）≤…≤d[,n]（x）
（6）
K近邻密度估计定义为
（7）
可与核估计结合得到广义K 近邻估计（generaliged knearest ne-ighber estimation）：
（8）
2.核回归和K近邻回归
首先根据Nadaraya—Watson估计m（x），得到核回归。
（9）
它的分子为∫yf（x，y）dy的一个估计，而分母为f（x）的估计。可见在实际建立核回归中，关键要确定核函数K的形式和带宽h。
其次根据K近邻估计，用K个近点的观察值的平均来估计m（x），得到K近邻回归：
（10）
这里J[,x]为离x最近的K个近点的观察值x[,i]的下标i的集合。 可见在建立K近邻回归中，关键要确定K。
四、城镇居民消费的核回归
1.一元非参数核回归
我们用城镇居民全部收入（ICUP）解释城镇居民消费（CUH）， 样本为1985年第一季度到1990年第四季度的季度数据，样本长度n 等于24。
我们能够用最简单的办法建立城镇居民消费的最小二乘回归方程：
R[2]＝0.9295 F＝304.4759 DW＝2.2419
这是参数估计。
现在我们应用非参数估计方法，建立城镇居民消费的核回归，并将它与最小二乘回归进行比较。在（8）式中，令y 为城镇居民消费（CUH），x为城镇居民全部收入（ICUP）， 得到城镇居民消费关于城镇居民全部收入的核回归：
并且核函数K取标准正态密度，h分别取2，1.5，1和0.5，估计值见表1。
表1 城镇居民消费实际值和拟合值（1985.1—1990.4）
根据表1，我们计算出平均绝对误差
和均方误差
表2 平均绝对误差和均方误差
参数估计—最小二乘法非参数估计—核回归
h=2 h=1.5h=1
h=0.5
MAE 39.1772 9.6127 6.7382
3.81591.0343
MSE 49.029616.627412.0020
7.22343.4975
2.二元非参数核回归
二元非参数核回归为
p[,i]为城镇居民消费价格总指数，其余变量含义同前。
同样，将核函数K取为二元标准正态密度，并且将x与p 之间的相互关系设定为0。与一元情况所不同的是，有两个带宽h[,1]和h[,2]， 模拟方案比一元多得多。
为简单起见，我们将h[,1]取为60.9934，让h[,2]变进行模拟。 下面给出h[,2]＝1.72的模拟结果并且与最小二乘法进行比较，见表3和表4。
表3 最小二乘法与二元核回归比较
表4 MAE与MSE比较
最小二乘法二元核回归
MAE 21.897 6.341
MSE 28.059 10.510
从表2和表4中可见，非参数估计的平均绝对误差和均方误差均比参数估计小得多，前者的拟合度远高于后者。这恰好是非参数估计的优势所在，特别地在参数估计中最小二乘法使MSE达到最小， 但非参数估计还可使MSE更小。非参数回归能够降低平均绝对误差， 从而提高了拟合度和预测精度。
五、经济预测和预测精度比较
我们分别应用最小二乘法参数回归模型和核回归模型对1991 年至1992年第四季度的城镇居民消费数据CUH进行事后预测，得结果如表5：
表5 城镇居民消费的实际值与预测值
季度 实际值 预测值
1991.1
1010.104
1082.246
1991.2887.914902.532
1991.3
1058.980970.129
1991.4
1116.002
1051.605
1992.1
1216.196
1190.698
1992.2
1137.601
1052.957
1992.3
1191.256
1253.072
1992.4
1411.947
1273.863
核回归的预测值
h=2h=1.5 h=1
h=0.5
1010.104 1010.104 1010.104
1010.104
887.414
887.895
887.914887.914
1058.887 1058.981 1058.980
1058.980
1126.619 1126.478 1126.072
1123.951
1216.196 1216.196 1216.196
1216.196
1126.985 1127.126 1127.531
1129.653
1191.320 1191.256 1191.256
1191.256
1411.872 1411.947 1411.947
1411.947
经计算上述预测值较实际值的平均绝对误差和均方误差如表6：
表6 平均绝对误差和均方误差
参数估计—最小二乘法
非参数估计—核回归
h=2.0h=1.5h=1.0
h=0.5
MAE 68.75622.7468
2.6214
2.5175 1.9871
MSE 77.59085.3114
5.2378
5.0350 3.9743
从预测结果来看，非参数估计——核回归方法的预测结果比参数估计——最小二乘回归方法的预测结果的误差要小得多。并且在核回归预测中，随着带宽值的减小，其预测值较实际值的误差也减小，这主要是随着h值的减小，所利用的样本数据的信息愈充分的缘故。
应用参数回归的回归直线或曲线进行预测，实质上是按趋势线（直线或曲线）外推，预测值要么总是上升，要么总是下降，因此预测误差较大。而应用非参数回归进行预测，避免了这种总是上升或总是下降趋势的简单作法。理由有二：一是参数回归是借助连续的直线或曲线进行外推预测，而非参数回归是通过离散的相互关系（线性或非线性）进行预测，更符合实际。从这里我们还看到不管非参数回归是线性的还是非线性的（就设定形式而言），但它的估计值或预测值总是非线性变化，说明它更加符合经济系统的本质；二是参数回归利用样本数据信息较小，它只是根据样本数据综合得到回归参数，而非参数回归充分利用了样本数据信息，信息的损失很小，显然它在一定条件下，如核回归选定带宽或近邻回归选定K，能提高拟合优度和预测精度。