1 前言
本文从自动气象站数据采集的原理出发，介绍现有气象探测数据质量控制方法的原理和应用，分析了现有气象数据质量控制方法存在的不足之处，总结国内外研究现状，建立基于数据挖掘技术质量控制方法。
在粒子滤波的神经网络质控方法中，基于观测要素在同一站点同一时刻存在相互关联的事实，提出一种利用要素相关性来进行数据质量控制的方法。利用关联度分析法，得到自动气象站各种探测要素之间的相关性，选取相关性较强的几种要素进行质量控制验证。采用粒子滤波与BP神经网络相结合的算法，来进行探测数据的质量控制。
利用同一观测站点在同一时刻所测得要素观测值，存在着不同程度的相关性出发，即一些相关性强的要素之间的测量值，会随之某种要素的改变而发生关联性的变化，相互关联又相互制约的特点，提出一种利用要素相关性来进行数据质量控制的方法。利用关联度分析法，得到自动气象站各种探测要素之间的相关性，选取相关性较强的几种要素进行质量控制验证。由于气象数据高阶高维特性，本章采用验证的数据模型为粒子滤波与BP神经网络相结合的算法，利用BP神经网络对非线性数据的处理能力，将数据处理的误差反向传播，不需要先验信息，同时也不需要构造函数模型，用粒子滤波算法对神经网络的权值进行调整，避免神经网络陷入局部极小的情况，提高模型的预估能力。通过对模型的训练，采用预估值与实测值相对比的方法，验证了模型的有效性。然后，利用有效的模型对探测数据进行质量控制实验，实现了缺测数据填充和数据跳变检测。
2 BP神经网络算法
以Rumelhart和McCelland为代表的科学家小组在上个世纪八十年代提出了一种多层的前馈神经网络—BP神经网络，其主要的特点是：信号正向传播，误差是反向传播。BP神经网络在自学习和模型训练过程中，使用误差梯度下降法，利用预估值和实测值之间的误差反向传播原则，调整隐含层和输出层之间的权值和阀值，改变神经元之间的连接权值来减少实测值和预估值之间的误差，使得神经网络的结构稳定，BP神经网络不需要提前建立描述这种映射关系的数学方程也能学习和存储大量的映射关系。
BP神经网络主要分为：输入层（input）、中间层（hide layer）和输出层（output layer），这三个层次是BP神经网络的主要结构，BP神经网络输入层的负责接收数据，然后由输入节点神经元将数据传给中间层的神经元，中间层是BP神经网络数据处理层，中间层包含很多隐藏层结构，数据在中间层完成加工处理，之后将数据的处理结果传给输出层神经元，有输出层神经元将信息传递给用户，这是神经网络数据正向处理过程。
BP神经网络数据在正向传播过程中，预估值和实测值之间的误差可以进行误差的反向传播。输出层按照误差梯度下降的方式调整权值，逐层向隐层、输入层反向传播。这样反复地进行信息正向传播和误差反向传播的过程使得各层的权值不断地得到调整，这个就是神经网络的学习训练过程，当达到预先设定的学习次数或者输出值的误差减小到允许范围内的时候，学习训练过程结束。图2.1所示是BP神经网络结构图。
在BP神经网络的结构确定过程中，合理的构建每一层神经元是重要一步，输入层神经元的个数是线性空间中数据的向量维数，输出层神经元的个数是由组建的神经网络需要来确定。大多数情况下，选择在训练过程中性能最好的对应的节点数作为隐含层神经元节个数。
3 粒子滤波算法
粒子滤波(PF：Particle Filter)算法源于蒙特卡洛思想(Monte Carlo methods)，即以某事件出现的频率来指代该事件的概率。粒子滤波使用系统中粒子来表示数据集中样本的分布，粒子在系统中分布状态来表示数据样本的集中趋势，系统的集中趋势是样本的概率密度体现，取得样本的后验概率后，对粒子状态进行重新采样，把状态空间粒子估计向量值的后验概率不断进行相似运算，取得两者间最小方差，当粒子趋近于正无穷时，概率密度可以逼近最优解，利用这种特性，粒子滤波可以很好的将估计值向量测值逼近。
粒子滤波算法对样本空间后验概率密度的计算，是对粒子真实分布的一种状态逼近，解决线性滤波方法必须满足样本空间满足高斯分布的限制，对非线性特征有很强的建模能力，非线性系统的后验概率分布可以很好的被演示。
4 基于粒子滤波的神经网络算法
BP神经网络作为一种搜索策略，受搜索算法的控制，当解空间函数存在局部最小值时，如搜索步长较小，在这个搜索的局部范围内，求得的所有解都指向极小值，利用粒子滤波算法来调节神经网络搜索过程中的步长可以避免神经网络陷入局部极小值的缺陷。实验结果显示，该方法可以提高BP神经网络的运算性能。
神经网络训练过程是使用学习算法来调整神经元间的连接权，使得网路输出更加符合实际，是一个问题优化过程。在网络模型确定的情况下，通过神经网络的学习，使其中的经验风险函数达到最小值，即全局最优解。神经网络常用的学习方法有误差反向传播方法，利用经验风险函数沿负梯度方向进行搜索，这对于初值的向量的选择要求很高，如果初值选择不合理，函数很容易陷入局部极小值，从而错过全局最优解。现有很多种方法可解决这种情况，利用BP神经网络算法和其它算法相结合，如将神经网络的权值作为粒子滤波算法的状态方程，将神经网络的输入输出作为量测方程，反复计算测量值与真实值之间的误差，不断对粒子进行赋值，粒子滤波的核心思想是首先进行随机采样，然后进行重要性重采样。在全局搜索最优解的过程中，随机播撒粒子，撒完粒子后，根据特征相似度计算每个粒子的概率密度，然后在概率密度大的地方多撒粒子，概率密度小的地方少撒粒子，利用粒子的分布状态来模拟当前系统的样本空间的分布状态，在系统的迭代过程中，保留权值较大的粒子，利用权值较大粒子的状态逼近样本的后验概率密度，使得样本估测值逼近真实值。神经网络权值调整的过程就是如此，完成了神经网络全局搜索最优解的过程，最终使神经网络按期望对一定的输入值做出正确输出，对样本的学习训练成果就储存在连接权值中，从而完成了神经网络与粒子滤波算法的相结合。
结论
本文介绍基于粒子滤波的BP神经网络相结合的方法，从同一站点同一时刻所测得的要素观测值具有一定的相关性出发，利用之前的观测数据进行自适应学习和数据挖掘，形成要素相关性的数据模型。此方法解决了BP神经网络作为一种搜索策略，受搜索算法的控制，当解空间函数存在局部最小值时，如搜索步长较小，在这个搜索的局部范围内，求得的所有解都指向极小值，为了避免BP神经网络在训练的过程中陷入局部极小值的情况，将BP神经网络各个输入要素的权值作为粒子滤波状态方程的状态变量，通过粒子状态的不断更新，完成对神经网络权值的调整，避免模型陷入过度拟合，提高模型的预估精度。采取黑龙江省某台站新型自动气象站观测数据RTD文件为例，输入本文所设计的系统模型，证明了模型的有效性之后，用此方法进行探测数据的质量控制工作，来评估气象观测数据是否异常，完成报文在观测传输过程中缺测要素的填充。本文最后将此方法与MDOS气象数据质量控制方法相比较，实验结果显示，本文所设计方法在自动气象站观测数据RTD文件的质量控制过程中相对传统方法性能有所提高。
论文作者:侯飙,黄清治,薛风国,曲秉阳
论文发表刊物:《基层建设》2017年第23期
论文发表时间:2017/11/9
标签：神经网络论文; 粒子论文; 数据论文; 算法论文; 神经元论文; 误差论文; 方法论文; 《基层建设》2017年第23期论文;