现代贝叶斯分析与现代统计推断，本文主要内容关键词为：推断论文,贝叶斯论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
虽然对贝叶斯分析方法至今还有许多争议，但贝叶斯统计理论在统计学中的地位可用中国科学院院士陈希孺教授的一段话来形容：“托马斯·贝叶斯……这个生性孤僻，哲学气味重于数学气味的学术怪杰，以其一篇遗作的思想重大地影响了两个世纪以后的统计学术界，顶住了统计学的半边天。”
目前以马尔可夫链蒙特卡罗(Markov chain Monte Carlo,MCMC)为代表的现代贝叶斯统计学已广泛应用于几乎所有的学科，并取得了显著的成果。现代贝叶斯统计学的发展同时也极大地促进了现代统计推断方法的研究进展。本文从现代贝叶斯理论、分析方法和计算及软件应用三个方面对现代贝叶斯分析的最新进展进行综述，探讨贝叶斯思想、方法以及与现代统计推断的关系。
一、现代贝叶斯理论和应用的发展
在大约300年以前，人们开始严肃地思考这样一个问题：当存在不确定性时，如何进行推理？詹姆斯·贝诺利(Bernoulli,1713)恐怕是第一个构造该问题的人（Kotz和吴喜之，2000）。他意识到在可应用于机会游戏的演绎逻辑和每日生活中的归纳逻辑之间的区别。对于他来说，这个未回答的问题在于前者的机理如何能帮助处理后者的推断问题。托马斯·贝叶斯（Reverend Thomas Bayes,1702-1761年）是对归纳推理给出精确定量表达方式的第一人，他死后发表的论文，应该作为科学史上最著名的回忆录之一(Press,1989)。这篇“遗作”的题目就是《An Essay Towards Solving a Problem in the Doctrine of Chances》（《机遇理论中一个问题的解》），发表在1764年伦敦皇家学会的“Philosophical Transactions”上。
1812年，拉普莱斯(Laplace)在他的概率论教科书第一版中首次将贝叶斯思想以贝叶斯定理的现代形式展示给世人。拉普莱斯不仅重新发现了贝叶斯定理，阐述得远比贝叶斯更为清晰，而且还用它来解决天体力学、医学统计甚至法学问题（Kotz和吴喜之，2000）。
目前被承认的现代贝叶斯统计工具的使用，应归功于许多学者的研究（如：Jeffreys,1939;Wald,1950;Savage,1954;Raiffa and Schlaifer,1961;Lindly,1972;DeFinetti,1974,1975)。在20世纪90年代，由于高维计算上的困难，贝叶斯方法的应用受到了很大的限制。但随着计算机技术的发展和贝叶斯方法的改进，特别是MCMC方法的发展和WinBUGS软件的应用，原来复杂异常的数值计算问题如今变得非常简单，参数后验分布的模拟也趋于方便，所以现代贝叶斯理论和应用得到了迅速的发展。
哈里·马茨(Harry Martz)对洛斯阿拉莫斯国家实验室(Los Alamos National Laboratories)的SCI索引数据库进行了研究，得到了1974～2000年25年间关于贝叶斯分析方面文献增长变化的数据。1974～1994年，文献数量增长的趋势是线性的，大约每10年翻一倍。而在最近5年间，无论在数量上，还是在增长速度上，关于贝叶斯分析的文献都有巨大的增长。
我们仅以关于贝叶斯统计分析的专著数的增长为例。1769～1969年，200年间大概有15部著作出版，1970～1989年20年间，贝叶斯统计学的书籍仅有30本，然而1990～1999年的10年中，贝叶斯分析的专著就有60部出版，这还不包括数十本关于贝叶斯会议的文集和参考书。
贝叶斯理论和分析还在各个领域得到应用，并发展成交叉学科。在科学和工程中的许多交叉领域里很容易找到贝叶斯分析的众多研究者。如：考古学、大气科学、教育、流行病学、工程、遗传学、水文学、测量和化验、药学、体育、质量管理、社会科学、经济和计量经济学等。现在已很难发现一个人类的研究领域不存在某种水平的贝叶斯分析工具。
在统计学领域内，贝叶斯理论也在很多方面取得进展。这包括生物统计、因果关系研究、分类、判别、神经网络、列联表、决策分析和决策论、试验设计、经验贝叶斯、有穷总体抽样、广义线性模型、图方法和贝叶斯网络、多层（多水平）建模、图像处理、信息论、缺失数据、非参数统计和函数估计、顺序数据、预测性推断和模型平均、可靠性和生存分析、序贯分析、信号处理、时间序列、空间统计、检验、模型选择和变量选择等等。
二、贝叶斯分析方法
贝叶斯方法是基于贝叶斯定理而发展起来用于系统地阐述和解决统计问题的方法。一个完全的贝叶斯分析(full Bayesian analysis)包括数据分析、概率模型的构造、先验信息和效应函数的假设以及最后的决策(Lindley,2000)。贝叶斯推断的基本方法是将关于未知参数的先验信息与样本信息综合，再根据贝叶斯定理，得出后验信息，然后根据后验信息去推断未知参数（茆诗松等，1998）。
（一）客观贝叶斯分析(Objective Bayesian analysis)
将贝叶斯分析当做主观的理论是一种普遍的观点，但这无论在历史上，还是在实际中都不是非常准确的。第一个贝叶斯学家，贝叶斯学派的创始人托马斯·贝斯和拉普莱斯进行贝叶斯分析时，对未知参数使用常数先验分布。事实上，在统计学的发展中，这种被称为“逆概率”(inverse probability)的方法在19世纪非常具有代表性，而且对19世纪初的统计学产生了巨大的影响。对使用常数先验分布的批评，使得杰弗里斯(Jeffreys)对贝叶斯理论进行了具有非常重大意义的改进。伯杰(Berger,1999)认为，大多数贝叶斯应用研究学者都受过拉普莱斯－杰弗里斯(Laplace-Jefferys)贝叶斯分析客观学派的影响，当然在具体应用上也可能会对其进行现代意义下的改进。
许多贝叶斯学者的目的是想给自己贴上“客观贝叶斯”的标签，这种将经典统计分析方法当做真正客观的观点是不正确的。对此，伯杰(1999)认为，虽然在哲学层面上同意上述观点，但他觉得这里还包含很多实践和社会学中的原因，使得人们不得已使用这个标签。他强调，统计学家们应该克服那种用一些吸引人的名字来对自己所做的工作大加赞赏的不良习惯。
客观贝叶斯学派的主要内容是使用无信息先验分布(noninformative or default prior distribution)。其中大多数又是使用杰弗里斯先验分布。最大熵先验分布(maximum entropy priors)是另一种常用的无信息先验分布（虽然客观贝叶斯学派也常常使用一些待分析总体的已知信息，如均值或方差等）。在最近的统计文献中经常强调的是参照先验分布(reference priors)(Bernardo 1979;Yang and Berser,1997)，这种先验分布无论从贝叶斯的观点，还是从非贝叶斯的观点进行评判，都取得了显著的成功。
客观贝叶斯学派研究的另一个完全不同的领域是研究对“默认”模型(default model)的选择和假设检验。这个领域有着许多成功的进展(Berger,1999)。而且，当对一些问题优先选择默认模型时，还有许多值得进一步探讨的问题。
经常使用非正常先验分布(improper prior distribution)也是客观贝叶斯学派面临的主要问题，这不能满足贝叶斯分析所要求的一致性(coherency)。同样，一个选择不适当的非正常先验分布可能会导致一个非正常的后验分布，这就要求贝叶斯分析过程中特别要对此类问题加以重视，以避免上述问题的产生。同样，客观贝叶斯学派也经常从非贝叶斯的角度进行分析，而且得出的结果也非常有效。
（二）主观贝叶斯分析(subjective Bayesian analysis)
虽然在传统贝叶斯学者的眼里看起来比较“新潮”，但是，主观贝叶斯分析已被当今许多贝叶斯分析研究人员普遍接受，他们认为这是贝叶斯统计理论的“灵魂”(soul)。不可否认，这在哲学意义上非常具有说服力。一些统计学家可能会提出异议并加以反对，他们认为当需要主观信息（模型和主观先验分布）的加入时，就必须对这些主观信息完全并且精确地加以确定。这种“完全精确地确定”的不足之处是这种方法在应用上的局限性(Statistician,1998)。
有很多问题，使用主观贝叶斯先验分布信息是非常必要的，而且也容易被其他人所接受。对这些问题使用主观贝叶斯分析可以获得令人惊奇的结论。即使当研究某些问题时，如使用完全的主观分析不可行，那么同时使用部分的主观先验信息和部分的客观光验信息对问题进行分析，这种明智的选择经常可以取得很好的结果(Andrews,Berger and Smith,1993)。
（三）稳健贝叶斯分析(robust Bayesian analysis)
稳健贝叶斯分析研究者认为，不可能对模型和先验分布进行完全的主观设定，即使在最简单的情况下，完全主观设定也必须包含一个无穷数。稳健贝叶斯的思想是构建模型与先验分布的集合，所有分析在这个集合框架内进行，当对未知参数进行多次推导(elicitation)之后，这个集合仍然可以反映此未知参数的基本性质。
关于稳健贝叶斯分析基础的争论是引人注目的(Kadane,1984;Walley,1991)，关于稳健贝叶斯分析最新进展的文献可参见伯杰(Berger,1985,1994,1996)的研究。通常的稳健贝叶斯分析的实际运用需要相应的软件。
（四）频率贝叶斯分析(frequentist Bayesian analysis)
统计学存在许多不断争议的学科基础——这种情况还会持续多久，现在很难想像。假设必须建立一个统一的统计学学科基础，它应该是什么呢？今天，越来越多的统计学家不得不面对将贝叶斯思想和频率思想相互混合成为一个统一体的统计学学科基础的事实。
伯杰从三个方面谈了他个人的观点。第一，统计学的语言(language of statistics)应该是贝叶斯的语言。统计学是对不确定性进行测度的科学。50多年的实践表明（当然不是令人信服的严格论证）：在讨论不确定性时统一的语言就是贝叶斯语言。另外，贝叶斯语言在很多情况下不会产生歧义，比经典统计语言更容易理解。贝叶斯语言既可对主观的统计学进行分析，又可以对客观的统计学进行分析。第二，从方法论角度来看，对参数问题的求解，贝叶斯分析具有明显的方法论上的优势。当然，频率的概念也是非常有用的，特别是在确定一个好的客观贝叶斯过程方面。第三，从频率学派的观点看来，基础统一应该是必然的。我们早就认识到贝叶斯方法是“最优”的非条件频率方法(Berger,1985)，现在从条件频率方法的角度，也产生了许多表明以上结论正确的依据。
（五）拟（准）贝叶斯分析(quasi Basesian analysis)
有一种目前不断在文献中出现的贝叶斯分析类型，它既不属于“纯”贝叶斯分析，也不同于非贝叶斯分析。在这种类型中，各种各样的先验分布的选取具有许多特别的形式，包括选择不完全确定的先验分布(vague proper priors)；选择先验分布对似然函数的范围进行“扩展”(span)；对参数不断进行调整，从而选择合适的先验分布使得结论看起来非常完美。伯来称之为拟（准）贝叶斯分析，因为虽然它包含了贝叶斯的思想，但它并没有完全遵守主观贝叶斯或客观贝叶斯在论证过程中的规范要求。
拟（准）贝叶斯方法，伴随着MCMC方法的发展，已经被证明是一种非常有效的方法，这种方法可以在使用过程中，不断产生新的数据和知识。虽然拟（准）贝叶斯方法还存在许多不足，但拟（准）贝叶斯方法非常容易创造出一些全新的分析过程，这种分析过程可以非常灵活地对数据进行分析，这种分析过程应该加以鼓励。对这种分析方法的评判，不必要按照贝叶斯内在的标准去衡量，而应使用其他外在的标准去判别（例如敏感性、模拟精度等）。
三、贝叶斯计算方法及软件应用
（一）贝叶斯计算方法
20年前，人们经常听到的一句话是：贝叶斯分析在理论上确实很完美，但遗憾的是在实际应用过程中不能计算出结果。令人高兴的是，现在情况已大有改进。如今，再复杂的模型也可以通过贝叶斯方法进行处理。这种改进已经吸引了许多新人加入贝叶斯研究的行列，而且还减少了关于贝叶斯方法可行性的“哲学”上的争论。
贝叶斯计算主要集中在后验期望(posterior expectation)的计算上，这种计算需要进行特别的从一维到上千维的积分。另一种常见的贝叶斯计算类型是计算后验分布的众数(posterior mode)。
计算后验分布期望的传统数值计算方法是数值积分、拉普莱斯近似计算和蒙特卡洛(Monte Carlo)重要抽样。数值积分在中等维数（最大为10维）问题上非常有效，最新发展可参见莫纳汉和根茨(Monahan and Genz,1996)的研究。拉普莱斯和其他鞍点(saddlepoint)近似方法的讨论可参考R.斯特劳德曼(R.Strawderman)的简评(vignette)。迄今为止，蒙特卡洛重要抽样是利用传统方法计算后验分布期望最常用的方法。这种方法可以计算维数很大的问题，并且有着很高的计算精度。
目前，MCMC方法已经变成了非常流行的贝叶斯计算方法。一方面是由于它处理非常复杂问题的效率，另一方面是因为它的编程方法相对容易。需要强调的是，并不是说MCMC方法已经完全替代了传统的方法，在一些特别的场合（如要求精度），传统方法还具有它的优势。
（二）MCMC方法
MCMC方法实质上就是利用马尔可夫链进行蒙特卡洛积分。它的历史可以追溯到40多年前，几乎与蒙特卡洛方法同时出现，最初出现于统计物理学(statistical physics)，后来被应用于空间统计学(spatial statistics)和图像分析(image analysis)的研究。
在统计领域里，有关MCMC方法经典的文献是W.K.黑斯廷斯(W.K.Hastings)在1970年发表的一篇论文《Monte Carlo Sampling Methods Using Markov Chains and Their Applications》。20世纪90年代以来，很多应用问题都存在着研究对象比较复杂和对模型结构正确识别的困难。现在根据MCMC理论，通过使用专用统计软件进行MCMC模拟，可解决许多复杂的应用问题。
贝叶斯图建模的目的是用图形清晰地显示出参数之间的条件独立的假设，并以此为基础设计基于MCMC的计算方针。在贝叶斯图建模过程中，主要是采用DAG(directed acyclic graphy)法。对于这种方法，贝斯特等人(Best et al,1996)、史密斯、施皮格尔霍尔特和帕马(Smith,Spiegelhalter and Parmar,1996)以及施皮格尔霍尔特、托马斯和贝斯特(Spiegelhalter,Thomas and Best,1996)都做了深入的研究，科茨和吴喜之(2000)也在其著作中通过实例对此方法作了介绍。
在贝叶斯统计中（有时在经典统计中），常常需要对高维概率分布函数进行积分，以此来对总体参数进行推断或预测。而在许多情况下，这种积分是很困难的，它没有或很难写出明确的解析表达式。解决这一难题用数值积分比较困难而且不够准确，尤其当维数较大时更是如此，而MCMC方法是一种简单且行之有效的贝叶斯计算方法。
（三）软件介绍
关于MCMC方法最重要的软件包是BUGS(Bayesian inference using gibbs sampling)和WinBUGS。这个软件最初是由剑桥大学的生物统计学研究所(Biostatistics the Medical Research Council,Cambridge,United Kingdom)研制的，现在由这个所和位于伦敦的皇家学院医学分院(the Imperial College School of Medicine)共同开发。
BUGS的运行以MCMC方法为基础，它将所有未知参数都看做随机变量，然后对此种类型的概率模型进行求解。它所使用的编程语言非常容易理解，允许使用者直接对研究的概率模型作出说明。软件中的MCMC分析部分采用Fortran语言编写，相关的编程语言设计非常有效。BUGS主要的目的是解决对完全概率模型的MCMC分析，BUGS软件包适用于计算机的各种操作平台。WinBUGS是在BUGS基础上开发面向对象交互式的Windows软件版本，它可以在Windows 95/98/NT中使用，WinBUGS提供了图形界面，允许通过鼠标的点去直接建立研究模型。当然，除了WinBUGS软件还有其他贝叶斯统计计算软件，如：BAYESPACK，BMA等。
四、现代贝叶斯分析与现代统计推断
下面，我们从总结国内外学者对贝叶斯思想、方法、贝叶斯分析和贝叶斯推断不同角度的论述，来简略探讨贝叶斯思想、方法以及与现代统计推断的关系。
贝叶斯方法的基本思想是，不论你作出何种推断，都只能基于后验分布，即由后验分布所决定（陈希孺，1999）。
贝叶斯方法是基于贝叶斯定理而发展起来用于系统地阐述和解决统计问题的方法（Kotz和吴喜之，2000）。
一个完全的贝叶斯分析(full Bayesian analysis)包括数据分析、概率模型的构造、先验信息和效应函数的假设以及最后的决策(Lindley,2000)。
贝叶斯推断的基本方法是将关于本知参数的先验信息与样本信息综合，再根据贝叶斯定理，得出后验信息，然后根据后验信息去推断未知参数。（茆诗松等，1998）。
袁卫(1990)从认识论的角度阐述了贝叶斯辩证推断的思想。他认为，贝叶斯公式中包含了丰富的辩证思想：(1)贝叶斯公式既考虑了主观概率，又尊重了客观信息。(2)贝叶斯公式将静态与动态结合起来，充分利用前人的知识和经验，符合认识的发展过程。(3)人类的认识过程是一个从实践到认识，再从认识到实践这样循环往复的过程。经典的统计理论仅仅反映了这一无限的认识链条中的一个环节，即“实践→认识”的过程；而贝叶斯推断则反映整个认识链条中互相联系的两个环节“认识→实践→认识”。其中第一个认识活动即先验知识，反映为先验分布；实践活动主要表现为样本观察；第二个认识活动是认识到实践再到认识的重新认识活动，是对第一次认识的补充、修改和提高。毫无疑问，历史和前人的知识对实践会起指导作用。
陈希儒院士(1999)从统计推断的观点对贝叶斯理论进行了论述。他从纯科学研究的性质（不考虑损失，只关心获取有关未知参数的知识）解释了贝叶斯方法：(1)先验分布总结了研究者此前（试验之前）对未知参数可能取值的有关知识或看法。(2)在获得样本后，上述知识或看法有了调整，调整结果为后验分布。按照贝叶斯学派的观点，在获得后验分布后，统计推断的任务原则上就完成了。理由很简单，推断的目的是获取有关未知参数的知识，而后验分布反映了当前对未知参数的全部知识。至于为了特定的目的而需要对未知参数作出某种特定形式的推断，它可以由研究者根据后验分布，以他认为合适的方法去做，这些都已不是贝叶斯方法中固有的，而只是研究者个人的选择。
陈希孺院士还总结了吸引应用者的贝叶斯推断思想和方法的特点：(1)“先验分布＋样本→后验分布”这个模式符合人们的认识过程，即不断以新发现的资料来调整原有的知识或看法。(2)贝叶斯推断有一个固定的、不难实现的程式：方法总是落实到计算后验分布，这可能很复杂但无原则困难。在频率学派的方法中，为进行推断，往往需要知道种种统计量的抽样分布，这在理论上往往是很难解决的问题。(3)用后验分布来描述对未知参数的认识，显得比频率学派通过用统计量来描述更自然些。(4)对某些常见的问题，贝叶斯方法提供的解释比频率学派更加合理。
当然，贝叶斯方法也受到了经典统计学派中一些人的批评，批评的理由主要集中在三个方面——主观性、先验分布的误用和先验依赖数据或模型。针对这些批评，贝叶斯学派的回答如下：
几乎没有什么统计分析哪怕只是近似地是“客观的”。因为只有在具有研究问题的全部覆盖数据时，才会得到明显的“客观性”，此时，贝叶斯分析也可得出同样的结论。但大多数统计研究都不会如此幸运，以模型作为特性的选择对结论会产生严重的影响。实际上，在许多研究问题中，模型的选择对答案所产生的影响比参数的先验选择所产生的影响要大得多。
博克斯(Box,1980)说：“不把纯属假设的东西看做先验……我相信，在逻辑上不可能把模型的假设与参数的先验分布区别开来。”
古德(Good,1973)说的更直截了当：“主观主义者直述他的判断，而客观主义者以假设来掩盖其判断，并以此享受着客观性的荣耀。”
防止误用先验分布的最好方法就是给人们在先验信息方面以适当的教育。另外，在贝叶斯分析的最后报告中，应将先验和数据、损失分开来报告，以便使其他人对主观的输入做合理性的评价。两个“接近的”先验可能会产生很不相同的结果。没有办法使这个问题完全消失，但通过稳健贝叶斯方法和选择“稳健先验”可以减轻(Berger,1985)。
当代杰出的贝叶斯统计学家奥黑根(O' Hagan,1977)指出：“劝说某人不加思考地利用贝叶斯方法并不符合贝叶斯统计的初衷。进行贝叶斯分析要花更多的努力。如果存在只有贝叶斯计算方法才能处理的很强的先验信息或者更复杂的数据结构，这时收获很容易超过付出，由此能热情地推荐贝叶斯方法。另一方面，如果有大量的数据和相对较弱的先验信息，而且一目了然的数据结构能导致已知合适的经典方法（即近似于弱先验信息时的贝叶斯分析），则没有理由去过分极度地敲贝叶斯的鼓（过分强调贝叶斯方法）。”
标签：贝叶斯论文; 统计学论文; mcmc论文; 贝叶斯定理论文; 贝叶斯统计论文; 统计学分布论文; 统计模型论文; 经济学派论文; 概率论论文;