英國學者T.貝葉斯1763年在《論有關(guān)機遇問題的求解》中提出一種歸納推理的理論，后被一些統(tǒng)計學者發(fā)展為一種系統(tǒng)的統(tǒng)計推斷方法，稱為貝葉斯方法。采用這種方法作統(tǒng)計推斷所得的全部結(jié)果，構(gòu)成貝葉斯統(tǒng)計的內(nèi)容。認為貝葉斯方法是唯一合理的統(tǒng)計推斷方法的統(tǒng)計學者，組成數(shù)理統(tǒng)計學中的貝葉斯學派，其形成可追溯到 20世紀 30 年代。到50～60年代，已發(fā)展為一個有影響的學派。時至今日，其影響日益擴大。

貝葉斯統(tǒng)計中的兩個基本概念是先驗分布和后驗分布。

①先驗分布?？傮w分布參數(shù)θ的一個概率分布。貝葉斯學派的根本觀點，是認為在關(guān)于總體分布參數(shù)θ的任何統(tǒng)計推斷問題中，除了使用樣本所提供的信息外，還必須規(guī)定一個先驗分布，它是在進行統(tǒng)計推斷時不可缺少的一個要素。他們認為先驗分布不必有客觀的依據(jù)，可以部分地或完全地基于主觀信念。

②后驗分布。根據(jù)樣本分布和未知參數(shù)的先驗分布，用概率論中求條件概率分布的方法，求出的在樣本已知下，未知參數(shù)的條件分布。因為這個分布是在抽樣以后才得到的，故稱為后驗分布。貝葉斯推斷方法的關(guān)鍵是任何推斷都必須且只須根據(jù)后驗分布，而不能再涉及樣本分布。

貝葉斯統(tǒng)計(Bayesian statistics)，推斷統(tǒng)計理論的一種。英國學者貝葉斯在1763年發(fā)表的論文《有關(guān)機遇問題求解的短論》中提出。依據(jù)獲得樣本 (Xl，X2，…，Xn)之后θ的后驗分布π（θ|X1，X2，…，Xn)對總體參數(shù)θ作出估計和推斷。它不是由樣本分布作出推斷。其理論基礎(chǔ)是先驗概率和后驗分布，即在事件概率時，除樣本提供的后驗信息外，還會憑借自己主觀已有的先驗信息來估計事件的概率。而以R．A．費希爾為首的經(jīng)典統(tǒng)計理論對事件概率的解釋是頻率解釋，即通過抽取樣本，由樣本計算出事件的頻率，而樣本提供的信息完全是客觀的，一切推斷的結(jié)論或決策不允許加入任何主觀的先驗的信息。以對神童出現(xiàn)的概率P的估計為例。按經(jīng)典統(tǒng)計的做法，完全由樣本提供的信息(即后驗信息)來估計，認為參數(shù)p是一個“值”。貝葉斯統(tǒng)計的做法是，除樣本提供的后驗信息外，人類的經(jīng)驗對p有了一個了解，如p可能取pl與戶p2，且取p1的機會很大，取p2機會很小。先驗信息關(guān)于參數(shù)p的信息是一個“分布”，如P(p=p1)=0．9，P(p=p2)=0．1，即在抽樣之前已知道(先驗的)p取p1的可能性為0．9。若不去抽樣便要作出推斷，自然會取p=p1。但若抽樣后，除非后驗信息(即樣本提供的信息)包含十分有利于“p—=p2”的支持論據(jù)，否則采納先驗的看法“p=p1”。20世紀 50年代后貝葉斯統(tǒng)計得到真正發(fā)展，但在發(fā)展過程中始終存在著與經(jīng)典統(tǒng)計之間的爭論。

貝葉斯統(tǒng)計的歷史可以上溯到 16 世紀。1713 年，James Bernoulli 意識到在可用于機會游戲的演繹邏輯和每日生活中的歸納邏輯之間的區(qū)別，他提出一個著名的問題：前者的機理如何能幫助處理后面的推斷。托馬斯.貝葉斯（ThomasBayes， 1702－1761）是長老會的牧師。他對這個問題產(chǎn)生濃厚的興趣，并且對這個問題進行認真的研究，期間，他寫了一篇文章來回答B(yǎng)ernoulli 的問題，提出了后來以他的名字命名的公式：貝葉斯公式。但是，直到貝葉斯死后才由他的朋友Richard Price 在 1763 年發(fā)表了這篇文章，對Bernoulli 的問題提供了回答。這篇文章標志著貝葉斯統(tǒng)計的產(chǎn)生。但貝葉斯統(tǒng)計的思想在開始時并沒有得到重視。后來，Laplace 本人重新發(fā)現(xiàn)了貝葉斯公式，而且闡述得比貝葉斯更為清晰。由于貝葉斯統(tǒng)計對于概率的觀點過于主觀，與當時的主流統(tǒng)計觀點相左，此外也很難應(yīng)用當時嚴謹?shù)臄?shù)學理論解釋。

例如貝葉斯統(tǒng)計中的先驗概率的觀點，一直以來都是貝葉斯統(tǒng)計學派和非貝葉斯統(tǒng)計學派爭論的焦點之一。在歷史上，貝葉斯統(tǒng)計長期受到排斥，受到當時主流的數(shù)學家們的拒絕。例如，近代優(yōu)秀的統(tǒng)計學家R. A. Fisher 就是貝葉斯統(tǒng)計的反對者。然而，隨著科學的進步，貝葉斯統(tǒng)計在實際應(yīng)用上取得的成功慢慢改變了人們的觀點。貝葉斯統(tǒng)計慢慢的受到人們的重視，目前貝葉斯統(tǒng)計已經(jīng)成為統(tǒng)計學中一門很熱門的研究課題。

從貝葉斯為了回答James Bernoulli 的問題而寫的那一篇論文，提出著名的貝葉斯統(tǒng)計思想以來，經(jīng)過幾百年的發(fā)展，目前關(guān)于貝葉斯統(tǒng)計的論文和學術(shù)專著有很多。目前統(tǒng)計界公認比較權(quán)威的貝葉斯統(tǒng)計的著作是James O. Berger 的作品：StatisticalDecision theory and Bayesian Analysis。國內(nèi)有其中譯本：《統(tǒng)計決策論及貝葉斯分析》，它是由賈乃光主譯，吳喜之校譯，中國統(tǒng)計出版社出版。