查看“贝叶斯推断”的源代码

{{expert|time=2017-02-02T09:05:20+00:00}}
{{noteTA
|T=zh:贝叶斯推断;zh-tw:貝氏推論;
|1=zh:推断; zh-tw:推論;
|2=zh:贝叶斯推断;zh-tw:貝氏推論;
|3=zh:贝叶斯;zh-tw:貝斯;
|4=zh-hans:贝叶斯定理;zh-hk:貝葉斯定理;zh-tw:貝氏定理;
}}
{{贝叶斯统计}}
'''贝叶斯推断'''（{{Lang-en|Bayesian inference}}）是[[推論統計學|推論統計]]的一种方法。这种方法使用[[贝叶斯定理]]，在有更多[[證據]]及[[信息]]時，更新特定[[假设]]的[[概率]]。贝叶斯推断是[[统计学]]（特別是[[数理统计学]]）中很重要的技巧之一。贝叶斯更新（Bayesian updating）在[[序列分析]]中格外的重要。贝叶斯推断應用在許多的領域中，包括[[科學]]、[[工程學]]、[[哲學]]、[[醫學]]、[[體育運動]]、[[法律]]等。在[[决策论]]的哲學中，贝叶斯推断和[[主觀概率]]有密切關係，常常稱為[[贝叶斯概率]]。

[[贝叶斯定理]]是由統計學家[[托馬斯·貝葉斯|托馬斯·貝斯]]（Thomas Bayes）根據許多特例推導而成，後來被許多研究者推廣為一普遍的定理<ref>Douglas Hubbard "How to Measure Anything: Finding the Value of Intangibles in Business" pg. 46, John Wiley & Sons, 2007</ref>

==貝叶斯定理的簡介==
[[File:Bayes_theorem_visualisation.svg|thumb|300px|贝叶斯定理的圖示說明。在表中，2,3,6及9的值是在對應條件及情形下的比重。分數中的機率是指陰影部份的機率。可以看出P(A<nowiki>|</nowiki>B) P(B) = P(B<nowiki>|</nowiki>A) P(A) i.e. P(A<nowiki>|</nowiki>B) = {{sfrac|P(B<nowiki>|</nowiki>A) P(A)|P(B)}}。類似的方式可以證明P(&#256;<nowiki>|</nowiki>B) = {{sfrac|P(B<nowiki>|</nowiki>&#256;) P(&#256;)|P(B)}}]]
{{Main|贝叶斯定理}}
{{See also|贝叶斯概率}}
===正式的介绍贝叶斯推断===
贝叶斯推断將[[后验概率]]（考慮相關證據或數據後，某一事件的條件機率）推導為二個[[前件]]、[[先验概率]]（考慮相關證據或數據前，某一事件不確定性的機率）及[[似然函数]]（由[[概率模型]]推導而得）的[[結果關係|結果]]。贝叶斯推断根據[[贝叶斯定理]]計算后验概率：
:<math>P(H\mid E) = \frac{P(E\mid H) \cdot P(H)}{P(E)}</math>
其中
* <math>\textstyle \mid </math>表示将某[[条件概率|事件]]成立作为条件（因此<math>\textstyle (A\mid B) </math>表示「假定 B 事件成立下，A 事件發生」）
* <math>\textstyle H</math>表示假說，其機率可能會受{{le|實驗數據|數據}}（以下會稱為證據）影響。一般來說會有許多互相矛盾的假說，任務是要確認哪一個假說可能性最高。
* <math>\textstyle E</math>表示證據。证据对应新的數據，也就是還沒用來計算先验概率的數據。
* <math>\textstyle P(H)</math>，[[先验概率]]，是觀察到數據<math>\textstyle E</math>（目前證據）之前，假說<math>\textstyle H</math>的機率。
* <math>\textstyle P(H\mid E)</math>，[[后验概率]]，是在給定證據 <math>\textstyle E</math>之後，假說<math>\textstyle H</math>的機率，是希望求得的資訊，也就是在有目前證據時，假說<math>\textstyle H</math>的機率。
* <math>\textstyle P(E\mid H)</math>是假定 <math>\textstyle H</math>成立時，觀察到<math>\textstyle E</math>的機率。在<math>\textstyle H</math>不變時，這是<math>\textstyle E</math>的函數，也是[[似然函数]]，指出在給定假設下假說和證據的相容程度。似然函数是證據<math>\textstyle E</math>的函數，而后验概率是假說<math>\textstyle H</math>的函數。
* <math>\textstyle P(E)</math>有時會稱為{{le|邊緣似然率|marginal likelihood}}<!--or "model evidence"-->。此係數對所有可能的假說都是定值<!--(as is evident from the fact that the hypothesis <math>\textstyle H</math> does not appear anywhere in the symbol, unlike for all the other factors)-->，因此在判斷不同假說的相對機率時，不會用到這個係數中。

針對不同的<math>\textstyle H</math>數值，只有<math>\textstyle P(H)</math>和<math>\textstyle P(E\mid H)</math>（都在分子）會影響<math>\textstyle P(H\mid E)</math>的數值。假說的后验概率和其先验概率（固有似然率）和新產生的似然率（假說和新得到證據的相容性）乘積成正比。

贝叶斯定理也可以寫成下式：
:<math>P(H\mid E) = \frac{P(E\mid H)}{P(E)} \cdot P(H)</math>
其中係數<math>\textstyle \frac{P(E\mid H)}{P(E)}</math>可以解釋成<math>E</math>對<math>H</math>機率的影響。

===非正式的介绍贝叶斯推断===
<!--
若證據和假說無法符合，需要拒絕該假說，不過若假說非常不可能「前提」，也應該要拒絕該假說。例如，若隔壁家的新生兒不知道是男是女，但根據隔壁家嬰兒床裝飾的方式可能可以判斷新生兒的性別，but if in front of that door, instead of the crib, a dog kennel is found, the posterior probability that the family next door gave birth to a dog remains small in spite of the "evidence", since one's prior belief in such a hypothesis was already extremely small.-->

贝叶斯推断最關鍵的點是可以利用貝斯定理結合新的證據及以前的先驗機率，來得到新的機率（這和[[频率学派推断]]相反，頻率論推論只考慮證據，不考慮先驗機率）。

而且贝叶斯推断可以迭代使用：在觀察一些證據後得到的後設機率可以當作新的先驗機率，再根據新的證據得到新的後設機率。因此貝斯定理可以應用在許多不同的證據上，不論這些證據是一起出現或是不同時出現都可以，這個程序稱為貝斯更新（Bayesian updating）。
{{clear}}

==贝叶斯推断的描述==

===定義===
*<math>x</math>是數據點，可能是一個有許多數值形成的{{le|多維隨機變量|random vector|向量}}。
*<math>\theta</math>是數據點分佈的[[参数]]，也就是說<math>x \sim p(x \mid \theta)</math>。這也有可能是参数形成的向量。
*<math>\alpha</math>是參數的{{le|超參數|hyperparameter}}，也就是說<math>\theta \sim p(\theta \mid \alpha)</math>。這也有可能是超参数形成的向量。
*<math>\mathbf{X}</math>，由觀測到的<math>n</math>個數據點組成的一組數據，<math>x_1,\ldots,x_n</math>.
*<math>\tilde{x}</math>，需預測分佈的新數據點。

===贝叶斯推断===
*[[先驗分布]]是在觀測資料前的參數分布<math>p(\theta \mid \alpha)</math>。
*先驗分布可能不容易確認，此時可以用{{le|傑佛里斯事前分配|Jeffreys prior}}在更新較新的觀測值時，先獲得後驗分佈。
*{{le|取樣分布|sampling distribution}}是以觀測資料的條件，其參數的分布<math>p(\mathbf{X} \mid \theta)</math>。這也稱為[[似然函数]]，尤其是視為是參數的函數時，有時會寫成<math>\operatorname{L}(\theta  \mid \mathbf{X}) = p(\mathbf{X} \mid \theta)</math>。
*{{le|邊緣似然率|marginal likelihood}}（有時也稱為證據）是觀測資料在參數上的[[边缘分布]]<math>p(\mathbf{X} \mid \alpha) = \int_{\theta} p(\mathbf{X} \mid \theta) p(\theta \mid \alpha) \operatorname{d}\!\theta</math>。
*[[後驗分布]]是考慮觀測資料後的參數分布。可以由{{le|貝斯法則|Bayes' rule}}確認，也是贝叶斯推断的核心：
:<math>p(\theta \mid \mathbf{X},\alpha) = \frac{p(\mathbf{X} \mid \theta) p(\theta \mid \alpha)}{p(\mathbf{X} \mid \alpha)} \propto p(\mathbf{X} \mid \theta) p(\theta \mid \alpha)</math>

若用文字表示，即為「後驗和先驗及似然率的乘積成正比」，有時也會寫成「後驗 = 先驗 × 似然率，在有證據的情形下」。

==應用==
===電腦應用===
贝叶斯推断有在[[人工智慧]]及[[專家系統]]上應用。自1950年代後期開始，贝叶斯推断技巧就是電腦[[模式识别]]技術中的基礎。現在也越來越多將贝叶斯推断和以模擬為基礎的[[蒙地卡羅方法]]合併使用的應用，因為一些模雜的模型無法用贝叶斯分析得到解析解，因[[圖模式]]結構可以配合一些快速的模擬方式（例如[[吉布斯抽樣]]或是其他[[Metropolis–Hastings演算法]]）<ref>{{cite book|author=Jim Albert|year=2009|title= Bayesian Computation with R, Second edition|publisher=Springer|location=New York, Dordrecht, etc.|isbn= 978-0-387-92297-3|ref=harv}}</ref>。因為上述理由，贝叶斯推断在[[系统发生学]]研究社群中來越受到重視，許多的應用可以用同時估測许多人口和进化参数。
==歷史==
<!--{{Main|History of statistics#Bayesian statistics}}
-->
「贝叶斯」是指[[托马斯·贝叶斯]]（1702–1761），他證明了一個特例（現在知道是[[贝叶斯定理]]的特例），不過[[皮埃尔-西蒙·拉普拉斯]]（1749–1827）推導了此定理的一般版本，應用在[[天體力學]]、醫療統計學、{{le|可靠度 (統計學)|Reliability (statistics)|可靠度}}及[[法学]]上<ref>{{cite book |first=Stephen M. |last=Stigler |year=1986 |title=The History of Statistics |publisher=Harvard University Press |chapter=Chapter 3 }}</ref>。早期的贝叶斯推断是用拉普拉斯{{le|不充分理由原則|principle of insufficient reason}}所得的均勻先驗，稱為{{le|逆向機率|inverse probability}}（因為是由觀測值倒推參數的[[归纳推理]]，或是從結果倒推到原因<ref name=Fienberg2006>{{cite journal|first=Stephen E. |last=Fienberg |year=2006 |url=http://ba.stat.cmu.edu/journal/2006/vol01/issue01/fienberg.pdf |title=When did Bayesian Inference Become ‘Bayesian’? |journal=Bayesian Analysis |volume=1 |issue=1 |pages=1–40 [p. 5] |doi=10.1214/06-ba101 |deadurl=yes |archiveurl=https://web.archive.org/web/20140910070556/http://ba.stat.cmu.edu/journal/2006/vol01/issue01/fienberg.pdf |archivedate=2014-09-10 |df= }}</ref>）。在1920年代以後，逆向機率很大程度的被另一群稱為{{le|頻率論統計|frequentist statistics}}的方式取代<ref name=Fienberg2006/>。

二十世紀時，拉普拉斯的概念往下分支為二派，開始出現主觀贝叶斯方法及客觀贝叶斯方法。客觀贝叶斯方法（或是不提供信息的贝叶斯方法）中，統計分析只依照假設的模型、分析的資料<ref name=Bernardo>{{cite book |first=José-Miguel |last=Bernardo |year=2005 |chapter=Reference analysis |title=Handbook of statistics |volume=25 |pages=17–90 |isbn= }}</ref>以及給定先驗分布的方式（不同的客觀贝叶斯方法會有不同給定先驗分布的方式）。主觀贝叶斯方法（或是提供信息的贝叶斯方法）中，先驗的規格依信念（也是分析希望要呈現的主張）而定，信念可以由專家整理資訊後總結產生，也可以根據以往的研究等。

1980年代發現了[[马尔科夫蒙特卡洛]]方法，讓贝叶斯方法的研究及應用有大幅的發展，除去了許多運算上的問題，也有越來越多人願意參與非標準的複雜問題<ref>{{cite journal |last=Wolpert |first=R.&nbsp;L. |year=2004 |title=A Conversation with James O. Berger |journal=Statistical Science |volume=19 |issue=1 |pages=205–218 |doi=10.1214/088342304000000053 |mr=2082155 }}</ref>。不過雖然贝叶斯方法的研究仍在成長，大部份大學本科的教學仍是以{{le|頻率論統計|frequentist statistics}}為基礎
<ref>{{cite journal |first=José M. |last=Bernardo |year=2006 |url=http://www.ime.usp.br/~abe/ICOTS7/Proceedings/PDFs/InvitedPapers/3I2_BERN.pdf |title=A Bayesian mathematical statistics primer |work=ICOTS-7 }}</ref>。不過贝叶斯方法也廣為許多領域接受及應用，例如在[[机器学习]]的領域中<ref name="ReferenceA">{{cite book |last=Bishop |first=C. M. |title=Pattern Recognition and Machine Learning |publisher=Springer |year=2007 |location=New York |isbn=0387310738 }}</ref>。

==參考資料==
{{reflist}}

==相關條目==
{{Portal|統計學}}
* [[贝叶斯定理]]
* {{le|貝斯分析 (期刊|Bayesian Analysis (journal)|貝斯分析}}，ISBA期刊
* {{le|贝叶斯分级模型|Bayesian hierarchical modeling}}
* [[贝叶斯概率]]
* {{le|歸納概率|Inductive probability}}
* {{le|國際貝斯分析協會|International Society for Bayesian Analysis}}（ISBA）
* {{le|傑佛里斯事前分配|Jeffreys prior}}
* {{le|貝斯結構性時間序列|Bayesian structural time series}}（BSTS）
* [[蒙提霍爾問題]]

{{統計學}}
{{Authority control}}

[[分类:贝叶斯统计]]