查看“︁贝叶斯定理”︁的源代码

贝叶斯定理把“某种假设下观察到证据的概率”转化为“观察到证据后该假设的条件概率”。对事件 <math>H,E</math>，若 <math>P(H)>0</math> 且 <math>P(E)>0</math>，则
<math display="block">P(H\mid E)=\frac{P(E\mid H)P(H)}{P(E)}.</math>
这里 <math>P(H)</math> 称为先验概率，<math>P(H\mid E)</math> 称为后验概率；<math>P(E\mid H)</math> 是给定假设下证据的概率。在以假设或参数为自变量时，它提供似然信息。

== 公式来自同一个交集 ==
由条件概率定义，同一交集可以写成
<math display="block">P(H\cap E)=P(H\mid E)P(E)=P(E\mid H)P(H).</math>
两边除以正数 <math>P(E)</math> 就得到公式。因此贝叶斯定理不额外假设 <math>H</math> 和 <math>E</math> 独立；它恰恰用于描述证据怎样改变对假设的判断。

若 <math>H</math> 与其补事件把样本空间分成两类，全概率公式给出
<math display="block">P(E)=P(E\mid H)P(H)+P(E\mid H^c)P(H^c).</math>
分母必须包含所有可能产生同一证据的来源。

== 一个质量检测的算例 ==
以下是教学设定的数据。假设某类产品有 5% 不合格；检测系统会标记其中 90% 的不合格品，同时误标 10% 的合格品。用 <math>H</math> 表示不合格，<math>E</math> 表示被标记。

[[File:Gezhi-bayes-tree.svg|frame|center|alt=一千件示例产品分为五十件不合格和九百五十件合格，分别有四十五件和九十五件被标记|按 1000 件作比例换算：140 件被标记的产品中，45 件来自不合格品。整数计数用于解释给定概率，不是实际抽样结果。]]
于是
<math display="block">P(H\mid E)=\frac{0.90\times0.05}{0.90\times0.05+0.10\times0.95}=\frac{45}{140}=\frac9{28}\approx32.14\%.</math>
“能检测出九成不合格品”不意味着“被标记的产品有九成不合格”。因为合格品基数更大，即使误标率只有 10%，误标数量仍多于正确标记数量。

若其他条件不变，而先验不合格率改为 50%，后验就变成 <math>0.45/(0.45+0.05)=90\%</math>。同一套检测性能，在不同总体中可以产生不同的后验概率。

== 用赔率观察证据强度 ==
当相关概率非零时，定理还可写为
<math display="block">\frac{P(H\mid E)}{P(H^c\mid E)}=\frac{P(H)}{P(H^c)}\cdot\frac{P(E\mid H)}{P(E\mid H^c)}.</math>
右侧第一项是先验赔率，第二项是似然比。上例先验赔率为 <math>1:19</math>，似然比为 9，所以后验赔率为 <math>9:19</math>，换回概率即 <math>9/28</math>。

== 多个假设与连续参数 ==
若 <math>H_1,\ldots,H_k</math> 是互斥且完备的假设，分母要对它们求和：
<math display="block">P(H_i\mid E)=\frac{P(E\mid H_i)P(H_i)}{\sum_{j=1}^k P(E\mid H_j)P(H_j)}.</math>
连续参数情形则用概率密度和积分进行归一化，不能把某个连续参数点的密度直接当成该点的概率。后验的用途包括参数估计、分类与序贯更新，但结果依赖模型及先验是否合理。

== 重复检测不能随意重复相乘 ==
使用多个证据时，应更新 <math>P(E_2\mid H,E_1)</math> 等条件概率。只有在给定假设后证据条件独立时，才能把联合似然分解成简单乘积。重复运行同一个有系统偏差的检测器，往往不能当成获得了完全独立的新证据。

== 延伸阅读 ==
* [https://ocw.mit.edu/courses/18-05-introduction-to-probability-and-statistics-spring-2022/pages/classes-reading-and-in-class-materials/ MIT OpenCourseWare，18.05，第 3 课及贝叶斯推断材料]。
* [[概率]] · [[期望]] · [[数学建模]]
[[分类:概率与统计]]