贝叶斯定理

贝叶斯定理把“某种假设下观察到证据的概率”转化为“观察到证据后该假设的条件概率”。对事件 $H, E$ ，若 $P (H) > 0$ 且 $P (E) > 0$ ，则 $P (H ∣ E) = \frac{P (E ∣ H) P (H)}{P (E)} .$ 这里 $P (H)$ 称为先验概率， $P (H ∣ E)$ 称为后验概率； $P (E ∣ H)$ 是给定假设下证据的概率。在以假设或参数为自变量时，它提供似然信息。

公式来自同一个交集

由条件概率定义，同一交集可以写成 $P (H \cap E) = P (H ∣ E) P (E) = P (E ∣ H) P (H) .$ 两边除以正数 $P (E)$ 就得到公式。因此贝叶斯定理不额外假设 $H$ 和 $E$ 独立；它恰恰用于描述证据怎样改变对假设的判断。

若 $H$ 与其补事件把样本空间分成两类，全概率公式给出 $P (E) = P (E ∣ H) P (H) + P (E ∣ H^{c}) P (H^{c}) .$ 分母必须包含所有可能产生同一证据的来源。

一个质量检测的算例

以下是教学设定的数据。假设某类产品有 5% 不合格；检测系统会标记其中 90% 的不合格品，同时误标 10% 的合格品。用 $H$ 表示不合格， $E$ 表示被标记。

一千件示例产品分为五十件不合格和九百五十件合格，分别有四十五件和九十五件被标记 — 按 1000 件作比例换算：140 件被标记的产品中，45 件来自不合格品。整数计数用于解释给定概率，不是实际抽样结果。

于是 $P (H ∣ E) = \frac{0.90 \times 0.05}{0.90 \times 0.05 + 0.10 \times 0.95} = \frac{45}{140} = \frac{9}{28} \approx 32.14 % .$ “能检测出九成不合格品”不意味着“被标记的产品有九成不合格”。因为合格品基数更大，即使误标率只有 10%，误标数量仍多于正确标记数量。

若其他条件不变，而先验不合格率改为 50%，后验就变成 $0.45 / (0.45 + 0.05) = 90 %$ 。同一套检测性能，在不同总体中可以产生不同的后验概率。

用赔率观察证据强度

当相关概率非零时，定理还可写为 $\frac{P (H ∣ E)}{P (H^{c} ∣ E)} = \frac{P (H)}{P (H^{c})} \cdot \frac{P (E ∣ H)}{P (E ∣ H^{c})} .$ 右侧第一项是先验赔率，第二项是似然比。上例先验赔率为 $1 : 19$ ，似然比为 9，所以后验赔率为 $9 : 19$ ，换回概率即 $9 / 28$ 。

多个假设与连续参数

若 $H_{1}, \dots, H_{k}$ 是互斥且完备的假设，分母要对它们求和： $P (H_{i} ∣ E) = \frac{P (E ∣ H_{i}) P (H_{i})}{\sum_{j = 1}^{k} P (E ∣ H_{j}) P (H_{j})} .$ 连续参数情形则用概率密度和积分进行归一化，不能把某个连续参数点的密度直接当成该点的概率。后验的用途包括参数估计、分类与序贯更新，但结果依赖模型及先验是否合理。

重复检测不能随意重复相乘

使用多个证据时，应更新 $P (E_{2} ∣ H, E_{1})$ 等条件概率。只有在给定假设后证据条件独立时，才能把联合似然分解成简单乘积。重复运行同一个有系统偏差的检测器，往往不能当成获得了完全独立的新证据。

延伸阅读