共轭先验

共轭先验（conjugate prior）是相对于一个指定的似然模型而言，经过贝叶斯更新后，后验仍属于原先分布族的一类先验。其便利之处是把分布更新化成少数参数的更新；它并不保证先验符合实际情况，也不表示数据与参数服从同一种分布。

以一个合成的计数问题为例：设某类事件以未知的小时发生率λ出现，两个独立的一小时观测分别计数4次、3次。数据服从条件于λ的泊松模型，λ本身的先验则用伽马分布描述。把两者相乘后，λ的后验仍是伽马分布；下面把“仍是同一族”的计算完整展开。

相乘后的函数形状

对固定的数据x，贝叶斯定理给出 $$\pi (\theta \mid x)=\frac{L(\theta ;x)\pi (\theta )}{\int L(u;x)\pi (u)\mathrm{d}u}.$$ 这里π是参数的先验密度，L是数据在给定参数下的概率或密度，分母是当前数据的边缘概率或密度值。分母必须正且有限；θ的支撑、参考测度和所用参数化也应确定。说“忽略常数”时，只能忽略不依赖θ的因子。

一个先验族 $\{\pi (\theta \mid \eta ):\eta \in H\}$ 对似然模型共轭，是指对于能作合法更新的数据，后验可写成同一族的 $\pi (\theta \mid {\eta }^{\prime })$，其中新参数η′由η和数据确定。比较的对象是参数的先验与后验，不是数据分布与后验。

泊松计数与伽马更新

设 $Y_i\mid \lambda \sim \mathrm{Poisson}(e_i\lambda )$，条件于同一个λ时相互独立。已知暴露时长 $e_i>0$ 以小时计，λ的单位为每小时。记总计数 $S=\sum _i{y}_i$、总时长 $T=\sum _i{e}_i$，则 $$L(\lambda ;y)=\prod _i\frac{(e_i\lambda {)}^{y_i}{e}^{-e_i\lambda }}{y_i!}=\left(\prod _i\frac{e_i^{y_i}}{y_i!}\right){\lambda }^S{e}^{-T\lambda }.$$ 括号中的因子与λ无关。取形状—率参数化的伽马先验 $$\pi (\lambda )=\frac{b^a}{\Gamma (a)}{\lambda }^{a-1}{e}^{-b\lambda },a>0,b>0,\lambda >0.$$ 本篇b是率，与伽马分布词条采用的尺度θ满足 $b=1/\theta$；将软件的scale直接设成b会得到不同先验。b的单位为小时，才能使指数 $b\lambda$ 无量纲。

把似然和先验相乘，λ的幂次变成 $a+S-1$，指数中的系数变成 $b+T$，因此 $$\lambda \mid y\sim {\mathrm{Gamma}}_{\mathrm{s}\mathrm{h}\mathrm{a}\mathrm{p}\mathrm{e},\mathrm{r}\mathrm{a}\mathrm{t}\mathrm{e}}(a+S,b+T).$$ 归一化可直接核验：对 $A=a+S$、$B=b+T$，变量代换 $u=B\lambda$ 给出 $${\int }_0^{\mathrm{\infty }}{\lambda }^{A-1}{e}^{-B\lambda }\mathrm{d}\lambda =\frac{\Gamma (A)}{B^A},$$ 故后验的常数为 $B^A/\Gamma (A)$。正的先验参数与非负计数、正时长保证A、B均为正。

两小时观测的逐项计算

主例取a=2、b=1，先验均值为2，方差为2；数据S=7、T=2，所以后验形状A=9、率B=3。由伽马矩公式， $$𝔼(\lambda \mid y)=\frac{9}{3}=3,\mathrm{Var}(\lambda \mid y)=\frac{9}{3^2}=1.$$ 似然单独给出的发生率估计为 $S/T=3.5$，后验均值在先验均值2和样本率3.5之间。把均值改写为 $$\frac{a+S}{b+T}=\frac{b}{b+T}\frac{a}{b}+\frac{T}{b+T}\frac{S}{T}$$ 可看出本例是 $(1/3)\times 2+(2/3)\times 3.5=3$。这种权重表示先验影响的大小，不表示真实存在一小时的额外观测；先验参数仍应由实际知识与敏感性分析支持。

横轴λ为每小时发生率。虚线标出先验均值2和后验均值3；密度峰的位置不等于均值。

也可分两次更新。第一小时计数4，得到 $\mathrm{Gamma}(6,2)$；第二小时计数3，再得到 $\mathrm{Gamma}(9,3)$，与一次汇总完全相同。相加的是计数和暴露时长；若把第一段后验作为第二段先验，又把两小时全部数据用一次，就会重复计入第一小时。

变式。 两个观测时长改成0.5、1.5小时，相应计数为2、5。只要仍假设同一λ及条件独立，S=7、T=2不变，后验仍为 $\mathrm{Gamma}(9,3)$。这不说明分段信息永远无用：若发生率随时间变化，共用一个λ的模型已需重新检验。

后验分布与下一小时预测

参数均值为3，不意味着下一小时计数服从确定参数的Poisson(3)。预测还应积分掉λ的不确定性。假设给定同一个λ，新时段计数与已有观测条件独立，并服从Poisson(eλ)，其中下一段时长e>0；后验为Gamma(A,B)，则 $$Pr(Y_{\mathrm{n}\mathrm{e}\mathrm{w}}=k\mid y)={\int }_0^{\mathrm{\infty }}\frac{(e\lambda {)}^k{e}^{-e\lambda }}{k!}\frac{B^A}{\Gamma (A)}{\lambda }^{A-1}{e}^{-B\lambda }\mathrm{d}\lambda$$ $$=\frac{\Gamma (A+k)}{\Gamma (A)k!}{\left(\frac{B}{B+e}\right)}^A{\left(\frac{e}{B+e}\right)}^k,k=0,1,2,\dots .$$ 积分中只需再次识别形状A+k、率B+e的伽马核，便得到所示常数。这是一个负二项预测分布，A可以不是整数；上述质量函数明确了所用参数约定。

由全期望和全方差， $$𝔼(Y_{\mathrm{n}\mathrm{e}\mathrm{w}}\mid y)=eA/B,\mathrm{Var}(Y_{\mathrm{n}\mathrm{e}\mathrm{w}}\mid y)=eA/B+e^{2}A/B^2.$$ 第一项是给定发生率后的泊松变动，第二项来自发生率本身的不确定性。主例e=1时，预测均值3、方差4，而Poisson(3)方差只有3；预测零次的概率为 $(3/4{)}^9\approx 0.075085$，也不等于 $e^{-3}\approx 0.049787$。

青柱积分了发生率的不确定性，金柱直接代入后验均值λ=3。图中仅截取0至13次，未把更大计数的尾部概率删去或重新归一化。

共轭关系的范围

贝塔分布对伯努利或二项似然也是共轭的：先验Beta(a,b)，观察n次试验、s次成功后得到Beta(a+s,b+n−s)。贝叶斯估计中已知观测方差的正态均值模型，则由先验精度与数据精度相加形成正态后验。它们与本篇共有的机制是：似然乘进来后，只改变分布核中的参数。不同似然改变不同的核，因此“伽马分布是共轭先验”必须说明它针对哪个参数与观测模型。

共轭族也可以太窄。例如一个单峰的伽马先验难以表达“发生率可能很低，也可能很高，中间反而不太可能”的两峰判断。可以考虑混合先验或其他适当先验；计算便利不能替代建模理由。若数据过度分散、存在时间依赖或λ随场景变化，首先要检查泊松观测假设。

不适定先验也需额外谨慎。形式上的 $\pi (\lambda )\propto 1/\lambda$ 在正半轴不可归一化；乘入数据后得到核 ${\lambda }^{S-1}{e}^{-T\lambda }$。T>0、S>0时可归一化，但S=0时零附近积分发散，不能把Gamma(0,T)当作合法后验。不能只凭核函数“像一个熟悉分布”就跳过参数与积分条件。