狄利克雷分布

狄利克雷分布（Dirichlet distribution）是在概率向量上定义的连续分布。随机对象是非负且总和为一的一整组比例，不能把各分量当作互不受约束的独立随机数。它将贝塔分布从两个互补比例推广到多个类别。

设甲、乙、丙的未知概率向量为 $P=(P_1,P_2,P_3)$，用 $\mathrm{Dirichlet}(2,3,1)$ 描述不确定性。其均值为 $(1/3,1/2,1/6)$，但每次抽取的是总和仍为一的整组概率。下面用归一化独立伽马变量解释这个约束从何而来。

单纯形上的密度

设 $K\ge 2$、${\alpha }_i>0$，记 ${\alpha }_0=\sum _i{\alpha }_i$。内部单纯形为 $p_i>0$、$\sum _i{p}_i=1$。以 $p_1,\dots ,p_{K-1}$ 为自由坐标，$p_K=1-\sum _{i<K}{p}_i$，密度定义为 $$f(p)=\frac{1}{B(𝜶)}\prod _{i=1}^K{p}_i^{{\alpha }_i-1},B(𝜶)=\frac{\prod _i\Gamma ({\alpha }_i)}{\Gamma ({\alpha }_0)}.$$ 这里密度是相对于这 $K-1$ 个自由坐标的体积元，不是相对于 $K$ 维普通体积。闭支撑是包含边界的单纯形，但边界没有正概率质量；某些 ${\alpha }_i<1$ 可使边界附近密度发散，却不产生端点原子。

独立伽马变量归一化

取独立的 $Y_i\sim \mathrm{Gamma}({\alpha }_i,1)$，定义 $S=\sum _i{Y}_i$、$P_i=Y_i/S$。变换为 $y_i=s{p}_i$；从 $(p_1,\dots ,p_{K-1},s)$ 到 $(y_1,\dots ,y_K)$ 的雅可比绝对值为 $s^{K-1}$，可从前 $K-1$ 列各提出 s，再用最后一行的 $p_K=1-\sum _{i<K}{p}_i$ 消元得到。联合密度因此为 $$\frac{s^{{\alpha }_0-1}{e}^{-s}}{\prod _i\Gamma ({\alpha }_i)}\prod _i{p}_i^{{\alpha }_i-1}=\frac{s^{{\alpha }_0-1}{e}^{-s}}{\Gamma ({\alpha }_0)}\frac{\Gamma ({\alpha }_0)}{\prod _i\Gamma ({\alpha }_i)}\prod _i{p}_i^{{\alpha }_i-1}.$$ 第一因子是归一化伽马密度，对 s 积分后恰好留下所定义的狄利克雷密度。由于原联合积分为一，这也证明了单纯形密度的归一化，并说明 $S$ 与 $P$ 独立。

由固定种子生成六十个 Dirichlet(2,3,1) 样本；金色点是理论均值。

三角形每个顶点代表某一类别比例为一。图中的点为上述模型的合成抽样，均落在三角形内；这些点展示的是概率向量的不确定性，并不是一次多项试验的类别计数。

矩、集中程度与边际分布

把密度乘上 $\prod _i{p}_i^{r_i}$，其中 $r_i$ 为非负整数，再积分，得到 $$𝔼\prod _i{P}_i^{r_i}=\frac{B(𝜶+𝒓)}{B(𝜶)}.$$ 取单个指数为一或二，再取两个指数各一，利用伽马递推式即得 $$𝔼P_i=\frac{{\alpha }_i}{{\alpha }_0},\mathrm{Var}(P_i)=\frac{{\alpha }_i({\alpha }_0-{\alpha }_i)}{{\alpha }_0^2({\alpha }_0+1)},\mathrm{Cov}(P_i,P_j)=-\frac{{\alpha }_i{\alpha }_j}{{\alpha }_0^2({\alpha }_0+1)}(i\ne j).$$ 本例 $\mathrm{Var}(P_1)=2/63$、$\mathrm{Cov}(P_1,P_2)=-1/42$。把所有参数乘十保持均值，却将方差的分母因子从七变成六十一，所以不确定性显著缩小。

独立伽马变量的剩余和 $\sum _{j\ne i}{Y}_j$ 服从形状 ${\alpha }_0-{\alpha }_i$、尺度一的伽马分布，且与 $Y_i$ 独立。两者的比值归一化给出 $$P_i\sim \mathrm{Beta}({\alpha }_i,{\alpha }_0-{\alpha }_i).$$ 因此本例 $P_1\sim \mathrm{Beta}(2,4)$，密度为 $20p(1-p{)}^3$。尾积分也可写成 $Pr(P_1>p)=(1-p{)}^4(1+4p)$，在 $p=1/2$ 处为 $3/16$。

两曲线均值为 1/3；全部浓度乘十使分布更集中。

分类数据后的更新

若给定 $P$ 后，n次试验条件独立、共享概率向量 P，类别计数为 $k_i$，则似然中与 P 有关的部分为 $\prod _i{P}_i^{k_i}$。与先验核相乘，只把指数相加，因此 $$P\mid k\sim \mathrm{Dirichlet}({\alpha }_1+k_1,\dots ,{\alpha }_K+k_K).$$ 作为变式，在本例中观测计数 $(2,0,1)$，后验为 $\mathrm{Dirichlet}(4,3,2)$，均值为 $(4/9,1/3,2/9)$。乙虽然没有新增观测，其后验均值也从二分之一降到三分之一，因为总浓度改变了。下一次分类的预测概率等于各分量后验均值，而未来多次计数还需对共享 P 整体积分，得到狄利克雷多项分布。

不同分量的比例之和固定为一，普通狄利克雷族的分量协方差非正；需要正协方差或结构性零比例的场景，不能仅调节几个正参数来实现。概率随试验系统性变化或存在未建模依赖时，上面的条件独立共轭更新也不再是相应真实机制的精确结论。