狄利克雷多项分布

狄利克雷多项分布（Dirichlet-multinomial distribution）是共享随机类别概率向量的多项混合分布。先为整组抽取一个狄利克雷概率向量，再在给定向量下进行固定次数的独立分类试验。它允许各组概率不同，也可表示对同一未知概率向量积分后的预测计数。

取三类、三次试验的合成模型，概率向量 $P\sim \mathrm{Dirichlet}(1,1,1)$。虽然每类平均概率都是三分之一，但“三次全为甲”的概率为十分之一，比固定等概率多项模型中的 $1/27$ 更大。额外变异来自同组共享的 P，而不是把总试验数改变了。

概率向量的整体积分

设类别数 $K\ge 2$、次数 $n\in {\mathbb{Z}}_{\ge 0}$，各 ${\alpha }_i>0$、${\alpha }_0=\sum _i{\alpha }_i$。给定 P 后 $N\mid P\sim \mathrm{Multinomial}(n,P)$，而 $P\sim \mathrm{Dirichlet}(𝜶)$。对非负整数向量 k，$\sum _i{k}_i=n$，有 $$Pr(N=k)=\frac{n!}{\prod _i{k}_i!}\int \prod _i{p}_i^{k_i}\frac{\prod _i{p}_i^{{\alpha }_i-1}}{B(𝜶)}\mathrm{d}p=\frac{n!}{\prod _i{k}_i!}\frac{B(𝜶+k)}{B(𝜶)}.$$ 积分遍及内部单纯形，体积元采用前 K−1 个自由坐标。这是所有上述计数向量上的正概率支撑。将有限计数求和移入积分，多项质量之和为一，再对归一化狄利克雷密度积分，证明总概率为一。

主例中 ${\alpha }_0=3,n=3$，展开伽马常数， $$Pr(N=k)=\frac{3!\Gamma (3)}{\Gamma (6)}\prod _i\frac{\Gamma (1+k_i)}{k_i!\Gamma (1)}=\frac{1}{10}.$$ 所以十个计数向量的概率都相同，既包括 $(3,0,0)$，也包括 $(1,1,1)$。这里均匀的是计数向量，不是三次分类的所有有序序列。

每个点对应一个计数向量，第三个计数由总和三确定，每点概率1/10。

协方差的膨胀因子

记 $p_i={\alpha }_i/{\alpha }_0$。全期望给出 $𝔼N_i=n{p}_i$。由条件多项方差和狄利克雷矩， $$\mathrm{Var}(N_i)=n𝔼[P_i(1-P_i)]+n^2\mathrm{Var}(P_i)=n{p}_i(1-p_i)\frac{n+{\alpha }_0}{1+{\alpha }_0}.$$ 对不同类别 i、j，全协方差给出 $$\mathrm{Cov}(N_i,N_j)=-n𝔼[P_i{P}_j]+n^2\mathrm{Cov}(P_i,P_j)=-n{p}_i{p}_j\frac{n+{\alpha }_0}{1+{\alpha }_0}.$$ 代入 $𝔼[P_i{P}_j]={\alpha }_i{\alpha }_j/[{\alpha }_0({\alpha }_0+1)]$ 和 $\mathrm{Cov}(P_i,P_j)=-p_i{p}_j/({\alpha }_0+1)$ 即能逐项核对。因子 $(n+{\alpha }_0)/(1+{\alpha }_0)$ 使 n>1 时的各类别计数方差大于固定概率多项方差；不同类别计数仍负相关，因为总数固定。

本例每类均值一、方差一，任意两类协方差为 $-1/2$。协方差矩阵每行和零，与三类总数恒为三一致。第一类的边际由合并另两类得到 $\mathrm{BetaBinomial}(3,1,2)$，其质量为 $(0.4,0.3,0.2,0.1)$，而固定概率二项模型的四个质量不同。

n=3，混合边际的四根柱为0.4、0.3、0.2、0.1；均值同为一。

后验预测与组别机制

作为变式，先验仍为 $\mathrm{Dirichlet}(1,1,1)$，已有观测计数为 $(2,0,1)$。乘上多项似然后，后验为 $\mathrm{Dirichlet}(3,1,2)$。未来两次条件独立分类都为甲的概率为 $$𝔼[P_1^2\mid \text{数据}]=\frac{3\cdot 4}{6\cdot 7}=\frac{2}{7}.$$ 若只把后验均值 $1/2$ 代入，会得到 $1/4$，遗漏共享参数的不确定性。未来计数应使用 n=2、参数向量(3,1,2)的完整混合分布。

若每次分类都独立重抽 P，各次结果积分后便独立，总计数回到概率 ${\alpha }_i/{\alpha }_0$ 的普通多项分布。固定比例而改变总体浓度 α0，则可以连续调整整组异质性：在浓度趋向无穷时额外因子趋向一。本族由共享的一个概率向量产生特定依赖，不能仅凭“数据过度分散”就断言这个随机机制已经得到证明。