狄利克雷过程

狄利克雷过程（Dirichlet process，DP）是一种“分布上的概率分布”：它的随机结果不是一个数，而是一整个概率测度 $G$。基准分布 $H$ 指定平均质量应放在哪里，集中参数 $\alpha >0$ 指定随机质量在基准附近的波动程度。这里的“过程”不要求有时间顺序。

对任意有限划分分配质量

在带有可测集合的空间上，写 $G\sim DP(\alpha ,H)$，是说对任意有限可测划分 $A_1,\dots ,A_k$， $$(G(A_1),\dots ,G(A_k))\sim \mathrm{Dir}(\alpha H(A_1),\dots ,\alpha H(A_k)).$$ 各块互不相交且并为整个空间。若某块 $H(A_j)=0$，相应质量恒为零，可先剔除这类块，再对其余正参数写普通狄利克雷密度。只对某一个固定三分类指定狄利克雷分布，还不等于定义了整个过程；要求覆盖所有有限划分。

取二块划分 $(A,A^c)$，令 $h=H(A)$，则 $G(A)\sim \mathrm{Beta}(\alpha h,\alpha (1-h))$。利用贝塔分布的矩公式得到 $$𝔼[G(A)]=h,\mathrm{Var}(G(A))=\frac{h(1-h)}{\alpha +1}.$$ 所以增大 $\alpha$ 不改变平均质量，只减小波动。例如 $h=0.3,\alpha =4$ 时，该质量的均值为 $0.3$，方差为 $0.042$。

观测后的共轭更新

设 ${\theta }_i\mid G$ 条件独立且共同服从 $G$。对任意固定划分，记落入 $A_j$ 的观测数为 $n_j$。有限划分上的似然含因子 $\prod _{j}G(A_j{)}^{n_j}$，乘以狄利克雷先验密度后，各参数从 $\alpha H(A_j)$ 变成 $\alpha H(A_j)+n_j$。由于这个更新对每个有限划分都成立，得到 $$G\mid {\theta }_{1:n}\sim DP(\alpha +n,\frac{\alpha H+\sum _{i=1}^n{\delta }_{{\theta }_i}}{\alpha +n}).$$ ${\delta }_x$ 是在 $x$ 处质量为一的点测度。对标准的实值或其他标准博雷尔观测空间，该式给出通常使用的后验过程。其预测分布等于后验平均测度： $$Pr({\theta }_{n+1}\in A\mid {\theta }_{1:n})=\frac{\alpha H(A)+\sum _i{1}_{\{{\theta }_i\in A\}}}{\alpha +n}.$$ 分子是基准提供的质量加上观测计数，不是把所有不同取值等权平均。

三个区域上的一次更新

把观测空间划成 $A,B,C$，基准质量为 $(0.2,0.5,0.3)$，取 $\alpha =2$。先验参数是 $(0.4,1,0.6)$。四个教学观测分别产生计数 $(3,1,0)$，后验参数成为 $(3.4,2,0.6)$，总和为六。因此下一次落入三块的概率为 $$(\frac{17}{30},\frac{1}{3},\frac{1}{10}).$$ 虽然尚未观测到 $C$，它仍保留十分之一的预测概率。这部分来自基准质量，并非凭空增加一个观测。

图比较同一划分上的先验平均和后验平均。每组三个柱子的和都为一；柱子并非一次随机抽取的G的完整形状。

变式。 若保持四个计数不变，把 $\alpha$ 改为八，总质量变为十二，三块的预测概率分别为 $$\begin{array}{cc}Pr(A)& =\frac{1.6+3}{12}=\frac{23}{60},\\ Pr(B)& =\frac{4+1}{12}=\frac{5}{12},\\ Pr(C)& =\frac{2.4}{12}=\frac{1}{5}.\end{array}$$ 较大的集中参数在同样样本量下使预测更靠近基准。

离散抽样与连续密度

DP 抽出的 $G$ 几乎必然是离散测度，即使基准 $H$ 有连续密度。这可通过折棍过程的可数点质量构造理解；各点的位置取自基准，但质量集中在被抽到的可数个位置。若直接以 $G$ 为观测分布，重复取值会有正概率，其分组机制对应中国餐馆过程。

若希望拟合连续观测密度，可以另设 $x_i\mid {\theta }_i\sim k(x_i\mid {\theta }_i)$，再令 ${\theta }_i\mid G\sim G$。这样随机的是混合分布的参数测度，连续性由核 $k$ 提供；这个狄利克雷过程混合模型，与直接把连续数据分布设为离散 $G$ 是两种不同的建模层次。