多项分布

多项分布（multinomial distribution）描述固定次数的独立分类试验中，各类别出现的总数。一次试验恰落入一个类别，所有试验使用相同的概率向量。类别数为二时，它退化为二项计数；类别增多时，各类别总数必须共同满足总和约束。

例如，独立进行四次分类试验，每次落入甲、乙、丙的概率为 $(0.5,0.3,0.2)$。希望计算“甲两次、乙一次、丙一次”的概率。某个特定顺序的概率是 $0.5^2\cdot 0.3\cdot 0.2$，但计数事件还包含其他排列，不能只算这个乘积。

分类序列转为计数

令 $n\in {\mathbb{Z}}_{\ge 0}$，类别数 $K\ge 2$，$p_j\ge 0$ 且 $\sum _j{p}_j=1$。若 $Y_1,\dots ,Y_n$ 独立同分布，$Pr(Y_i=j)=p_j$，定义 $N_j=\sum _i\mathrm{𝟏}\{Y_i=j\}$。向量 $N$ 服从多项分布，正概率支撑为 $$\{(k_1,\dots ,k_K)\in {\mathbb{Z}}_{\ge 0}^K:\sum _j{k}_j=n,p_j=0\Rightarrow k_j=0\}.$$ 给定计数向量，选出每类位置共有 $n!/(k_1!\cdots k_K!)$ 种不交的顺序；各顺序概率相同，因此 $$Pr(N=k)=\frac{n!}{\prod _j{k}_j!}\prod _j{p}_j^{k_j}.$$ 约定 $0^0=1$，而当 $p_j=0,k_j>0$ 时概率为零。将所有计数相加，由多项式展开式得到 $(\sum _j{p}_j{)}^n=1$，证明质量函数归一化。$n=0$ 时只有全零向量，概率为一。

每个点对应唯一计数向量；标记主例 (k1,k2,k3)=(2,1,1)。

图用前两类计数作坐标，第三类由 $k_3=4-k_1-k_2$ 决定；不在三角区域内的整数点不可行。开头主例的排列数为 $4!/(2!1!1!)=12$，故 $$Pr(N=(2,1,1))=12\cdot \frac{1}{4}\cdot \frac{3}{10}\cdot \frac{1}{5}=\mathrm{0.18.}$$

计数相关性来自总量固定

对单次试验，指示变量 $I_j=\mathrm{𝟏}\{Y=j\}$ 满足 $𝔼I_j=p_j$、$\mathrm{Var}(I_j)=p_j(1-p_j)$。不同类不能在同一次同时发生，因此 $I_j{I}_l=0$（$j\ne l$），协方差为 $-p_j{p}_l$。不同次试验独立，求和后得到 $$𝔼N_j=n{p}_j,\mathrm{Var}(N_j)=n{p}_j(1-p_j),\mathrm{Cov}(N_j,N_l)=-n{p}_j{p}_l.$$ 本例均值为 $(2,1.2,0.8)$，协方差矩阵为 $$\left(\begin{array}{ccc}1& -0.6& -0.4\\ -0.6& 0.84& -0.24\\ -0.4& -0.24& 0.64\end{array}\right).$$ 每行之和为零，与 $N_1+N_2+N_3=4$ 为常量一致。试验之间独立，并不使三个类别计数彼此独立。

合并类别与条件分布

只问甲的次数，把乙、丙合为“非甲”，则 $N_1\sim \mathrm{Binomial}(4,0.5)$。因此变式“甲至少三次”的概率为 $(\genfrac{}{}{0ex}{}{4}{3})/16+(\genfrac{}{}{0ex}{}{4}{4})/16=5/16$。

若已知丙恰好一次，剩下三次在甲乙之间分配。将联合质量函数除以 $Pr(N_3=1)$，排列数中与丙位置有关的因子抵消，剩余概率归一化为 $(0.5/0.8,0.3/0.8)=(5/8,3/8)$。所以 $$Pr(N_1=2\mid N_3=1)=(\genfrac{}{}{0ex}{}{3}{2})(5/8{)}^2(3/8)=\frac{225}{512}\approx \mathrm{0.439453.}$$ 这与无条件的 $Pr(N_1=2)=6/16$ 不同，图中两组柱也因此不同。

空心金色柱的总试验数变为三，成功概率重归一化为 5/8。

一般地，固定一组类别的计数后，剩余试验数等于原总数减已固定的计数，其余类别概率按剩余总概率重新归一化，前提是所条件事件概率为正。若每次概率不同，计数通常不服从同一个多项分布；若不放回地从有限总体抽取，各次也不独立，须改用与抽样机制匹配的分布。仅仅知道各类计数和为 n，不足以推出多项模型。