多元正态分布

多元正态分布（multivariate normal distribution）是随机向量的分布，其任意实线性组合都是一维正态变量，允许方差为零的退化正态情形。均值向量决定中心，协方差矩阵决定各方向的波动和相关性。仅仅要求每个分量单独服从正态，尚不足以保证联合分布多元正态。

设 $Z_1,Z_2$ 独立且均为标准正态，构造 $X_1=Z_1$、$X_2=Z_1+Z_2$。同一个 $Z_1$ 同时影响两个分量，所以二者正相关；知道第一分量后，第二分量中只剩 $Z_2$ 的不确定性。这个例子贯穿密度和条件分布的计算。

线性构造与协方差

取独立标准正态向量 $Z\in {ℝ}^m$，给定 $A\in {ℝ}^{d\times m}$ 和 $\mu \in {ℝ}^d$。定义 $X=\mu +AZ$，则 $$𝔼X=\mu ,\Sigma =\mathrm{Cov}(X)=A{A}^{𝖳}.$$ 任意 $c\in {ℝ}^d$ 满足 $c^{𝖳}X=c^{𝖳}\mu +(A^{𝖳}c{)}^{𝖳}Z$，是均值 $c^{𝖳}\mu$、方差 $c^{𝖳}\Sigma c$ 的正态变量。独立正态线性组合的结论也可由各矩母函数相乘得到。协方差矩阵必须实对称半正定；反过来其谱分解给出一个 A，使 $A{A}^{𝖳}=\Sigma$，从而构造对应分布，记作 $N_d(\mu ,\Sigma )$。

若 $\Sigma$ 正定，可以选可逆的方阵 A。标准正态联合密度是 $(2\pi {)}^{-d/2}{e}^{-z^{𝖳}z/2}$。令 $z=A^{-1}(x-\mu )$，雅可比绝对值为 $|detA{|}^{-1}=(det\Sigma {)}^{-1/2}$，得到 $$f_X(x)=\frac{\exp [-\frac{1}{2}(x-\mu {)}^{𝖳}{\Sigma }^{-1}(x-\mu )]}{(2\pi {)}^{d/2}\sqrt{det\Sigma }},x\in {ℝ}^d.$$ 它的归一化来自可逆变量变换。若协方差奇异，则 X 位于低维仿射子空间上，没有相对于整个 ${ℝ}^d$ 普通体积的密度，不能直接把零行列式代入此式。

两条曲线分别满足 x1²+(x2−x1)²=1、4；椭圆倾斜来自共享的 Z1。

二维例子的密度与条件化

开头构造有 $$A=\left(\begin{array}{cc}1& 0\\ 1& 1\end{array}\right),\Sigma =\left(\begin{array}{cc}1& 1\\ 1& 2\end{array}\right),{\Sigma }^{-1}=\left(\begin{array}{cc}2& -1\\ -1& 1\end{array}\right),det\Sigma =1.$$ 因此指数中的二次型为 $2x_1^2-2x_1{x}_2+x_2^2=x_1^2+(x_2-x_1{)}^2$。密度可以直接因式分解为 $$f(x_1,x_2)=\underset{f_{X_1}(x_1)}{\underbrace{\frac{e^{-x_1^2/2}}{\sqrt{2\pi }}}}\underset{f_{X_2\mid X_1=x_1}(x_2)}{\underbrace{\frac{e^{-(x_2-x_1{)}^2/2}}{\sqrt{2\pi }}}}.$$ 所以 $X_2\mid X_1=x\sim N(x,1)$。这里条件化用密度的正则条件分布解释，不能把两个“X1恰等于x”的零概率直接相除。若知道第一分量为一，第二分量落在零至二之间的条件概率为 $\Phi (1)-\Phi (-1)\approx 0.682689$。

无条件为 N(0,2)，条件为 N(1,1)；条件化既移动中心也缩小方差。

无条件的 $X_2\sim N(0,2)$，其均值零、方差二；条件化后均值随第一分量移动，方差降为一。变式是令第一分量为负一，此时 $X_2\mid X_1=-1\sim N(-1,1)$，落在负二至零之间的概率仍为 $0.682689$，而落在零至二之间只有 $\Phi (3)-\Phi (1)\approx 0.157305$。

不相关与独立的范围

在联合多元正态中，若两个分块间协方差为零，则正定情形的联合密度按块因式分解，因而独立；半正定情形也可由矩母函数分解得到同样结论。对于任意分布，这个推论不成立。取标准正态 Z 与独立的等概率正负号 S，令 $X=Z,Y=SZ$。两者的边际都为标准正态，协方差为 $𝔼S𝔼Z^2=0$，却有 $|X|=|Y|$ 恒成立，显然依赖；$X+Y$ 还以至少二分之一概率恰为零，不是非退化正态。这也说明逐个检查边际形状不能取代联合模型检查。