矩阵正态分布

矩阵正态分布（matrix normal distribution）是一类以矩阵为随机结果的正态模型。它用一个矩阵描述行之间的相关性，另一个矩阵描述列之间的相关性，适合表达“不同对象、多个变量”这两种方向同时存在关联的情形。这个可分离结构减少参数，但也限制了模型能够描述的协方差形状。

行与列共用的随机结构

设 $X$ 为 $m\times n$ 随机矩阵，均值 $M$ 同型。给定正定对称矩阵 $U\in {ℝ}^{m\times m}$ 和 $V\in {ℝ}^{n\times n}$。本文采用 $$X\sim M{N}_{m,n}(M,U,V)$$ 表示按列依次堆叠元素后， $$\mathrm{vec}(X)\sim N_{mn}(\mathrm{vec}(M),V\otimes U).$$ $U$ 控制行方向，$V$ 控制列方向；$\otimes$ 是克罗内克积。按行展开则协方差顺序要交换，不能混用。

这一定义等价于：所有元素联合正态，且 $$𝔼[X_{ij}]=M_{ij},\mathrm{Cov}(X_{ij},X_{k\ell })=U_{ik}{V}_{j\ell }.$$ 因此 $U$ 和 $V$ 应理解为协方差的两个因子，而非不加区分地称作任意一列、一行的实际协方差；第 $j$ 列的协方差为 $V_{jj}U$。

从独立正态数构造

令 $Z$ 的 $mn$ 个元素独立服从标准正态。取 $L_U{L}_U^{𝖳}=U$、$L_V{L}_V^{𝖳}=V$，构造 $$X=M+L_{U}Z{L}_V^{𝖳}.$$ 每个输出元素都是独立正态数的线性组合，所以它们联合正态。进一步展开协方差： $$\begin{array}{cc}\mathrm{Cov}(X_{ij},X_{k\ell })& =\sum _{a,b,c,d}(L_U{)}_{ia}(L_V{)}_{jb}(L_U{)}_{kc}(L_V{)}_{\ell d}\mathrm{Cov}(Z_{ab},Z_{cd})\\ & =\sum _{a,b}(L_U{)}_{ia}(L_U{)}_{ka}(L_V{)}_{jb}(L_V{)}_{\ell b}\\ & =U_{ik}{V}_{j\ell }.\end{array}$$ 第二步用到了独立性：只有 $a=c,b=d$ 的项保留。这个构造同时给出采样办法和协方差结构的证明。

四个元素的协方差表

设 $M=0$， $$U=\left(\begin{array}{cc}1& 1/2\\ 1/2& 1\end{array}\right),V=\left(\begin{array}{cc}4& 0\\ 0& 1\end{array}\right).$$ 按 $(X_{11},X_{21},X_{12},X_{22})$ 排列，有 $$V\otimes U=\left(\begin{array}{cccc}4& 2& 0& 0\\ 2& 4& 0& 0\\ 0& 0& 1& 1/2\\ 0& 0& 1/2& 1\end{array}\right).$$ 第一列两个元素的方差都是四、协方差是二，故相关系数 $2/\sqrt{4\cdot 4}=1/2$。第二列的方差都为一、协方差为二分之一，相关系数仍是二分之一。两列之间所有协方差为零；因为整个向量联合正态，两列在此例中独立。

相同的行间相关结构在两列重复，但第一列的方差尺度更大。格内数值是协方差，不是相关系数。

变式。 将 $V_{12}=V_{21}$ 改为一，保持对角为四和一。新 $V$ 仍正定，因为行列式为三。此时 $\mathrm{Cov}(X_{11},X_{22})=U_{12}{V}_{12}=1/2$，而同一行两列的协方差 $\mathrm{Cov}(X_{11},X_{12})=1$。不同索引必须分别代入，不能只读图中的一个块。

密度与可分离假设

在 $U,V$ 正定时，密度为 $$f(X)=\frac{\exp \{-\frac{1}{2}\mathrm{tr}[U^{-1}(X-M)V^{-1}(X-M{)}^{𝖳}]\}}{(2\pi {)}^{mn/2}|U{|}^{n/2}|V{|}^{m/2}}.$$ 归一化因子中的幂分别是列数与行数的一半，这可用 $|V\otimes U|=|V{|}^m|U{|}^n$ 核对。

任意联合正态矩阵未必是矩阵正态：一般 $mn\times mn$ 协方差不一定能分解为 $V\otimes U$。此外 $(cU,V/c)$ 对任意 $c>0$ 给出同一个乘积，所以两个因子的整体尺度不可分别识别；估计时需固定一个尺度约定，例如 $\mathrm{tr}(U)=m$。若只把每一格都检验为正态，也不能据此保证所有格联合正态。