高斯马尔可夫随机场

高斯马尔可夫随机场（Gaussian Markov random field，GMRF）是具有图上条件独立结构的联合高斯模型。有限维情形中，关键矩阵是协方差的逆，即精度矩阵：它的零元素告诉我们，在其余变量已知时，哪些变量可以彼此独立。稀疏精度不等于稀疏协方差。

图与精度矩阵

设 $X=(X_1,\dots ,X_p{)}^{𝖳}\sim N_p(m,Q^{-1})$，$Q$ 对称正定。对无向图 $G$，若不同节点 $i,j$ 没有边，则要求 $$X_i\perp X_j\mid X_{-\{i,j\}}.$$ 这里条件包括除二者以外的全部变量。在非退化高斯模型中，这一条件独立恰等价于 $Q_{ij}=0$。图有边只表示允许直接的条件依赖；具体参数也可能使该边对应元素为零。

单点条件分布的配方

联合对数密度中，与 $x_i$ 有关的部分为 $$-\frac{1}{2}{Q}_{ii}(x_i-m_i{)}^2-(x_i-m_i)\sum _{j\ne i}{Q}_{ij}(x_j-m_j).$$ 把第二项看作已知系数，完成平方，得到 $$X_i\mid X_{-i}=x_{-i}\sim N(m_i-\frac{1}{Q_{ii}}\sum _{j\ne i}{Q}_{ij}(x_j-m_j),\frac{1}{Q_{ii}}).$$ 若 $Q_{ij}=0$，这个条件分布就不再依赖 $x_j$；反之，非零系数会改变条件均值。对二元条件密度同样配方或检查交叉项，就得到前述条件独立等价关系。

这个表达式说明马尔可夫性是“在其他节点已知后”的局部性，而非远处变量原本没有相关。一个局部关系沿多条边传递后，边缘相关仍可遍布整张图。

三节点链的完整计算

取均值零， $$Q=\left(\begin{array}{ccc}2& -1& 0\\ -1& 2& -1\\ 0& -1& 2\end{array}\right),\Sigma =Q^{-1}=\frac{1}{4}\left(\begin{array}{ccc}3& 2& 1\\ 2& 4& 2\\ 1& 2& 3\end{array}\right).$$ 相乘可核对 $Q\Sigma =I$。精度中 $Q_{13}=0$，所以图是 1—2—3 的链。协方差却有 ${\Sigma }_{13}=1/4$，故端点并不无条件独立。

图中缺少一到三的边，表示给定中间节点后二者独立；下方标出的协方差展示无条件相关仍可存在。

给定 $X_1=1,X_3=3$，中间节点的条件均值为 $(1+3)/2=2$，方差为 $1/2$。从配方也可直接看出：其条件密度正比于 $\exp [-x_2^2+4x_2]=e^4\exp [-(x_2-2{)}^2]$，因此是 $N(2,1/2)$。

条件化既改变中心，也改变方差。条件曲线更窄，但不是说每次观测后所有位置的不确定性都按相同比例缩小。

变式。 若只问 $X_1\mid X_2=2,X_3=100$，均值是 $X_2/2=1$，方差是 $1/2$；已知 $X_2$ 后，改变 $X_3$ 不再改变这个单点条件分布。若不知 $X_2$，则不能忽略第三个节点。

合法性与计算边界

为每个节点随意写一个正态条件分布，不保证它们能组成同一个联合分布；相容的精度矩阵必须对称，并满足所用模型的正定条件。若取图拉普拉斯作为 $Q$，它通常具有常数零空间，不能直接写成可归一化的普通高斯密度；这类内禀随机场需要约束或广义的处理。

稀疏 $Q$ 有利于条件计算与稀疏线性求解，但 Cholesky 分解可能产生填充，成本还取决于图结构和消元次序。GMRF 与高斯过程都描述联合高斯对象；前者突出局部精度结构，后者通常从协方差核出发，二者并非互斥。