高斯过程

高斯过程（Gaussian process，GP）是一族随机变量，其任意有限子集都具有联合正态分布。索引可以是时间、空间位置或一般输入；一次抽样得到的是整个索引集合上的一套随机函数值。它由均值函数和协方差函数确定有限维分布，常作为未知函数或随机场的模型。

有限个点上的联合约束

设索引集合为 $𝒯$。若对任意 $n\ge 1$ 和 $t_1,\dots ,t_n\in 𝒯$，都有 $$(Y_{t_1},\dots ,Y_{t_n}{)}^{𝖳}\sim N_n(m_T,K_T),$$ 其中 $(m_T{)}_i=m(t_i)$、$(K_T{)}_{ij}=k(t_i,t_j)$，就写 $Y\sim GP(m,k)$。联合正态允许退化：某些函数值之间可以存在精确线性关系。

协方差核必须对称，且对任意有限点和实数权重 $a_1,\dots ,a_n$ 满足 $$\sum _{i,j}{a}_i{a}_{j}k(t_i,t_j)\ge 0.$$ 这就是随机线性组合 $\sum _i{a}_i{Y}_{t_i}$ 的方差非负。单独要求 $k(t,t)\ge 0$ 不够；不同位置间的协方差也受整个矩阵约束。

两个正态数生成的过程

令独立标准正态变量为 $Z_0,Z_1$，定义 $Y_t=Z_0+t{Z}_1$，$t\in ℝ$。任意有限线性组合可写为 $$\sum _i{a}_i{Y}_{t_i}=\left(\sum _i{a}_i\right)Z_0+\left(\sum _i{a}_i{t}_i\right)Z_1,$$ 所以仍是正态变量。这证明所有有限向量联合正态。均值为零，核为 $k(s,t)=1+st$；其半正定性还可直接核对为 $$\sum _{i,j}{a}_i{a}_j(1+t_i{t}_j)={\left(\sum _i{a}_i\right)}^2+{\left(\sum _i{a}_i{t}_i\right)}^2\ge 0.$$

每条路径只由截距和斜率两个随机数控制；图中三组数值用于说明结构，不是经验观测。一般高斯过程不一定只由两个随机数决定。

在 $t=0,1,2$，协方差矩阵为 $$K_T=\left(\begin{array}{ccc}1& 1& 1\\ 1& 2& 3\\ 1& 3& 5\end{array}\right).$$ 它秩为二，因为每条路径都满足 $Y_0-2Y_1+Y_2=0$。矩阵奇异并不使这个高斯过程非法；只是不能用普通三维体积密度描述它。

变式。 把核改为 $k(s,t)=1+2st$，可用 $Y_t=Z_0+\sqrt{2}t{Z}_1$ 构造。$t=0,1$ 的方差分别为一与三，协方差仍为一。相关系数因此从原来的 $1/\sqrt{2}$ 变为 $1/\sqrt{3}$，协方差不变并不表示相关系数不变。

正态边缘不等于联合高斯

令 $Z\sim N(0,1)$，另取独立等概率符号 $R\in \{-1,1\}$。两个变量 $Y_1=Z,Y_2=RZ$ 各自都是标准正态，且协方差为零；但它们满足 $Y_1^2=Y_2^2$，明显不独立。联合分布集中在 $y_2=\pm y_1$ 两条直线上，不能是具有单位协方差的二维正态。这说明逐点画出正态直方图，仍不足以验证高斯过程定义。

另一个非法例子是试图令两点方差都为一、协方差为 $3/2$。此时差值方差为 $1+1-2(3/2)=-1$，不可能由任何随机变量实现。核的整体半正定条件在建模时承担了这类一致性检查。

核函数与函数的规则性

径向基核、指数核等不同选择，会给函数变化快慢及平滑性带来不同假设。但“每个有限向量正态”本身不要求路径处处光滑，也不自动保证所选版本连续。讨论路径连续性或可微性，需要核的附加条件及相应概率论结果。确定一个合法核后，在有限网格上可通过协方差分解生成函数值；这只是网格上的有限维抽样。

高斯过程回归再加入观测模型并条件化，研究观测以后未知函数的分布；本文的过程定义和核合法性，是那一步之前的先验结构。