投影矩阵

投影矩阵把向量直接送到一个指定子空间。对最小二乘而言，观测向量 $y$ 中能被模型解释的部分是它在设计矩阵列空间上的正交投影；剩余部分与所有模型允许的变化方向垂直。

从三次观测得到一个可算的投影

在时间 $t = 0, 1, 2$ 测得 $y = (1, 2, 2)^{𝖳}$ 。若用 ${\hat{y}}_{i} = b + a t_{i}$ 拟合，所有可能的预测向量是 $X β, X = (\begin{matrix} 1 & 0 \\ 1 & 1 \\ 1 & 2 \end{matrix}), β = (\begin{matrix} b \\ a \end{matrix}) .$ 矩阵的两列分别代表整体平移与随时间线性增长；它们在 $ℝ^{3}$ 中张成一个平面。观测 $y$ 不在这个平面上，所以要寻找平面上离它最近的预测。

设最近点为 $p = X \hat{β}$ ，残差 $r = y - p$ 。若残差还沿 $X$ 的某列有分量，顺着该列略微移动预测便可缩小距离；在最近点必须有 $X^{𝖳} r = 0, X^{𝖳} X \hat{β} = X^{𝖳} y .$ 本例 $X^{𝖳} X = (\begin{matrix} 3 & 3 \\ 3 & 5 \end{matrix})$ ，行列式为 6，因此可逆。解方程得 $\hat{b} = 7 / 6, \hat{a} = 1 / 2$ ，故 $p = (\begin{matrix} 7 / 6 \\ 10 / 6 \\ 13 / 6 \end{matrix}), r = (\begin{matrix} - 1 / 6 \\ 2 / 6 \\ - 1 / 6 \end{matrix}) .$ 复核：残差之和为 0，时间加权残差为 $0 (- 1 / 6) + 1 (2 / 6) + 2 (- 1 / 6) = 0$ ，正好与两列正交。残差平方和是 $(1 + 4 + 1) / 36 = 1 / 6$ 。

一个向量沿垂线落到由方向向量张成的直线，残差与允许方向正交 — 图中只画一条允许方向；三次观测的列空间是三维空间里的平面，但同样由“残差垂直于列空间”决定最近点。

把“求最近点”写成一个矩阵

若 $X$ 是 $m \times p$ 实矩阵且列线性无关，则 $X^{𝖳} X$ 可逆。正规方程给出 $p = P y, P = X (X^{𝖳} X)^{- 1} X^{𝖳} .$ 这个 $P$ 只依赖允许的预测子空间；换一个观测向量，不用重新推导“投到哪里”，只需算 $P y$ 。在本例， $P = \frac{1}{6} (\begin{matrix} 5 & 2 & - 1 \\ 2 & 2 & 2 \\ - 1 & 2 & 5 \end{matrix}) .$ 将它乘 $(1, 2, 2)^{𝖳}$ ，依次得到 $(7, 10, 13)^{𝖳} / 6$ 。矩阵里出现负数并不矛盾：投影是线性组合，不是概率加权平均。

对称且重复投影不变

投影到列空间后再投一次，不会继续移动。代数上， $P^{2} = X (X^{𝖳} X)^{- 1} \underset{中间两项}{\underset{⏟}{X^{𝖳} X}} (X^{𝖳} X)^{- 1} X^{𝖳} = P .$ 而 $X^{𝖳} X$ 与其逆都对称，所以 $P^{𝖳} = P$ 。幂等 $P^{2} = P$ 说明它是投影；对称说明投影方向垂直于目标子空间。斜投影可以幂等而不对称，不能把这两个性质混为一个。

对任意 $z$ ， $P z$ 属于 $col (X)$ 。同时 $X^{𝖳} (I - P) z = X^{𝖳} z - X^{𝖳} X (X^{𝖳} X)^{- 1} X^{𝖳} z = 0,$ 所以 $(I - P) z$ 与列空间正交。任何其他候选 $q$ 都在列空间内，因而 $‖ z - q ‖_{2}^{2} = ‖ (I - P) z ‖_{2}^{2} + ‖ P z - q ‖_{2}^{2} \geq ‖ (I - P) z ‖_{2}^{2} .$ 这一步勾股分解同时证明 $P z$ 是唯一最近的预测向量。即便参数表示不唯一，最近的预测仍唯一。

列相关时改用正交基

若 $X$ 的列相关， $X^{𝖳} X$ 不可逆，上面的逆矩阵公式不能硬算；但列空间作为子空间依然存在，正交投影也仍存在。可取该子空间的一组正交规范基作为矩阵 $Q$ 的列，得到 $P = Q Q^{𝖳}, Q^{𝖳} Q = I .$ 对每个 $z$ ， $Q^{𝖳} z$ 是沿各单位基向量的坐标，再乘 $Q$ 组合回列空间。数值计算通常通过 QR 分解或奇异值分解取得这样的表示，列几乎相关时尤其不宜只依赖正规方程的逆矩阵写法。最小二乘法给出完整拟合过程，正交投影解释一条直线的几何公式，条件数讨论数据扰动与计算精度。

本例还可直接读出三个对角元 $P_{11} = 5 / 6, P_{22} = 1 / 3, P_{33} = 5 / 6$ 。在回归中它们叫杠杆值，表示各观测位置对自己的拟合值的潜在影响；两端时间点的数值较大，是因为它们离时间均值更远。杠杆值不等于该点的实际残差，也不能单独判定异常观测。

来源与相关词条

MIT OpenCourseWare 18.06SC，Projection Matrices and Least Squares：投影矩阵、正规方程与正交性。
先修：正交投影、矩阵、基与维数；相关：最小二乘法、奇异值分解、条件数。