正交投影

正交投影把向量分成沿某个子空间的部分与垂直该子空间的误差。投到非零向量 $u$ 所张成的直线上，给定 $v$ ，投影为 ${proj}_{u} (v) = \frac{v \cdot u}{u \cdot u} u .$ 分母 $u \cdot u > 0$ ，所以公式要求 $u \neq 0$ 。

系数来自垂直条件

设投影点为 $c u$ 。要让残差 $v - c u$ 与直线垂直，令 $(v - c u) \cdot u = 0$ ，解得 $c = (v \cdot u) / (u \cdot u)$ 。例如 $v = (3, 2), u = (1, 1)$ ，有 $c = 5 / 2$ ，投影 $(5 / 2, 5 / 2)$ ，残差 $(1 / 2, - 1 / 2)$ ；后者与 $u$ 的点积确为零。

图用另一组便于看出垂线的坐标： $u = (4, 2)$ 、 $v = (2, 3.5)$ ，其投影 $p = (3, 1.5) = 0.75 u$ ；从 $p$ 指向 $v$ 的虚线残差为 $(- 1, 2)$ ，与 $u$ 的点积 $- 4 + 4 = 0$ 。

向量v为二三点五，方向u为四二，投影p为三一点五，p到v的虚线残差垂直于u — 投影点p是v到u所张直线的垂足。

距离最短的证明

直线上的任意另一点 $t u$ 与 $v$ 的差可写为 $v - t u = (v - c u) + (c - t) u .$ 右边两项正交，按勾股关系有 $‖ v - t u ‖^{2} = ‖ v - c u ‖^{2} + (c - t)^{2} ‖ u ‖^{2}$ ，在 $t = c$ 时最小。因此“投影是最近点”是从垂直性推出的，而非只凭图看起来最近。对高维子空间，若有一组正交规范基 $q_{i}$ ，投影为 $\sum_{i} (v \cdot q_{i}) q_{i}$ ；Gram-Schmidt正交化提供这样的基。

参考资料

MIT 18.06 Linear Algebra，Lecture 16: Projection Matrices and Least Squares。
MIT RES.18-011《Algebra I》：线性空间与谱定理。
继续阅读：正交补、最小二乘法、Gram-Schmidt正交化。