最小范数解

最小范数解是在给定方程的全部解中，使指定范数最小的解。在线性代数中，通常指相容线性方程 $Ax=b$ 的最小欧几里得范数解，即求 $$min\{\Vert x{\Vert }_2:Ax=b\},\Vert x{\Vert }_2=\sqrt{x^{𝖳}x}.$$ 必须说明使用哪种范数、方程是否要求精确成立。方程不相容时，“残差最小的解中再取范数最小者”是最小范数最小二乘解，属于另一层选择，详见伪逆。

考虑一个教学约束 $x_1+2x_2=5$。它有无穷多解，例如 $(5,0)$、$(1,2)$、$(-1,3)$。若两个坐标使用相同尺度，最小范数要求从这条解直线上挑出离原点最近的点。

一条直线上的完整计算

令 $x_2=t$，则 $x_1=5-2t$。长度平方为 $$\Vert x{\Vert }_2^2=(5-2t{)}^2+t^2=5(t-2{)}^2+5.$$ 平方项在 $t=2$ 时唯一为零，所以最小范数解为 $x_{\ast }=(1,2{)}^{𝖳}$，最小范数是 $\sqrt{5}$。把它代回约束，$1+2\cdot 2=5$，确实是精确解。

所有点都满足同一约束；从原点出发的垂线选出最短的那个解。

直线方向可取 $z=(-2,1{)}^{𝖳}$，而 $x_{\ast }^{𝖳}z=-2+2=0$。任一解都可写成 $x_{\ast }+sz$，正交性给出 $$\Vert x_{\ast }+sz{\Vert }_2^2=\Vert x_{\ast }{\Vert }_2^2+s^2\Vert z{\Vert }_2^2=5+5s^2.$$ 这不是图形测量，而是全体解上的精确比较。

核空间的正交分解

定理　若有限维实线性方程 $Ax=b$ 相容，则它有唯一的最小欧几里得范数解；该解是全部解中唯一垂直于 $\ker A$ 的向量。

证明先取任一解 $x_0$。两个解之差在核空间中，故全体解为 $x_0+\ker A$。把 $x_0$ 正交分解为 $x_{\ast }+z_0$，其中 $z_0\in \ker A$、$x_{\ast }\perp \ker A$。因为 $A{z}_0=0$，$A{x}_{\ast }=A{x}_0=b$，所以 $x_{\ast }$ 仍是解。

任意其他解可写为 $x_{\ast }+z$，$z\in \ker A$。由勾股等式 $$\Vert x_{\ast }+z{\Vert }_2^2=\Vert x_{\ast }{\Vert }_2^2+\Vert z{\Vert }_2^2\ge \Vert x_{\ast }{\Vert }_2^2,$$ 等号只在 $z=0$ 成立，所以最小者存在且唯一。证明真正使用的是有限维内积空间的正交分解；如果更换范数，这个正交判别不能照搬。

满行秩时的显式公式

设 $A\in {ℝ}^{m\times n}$ 满行秩，因而 $m\le n$。矩阵 $A{A}^{𝖳}$ 正定：对非零 $y\in {ℝ}^m$， $$y^{𝖳}A{A}^{𝖳}y=\Vert A^{𝖳}y{\Vert }_2^2>0,$$ 其中严格大于零来自 $A^{𝖳}$ 的列线性无关。因此 $A{A}^{𝖳}$ 可逆，且 $$x_{\ast }=A^{𝖳}(A{A}^{𝖳}{)}^{-1}b.$$ 左乘 $A$ 得 $A{x}_{\ast }=b$；若 $Az=0$，则 $x_{\ast }^{𝖳}z=b^{𝖳}(A{A}^{𝖳}{)}^{-1}Az=0$，所以它满足刚证明的最小性判别。这里用的是行秩条件，而不是要求 $A$ 为可逆方阵。

原例中 $A=(12)$，$A{A}^{𝖳}=5$，故 $x_{\ast }=(1,2{)}^{𝖳}\cdot 5/5=(1,2{)}^{𝖳}$。变式将右端换成十，解线平移为 $x_1+2x_2=10$，最短解同比变为 $(2,4)$，范数变为 $2\sqrt{5}$。

若行不独立，例如 $A=\left(\begin{array}{cc}1& 2\\ 2& 4\end{array}\right)$，则 $A{A}^{𝖳}$ 奇异，不能使用上述逆矩阵公式；但相容右端 $b=(5,10{)}^{𝖳}$ 仍有唯一最小范数解 $(1,2)$。定理未失效，失效的是满行秩下的特殊表达式。一般情况可通过奇异值分解或伪逆处理。

范数反映了坐标的尺度

最小欧几里得范数隐含两个坐标在同一尺度下比较。若第一坐标每单位的代价更高，可以改为最小化 $4x_1^2+x_2^2$。对同一约束令 $x_1=5-2t$，目标为 $$4(5-2t{)}^2+t^2=17{(t-\frac{40}{17})}^2+\frac{100}{17}.$$ 于是解变为 $(5/17,40/17)$，而不是 $(1,2)$。这不是前一次计算错误，而是长度的定义改变了。

更一般地，对正定权重矩阵 $W$，满行秩约束的最小 $W$-范数解为 $W^{-1}{A}^{𝖳}(A{W}^{-1}{A}^{𝖳}{)}^{-1}b$；它可以通过变量替换 $u=W^{1/2}x$ 转回欧几里得范数推得。若使用 ${\ell }_1$ 或 ${\ell }_{\mathrm{\infty }}$ 范数，唯一性也可能消失。例如约束 $x_1+x_2=1$ 下，所有非负解的 ${\ell }_1$ 范数都为一，整条线段都是最小者。