正则化与病态逆问题

从测量结果反推参数时，可辨识只保证理想读数可能确定答案；现实中的小误差仍可能被反演放大。正则化是在拟合观测之外，加入可解释的先验限制，使结果不沿着几乎不可观测的方向任意摆动。它用一定的偏差换取稳定性，因此必须同时交代惩罚项所代表的假设。

一个误差被放大一百倍的读数

先看最简单的线性测量： $$y=A\theta +\epsilon ,A=\left(\begin{array}{cc}1& 0\\ 0& 0.01\end{array}\right),\theta =\left(\begin{array}{c}{\theta }_1\\ {\theta }_2\end{array}\right).$$ 设真实参数是 $(3,2)$，无误差读数为 $(3,0.02)$。若第二个传感器多读了 $0.01$，实际收到的是 $y=(3,0.03)$。直接解 $A\theta =y$ 给 $(3,3)$：传感器误差很小，第二个参数却从 $2$ 变成 $3$。由于第二种参数在读数中的系数只有 $0.01$，反解时会把这一方向的误差乘以一百。

这与逆问题与可辨识性中的无法唯一不同：这里的 $A$ 可逆，但条件数很大。若继续降低第二个系数，任何有限精度的读数都会变得更难用于反演。

Tikhonov 正则化的目标函数

普通最小二乘法选择使残差平方 $\Vert A\theta -y{\Vert }_2^2$ 最小的参数。Tikhonov 正则化改为 $${\hat{\theta }}_{\alpha }=\underset{\theta }{\mathrm{argmin}}\{\Vert A\theta -y{\Vert }_2^2+\alpha \Vert L(\theta -{\theta }_0){\Vert }_2^2\},\alpha >0.$$ ${\theta }_0$ 是先验参考值，$L$ 规定希望哪些组合不要过大或过于粗糙，$\alpha$ 是观测拟合与先验限制之间的权衡。取 $L=I,{\theta }_0=0$ 时得到常见的岭形式；若 $\theta$ 表示沿时间或空间排列的一串数，也可用相邻差分矩阵 $L$ 惩罚剧烈跳变。惩罚“不平滑”必须有领域理由；真正存在突变的信号不能随意平滑掉。

令 $L=I,{\theta }_0=0$。把目标函数展开，并对 $\theta$ 求梯度，得 $${\mathrm{\nabla }}_{\theta }(\Vert A\theta -y{\Vert }_2^2+\alpha \Vert \theta {\Vert }_2^2)=2A^{𝖳}(A\theta -y)+2\alpha \theta .$$ 驻点满足 $(A^{𝖳}A+\alpha I){\hat{\theta }}_{\alpha }=A^{𝖳}y$。对任何非零向量 $v$， $$v^{𝖳}(A^{𝖳}A+\alpha I)v=\Vert Av{\Vert }_2^2+\alpha \Vert v{\Vert }_2^2>0.$$ 所以 $A^{𝖳}A+\alpha I$ 正定，驻点是唯一的全局极小点，即使 $A$ 本身不满列秩也如此。但唯一的正则化答案不是观测所独有的答案：它依赖所选的惩罚项与 $\alpha$。

正则化压低哪一部分噪声

用奇异值分解写 $A=U\Sigma V^{𝖳}$。在 $L=I,{\theta }_0=0$ 的情形，若 ${\sigma }_i$ 为非零奇异值，数据在左奇异向量 $u_i$ 上的分量 $u_i^{𝖳}y$ 对估计的贡献是 $${\hat{\theta }}_{\alpha }=\sum _i\frac{{\sigma }_i}{{\sigma }_i^2+\alpha }(u_i^{𝖳}y)v_i.$$ 不加正则化的反演系数是 $1/{\sigma }_i$，在 ${\sigma }_i$ 很小时会放大噪声；加上 $\alpha$ 后，系数变为 ${\sigma }_i/({\sigma }_i^2+\alpha )$。信号本身在该方向被保留的比例是 ${\sigma }_i^2/({\sigma }_i^2+\alpha )$，所以正则化既压噪声，也压真正的细节。

回到数值例子，取 $\alpha =0.0001$，且 $y=(3,0.03)$。公式给出 $${\hat{\theta }}_{\alpha ,1}=\frac{3}{1.0001}\approx 2.9997,{\hat{\theta }}_{\alpha ,2}=\frac{0.01\times 0.03}{0.01^2+0.0001}=\mathrm{1.5.}$$ 本次带噪声读数下，第二个估计比直接反演的 $3$ 更靠近真实值 $2$，但这不是普遍保证。若读数恰好没有噪声，第二个估计仍会从 $2$ 缩到 $1$，显示出正则化偏差。选错 $\alpha$ 或错误的先验，可能比原问题更糟。

参数选择与验证

若已知每次测量的不确定度，可选择让残差大小与误差水平相符的 $\alpha$；若有足够独立数据，可在训练数据上求解、用留出的测量评估预测，再选择参数。选出的 $\alpha$ 应重新用全部训练数据拟合，但最终测试数据不能反复用来调参。对图像重建这类没有可直接观察真实参数的任务，还应检查残差的空间结构、重建对噪声和网格的敏感性，以及是否恢复了物理上允许的范围。

若误差大小各不相同，应先用协方差矩阵 ${\Sigma }_{\epsilon }$ 对残差加权，例如 $(A\theta -y{)}^{𝖳}{\Sigma }_{\epsilon }^{-1}(A\theta -y)$，而不是把所有传感器当作同样精确。参数和观测的单位不同，也要先做有物理意义的缩放；否则同一个数字 $\alpha$ 没有可迁移的解释。

最重要的边界是：若模型把两个不同机制映射为完全相同的观测，正则化只能按先验偏好选择其中一个，不能证明它就是真值。先改进测量设计、检查可辨识性，再调整反演算法。

参考资料与相关词条

• MIT 18.327《Computational Inverse Problems》，离散反问题、稳定性与正则化课程资料。
• 先修：矩阵、最小二乘法、正定矩阵；相关：条件数、奇异值分解、逆问题与可辨识性。