条件数

条件数描述问题对输入扰动有多敏感。对可微的一元函数 $y=f(x)$，当 $x\ne 0$ 且 $f(x)\ne 0$ 时，局部相对条件数为 $${\kappa }_f(x)=\left|\frac{x{f}^{\prime }(x)}{f(x)}\right|.$$ 这是由微小扰动的线性近似 $\Delta y\approx f^{\prime }(x)\Delta x$ 得来的：输出相对变化约为 ${\kappa }_f(x)$ 乘输入相对变化。

接近零点时的放大

取 $f(x)=x-1$。在 $x=1.001$，有 $f(x)=0.001$，条件数约为 $1.001/0.001=1001$。若 $x$ 相对误差约 $10^{-5}$，输出相对误差可能约 $1\mathrm{\%}$。问题在于结果接近 0，相对误差的分母太小；即使算法完全准确处理输入值，也无法从不确定的输入恢复高相对精度的输出。

线性方程组

求解 $Ax=b$ 时，常用矩阵条件数 $\kappa (A)=\Vert A\Vert \Vert A^{-1}\Vert$，要求 $A$ 可逆并说明所用矩阵范数。对固定 $A$，若右端扰动 $\Delta b$，则 $\Delta x=A^{-1}\Delta b$，而 $\Vert b\Vert \le \Vert A\Vert \Vert x\Vert$，所以 $$\frac{\Vert \Delta x\Vert }{\Vert x\Vert }\le \kappa (A)\frac{\Vert \Delta b\Vert }{\Vert b\Vert }.$$ 条件数大表示可能严重放大，不表示每次扰动都达到上界；条件数小也不能代替对具体算法的误差分析。

参考资料

• MIT 18.330，Conditioning 讲义。
• MIT 18.330（2004），数值分析讲义。
• 继续阅读：数值误差、线性方程组与高斯消元、梯度下降。