数值误差

数值误差是计算结果与目标数学量的差。若精确值为 $x$、近似值为 $\hat{x}$，绝对误差是 $|\hat{x}-x|$；当 $x\ne 0$ 时，相对误差是 $|\hat{x}-x|/|x|$。例如用 3.14 近似 $\pi$，绝对误差约 0.001593，相对误差约 $5.07\times 10^{-4}$。目标值为 0 时相对误差不适用。

误差从哪里进入

测量数据本身可能不精确；将无限过程截断为有限项会产生截断误差；用有限位浮点数保存实数会产生舍入误差。三者来源不同，纠正方法也不同。以 $e^x=\sum _{k=0}^{\mathrm{\infty }}{x}^k/k!$ 为例，只保留前五项会有截断误差；即使增加项数，每项在机器中仍有舍入。

消去与稳定计算

考虑 $\sqrt{1+\epsilon }-1$，当 $\epsilon >0$ 很小时，直接相减会消去大量相近的有效数字。用共轭式改写为 $$\sqrt{1+\epsilon }-1=\frac{\epsilon }{\sqrt{1+\epsilon }+1}$$ 在数学上完全相等，计算时却避免两个接近 1 的浮点数直接相减。例如 $\epsilon =10^{-12}$ 时，真实结果约 $5\times 10^{-13}$；后一形式更能保留相对精度。

问题敏感与算法稳定

条件数衡量输入微小变化能把真实答案改变多少，属于问题本身；数值稳定性关心算法是否额外放大舍入误差，属于计算过程。换一个公式可改善消去错误，却不能消除输入数据自身的不确定性。报告数值结果时应说清误差度量和计算范围。

参考资料

• MIT 18.330，Errors and Floating Point 讲义。
• MIT 18.330（2004），数值分析讲义。
• 继续阅读：条件数、牛顿插值。