Hessian矩阵

Hessian 矩阵收集实值多元函数的全部二阶偏导数。对 $f:{ℝ}^n\to ℝ$，在二阶偏导连续的点 $a$，定义 $H_f(a)=({\partial }_i{\partial }_{j}f(a){)}_{i,j}$。混合偏导在该条件下相等，故 Hessian 对称。它编码沿任意小方向 $h$ 的二阶变化 $h^T{H}_f(a)h$，而不是只看坐标轴上的 $f_{xx}$、$f_{yy}$。

一只碗与一张马鞍

取 $f(x,y)=x^2+2xy+3y^2$，原点梯度为零，$H_f=\left(\begin{array}{cc}2& 2\\ 2& 6\end{array}\right)$。配方得 $f(x,y)=(x+y{)}^2+2y^2$，除原点外恒正，所以原点是严格局部极小点。矩阵也给同样结论：第一顺序主子式为 2，行列式为 $12-4=8>0$，二阶对称矩阵正定。对照 $g(x,y)=x^2-y^2$，沿 $x$ 轴上升，沿 $y$ 轴下降；其 Hessian $\mathrm{diag}(2,-2)$ 不定，原点为鞍点。图的左半边画出极小点周围的椭圆等高线；右半边的两条虚线是 $g=0$ 的方向，横轴正、纵轴负。方向的正负决定判别，而图像只是辅助。

Hessian 的正定与不定在不同方向上产生极小点和鞍点。

二阶判别的条件

若 $\mathrm{\nabla }f(a)=0$ 且 Hessian 正定，则由二阶泰勒公式，$f(a+h)-f(a)=\frac{1}{2}{h}^T{H}_f(a)h+o(\Vert h{\Vert }^2)$。单位球上连续的正二次型有正的最小值 $c$，所以 $h^{T}Hh\ge c\Vert h{\Vert }^2$；取 $h$ 足够小时，余项的绝对值小于 $c\Vert h{\Vert }^2/4$，差值为正。这给出严格局部极小的证明。负定给严格极大，不定给鞍点；仅半正定时判别不了，例如 $x^4+y^4$ 与 $x^4-y^4$ 在原点 Hessian 都为零，却性质不同。

在优化算法中，Hessian 也描述梯度怎样随位置改变；牛顿法的一维“除以二阶导数”推广为求解 $H_f(x)s=-\mathrm{\nabla }f(x)$。若 Hessian 奇异或不定，直接把 $s$ 当下降方向可能失败，需要阻尼、信赖域或其他处理。

参考资料与相关词条

• MIT 18.024：Hessian 与二阶判别。
• 相关：偏导数、二阶泰勒公式、凸函数、牛顿法。