优化

数学优化是在给定可行范围内寻找目标函数最小值或最大值的问题。最小化 $f$ 与最大化 $- f$ 可以互相转换。一个优化模型必须说明决策变量、目标与约束；“最好”只有在这些选择明确后才有数学含义。

目标函数与可行域

一般约束优化可写为 $min_{x \in ℝ^{n}} f (x) 使得 g_{i} (x) \leq 0, h_{j} (x) = 0.$ 满足所有约束的点构成可行域。不可行的问题没有可行解；有可行解也未必能取得最小值。例如 $min_{x > 0} x$ 的下确界为 0，却没有可行点达到 0。连续函数在非空紧集上一定能取得最大、最小值，这是常用的存在性保证。

一个带边界的一维例子

考虑 $min_{x \geq 2} (x - 1)^{2} .$ 没有约束时，导数 $2 (x - 1) = 0$ 给出 $x = 1$ ，但该点不可行。对所有 $x \geq 2$ ，函数递增，所以最优点为 $x = 2$ ，最小值为 1。

函数x减一的平方在x大于等于二的可行区域内，最小值位于边界二一，而无约束最低点一零不可行 — 约束改变最优解；只解“导数等于零”会漏掉边界最优点。

若在可行域内部取得局部极小值，且函数可微，那么梯度为零是必要条件。但驻点不一定是极小值，例如 $f (x) = x^{3}$ 在 0 的导数为零却没有极值。

局部最优、全局最优与凸性

局部最优只要求在附近没有更好点；全局最优要求整个可行域都没有更好点。集合 $C$ 凸是指任意两点间的线段都在集合内。函数在凸域上凸，是指对 $0 \leq t \leq 1$ ， $f (t x + (1 - t) y) \leq t f (x) + (1 - t) f (y) .$ 凸优化问题的局部极小点也是全局极小点。这并不自动保证最优点存在或唯一；严格凸函数若在凸域上取得最小值，才保证最优点唯一。线性规划要求线性目标与线性等式、不等式约束，是重要的凸优化类别。

拉格朗日乘子怎样使用

求 $x^{2} + y^{2}$ 在 $x + y = 1$ 下的最小值。定义 $L (x, y, λ) = x^{2} + y^{2} + λ (x + y - 1) .$ 令对 $x, y$ 的偏导为零，并满足约束，得到 $2 x + λ = 0$ 、 $2 y + λ = 0$ 、 $x + y = 1$ ，所以 $x = y = 1 / 2$ ，目标值为 $1 / 2$ 。

这次结论还可直接验证：由 $x^{2} + y^{2} = ((x + y)^{2} + (x - y)^{2}) / 2 \geq 1 / 2$ ，等号恰在 $x = y$ 时成立。一般问题使用乘子法需要约束正则性等条件，求出驻点后仍需判断它是极小、极大还是其他情形。

梯度下降与步长

无约束可微问题常用迭代 $x_{k + 1} = x_{k} - η \nabla f (x_{k})$ ，其中 $η > 0$ 是步长。对 $f (x) = (x - 1)^{2}$ ，误差满足 $x_{k + 1} - 1 = (1 - 2 η) (x_{k} - 1) .$ 只有 $0 < η < 1$ 时，这个固定步长迭代对任意初值都收敛到 1；步长过大会振荡或发散。这个区间是本例结论，不能照搬到所有目标函数。

解得精确不等于模型正确

数学建模中的目标可能是误差、成本或耗时，不同目标会产生不同解。多目标问题需要说明权衡，数值软件报告“成功”后还应检查约束残差、最优性条件和参数敏感性。整数决策、非凸结构和噪声目标可能需要不同算法。

延伸阅读

Stephen Boyd、Lieven Vandenberghe，《Convex Optimization》：凸集、凸函数、最优性条件与算法。
导数 · 线性代数 · 数学建模