庞特里亚金极大值原理

庞特里亚金极大值原理（Pontryagin maximum principle，PMP）通过引入协态，把最优控制的必要条件写成状态方程、协态方程以及哈密顿量的逐时极值条件。名称中的“极大”取决于符号约定：若将运行代价以正号加入哈密顿量，许多教材便写成极小形式。两种写法必须连同协态和端点条件一起转换。

固定终点的能量问题

考虑 $\dot{x}=u$，$x(0)=0,x(1)=1$，最小化 $J=\frac{1}{2}{\int }_0^1{u}^2\mathrm{d}t$。输入无幅值限制且平方可积。由于 ${\int }_0^{1}u=1$，柯西不等式给出 ${\int }_0^1{u}^2\ge 1$，等号在常值 $u=1$ 时达到。因此本例最优控制为一，最小代价为二分之一。

为了把这种计算推广，取极大约定的哈密顿量 $H(x,u,p,t)=p^{𝖳}f(x,u,t)-\ell (x,u,t)$。这里 $p$ 是与状态同维的协态，不是实际系统中的额外状态。主例有 $H=pu-u^2/2$，满足 $\dot{p}=-H_x=0$。对 $u$ 最大化得 $u=p$；由终点积分 $\int u=1$，得到 $p=u=1$，与直接最优性证明吻合。

一阶变分中协态的作用

对光滑动力学和运行代价，先考察正常极值、固定初末状态、固定终止时间且最优输入处于允许集合内部的情形。将动力学约束写进增广泛函 $$𝒜={\int }_0^T[\ell (x,u,t)+p^{𝖳}(\dot{x}-f(x,u,t))]\mathrm{d}t.$$ 对 $p$ 的变分恢复状态方程。对 $x$ 分部积分，固定端点使边界项为零，得到 $\dot{p}={\ell }_x-f_x^{𝖳}p=-H_x$。对内部输入变分则有 ${\ell }_u-f_u^{𝖳}p=0$，即 $H_u=0$。

一般PMP允许代价乘子 ${\lambda }_0\ge 0$，并使用 $H_{{\lambda }_0}=p^{𝖳}f-{\lambda }_0\ell$，其中 $({\lambda }_0,p)$ 不全为零。局部时间上的针状变分将内部驻值条件强化成几乎处处的最大化条件 $u_{\ast }(t)\in \arg \underset{u\in U}{max}{H}_{{\lambda }_0}(x_{\ast }(t),u,p(t),t)$；协态相应满足 $\dot{p}=-{\partial }_x{H}_{{\lambda }_0}$。正常情形可归一化为 ${\lambda }_0=1$；异常情形 ${\lambda }_0=0$ 不能在一般问题中提前删掉。这里给出的是光滑内部情形的变分推导，针状变分的一般定理另需相应存在性与正则性条件。

受限输入与端点条件

若 $\ell =1$、$f=u$、$U=[-1,1]$，哈密顿量为 $pu-1$。当 $p>0$ 时最大化输入为一，$p<0$ 时为负一，线性于输入的结构可产生开关控制。主例改成最短时间到达 $x=1$ 后，$|x(T)|\le T$ 给出 $T\ge 1$；取 $u=1$ 达到下界，所以最短时间是一。

协态p=1固定后，最大化这个凹二次式得到输入u=1。图展示的是逐时极值条件，整体最优性由正文的积分下界另行确认。

以下仍取正常归一化 ${\lambda }_0=1$ 和固定终止时间。若终态自由且另有可微终端代价 $\varphi (x(T))$，协态端点符号须与增广式一致。按本篇 $p^{𝖳}(\dot{x}-f)$ 的约定，边界变分为 $(\mathrm{\nabla }\varphi +p(T){)}^{𝖳}\delta x(T)$，因此 $p(T)=-\mathrm{\nabla }\varphi$。为了避免混用，实际计算时也可以改用更常见的 $H_{min}=\ell +{\lambda }^{𝖳}f$、$\lambda =-p$，此时 $\lambda (T)=\mathrm{\nabla }\varphi$。

必要条件可能有多个候选，未必全是极小值；主例使用独立下界才确认全局最优。变式。 把固定终点改为 $x(1)=2$，同样推导得 $u=p=2$、$J=2$；若另加 $|u|\le 1$，则这个终点在一秒内不可达。