马尔可夫决策过程

马尔可夫决策过程（MDP）描述反复“观察当前状态—选择行动—获得收益—进入下一状态”的问题。它适合设备维护、库存补货和搜寻路线等动态决策：同一种行动现在看来便宜，可能提高以后进入坏状态的机会。马尔可夫是模型条件，表示在给定当前状态和行动后，预测下一步不再需要更早的历史；状态若漏掉机器年龄或上次维修时间，这个条件未必成立。

两步设备维护

设机器每期处于正常 $W$ 或故障 $B$。正常时可继续使用，立即收益为 5，下一期仍正常的概率为 0.8、故障概率为 0.2；也可做预防保养，收益扣除费用后为 3，下一期必正常。故障时可花 2 维修，使下一期恢复正常，当前收益为 −2；也可暂不处理，当前收益 0，下一期仍故障。先考虑只剩两期、期末没有残值，数值均是示意的相同收益单位。

在最后一期，正常机器选“继续使用”得 5，比保养的 3 高，所以 $V_1(W)=5$；故障机器维修的当期收益 −2 比停机的 0 低，且期末没有未来，所以 $V_1(B)=0$。在倒数第二期，若当前正常，继续使用的两期预期收益是 $$5+0.8V_1(W)+0.2V_1(B)=5+0.8(5)+0.2(0)=9;$$ 先保养则是 $3+V_1(W)=8$，故选继续使用。若当前故障，立即维修的两期收益 $-2+V_1(W)=3$，停机则是 $0+V_1(B)=0$，故选维修。图中从正常态“继续使用”分出 0.8 与 0.2 两条路径；行动是现在选的，下一状态是后来随机出现的，不能只沿较好的那条路径算。

状态转移概率与下一期价值一起决定当前行动。

状态、策略和贝尔曼方程

一般地，用 $S_t$ 表示第 $t$ 期状态，$A_t$ 表示可选择行动，$P(s^{\prime }\mid s,a)$ 是转移到 $s^{\prime }$ 的概率，$r_t(s,a)$ 是当期的预期收益。策略 ${\pi }_t(s)$ 根据当时能观察到的状态选行动，不是提前为每种随机结局偷看后再选。有限期最优价值满足 $$V_t(s)=\underset{a\in A(s)}{max}\{r_t(s,a)+\sum _{s^{\prime }}P(s^{\prime }\mid s,a)V_{t+1}(s^{\prime })\},V_T(s)=g(s).$$ 终值 $g(s)$ 说明计划结束时的库存、剩余电量或残值怎样计价；本例取零。推导只有两步：给定当前 $(s,a)$，由全期望公式把各个下一状态的最优后续价值按转移概率加权，再对允许行动取最大。若未来阶段没有沿各自状态重新优化，而是固定一条行动序列，就不再是这个反馈最优值。上面的两期计算正是从 $t=T-1$ 倒推到 $T-2$。

给未来收益折现时，可在后续价值前乘 $\gamma \in [0,1)$。有限状态和行动、奖励有界时，折现无限期的值迭代可以从任意初始函数反复应用贝尔曼更新；两次价值函数之间的最大差至多被缩小为原来的 $\gamma$ 倍，因此收敛到唯一不动点。这是收敛保证，不是对“预测转移概率正确”的保证。

写进建模题时的核查

状态必须保留做下一步决策所需的信息：穿越沙漠可把位置、剩余水粮、天气预报和时间列入状态；微网可把储能量、电价时段与可用发电量列入。若把“机器正常”当作唯一状态，却让故障率事实上随使用年限增加，两个外观同为正常的机器有不同转移规律，就需要补充年龄或健康指标。可用历史频率估计 $P$，但某些状态—行动组合从未观察到时，频率零不等于物理上不可能。应对转移概率做区间或情景敏感性，检查所选策略是否改变。

行动和状态越多，逐状态计算与存储越昂贵；近似方法不能仅报告一次模拟的平均收益，还要说明仿真随机种子、重复次数、不可行动作过滤及与小规模精确倒推结果的差异。若只关心两期，没必要先引入强化学习术语再把已知概率重新“学”一遍。

参考资料与相关词条

• MIT 16.410：MDP 与贝尔曼最优方程。
• 相关：全期望公式、动态规划、随机规划与情景树、最优控制。