部分可观测马尔可夫决策过程

部分可观测马尔可夫决策过程（partially observable Markov decision process，POMDP）描述状态不能直接看见、行动会影响后续状态、观测只提供部分信息的序贯决策问题。它不把一次测量直接当成真实状态，而是维护各个可能状态的条件概率，称为信念状态。

状态、行动与观测

有限模型包含状态集合 $S$、行动集合 $A$、观测集合 $O$、转移概率 $T(s^{\prime }\mid s,a)$、观测概率 $Z(o\mid s^{\prime },a)$ 和阶段成本 $c(s,a)$。这里约定先选行动、再转移状态、最后获得观测。信念 $b(s)$ 是给定已有行动和观测历史后，当前状态为 $s$ 的概率。

选行动 $a$ 后先预测 $\overline{b}(s^{\prime })=\sum _{s}T(s^{\prime }\mid s,a)b(s)$，观察 $o$ 后用贝叶斯公式修正： $$b^{\prime }(s^{\prime })=\frac{Z(o\mid s^{\prime },a)\overline{b}(s^{\prime })}{\sum _{j}Z(o\mid j,a)\overline{b}(j)}.$$ 分母是当前行动下出现该观测的概率；若为零，该观测在所给模型中不可能，不能硬把零除零归一化。

检测与维修的可复算例子

构造两状态设备：健康 $H$ 与故障 $F$，当前健康概率 $b(H)=0.6$。本次检测不改变状态。检测呈阳性时，健康设备产生该信号的概率为 $0.8$，故障设备为 $0.2$；这里“阳性”只是信号名称。于是 $$Pr(+)=0.8\times 0.6+0.2\times 0.4=0.56,b(H\mid +)=\frac{0.48}{0.56}=\frac{6}{7}.$$ 阴性信号概率为 $0.44$，健康后验为 $0.12/0.44=3/11$。

随后可付成本三维修，或不维修但在故障时承受成本九。给定健康概率 $b$，两种期望成本分别为三和 $9(1-b)$，所以当 $b\ge 2/3$ 时不维修更便宜。无检测时最小成本为三；阳性后不维修，成本 $9/7$；阴性后维修，成本三。检测免费时总期望成本为 $0.56\times 9/7+0.44\times 3=2.04$。信息让行动随信号改变，而不是神奇地消除了状态不确定性。

横轴是健康的条件概率，非真实健康程度。检测后信念跨过决策阈值，最优行动随之改变。

信念状态与后续决策

给定 $b,a$，下一次观测的概率和后验都由上述两步确定，因此完整历史对未来的影响可压缩到 $b$；这是转移与观测条件独立结构的结果。若剩余 $h$ 步，成本的Bellman递推为 $$V_h(b)=\underset{a}{min}[\sum _{s}b(s)c(s,a)+\gamma \sum _{o}Pr(o\mid b,a)V_{h-1}(b_{a,o})],$$ 其中 $V_0$ 为终端成本，$0<\gamma \le 1$，零概率观测项不需要定义后验。即便原状态数有限，信念仍在概率单纯形上连续变化，计算量可能很大。这个递推不是把未知状态先猜成一个最可能值再按完全可观测模型行动；后者可能丢掉对信息收集有用的不确定性。

后验更新的Python实现

下例只计算本例的恒等状态转移后的单次观测修正，不求解一般POMDP。输入是等长的非空先验和似然，不改写输入，返回归一化后验；时间和额外空间均为 $O(|S|)$。

Python 3

import math

def belief_update(prior, likelihood):
    p, z = tuple(prior), tuple(likelihood)
    if not p or len(p) != len(z):
        raise ValueError("matching nonempty vectors required")
    if not all(math.isfinite(v) and 0 <= v <= 1 for v in p + z):
        raise ValueError("probabilities must lie in [0, 1]")
    if not math.isclose(sum(p), 1.0, rel_tol=0, abs_tol=1e-12):
        raise ValueError("prior must sum to one")
    weights = [a * b for a, b in zip(p, z)]
    evidence = sum(weights)
    if evidence == 0:
        raise ValueError("observation has zero model probability")
    return tuple(w / evidence for w in weights)

print(belief_update((0.6, 0.4), (0.8, 0.2)))
print(belief_update((0.6, 0.4), (0.2, 0.8)))

输出分别约为 $(0.857143,0.142857)$ 和 $(0.272727,0.727273)$。变式。 若检测费为 $1.2$，检测后的总成本为 $3.24$，高于直接维修的三，应放弃检测。信息可以改善后续选择，但获取信息的成本也属于决策问题。