最大后验估计

最大后验估计（maximum a posteriori estimation，MAP）在观察数据以后，选择后验质量或所指定坐标下后验密度最大的参数值。它把似然与先验共同纳入优化。对连续参数，密度值依赖坐标与参考测度，不能把它理解为某一个点具有最大的正概率。

设六次相互独立的合成伯努利试验中成功五次、失败一次。只看似然，成功概率p的最大似然估计是5/6。若事先采用 $\mathrm{Beta}(3,3)$ 先验，则后验为 $\mathrm{Beta}(8,4)$，在p坐标下的MAP为0.7。这里的先验是明确给定的教学假设，不是看到数据后挑选的拟合结果。

后验最大化与归一化

记数据为y，参数为θ，先验密度为 $\pi (\theta )$，似然为 $L(\theta ;y)$。若证据 $$m(y)=\int L(\theta ;y)\pi (\theta )\mathrm{d}\theta$$ 有限且严格为正，后验密度是 $\pi (\theta \mid y)=L(\theta ;y)\pi (\theta )/m(y)$。于是 $${\hat{\theta }}_{\mathrm{M}\mathrm{A}\mathrm{P}}\in \mathrm{\ast }{argmax}_{\theta }\{L(\theta ;y)\pi (\theta )\}$$ 等价于在乘积为正处最大化 $\log L+\log \pi$，因为分母与θ无关、对数严格递增。积分定义了归一化后验，MAP还另外要求上确界能取得；后验存在不自动保证有限且唯一的最大点。离散参数时把积分换成求和，优化的是后验质量。

主例的先验密度为 $30p^2(1-p{)}^2$（0<p<1），因为 $B(3,3)=1/30$。对所观察的某一固定顺序，似然为 $p^5(1-p)$，乘积为 $30p^7(1-p{)}^3$。由于 $$B(8,4)=\frac{\Gamma (8)\Gamma (4)}{\Gamma (12)}=\frac{1}{1320},$$ 证据为 $30B(8,4)=1/44$，后验密度为 $1320p^7(1-p{)}^3$。若数据只记录成功数五，则似然和证据都多乘 $(\genfrac{}{}{0ex}{}{6}{5})=6$，归一化后的后验不变。

对后验对数去掉常数，求导得 $$\frac{7}{p}-\frac{3}{1-p}=0⟹{\hat{p}}_{\mathrm{M}\mathrm{A}\mathrm{P}}=\frac{7}{10}=\mathrm{0.7.}$$ 二阶导数为 $-7/p^2-3/(1-p{)}^2<0$，且两端密度趋向零，所以这是唯一全局最大点。后验均值却为 $8/(8+4)=2/3$；均值、众数和最大似然回答不同问题，不必一致。

两条密度分别归一为一；后验在p=0.7处最高，其均值2/3稍偏左。

更换参数坐标会改变密度最大点

令 $\tau =\log [p/(1-p)]$，逆变换为 $p=e^{\tau }/(1+e^{\tau })$，且 $\mathrm{d}p/\mathrm{d}\tau =p(1-p)$。同一个后验概率分布在τ坐标下的密度是 $$h(\tau \mid y)=1320p^7(1-p{)}^{3}p(1-p)=1320p^8(1-p{)}^4.$$ 由于p随τ严格增加，最大化这个函数可先在p上求位置。导数方程为 $8/p-4/(1-p)=0$，给出p=2/3，因此 ${\hat{\tau }}_{\mathrm{M}\mathrm{A}\mathrm{P}}=\log 2$。把原p坐标的MAP变换过去却是 $\log (7/3)$，两者不同。

并非数据更新了两遍，而是单位长度发生变化：p中的等宽小区间在τ中不再等宽。概率由密度乘区间长度形成，Jacobian维护概率守恒，却不维护密度峰的位置。后验事件的概率可一致换算，MAP的坐标依赖性必须另外说明。

两条竖线分别标示τ密度众数与原p众数的坐标变换；峰位置不在后一条线上。

先验作为惩罚的精确尺度

设固定设计下 $Y_i\mid \beta \sim N(x_i^{𝖳}\beta ,{\sigma }^2)$ 条件相互独立，σ的平方已知，系数独立采用尺度b的零中心拉普拉斯先验，密度为 $(2b{)}^{-1}{e}^{-|{\beta }_j|/b}$。后验负对数去掉常数是 $$\frac{1}{2{\sigma }^2}\Vert y-X\beta {\Vert }_2^2+\frac{1}{b}\sum _j|{\beta }_j|.$$ 乘以正数 ${\sigma }^2/n$ 不改变最小点，得到Lasso的本文尺度 $$\frac{1}{2n}\Vert y-X\beta {\Vert }_2^2+\lambda \sum _j|{\beta }_j|,\lambda =\frac{{\sigma }^2}{nb}.$$ 所以同一个先验尺度和不同损失规范化之间必须换算，不能一概声称λ就是1/b。高斯先验相应产生二次惩罚。这个对应解释的是后验众数；采用同一个先验时的后验均值通常不等于惩罚优化解。若截距也有先验，应按所用先验另计其惩罚，不能无声省略。

变式。 仍观察六次中成功五次，改用均匀 $\mathrm{Beta}(1,1)$ 先验，则后验为 $\mathrm{Beta}(6,2)$。在p坐标下众数为 $(6-1)/(6+2-2)=5/6$，恰等于MLE；后验均值为3/4，仍不同。这种与MLE相等依赖所指定坐标下先验恒定，换成logit坐标的均匀密度并不是同一个先验。

一般贝塔后验的两个形状参数都大于一时，内部众数公式为 $(a-1)/(a+b-2)$；若参数不满足这个条件，须直接查看边界。例如 $\mathrm{Beta}(1/2,1/2)$ 的通常密度在两端无界，不能硬套公式得到一个内部“最优点”。多个峰、边界、优化未收敛和先验不适配都需要在报告MAP时说明。若决策损失是平方误差，应进一步计算后验均值及后验风险，单独找到密度峰并没有完成该决策问题。