跳到正文
格致开物MATHWIKI

剖面似然

剖面似然(profile likelihood)在每个固定的目标参数值下,重新选择使似然最大的干扰参数。得到的是联合似然曲面的最高截面轮廓;把干扰参数固定在同一个值后切一刀,通常会得到另一条曲线。

例如,独立正态观测既有未知均值 μ,又有未知方差 v>0,而我们只关心均值。取教学数据 (0,1,5),样本均值为二,围绕二的离差平方和为 4+1+9=14。方差是干扰参数,并不意味着它可以被任意忽略。

每个均值对应的最优方差

一般样本量为 n,记 S(μ)=∑i(xi−μ)2。去掉不随参数变化的常数,正态对数似然为 ℓ(μ,v)=−n2log⁡v−S(μ)2v+C. 固定 μ 且 S(μ)>0,对 v 求导: ∂ℓ∂v=S(μ)−nv2v2. 导数在 v<S(μ)/n 为正,在其上为负,且两端对数似然趋向负无穷,因此唯一全局最大值为 v^μ=S(μ)/n。

展开 xi−μ=(xi−x‾)+(x‾−μ),交叉项因中心化离差和为零而消去,得到 S(μ)=S(x‾)+n(μ−x‾)2,v^μ=14/3+(μ−2)2(主例). 候选均值偏离样本中心时,模型可以增大方差来容纳偏差。这正是剖面过程中干扰参数的实际作用。

每个候选均值对应的最优方差为14/3加均值离二的平方
这条曲线是联合似然的脊线在参数平面上的投影,纵轴是方差估计,不是观测值。

剖面曲线和固定方差切片

代入 v^μ 得 ℓp(μ)=C′−n2log⁡S(μ)。主例的最大值位于 μ^=2,相对剖面似然为 Rp(μ)={1414+3(μ−2)2}3/2. 例如候选 μ=1 对应方差 17/3,相对支持度为 (14/17)3/2≈0.7474。

若一直把方差固定在联合最优值 14/3,切片的相对似然却是 Rs(μ)=exp⁡{−9(μ−2)2/28}. 剖面在每个均值处允许重新优化方差,故它至少和这个固定切片一样高。也可令 u=3(μ−2)2/14≥0,由 log⁡(1+u)≤u 直接验证 Rp≥Rs。

重新优化方差的剖面似然在均值二以外高于固定方差切片,两者在峰值一处相遇
虚线切片不允许方差随候选均值变化;实线剖面保留这种变化。两条曲线均按联合峰值归一化。

定义与区间解释

将参数分成目标 ψ 与干扰 η,定义 Lp(ψ)=supη:(ψ,η)∈ΘL(ψ,η). 若上确界达到,常写成 L(ψ,η^ψ);若没有达到,就不能把不存在的最大点当成已求出的解。Reid与Fraser讨论了该定义、正则大样本近似及干扰维数增长时的障碍。[1]

主例若只问哪些均值使相对似然不低于二分之一,解为 |μ−2|≤143(22/3−1)≈1.656. 这是一个似然高度集合;没有额外校准,不能直接命名为95%置信区间。一般似然比的卡方近似要求模型可识别、真值在内部、信息非奇异、适当平滑与矩条件,通常还固定干扰参数维数。三点算例本身不保证这些近似在有限样本中精确。

剖面最大化干扰参数;贝叶斯边际似然则按指定先验对干扰参数积分。最大化与积分是不同运算。统计学中还存在把观测变换后取边际分布来消去参数的方法,也应按具体定义区分,不能只凭“边际”一词混用。

变式。 若另一个实验中方差已知为四,似然只有均值未知,支持曲线为 exp⁡{−3(μ−2)2/8},不再需要剖面优化。如果原来未知方差的数据全都相同,则在均值取共同值、方差趋零时似然无界;前面 S>0 的推导适用条件已失败。

参考文献

  1. ↑ Nancy Reid、D.A.S.Fraser,Likelihood Inference in the Presence of Nuisance Parameters,PHYSTAT2003,§4,式(16)—(22);§6区分条件与边际推断。