跳到正文
格致开物MATHWIKI

得分检验

得分检验(score test,又称拉奥检验、拉格朗日乘数检验)在零假设模型附近考察对数似然的斜率。如果零假设成立,该斜率应当只有符合抽样误差量级的波动;把斜率按信息量标准化,就得到检验统计量。它的一项计算特点是通常只需拟合受限的零假设模型。

考虑二十次独立伯努利试验、十四次成功,检验 p0=1/2。对数似然的导数,即样本得分,为 Un(p)=Sp−n−S1−p=S−npp(1−p). 在 p0=1/2 处,Un(p0)=16。斜率为正,说明在这个点略微增加成功率会改善拟合;但十六是否足够大,需要用零假设下的得分方差判断。

伯努利模型的完整标准化

因为零假设下 𝔼S=np0、Var⁡S=np0(1−p0),所以 𝔼0Un(p0)=0,In(p0)=Var0Un(p0)=np0(1−p0). 这里 In 是整个样本的信息量,而非单次试验的信息量。本例 In=80,于是 Sscore=16280=3.2. 等价的带符号形式为 (14−10)/5≈1.78885。

固定内部点 0<p0<1,中心极限定理直接给出 Un(p0)In(p0)=S−np0np0(1−p0)→dN(0,1). 平方后即得 Sscore→dχ12。本例的卡方近似尾概率约为 0.07364。这个证明既核对了分母,也说明把样本信息误写为单次信息会使统计量多出一个样本量因子。

局部二次似然中的含义

令 d 表示从零假设参数出发的一项小位移,以期望信息近似负曲率,局部二次式为 q(d)=ℓ(p0)+Un(p0)d−12In(p0)d2. 二次函数在 d∗=Un/In 达到最大值;代回可得 2{q(d∗)−q(0)}=Un(p0)2In(p0). 因此得分统计量等于这个二次近似允许的最大对数似然改善的两倍。本例 d∗=0.2,近似峰位是 0.7;恰巧等于伯努利最大似然估计,但二次式的高度仍只是近似。

从成功率0.5出发的精确对数似然与零假设处二次近似均向0.7上升,但峰高略有差别
以零假设处对数似然为零。二次峰高为1.6,对应得分统计量3.2;精确峰高约1.64566,对应似然比统计量约3.29132。

含干扰参数的有效信息

设要检验的参数为 ψ∈ℝk,干扰参数为 η∈ℝm。零假设固定 ψ=ψ0,而 η 由受限拟合得到 η~。在内部受限极值及通常可微条件下,干扰得分 Uη 为零,但两个参数方向仍可能相关,不能只取信息矩阵左上角。

将整个样本的期望信息按两个参数分块,假设它正定: In=(IψψIψηIηψIηη). 在受限拟合点作二次展开。给定待检方向位移 dψ,关于干扰位移的最优解为 dη=−Iηη−1Iηψdψ. 代回二次式,得到有效曲率及统计量 Ieff=Iψψ−IψηIηη−1Iηψ,Sscore=Uψ𝖳Ieff−1Uψ. 这些量在 (ψ0,η~) 处计算。在正则条件下,受限拟合的影响恰好对应这一消去干扰方向的修正,极限为 χk2。一般模型的正则条件、投影论证及观测信息与期望信息的替代见Geyer讲义。[1]

更换零假设的变式

仍取 n=20,S=14,改检验 p0=0.6,则 Un(0.6)=14−120.6×0.4=253,In(0.6)=200.6×0.4=2503,Sscore=(25/3)2250/3=56. 改变假设点后,斜率和信息量都要重新计算,不能沿用 p0=0.5 的分母八十。

原假设 p0=0.5 下,同一数据的似然比检验统计量约为 3.2913,概率坐标瓦尔德检验约为 3.8095,得分检验为 3.2。三者分别比较最优似然、在估计点度量参数偏离、在假设点度量斜率;正则大样本下有共同的一阶极限,有限样本没有普遍相同或固定大小次序的保证。

得分为零也未必表示模型正确,可能是局部对称或该方向无法识别。边界点、不可识别参数、错误概率模型或奇异信息都需要另行分析;如果只是使用一个均值方程而没有完整密度,还需根据得分实际变异进行校准,不能自动调用普通似然的卡方定理。

参考文献

  1. ↑ Charles J. Geyer,The Wilks, Wald, and Rao Tests,§3光滑子模型、§5拉奥检验及其证明、§8期望信息。本文伯努利标准化和分块二次消元均直接给出计算。