得分检验
得分检验(score test,又称拉奥检验、拉格朗日乘数检验)在零假设模型附近考察对数似然的斜率。如果零假设成立,该斜率应当只有符合抽样误差量级的波动;把斜率按信息量标准化,就得到检验统计量。它的一项计算特点是通常只需拟合受限的零假设模型。
考虑二十次独立伯努利试验、十四次成功,检验 。对数似然的导数,即样本得分,为 在 处,。斜率为正,说明在这个点略微增加成功率会改善拟合;但十六是否足够大,需要用零假设下的得分方差判断。
伯努利模型的完整标准化
因为零假设下 、,所以 这里 是整个样本的信息量,而非单次试验的信息量。本例 ,于是 等价的带符号形式为 。
固定内部点 ,中心极限定理直接给出 平方后即得 。本例的卡方近似尾概率约为 。这个证明既核对了分母,也说明把样本信息误写为单次信息会使统计量多出一个样本量因子。
局部二次似然中的含义
令 表示从零假设参数出发的一项小位移,以期望信息近似负曲率,局部二次式为 二次函数在 达到最大值;代回可得 因此得分统计量等于这个二次近似允许的最大对数似然改善的两倍。本例 ,近似峰位是 ;恰巧等于伯努利最大似然估计,但二次式的高度仍只是近似。
含干扰参数的有效信息
设要检验的参数为 ,干扰参数为 。零假设固定 ,而 由受限拟合得到 。在内部受限极值及通常可微条件下,干扰得分 为零,但两个参数方向仍可能相关,不能只取信息矩阵左上角。
将整个样本的期望信息按两个参数分块,假设它正定: 在受限拟合点作二次展开。给定待检方向位移 ,关于干扰位移的最优解为 代回二次式,得到有效曲率及统计量 这些量在 处计算。在正则条件下,受限拟合的影响恰好对应这一消去干扰方向的修正,极限为 。一般模型的正则条件、投影论证及观测信息与期望信息的替代见Geyer讲义。[1]
更换零假设的变式
仍取 ,改检验 ,则 改变假设点后,斜率和信息量都要重新计算,不能沿用 的分母八十。
原假设 下,同一数据的似然比检验统计量约为 ,概率坐标瓦尔德检验约为 ,得分检验为 。三者分别比较最优似然、在估计点度量参数偏离、在假设点度量斜率;正则大样本下有共同的一阶极限,有限样本没有普遍相同或固定大小次序的保证。
得分为零也未必表示模型正确,可能是局部对称或该方向无法识别。边界点、不可识别参数、错误概率模型或奇异信息都需要另行分析;如果只是使用一个均值方程而没有完整密度,还需根据得分实际变异进行校准,不能自动调用普通似然的卡方定理。
参考文献
- ↑ Charles J. Geyer,The Wilks, Wald, and Rao Tests,§3光滑子模型、§5拉奥检验及其证明、§8期望信息。本文伯努利标准化和分块二次消元均直接给出计算。