似然比检验

似然比检验（likelihood-ratio test）比较零假设允许的最佳拟合，与整个模型允许的最佳拟合。若零假设受到的限制使最大似然下降很多，数据便倾向于拒绝该限制。统计量的大小要结合零假设下的参照分布判断，不能仅凭“拟合改善了”作结论。

例如独立进行二十次伯努利试验，观察到十四次成功，要检验成功概率是否为 $p_0=1/2$。零假设只有一个候选值，整个模型 $0<p<1$ 的最大似然估计则为 $\hat{p}=14/20=0.7$。两个模型都解释相同的二十次试验，似然可以直接比较。

受限最大值与统计量

设零假设参数空间 ${\Theta }_0\subseteq \Theta$，定义 $$\begin{array}{cc}\Lambda & =\frac{\underset{\theta \in {\Theta }_0}{sup}L(\theta )}{\underset{\theta \in \Theta }{sup}L(\theta )},\\ W_{\mathrm{L}\mathrm{R}}& =-2\log \Lambda .\end{array}$$ 只要两个上确界正且有限，就有 $0<\Lambda \le 1$、$W_{\mathrm{L}\mathrm{R}}\ge 0$。需要的是各参数空间上的全局上确界；数值优化停在局部点，可能产生错误统计量。某些边界例子只存在上确界而没有达到它的参数，因此定义写作上确界更稳妥。

伯努利样本的对数似然略去与参数无关的项为 $$\ell (p)=s\log p+(n-s)\log (1-p).$$ 在 $0<s<n$ 时，导数为 $s/p-(n-s)/(1-p)$，二阶导数为负，所以唯一极大值是 $s/n$。本例由此得到 $$\begin{array}{cc}{W}_{\mathrm{L}\mathrm{R}}& =2[14\log \frac{0.7}{0.5}+6\log \frac{0.3}{0.5}]\\ & \approx \mathrm{3.29131514.}\end{array}$$ 即对数似然改善约 $1.64566$，再乘二得到检验统计量。

纵轴为对数似然减去最大值。似然比使用两个峰值之差；参数轴上的距离只是其中一个因素。

伯努利情形的卡方近似推导

写 $q=\hat{p}$，有 $$W_{\mathrm{L}\mathrm{R}}=2nD(q\Vert p_0),$$ 其中 $$D(q\Vert p_0)=q\log \frac{q}{p_0}+(1-q)\log \frac{1-q}{1-p_0}.$$ 固定内部点 $0<p_0<1$。把它看成 $q$ 的函数，一阶导数在 $q=p_0$ 为零，二阶导数为 $1/[q(1-q)]$，所以在 $p_0$ 邻域 $$D(q\Vert p_0)=\frac{(q-p_0{)}^2}{2p_0(1-p_0)}+O(|q-p_0{|}^3).$$ 零假设下，大数定律给出 $q\to p_0$，中心极限定理给出 $$Z_n=\frac{\sqrt{n}(q-p_0)}{\sqrt{p_0(1-p_0)}}\stackrel{d}{\to }N(0,1).$$ 于是 $q-p_0=O_p(n^{-1/2})$，三阶余项乘 $n$ 后为 $O_p(n^{-1/2})$，从而 $$W_{\mathrm{L}\mathrm{R}}=Z_n^2+o_p(1)\stackrel{d}{\to }{\chi }_1^2.$$ 这给出了本模型的一项完整渐近证明。一般的威尔克斯定理把它推广到光滑的嵌套参数模型：在可识别、内部真参数、非奇异信息矩阵、适当光滑与积分条件以及一致极大似然估计等正则条件下，极限自由度为两模型维数之差；光滑约束还需具有相应满秩。一般定理的条件与局部二次证明见Geyer讲义。

二十次试验的有限样本校准

用 ${\chi }_1^2$ 近似，本例尾概率约为 $0.06965$，五百分比临界值约 $3.84146$，因而没有在该近似规则下拒绝零假设。

二十次试验不必依赖渐近近似。零假设下 $S\sim \mathrm{Binomial}(20,1/2)$，似然比统计量关于 $S=10$ 对称，并随 $|S-10|$ 增大。以不小于观察统计量为尾部，精确概率为 $$\begin{array}{cc}{p}_{\mathrm{e}\mathrm{x}\mathrm{a}\mathrm{c}\mathrm{t}}& =\underset{0}{Pr}(S\le 6)+\underset{0}{Pr}(S\ge 14)\\ & =2\sum _{k=14}^{20}(\genfrac{}{}{0ex}{}{20}{k})2^{-20}\\ & =0.1153182983\dots .\end{array}$$ 精确值比卡方近似大，说明小样本、离散分布的校准可能有明显区别。它们使用同一个似然比统计量，但不是同一个参照分布。

红色端点包含与十四次成功同样极端的六次成功。尾部按离散概率求和，不是连续卡方曲线下面积。

已知正态方差的变式

若 $X_i\sim N(\mu ,4)$ 独立，$n=9$、$\bar{X}=0.8$，检验 $\mu =0$，配方直接给出 $$W_{\mathrm{L}\mathrm{R}}=\frac{n{\bar{X}}^2}{4}=\mathrm{1.44.}$$ 零假设下 $\sqrt{n}\bar{X}/2$ 恰好服从标准正态，所以统计量恰好服从 ${\chi }_1^2$，尾概率约 $0.23014$。这里不是仅在大样本时成立。

一一参数变换不会改变两个模型中的最大似然值，因此似然比统计量具有这种不变性。相反，方差为零的边界、混合模型的不可识别点或奇异信息矩阵可能破坏通常的卡方极限；不能只按“参数少了几个”指定自由度。复合似然也不是原始联合密度，其似然比常需额外校准。瓦尔德检验和得分检验在正则大样本中与似然比检验密切相关，但有限样本统计量可以不同。