经验似然

经验似然（empirical likelihood）把观测点上的未知概率质量作为待优化量，在满足指定矩条件的前提下，寻找最支持该条件的一组质量。它保留似然比的比较形式，同时不预先选择正态、指数等具体分布族。

设独立同分布的实数观测为 $x=(0,1,3)$。无约束时，每个观测点分配 $1/3$ 的质量使乘积最大。若要求这组质量对应的均值为一，就必须重新分配权重；样本均值 $4/3$ 与待检验的均值一之间的差别，由重分配造成的乘积损失衡量。

三个质量的完整求解

按 $0,1,3$ 的次序记质量为 $p_0,p_1,p_3$。约束是质量和为一、非负，且 $p_1+3p_3=1$。令 $p_3=t$，就有 $$p_0=2t,p_1=1-3t,0\le t\le 1/3.$$ 质量乘积为 $2t^2(1-3t)$，导数为 $4t-18t^2$。端点乘积为零，内部唯一正驻点 $t=2/9$ 给出最大值，于是 $$(p_0,p_1,p_3)=(4/9,1/3,2/9).$$ 其均值确为 $1/3+3\times 2/9=1$；质量并不是给参数一分配的后验概率，而是拟合这项均值约束时给观测点分配的概率。

为使均值从样本均值三分之四转为一，最优拟合把部分质量从三移向零。质量之和仍为一。

无约束乘积为 $1/27$，约束下乘积为 $8/243$，二者比值是 $R(1)=8/9$。常用偏差尺度为 $-2\log R(1)=2\log (9/8)\approx 0.2356$。

经验似然比的定义

对于候选均值 $\mu$，定义 $$\begin{array}{cc}R(\mu )& =max\prod _{i=1}^n(n{p}_i),\\ p_i& \ge 0,\sum _i{p}_i=1,\\ \sum _i{p}_i(x_i-\mu )& =0.\end{array}$$ 若约束不可行，规定 $R=0$。乘上 $n^n$ 使无约束最大值为一；对固定数据，这是不同候选均值的相对支持度，不是均值参数上的归一化密度。Owen讲义给出了凸包条件、拉格朗日乘子表示与经验似然的渐近校准。

对有正质量可行解的非退化样本，可以最大化 $\sum _i\log p_i$。写 $g_i=x_i-\mu$，引入两个乘子后，一阶条件为 $1/p_i=\alpha +\beta g_i$。两边乘以 $p_i$ 并求和，由两个约束得到 $\alpha =n$。令 $\lambda =\beta /n$，所以 $$\begin{array}{cc}{p}_i& =\frac{1}{n(1+\lambda g_i)},\\ \sum _i\frac{g_i}{1+\lambda g_i}& =0,1+\lambda g_i>0.\end{array}$$ 当 $\lambda \ne 0$ 时，利用 $1/(1+\lambda g)=1-\lambda g/(1+\lambda g)$ 可验证质量和为一；$\lambda =0$ 时则直接得到等质量。对数目标严格凹，线性约束构成凸集，因此存在的正驻点就是唯一最大解。

主例 $\mu =1$ 时，$g=(-1,0,2)$，取 $\lambda =1/4$ 得到分母 $3(3/4),3,3(3/2)$，恰好恢复上面的三个质量。这也检验了乘子符号的约定。

可行范围和校准边界

任意非负质量的均值都是观测点的凸组合，因此必须落在 $[min{x}_i,max{x}_i]$ 内。非退化实数样本中，候选均值严格位于两端之间时有全正质量可行解；在端点，至少一个其他位置的质量被迫为零，经验似然比为零。若所有数据都相等，则应单独处理：共同值处 $R=1$，其他均值不可行。

在主例中，$\mu =4/3$ 时等质量满足约束，故 $R=1$；在区间 $(0,3)$ 外无可行质量。区间限制来自本次样本的凸包，不表示真实总体均值绝不可能在样本最小值之外。

每一个横坐标都重新优化三个质量。端点处的零来自质量乘积，不是把参数概率截成零。

对于独立同分布、具有有限正方差的通常均值问题，在相应正则条件下，真均值处的 $-2\log R$ 渐近服从自由度一的卡方分布。这个大样本定理不是本例三次观测的精确分布；重复观测相关、矩条件退化、重尾到方差不存在时，需要另外的理论与方法。

变式。 把三个观测都加二，得到 $(2,3,5)$，同时把候选均值改成三。残差仍为 $(-1,0,2)$，所以最优质量和似然比仍为 $(4/9,1/3,2/9)$ 与 $8/9$。这体现了均值约束对整体平移的对应关系。