渐近线性估计量

渐近线性估计量（asymptotically linear estimator）在大样本下，可以表示成真目标加上独立观测贡献的平均，剩余误差比样本量平方根的倒数更小。这里“线性”指领先误差项是逐个观测贡献的和，并不要求估计公式本身对数据线性。

例如，正值观测的均值为 $\mu >0$，目标是 $\theta =\log \mu$。自然估计为 $\hat{\theta }=\log \bar{X}$，它对样本均值是非线性的。用切线展开，却可以把其主要随机误差拆成每个观测的贡献。

对数均值的线性误差

设 $X_i$ 独立同分布、严格为正，具有有限方差 ${\sigma }^2$。对数函数在 $\mu$ 邻域二阶可微，故 $$\begin{array}{cc}\log \bar{X}-\log \mu & =\frac{\bar{X}-\mu }{\mu }+R_n,\\ R_n& =-\frac{(\bar{X}-\mu {)}^2}{2{\xi }_n^2},\end{array}$$ 其中 ${\xi }_n$ 位于均值与样本均值之间。大数律使 $\bar{X}{\to }_P\mu$；在概率趋一的事件 $|\bar{X}-\mu |\le \mu /2$ 上，${\xi }_n\ge \mu /2$，因此 $$|R_n|\le 2(\bar{X}-\mu {)}^2/{\mu }^2.$$ 中心极限定理给 $\bar{X}-\mu =O_P(n^{-1/2})$，平方项是 $O_P(n^{-1})=o_P(n^{-1/2})$。于是 $$\hat{\theta }-\theta =\frac{1}{n}\sum _{i=1}^n\frac{X_i-\mu }{\mu }+o_P(n^{-1/2}).$$ 单次观测的领先贡献函数为 $\psi (x)=(x-\mu )/\mu$，其均值为零、方差为 ${\sigma }^2/{\mu }^2$。

切线给出领先贡献四分之一；曲线给出log1.25，二者之间是负的二阶余项。图中对数取自然对数。

二点总体中的可复算案例

取总体以相等概率产生一与三，故 $\mu =2,{\sigma }^2=1$，目标为 $\log 2$。一次四点教学样本为 $(1,3,3,3)$，样本均值为 $5/2$。

实际目标误差为 $\log (5/4)\approx 0.223144$。四个贡献值按真分布计算为 $(-1/2,1/2,1/2,1/2)$，其平均为 $1/4$；余项为 $\log (5/4)-1/4\approx -0.026856$。主例使每一项都能逐个算出，但四次观测还不能证明正态近似已经精确。

大样本极限是 $$\sqrt{n}(\hat{\theta }-\log 2)\stackrel{d}{\to }N(0,1/4).$$ 因此估计量本身的渐近方差为 $1/(4n)$。实际未知真均值时，可用 ${\hat{\psi }}_i=(X_i-\bar{X})/\bar{X}$ 代入；本样本为 $(-0.6,0.2,0.2,0.2)$，以经验二阶矩估计的方差为 $$\frac{1}{n^2}\sum _i{\hat{\psi }}_i^2=\frac{0.36+3\times 0.04}{16}=\mathrm{0.03.}$$ 若另采用样本方差的自由度修正，数值会改变；这里明确使用未经该修正的经验贡献平方和。

定义与估计方程的联系

对固定分布 $P$、目标 $\theta (P)\in {ℝ}^p$，若存在满足 ${𝔼}_P\psi (X)=0$、${𝔼}_P\Vert \psi (X){\Vert }^2<\mathrm{\infty }$ 的函数，使 $${\hat{\theta }}_n-\theta (P)=\frac{1}{n}\sum _i\psi (X_i)+o_P(n^{-1/2}),$$ 则称该估计序列在 $P$ 下渐近线性。记号 $o_P(n^{-1/2})$ 表示将余项乘以 $\sqrt{n}$ 后依概率趋零；它是对整条随机序列的结论，不是某一份样本中“看起来误差很小”。

对 $\sum _{i}u(X_i,\hat{\theta })=0$ 的一致根，如果平均导数在邻域内趋向可逆矩阵 $A=𝔼\partial u/\partial {\theta }^{𝖳}$，且展开余项得到控制，那么 $$\psi (X)=-A^{-1}u(X,{\theta }_0).$$ 负号来自把真值处的方程移到等式另一侧。相应协方差由 $𝔼\{\psi {\psi }^{𝖳}\}/n$ 给出，这也是夹心协方差估计的来源。

变式。 对相同总体估计 ${\mu }^2$，有精确恒等式 $${\bar{X}}^2-{\mu }^2=2\mu (\bar{X}-\mu )+(\bar{X}-\mu {)}^2.$$ 因此贡献函数为 $2\mu (X-\mu )$。主样本误差为 $6.25-4=2.25$，线性项为二、余项为四分之一；渐近方差为 $4{\mu }^2{\sigma }^2/n=16/n$。

并非每个估计都能作同样的非退化线性近似。例如正态均值在零处，用 $|\bar{X}|$ 估计 $|\mu |$ 时，$\sqrt{n}|\bar{X}|$ 是折叠正态而非中心正态，绝对值在零处不可微，前述切线推导失效。渐近线性也不自动包含对邻近分布的一致正则性；讨论效率下界时还需额外条件。