估计方程

估计方程（estimating equation）通过要求若干样本残差相互平衡来确定未知参数。它可以来自似然的导数，也可以只根据均值、方差或其他矩条件构造；写出一个等式后，还要检查它是否有解、是否存在多解，以及选出的根究竟估计什么。

设三台相互独立的仪器都测量同一个常量 $\mu$，无系统偏差，已知误差方差分别为 $1,1,4$。一次教学读数为 $1,2,5$。第三台仪器的误差标准差是前两台的两倍，直接把三个数等权平均，并没有利用这项精度信息。

残差平衡与加权平均

令 $w_i=1/{\sigma }_i^2$，建立方程 $$\begin{array}{cc}U(\mu )& =\sum _{i=1}^3{w}_i(X_i-\mu )=0,\\ \hat{\mu }& =\frac{\sum _i{w}_i{X}_i}{\sum _i{w}_i}.\end{array}$$ 权重只由已知仪器精度决定。代入读数，分子为 $1+2+5/4=17/4$，分母为 $1+1+1/4=9/4$，所以 $\hat{\mu }=17/9\approx 1.889$。这不同于等权平均 $8/3\approx 2.667$，因为不太精确的第三台仪器只分到九分之一的总权重。

曲线表示残差的加权总和，不是参数的概率密度。零点随采用的精度权重改变。

由于 ${𝔼}_{\mu }{X}_i=\mu$，在真参数处有 ${𝔼}_{\mu }U(\mu )=0$。本例的根是读数的线性组合，因而可以直接证明它无偏，不必先假设误差服从正态分布。

逆方差权重的最优性

考虑所有系数为常数的线性无偏规则 $\tilde{\mu }=\sum _i{a}_i{X}_i$。无偏要求 $\sum _i{a}_i=1$；独立性给出方差 $\sum _i{a}_i^2{\sigma }_i^2$。由柯西不等式， $$\begin{array}{cc}1& ={\left(\sum _i{a}_i\right)}^2\\ & \le \left(\sum _i{a}_i^2{\sigma }_i^2\right)\left(\sum _i{\sigma }_i^{-2}\right),\\ \mathrm{Var}(\tilde{\mu })& \ge \frac{1}{\sum _i{\sigma }_i^{-2}}.\end{array}$$ 等号要求 $a_i{\sigma }_i$ 与 $1/{\sigma }_i$ 成比例，也就是 $a_i\propto 1/{\sigma }_i^2$。归一化后恰为估计方程给出的权重。

因此本例方差为 $4/9$，而等权平均方差为 $(1+1+4)/9=2/3$。这里证明的是在线性无偏估计类中的最小方差；没有由此证明它在任意误差分布、任意有偏规则中都最优。若三个误差还服从独立正态分布，这条方程同时是均值的似然得分方程。

一般形式与根的选择

对独立同分布观测 $X_i$ 和参数 $\theta \in {ℝ}^p$，常见形式为 $$\begin{array}{cc}\frac{1}{n}\sum _{i=1}^n\psi (X_i,\hat{\theta })& =0,\\ {𝔼}_{{\theta }_0}\psi (X,{\theta }_0)& =0.\end{array}$$ 其中 $\psi$ 是取值于 ${ℝ}^p$ 的已知函数。第二式称为总体矩条件，它说明方程在真值处平均平衡；求解第一式得到的规则常称为Z估计量。方程定义和通过泰勒展开分析误差的思路，可见Wang课程讲义。

零均值条件本身不保证求根成功。例如 $\psi (x,\theta )=\theta (x-\theta )$ 对均值为 ${\theta }_0$ 的模型在真值处均值为零，但样本方程同时有 $0$ 与 $\bar{X}$ 两个根；总选择零不会在非零真均值下得到一致估计。

要得到通常的渐近正态推断，需要选出的根趋近可识别真值、方程在邻域内平滑、平均导数矩阵可逆，以及相应的大数律和中心极限定理。若使用截断残差，光滑性需换成适合该函数的分析；若观测相关，方差也要计入相关项。

变式。 第三台读数由五改为九，精度不变。新估计为 $(1+2+9/4)/(9/4)=7/3$，只上升 $4/9$；等权平均却上升 $4/3$。这个差别来自事先给定的测量精度。若第三台存在未知系统偏差，较小权重只能减弱其影响，不能让原来的无偏性证明继续成立。

广义估计方程把这个残差平衡扩展到组内相关的响应，广义矩估计则允许矩条件的数量多于未知参数；两者仍须交代矩条件所依据的观测机制。