跳到正文
格致开物MATHWIKI

夹心协方差估计

夹心协方差估计(sandwich covariance estimator)把估计方程对参数变化的敏感度与观测贡献的实际变异分开,用“逆导数—协方差—逆转置”的乘积估计参数不确定性。它常用于异方差回归、广义估计方程和复合似然,但正确的独立单位与矩条件仍不可省略。

“稳健标准误”通常改变的是误差条,而不是已经拟合出的系数。若均值模型有偏、解释变量内生或组间依赖被忽略,只换协方差公式并不能把系数变成正确目标的估计。

从方程的一阶展开得到形状

设独立同分布观测的方程为 ∑iψ(Xi,θ^)=0,真值处 𝔼ψ(X,θ0)=0。令 A=−𝔼∂ψ∂θ𝖳(X,θ0),B=𝔼{ψ(X,θ0)ψ(X,θ0)𝖳}. 若选择了一致根、A 可逆、矩有限且邻域平滑与一致展开余项得到控制,则 n(θ^−θ0)=A−11n∑iψ(Xi,θ0)+oP(1). 中心极限定理给出极限协方差 A−1BA−𝖳。估计量本身则要除以 n: Cov^(θ^)=1nA^−1B^A^−𝖳. 此处 A^,B^ 都按样本平均定义。如果改用求和形式 AΣ=nA^、BΣ=nB^,同一结果为 AΣ−1BΣAΣ−𝖳,不能再额外除一次 n。推导与这种归一化见Wang讲义。[1]

三点直线拟合的完整矩阵计算

取固定解释变量 x=(0,1,2)、响应教学值 y=(0,1,4),拟合带截距直线 y=β0+β1x+e。设计矩阵与最小二乘解为 X=(101112),β^=(−1/32). 预测值 (−1/3,5/3,11/3),残差 r=(1/3,−2/3,1/3)。方程 X𝖳r=0 可逐项验证。允许各观测方差不同、仍要求误差独立且均值为零时,未修正的HC0估计为 VHC0=(X𝖳X)−1BΣ(X𝖳X)−1,BΣ=X𝖳diag⁡(ri2)X. 这里设计矩阵是确定的;大样本一致性需要固定参数维数、归一化设计矩阵非奇异、杠杆受控与适当矩条件,不能只靠三点样本保证。

本例两块矩阵为 (X𝖳X)−1=(5/6−1/2−1/21/2),BΣ=(2/32/32/38/9). 左右相乘,得到 VHC0=(7/54−1/18−1/181/18). 斜率的方差项为 1/18。还可以用斜率对各响应的权重 (−1/2,0,1/2) 核对:三项方差贡献为 1/36,0,1/36,合计仍为 1/18。

三次观测对HC0斜率方差的贡献分别为三十六分之一、零、三十六分之一
贡献为残差平方乘斜率权重平方。中间点虽有最大的残差,其居中解释变量为零,故对斜率的这项直接贡献为零。截距的贡献另有不同权重。

自由度修正不等于真实方差

若反而假设同方差,并用残差平方和除以 n−p=1,得到 σ^2=2/3,传统方差为 σ^2(X𝖳X)−1,斜率项为 1/3。HC1把HC0乘 n/(n−p)=3,斜率项为 1/6。

三种数都由相同系数、不同协方差规则产生,不能仅因其中一个较小便说它更准确。三次观测、两个参数极少,HC0下偏、杠杆和小样本近似问题尤其突出;这只是可以手算每个矩阵的教学例子,不能据此声称稳健区间有效。

变式。 将整个估计方程乘任意非零常数 c,则 A↦cA、B↦c2B,夹心乘积完全不变。这是检查程序中导数、得分及归一化是否配套的一项简单核验。

若同一受试者有多条相关记录,肉块应对组得分之和作外积,而非把每条记录当独立贡献;组数才是渐近分析的独立单位。时间序列需估计长期协方差。夹心结构表达了一阶误差传播,真正能容许哪些模型偏离,取决于均值条件、根的一致性及相关结构,而非名称本身。

参考文献

  1. ↑ Jingshu Wang,STAT347 Lecture11,§4,第4—5页,泰勒展开、导数均值、得分变异及最终除以样本量的协方差。