跳到正文
格致开物MATHWIKI

完备统计量

完备统计量(complete statistic)不允许一个非零的可积函数,在模型的每个参数值下都恰好具有零期望。它是一条关于整族分布的唯一性条件,不是说某次样本已经收集齐全,也不是说该统计量已经把全部参数信息保留下来。

例如,若一个统计量的两种函数都无偏估计同一个目标,两函数之差就在所有参数下期望为零。完备性会迫使这个差几乎处处为零。它由此成为判断无偏估计唯一性的工具。

定义中的三个要求

对模型 {Pθ:θ∈Θ},统计量 T 完备,是指每个可测函数 g,只要满足 𝔼θ|g(T)|<∞(θ∈Θ),𝔼θg(T)=0(θ∈Θ), 就必有 Pθ(g(T)=0)=1 对所有 θ 成立。可积性保证期望有定义;同一个 g 不能随着未知参数更换;零期望必须在全部参数下成立。只在一个参数处均值为零,通常不足以得到函数为零。[1]

二项总数的多项式证明

设固定 n≥1,独立样本 Xi∼Bernoulli⁡(p),其中 p∈(0,1),令 T=∑iXi。要证明 T 完备,假设对每个 p∈(0,1) 都有 ∑k=0ng(k)(nk)pk(1−p)n−k=0. 除以正数 (1−p)n,并令 r=p/(1−p),得到 ∑k=0ng(k)(nk)rk=0(r>0). 左边是次数至多为 n 的多项式。一个非零多项式只有有限个根,而这里每个正实数都是根,因此所有系数必须为零。由于二项式系数非零,g(0)=⋯=g(n)=0。这就完成了这个模型的完备性证明,不需要先证明一般指数族的完备性定理。

参数空间缩小后的反例

保留 n=2 的二项分布,但把未知成功率限制为 Θ={1/4,3/4}。取 g(0)=3,g(1)=−5,g(2)=3. 其期望为 𝔼pg(T)=3(1−p)2−10p(1−p)+3p2=16(p−1/4)(p−3/4). 在参数空间中的两个值处,它都等于零,但 g(T) 从不等于零。这一受限模型的总数并不完备。

一个非零期望多项式只在四分之一和四分之三处过零,不能在整个零一开区间恒为零
金色点对应受限参数空间。两个零点允许非零函数存在,全部参数的零期望条件则强得多。

这个反例也说明,“条件更多”并不总让完备性更容易成立。参数空间变小后,需要检验的零期望等式变少,非零函数反而可能逃过这些检验。

无偏函数的唯一性与算例

若 a(T) 与 b(T) 都是同一目标 h(θ) 的可积无偏估计,则 𝔼θ[a(T)−b(T)]=0(θ∈Θ). 当 T 完备时,定义直接给出 a(T)=b(T) 几乎处处。这只先断言在 T 的函数类中无偏答案唯一;要得到全部无偏估计量中的最小方差,还需充分性和莱曼-谢费定理。

在前面的完整伯努利模型中,取 n≥2,估计目标 p2。因为 T(T−1)=∑i≠jXiXj, 右侧有 n(n−1) 个有序项,每项期望为 p2,所以 p2^=T(T−1)n(n−1) 无偏,而且它是总数的函数。完备性保证,任何其他只通过 T 计算的可积无偏估计,都与它相同。

当 n=4,T=3 时,该值是 6/12=1/2,而直接将成功比例平方得到 9/16。后者一般不是无偏估计,因为 𝔼p(T/n)2=p2+p(1−p)n. 变式。 n=5,T=2 时,无偏估计为 2/(5×4)=1/10;不能把分母误写为 n2,因为乘积求和排除了同一次试验与自身相乘的项。

与充分性及独立性的区别

在包含多次独立伯努利试验的模型中,单个观测 X1 自身也是完备统计量:对 g(0),g(1),等式 (1−p)g(0)+pg(1)=0 对全部 p 成立,就迫使两值都为零。它却没有保留其他试验的信息,所以一般不是整个样本的充分统计量。

反过来,完整样本总是充分,但未必完备。充分性、最小充分性与完备性因此应分别验证。巴苏定理把完备充分统计量与辅助统计量联系起来,其中“完备”与“充分”两个条件都有自己的作用。

参考文献

  1. ↑ Will Fithian,Completeness, Ancillarity, and Basu's Theorem,§1.1“Definition of completeness”,以及无偏函数唯一性的推论。