拉奥－布莱克韦尔定理

拉奥—布莱克韦尔定理（Rao–Blackwell theorem）把一个估计量替换为给定充分统计量后的条件期望。在适当可积条件下，这一步保持估计量的期望，并对凸损失给出不更大的风险。它是一种在明确模型内消除多余随机波动的方法；改进后的某次观测值不必更接近未知真值。

设独立试验 $X_1,\dots ,X_4\sim \mathrm{Bernoulli}(p)$。只用第一次结果 $U=X_1$ 估计 $p$，已经无偏，但答案只有零或一。四次总成功数 $T$ 充分，给定总数后对第一位置取平均，会得到更稳定的估计。

从一次结果到条件平均

给定 $T=t$ 后，各位置对称，第一位为一的条件概率是 $t/4$，因此 $$\delta (T)={𝔼}_p(X_1\mid T)=T/4.$$ 这个公式不含未知参数，可以实际计算。若观测序列为 $(1,0,1,1)$，原估计为一，条件平均估计为 $3/4$。

两者期望都为 $p$，方差却是 $$\begin{array}{cc}{\mathrm{Var}}_p(U)& =p(1-p),\\ {\mathrm{Var}}_p(\delta )& =\frac{p(1-p)}{4}.\end{array}$$ 例如 $p=0.3$ 时，分别是 $0.21$ 与 $0.0525$。这些方差比较针对重复抽样，不是根据一次估计值离某个猜测值近不近来判断。

橙色为只用一次结果，绿色为条件平均。后者仍随机，但相对于同一目标的方差更小；折线没有用来暗示连续密度。

凸损失下的定理与证明

设 $T$ 充分，原估计 $U(X)$ 在每个参数下可积。充分性保证可以选取同一不含未知参数的函数 $$\delta (T)={𝔼}_{\theta }[U\mid T].$$ 设损失 $L(\theta ,a)$ 对行动值 $a$ 凸，且相关风险有定义，例如采用非负凸损失并假设原风险有限。则 $${𝔼}_{\theta }L(\theta ,\delta (T))\le {𝔼}_{\theta }L(\theta ,U).$$ 参数在这里固定，所用凸性是关于估计值的凸性。

证明。 对给定 $T$ 的条件分布应用Jensen不等式， $$L(\theta ,𝔼[U\mid T])\le 𝔼[L(\theta ,U)\mid T].$$ 再对 $T$ 取期望，用全期望公式就得到风险不等式。充分性使条件平均可以作为同一个估计规则使用；若条件期望仍含未知参数，它通常不是可执行的改进办法。

平方损失中的精确差额

若 $U$ 有有限二阶矩，给定目标 $g(\theta )$，可展开 $$\begin{array}{cc}{𝔼}_{\theta }(U-g(\theta ){)}^2& ={𝔼}_{\theta }(\delta -g(\theta ){)}^2\\ & +{𝔼}_{\theta }(U-\delta {)}^2.\end{array}$$ 交叉项为零，因为 $\delta -g(\theta )$ 是 $T$ 的函数，而 $𝔼(U-\delta \mid T)=0$。风险减少的正是最后这个非负项，等于平均条件方差。

全期望公式也给出 ${𝔼}_{\theta }\delta ={𝔼}_{\theta }U$，所以原估计与新估计具有相同偏差。即使原估计有偏，平方误差风险仍不会增加；无偏并不是这一步改进的必要条件。等号在固定参数下成立，当且仅当 $U=\delta$ 几乎处处。

主例在 $0<p<1$ 时风险差为 $3p(1-p)/4>0$。若参数空间也包括 $p=0$ 或一，样本已经没有随机波动，两规则相同，不能声称端点也严格改进。

估计另一个目标

变式。 要估计 $p^2$，可从 $U=X_1{X}_2$ 出发。独立性使其期望为 $p^2$。给定总成功数 $T=t$ 后，两个指定位置都为一的概率为 $$\frac{t(t-1)}{n(n-1)}(n\ge 2).$$ 可以先为第一个位置选到成功，概率 $t/n$；剩余 $n-1$ 个位置中再选成功，概率 $(t-1)/(n-1)$。在 $n=4,T=3$ 时，条件平均为一半，而原规则仍只输出零或一。这不是把 $p$ 的改进估计简单平方；条件平均必须针对原来的估计目标重新计算。

定理保证相对原估计不差，并没有单凭充分性就保证在所有无偏估计量中最优。若充分统计量还完备，莱曼－谢费定理才能进一步给出唯一的一致最小方差无偏估计。这也解释了“已经条件平均过”与“已经证明最优”之间的区别。