条件期望

条件期望是在已知某些信息后，对随机量作平均。对概率为正的事件 $B$，离散变量满足 $E[X\mid B]=\sum _{x}xP(X=x\mid B)$。更一般地，$E[X\mid Y]$ 本身是 $Y$ 的函数：先知道 $Y$ 的值，平均值才确定。

一枚骰子的分组平均

掷公平骰，令 $X$ 为点数，令 $Y$ 只记录奇偶。已知奇数时，$X$ 在 $\{1,3,5\}$ 上等可能，故 $E[X\mid Y=\text{奇}]=3$；已知偶数时，在 $\{2,4,6\}$ 上等可能，故为 4。因此 $E[X\mid Y]$ 在奇数组返回 3，在偶数组返回 4。再平均一次得 $(3+4)/2=3.5=E[X]$。

全期望公式

若 $Y$ 取有限多个值 $y$，按分组展开可得 $$E[X]=\sum _{y}E[X\mid Y=y]P(Y=y)=E[E[X\mid Y]].$$ 证明只是把 $E[X]=\sum _{x}xP(X=x)$ 中的每个 $P(X=x)$ 用全概率公式拆成 $\sum _{y}P(X=x\mid Y=y)P(Y=y)$，再交换有限和。可积随机变量的一般版本同样成立。

条件期望不一定等于某个实际观测值；上面奇数组的 3 恰好在样本中，但若条件分组为 $\{1,5\}$，均值仍为 3，组内未出现 3。它是信息已知后的平均，不是“预测必然发生的值”。

参考资料

• MIT 18.05，Conditional Expectation 讲义。
• MIT 6.041，概率论讲义。
• 继续阅读：条件概率、期望、全概率公式。