大数定律

大数定律解释重复观测的平均值为何会接近总体均值。弱大数定律的一种常见形式是：若 $X_1,X_2,\dots$ 独立同分布，均值 $\mu$、方差 ${\sigma }^2<\mathrm{\infty }$，则样本平均 ${\overline{X}}_n=n^{-1}\sum _{i=1}^n{X}_i$ 满足 $$P(|{\overline{X}}_n-\mu |\ge \epsilon )⟶0(n\to \mathrm{\infty }),\epsilon >0.$$ 这叫依概率收敛；它不说有限次试验会恰好等于 $\mu$。

方差为何缩小

独立性使协方差交叉项为 0，因此 $E[{\overline{X}}_n]=\mu$，且 $$\mathrm{Var}({\overline{X}}_n)=\frac{1}{n^2}\sum _{i=1}^n\mathrm{Var}(X_i)=\frac{{\sigma }^2}{n}.$$ 再由切比雪夫不等式， $$P(|{\overline{X}}_n-\mu |\ge \epsilon )\le \frac{{\sigma }^2}{n{\epsilon }^2}\to 0.$$ 这完整证明了有限方差版本的弱大数定律。若试验间强相关，方差中的交叉项未必消失，不能机械套用这个推导。

抛硬币的读法

令 $X_i=1$ 表示第 $i$ 次正面、否则为 0。公平且独立时 $\mu =1/2$，${\overline{X}}_n$ 就是正面频率。定律保证频率偏离 $1/2$ 超过固定容差的概率趋零；它不保证“前几次偏多，后面就必须补出反面”。强大数定律更进一步断言在适当条件下几乎必然收敛，两者的收敛方式不同。

参考资料

• MIT 18.05，Law of Large Numbers 讲义。
• MIT 6.041，概率论讲义。
• 继续阅读：独立同分布、切比雪夫不等式、中心极限定理。