切比雪夫不等式

切比雪夫不等式对具有有限均值 $\mu$ 和有限方差 ${\sigma }^2$ 的随机变量给出 $$P(|X-\mu |\ge t)\le \frac{{\sigma }^2}{t^2},t>0.$$ 令 $t=k\sigma$ 且 $\sigma >0$，便得落在 $k$ 个标准差以外的概率不超过 $1/k^2$。它不假定分布呈钟形，因此界通常比对特定分布算出的概率宽。

从平方偏差推出

变量 $Z=(X-\mu {)}^2$ 非负，且 $EZ={\sigma }^2$。事件 $|X-\mu |\ge t$ 等价于 $Z\ge t^2$，将马尔可夫不等式用于 $Z$ 和阈值 $t^2$，立刻得到公式。这也说明方差有限在哪里被用到。

若 $EX=20$、标准差为 3，则偏离均值至少 6 的概率至多 $3^2/6^2=1/4$。不能反过来说其概率“恰好是 25%”，更不能说落在区间 $[14,26]$ 内“至少 75%”时忽略端点：不等式给的是 $P(|X-20|\ge 6)\le 1/4$，因此严格内部 $P(|X-20|<6)\ge 3/4$。

推向样本均值

独立同分布且方差为 ${\sigma }^2$ 时，$\mathrm{Var}({\overline{X}}_n)={\sigma }^2/n$，代入即得 $P(|{\overline{X}}_n-\mu |\ge \epsilon )\le {\sigma }^2/(n{\epsilon }^2)$，这是弱大数定律的直接证明。

参考资料

• MIT 18.05，Probability Inequalities 讲义。
• MIT 6.041，概率论讲义。
• 继续阅读：马尔可夫不等式、方差、大数定律。