完全收敛

完全收敛要求随机变量偏离目标值的概率不仅趋于零，而且沿整个序列可求和。它是比逐点概率收敛更强的收敛要求，并能通过博雷尔－坎泰利引理推出几乎必然收敛。

定义与蕴含关系

若对每个 $ϵ>0$， $$\sum _{n=1}^{\mathrm{\infty }}Pr(|X_n-X|>ϵ)<\mathrm{\infty },$$ 则称 $X_n$ 完全收敛到 $X$。分布和 $X$ 都可以随所研究的问题而变化；该定义比较的是同一概率空间中的随机变量。

由非负级数收敛，其项趋于零，因此 $X_n\to X$ 依概率成立。更进一步，对固定 $ϵ>0$，第一博雷尔－坎泰利引理表明 $|X_n-X|>ϵ$ 只发生有限多次，概率为一。令 $ϵ$ 依次取正有理数 $1,1/2,1/3,\dots$ 并取这些概率一事件的可数交，就得到 $X_n\to X$ 几乎必然成立。这个推导没有使用事件之间的独立性。

一个完整例子

假设 $X_n$ 以概率 $2^{-n}$ 取一，否则取零，目标为 $X=0$。当 $0<ϵ<1$ 时， $$\sum _{n=1}^{\mathrm{\infty }}Pr(|X_n|>ϵ)=\sum _{n=1}^{\mathrm{\infty }}{2}^{-n}=1.$$ 当 $ϵ\ge 1$ 时，各项为零。因此这列随机变量完全收敛到零。此结论只用到每项的偏离概率，对这些变量是否独立没有要求。

反过来不成立

在 $\Omega =(0,1)$ 上取均匀随机变量 $U$，令 $X_n={\mathrm{𝟏}}_{\{U<1/n\}}$。对每个 $U>0$，当 $n>1/U$ 后 $X_n=0$，因此 $X_n\to 0$ 几乎必然成立。然而对 $ϵ=1/2$， $$\sum _{n=1}^{\mathrm{\infty }}Pr(|X_n|>1/2)=\sum _{n=1}^{\mathrm{\infty }}\frac{1}{n}=\mathrm{\infty }.$$ 所以几乎必然收敛不必是完全收敛；这个例子中事件相互嵌套，不能误用要求独立性的第二博雷尔－坎泰利引理。

样本均值

对于独立同分布、具有有限方差和均值 $\mu$ 的实随机变量序列，Hsu–Robbins 定理保证样本均值完全收敛到 $\mu$。这个结论比逐项使用切比雪夫不等式得到的 $O(1/n)$ 上界更强：调和级数发散，所以仅凭该上界无法证明概率级数收敛。定理的证明需要更精细的论证；一般研究见 Pruss 的扩展。