全变差距离

全变差距离衡量两个概率分布对同一事件所赋概率的最大差异。如果两个分布描述两种随机机制，它回答的是：选一个事件观察，两个机制对该事件的概率最多会相差多少？

定义

设 $\mu$、$\nu$ 是同一可测空间 $(S,𝒮)$ 上的概率测度，定义 $$d_{\mathrm{T}\mathrm{V}}(\mu ,\nu )=\underset{A\in 𝒮}{sup}|\mu (A)-\nu (A)|.$$ 距离介于零和一之间；为零当且仅当两分布在每个可测事件上相等。因为对每个事件可用实数三角不等式，取上确界后得到距离的三角不等式。不同文献对“变差范数”有不同的倍数约定，这里的概率距离使用上述上确界。

离散分布的计算

如果 $S$ 有限或可数，令 $p_i=\mu (\{i\})$、$q_i=\nu (\{i\})$，则 $$d_{\mathrm{T}\mathrm{V}}(\mu ,\nu )=\frac{1}{2}\sum _i|p_i-q_i|.$$ 推导。 将指标分为 $I_{+}=\{i:p_i>q_i\}$ 与其余部分。由于两个概率之和均为一，差值正项之和等于负项绝对值之和，故 $$\sum _{i\in I_{+}}(p_i-q_i)=\frac{1}{2}\sum _i|p_i-q_i|.$$ 对于任意事件 $A$，$\mu (A)-\nu (A)$ 不超过所有正项之和；取 $A=I_{+}$ 就达到该值。负方向同理，从而得到公式。

例如三种结果的两个概率向量为 $$p=(\frac{1}{2},\frac{1}{3},\frac{1}{6}),q=(\frac{1}{6},\frac{1}{3},\frac{1}{2}).$$ 于是 $$d_{\mathrm{T}\mathrm{V}}=\frac{1}{2}(\frac{1}{3}+0+\frac{1}{3})=\frac{1}{3}.$$ 事件 $\{1\}$ 的两种概率分别是 $1/2$ 和 $1/6$，差恰为 $1/3$，说明上界确实能达到。

密度与耦合

若两个分布关于同一个参考测度具有密度 $f,g$，相同的正负部分论证给出 $d_{\mathrm{T}\mathrm{V}}=\frac{1}{2}\int |f-g|$。公式比较的是整个分布，而非某个随机变量的两个观测值。

在实数的博雷尔空间或可数离散状态空间上，将两个分布放在同一概率空间上构成随机变量 $X,Y$，称为它们的耦合。这些空间的对角线可测，因而事件 $\{X\ne Y\}$ 可以计算概率。无论选择何种耦合，都有 $d_{\mathrm{T}\mathrm{V}}\le P(X\ne Y)$：对于任意事件 $A$，两边指示函数只可能在 $X\ne Y$ 时不同。这个上界在合适的耦合下可以达到；本例的一种具体构造见耦合词条。