条件独立

条件独立描述在给定某些信息之后，两个随机事件或变量的剩余不确定性是否仍相互关联。它与普通独立性是不同的性质：加入条件可能消除关联，也可能产生关联。

事件的定义

设事件 $C$ 的概率大于零。如果 $$P(A\cap B\mid C)=P(A\mid C)P(B\mid C),$$ 则称 $A$ 和 $B$ 在给定 $C$ 时条件独立。这个定义就是在条件概率分布 $P(\cdot \mid C)$ 下应用普通独立性定义。若还满足 $P(B\mid C)>0$，上式等价于 $$P(A\mid B\cap C)=P(A\mid C).$$ 也就是说，已经知道 $C$ 发生时，再知道 $B$ 发生不会改变 $A$ 的条件概率。这里两个分母都必须非零。

对于离散随机变量，$X$ 与 $Y$ 在给定 $Z$ 时条件独立，指每个 $P(Z=z)>0$ 的取值都满足 $$\begin{array}{cc}P(X=x,Y=y\mid Z=z)=& P(X=x\mid Z=z)\\ & \cdot P(Y=y\mid Z=z).\end{array}$$ 对所有 $x,y$ 成立。记作 $X\perp Y\mid Z$。零概率的 $z$ 不能直接按条件概率的比值公式处理；更一般的表述使用关于 $\sigma (Z)$ 的条件期望，等式按几乎处处理解。

给定共同环境后的独立

先以相同概率选择环境 $Z=1$ 或 $Z=0$。在环境确定后，相互独立地生成两个二值结果 $X,Y$：若 $Z=1$，两者取值为一的概率都为 $4/5$；若 $Z=0$，两者取值为一的概率都为 $1/5$。因此在每个环境内 $X,Y$ 条件独立。

没有观察环境时，利用全概率公式， $$P(X=1)=P(Y=1)=\frac{1}{2}\cdot \frac{4}{5}+\frac{1}{2}\cdot \frac{1}{5}=\frac{1}{2},$$ 但 $$P(X=1,Y=1)=\frac{1}{2}{\left(\frac{4}{5}\right)}^2+\frac{1}{2}{\left(\frac{1}{5}\right)}^2=\frac{17}{50}.$$ 因为 $17/50\ne 1/4$，两者并非无条件独立。共同环境同时影响了两项结果；知道其中一项为一，也会改变对环境及另一项的判断。计算得 $P(Y=1\mid X=1)=17/25$。

条件也可能引入关联

令 $X,Y$ 为独立的公平硬币正面指示变量。若只保留至少出现一次正面的试验，即以 $C=\{X+Y\ge 1\}$ 为条件，三种结果 $(1,0),(0,1),(1,1)$ 等概率。于是 $$\begin{array}{cc}P(X=1\mid C)=P(Y=1\mid C)& =\frac{2}{3},\\ P(X=1,Y=1\mid C)& =\frac{1}{3}\ne \frac{4}{9}.\end{array}$$ 原本独立的两个变量在这个条件下不再独立。这类现象说明，在观察到筛选结果后，不能只凭原来的独立性断言条件独立。

应用与边界

概率图模型经常利用条件独立性把联合概率拆成若干较小的因子；例如给定类别后假定多个观测条件独立，可简化分类计算。但这种分解是模型假设，不保证数据中必然成立。条件独立也不单独证明因果关系。