协方差

协方差衡量两个随机变量相对各自均值的偏离是否倾向同向，定义为 $$\mathrm{Cov}(X,Y)=E[(X-EX)(Y-EY)]=E[XY]-E[X]E[Y],$$ 前提是相应期望存在。正值表示较大的 $X$ 往往伴较大的 $Y$；负值表示偏离方向常相反。它度量的是线性共同变化，不是因果影响。

一个三点分布

令 $X$ 等可能取 −1、0、1，令 $Y=2X+1$。有 $EX=0$、$EY=1$，所以 $$\mathrm{Cov}(X,Y)=E[X(2X)]=2E[X^2]=\frac{4}{3}.$$ 这里正协方差不仅由“看起来同升同降”判断，还能逐项算出。若改为 $Y=-2X+1$，协方差变成 $-4/3$。

零协方差的局限

若 $X$ 等可能取 −1、0、1，$Y=X^2$，则 $EX=0$、$E[XY]=E[X^3]=0$，故协方差为 0。但 $Y$ 完全由 $X$ 决定，显然并不独立。独立且期望存在会推出零协方差，逆向一般不成立。

协方差的单位是 $X$ 与 $Y$ 单位的乘积，换单位会改变数值。若要跨变量比较线性关联强弱，可将它除以两者标准差，得到相关系数。

参考资料

• MIT 18.05，Covariance and Correlation 讲义。
• MIT 6.041，概率论讲义。
• 继续阅读：相关系数、期望、方差。