相关系数

皮尔逊相关系数把协方差除以两个标准差： $${\rho }_{X,Y}=\frac{\mathrm{Cov}(X,Y)}{{\sigma }_X{\sigma }_Y},$$ 其中 $0<{\sigma }_X,{\sigma }_Y<\mathrm{\infty }$。因此它没有单位，且由柯西不等式可知 $-1\le \rho \le 1$。取值接近 1 表示强正线性关联，接近 −1 表示强负线性关联。

界限与等号

令 $U=(X-EX)/{\sigma }_X$、$V=(Y-EY)/{\sigma }_Y$，则 $E[U^2]=E[V^2]=1$，$\rho =E[UV]$。对平方可得 $0\le E[(U\mp V{)}^2]=2\mp 2\rho$，于是 $|\rho |\le 1$。若 $\rho =1$，则 $E[(U-V{)}^2]=0$，即几乎必然 $V=U$，两变量存在正斜率的精确线性关系；$\rho =-1$ 类似。

相关为零并不意味着无关系

让 $X$ 在 $\{-1,0,1\}$ 上等可能，$Y=X^2$。由对称性 $EX=E{X}^3=0$，故 $\rho =0$，但 $Y$ 仍由 $X$ 确定。散点图会呈 U 形，线性相关为零却有确定的非线性关系。相关系数也不能单凭数值说明因果。

样本相关系数以样本均值和样本标准差代替总体参数，受离群点影响可能很大。读数前宜先看散点图、样本量和数据生成机制。

参考资料

• OpenStax，Introductory Statistics 2e，Linear Regression and Correlation。
• MIT 6.041，概率论讲义。
• 继续阅读：协方差、散点图、最小二乘法。