相关系数

皮尔逊相关系数把协方差除以两个标准差： $${\rho }_{X,Y}=\frac{\mathrm{Cov}(X,Y)}{{\sigma }_X{\sigma }_Y},$$ 其中 $0<{\sigma }_X,{\sigma }_Y<\mathrm{\infty }$。因此它没有单位，且由柯西不等式可知 $-1\le \rho \le 1$。取值接近 1 表示强正线性关联，接近 −1 表示强负线性关联。

界限与等号

令 $U=(X-EX)/{\sigma }_X$、$V=(Y-EY)/{\sigma }_Y$，则 $E[U^2]=E[V^2]=1$，$\rho =E[UV]$。对平方可得 $0\le E[(U\mp V{)}^2]=2\mp 2\rho$，于是 $|\rho |\le 1$。若 $\rho =1$，则 $E[(U-V{)}^2]=0$，即几乎必然 $V=U$，两变量存在正斜率的精确线性关系；$\rho =-1$ 类似。

相关为零并不意味着无关系

让 $X$ 在 $\{-1,0,1\}$ 上等可能，$Y=X^2$。由对称性 $EX=E{X}^3=0$，故 $\rho =0$，但 $Y$ 仍由 $X$ 确定。散点图会呈 U 形，线性相关为零却有确定的非线性关系。相关系数也不能单凭数值说明因果。

样本相关系数怎样算

对 $n\ge 2$ 对观测 $(x_i,y_i)$，令 $\overline{x},\overline{y}$ 为各自样本均值。若两组观测各自都不全相同，样本皮尔逊系数为 $$r=\frac{\sum _{i=1}^n(x_i-\overline{x})(y_i-\overline{y})}{\sqrt{\sum _{i=1}^n(x_i-\overline{x}{)}^2}\sqrt{\sum _{i=1}^n(y_i-\overline{y}{)}^2}}.$$ 分子是同向偏离的合计；分母把它按两组数据各自的变动尺度标准化。若某组数全相同，分母为零，$r$ 未定义，不应记成零。这里各项同时除以 $n-1$ 会相互约去，所以公式里不必另写样本协方差。

散点图的四对数据 $(1,2),(2,3),(3,5),(4,4)$ 给出 $\overline{x}=2.5,\overline{y}=3.5$，$S_{xx}=5,S_{yy}=5,S_{xy}=4$，因此 $r=4/\sqrt{5\cdot 5}=0.8$。这表示此样本中较强的正线性关联。样本相关系数受离群点影响可能很大，读数前仍应查看散点形状、样本量和数据生成机制。一元线性回归接着用相同四点求出拟合线，说明 $r$ 与决定系数的关系及其适用条件。

参考资料

• OpenStax，Introductory Statistics 2e，Linear Regression and Correlation。
• MIT 6.041，概率论讲义。
• Penn State STAT 200，第 12 课：样本相关系数与线性回归。
• 继续阅读：协方差、散点图、最小二乘法。