一元线性回归

一元线性回归用一个解释变量 $x$ 的直线，描述响应变量 $y$ 的条件平均变化。它首先是成对数据的概括方法：给定 $x_i$，观测到的 $y_i$ 往往不恰落在同一条直线上，直线要说明的是总体趋势，而不是把每个点“穿过去”。

从散点走到一条线

沿用散点图中的四对数据 $(1,2),(2,3),(3,5),(4,4)$。随 $x$ 增加，$y$ 大体上升，但第三、第四个点并不按一条直线增长。设拟合值为 ${\hat{y}}_i=a+b{x}_i$，残差为 $e_i=y_i-{\hat{y}}_i$。最小二乘法选择 $a,b$，使 $$S(a,b)=\sum _{i=1}^n[y_i-(a+b{x}_i){]}^2$$ 最小。平方使正负偏离不互相抵消，也会使较大的偏离受到更大惩罚。它是一个明确的拟合准则；准则本身并不保证真实关系必为直线。

系数的推导

先记 $\overline{x}=n^{-1}\sum x_i$、$\overline{y}=n^{-1}\sum y_i$，并定义 $$S_{xx}=\sum (x_i-\overline{x}{)}^2,S_{xy}=\sum (x_i-\overline{x})(y_i-\overline{y}).$$ 对 $a$ 求偏导并令其为零，得到 $\sum [y_i-a-b{x}_i]=0$，即 $a=\overline{y}-b\overline{x}$。再把它代入 $S(a,b)$，对 $b$ 求导，得到 $b{S}_{xx}=S_{xy}$。只要各 $x_i$ 不全相同，$S_{xx}>0$，平方和关于系数的曲面有唯一最低点： $$\hat{b}=\frac{S_{xy}}{S_{xx}},\hat{a}=\overline{y}-\hat{b}\overline{x}.$$ 直线因此经过数据中心 $(\overline{x},\overline{y})$。本例 $\overline{x}=2.5,\overline{y}=3.5,S_{xx}=5,S_{xy}=4$，所以 $\hat{b}=0.8,\hat{a}=1.5$，拟合线为 $\hat{y}=1.5+0.8x$。

最小二乘法缩小的是各点竖直残差的平方和；直线经过样本中心。

拟合值、误差与解释

把四个 $x$ 代回直线，拟合值依次为 $2.3,3.1,3.9,4.7$，残差依次为 $-0.3,-0.1,1.1,-0.7$。它们相加为零，平方和为 $$\mathrm{S}\mathrm{S}\mathrm{E}=(-0.3{)}^2+(-0.1{)}^2+1.1^2+(-0.7{)}^2=\mathrm{1.8.}$$ 样本 $y$ 围绕均值的总平方和为 $S_{yy}=5$。带截距的一元最小二乘回归满足 $S_{yy}=\mathrm{S}\mathrm{S}\mathrm{R}+\mathrm{S}\mathrm{S}\mathrm{E}$，故决定系数 $R^2=1-\mathrm{S}\mathrm{S}\mathrm{E}/S_{yy}=0.64$。在这个样本的线性拟合中，直线解释了约 64% 的样本平方变差；这不是“原因解释了 64%”，也不能推出未来预测有 64% 的成功率。本例相关系数 $r=S_{xy}/\sqrt{S_{xx}{S}_{yy}}=0.8$，所以 $R^2=r^2$；该等式依赖于“一元、最小二乘、含截距”等条件。

若把 $x=3$ 代入，得到拟合值 $3.9$。这描述样本范围内的平均趋势，不等于下一次在 $x=3$ 时必观测到 3.9。把直线延伸到远离 $1\le x\le 4$ 的地方属于外推，数据没有直接检验那一段。要谈总体参数或预测区间，还需说明抽样方式、观测之间的独立性、误差的条件均值与波动等假设；仅凭四个点不能认定因果方向。

试算。若所有 $y_i$ 都增加 2，散点整体上移，$\hat{b}$ 仍为 0.8，$\hat{a}$ 变为 3.5，残差和 $R^2$ 均不变。因为每个 $y_i-\overline{y}$ 没变，$S_{xy}$ 和 $S_{yy}$ 也没变。

参考资料

• Penn State STAT 200，第 12 课：样本相关与一元线性回归。
• NIST Engineering Statistics Handbook：线性最小二乘拟合。