一元线性回归：修订间差异

2026年10月9日 (五) 12:15的版本

一元线性回归用一个解释变量 $x$ 的直线，描述响应变量 $y$ 的条件平均变化。它首先是成对数据的概括方法：给定 $x_{i}$ ，观测到的 $y_{i}$ 往往不恰落在同一条直线上，直线要说明的是总体趋势，而不是把每个点“穿过去”。

从散点走到一条线

沿用散点图中的四对数据 $(1, 2), (2, 3), (3, 5), (4, 4)$ 。随 $x$ 增加， $y$ 大体上升，但第三、第四个点并不按一条直线增长。设拟合值为 ${\hat{y}}_{i} = a + b x_{i}$ ，残差为 $e_{i} = y_{i} - {\hat{y}}_{i}$ 。最小二乘法选择 $a, b$ ，使 $S (a, b) = \sum_{i = 1}^{n} [y_{i} - (a + b x_{i})]^{2}$ 最小。平方使正负偏离不互相抵消，也会使较大的偏离受到更大惩罚。它是一个明确的拟合准则；准则本身并不保证真实关系必为直线。

系数的推导

先记 $\bar{x} = n^{- 1} \sum x_{i}$ 、 $\bar{y} = n^{- 1} \sum y_{i}$ ，并定义 $S_{x x} = \sum (x_{i} - \bar{x})^{2} .$ $S_{x y} = \sum (x_{i} - \bar{x}) (y_{i} - \bar{y}) .$ 对 $a$ 求偏导并令其为零，得到 $\sum [y_{i} - a - b x_{i}] = 0$ ，即 $a = \bar{y} - b \bar{x}$ 。再把它代入 $S (a, b)$ ，对 $b$ 求导，得到 $b S_{x x} = S_{x y}$ 。只要各 $x_{i}$ 不全相同， $S_{x x} > 0$ ，平方和关于系数的曲面有唯一最低点： $\hat{b} = \frac{S_{x y}}{S_{x x}}, \hat{a} = \bar{y} - \hat{b} \bar{x} .$ 直线因此经过数据中心 $(\bar{x}, \bar{y})$ 。本例 $\bar{x} = 2.5, \bar{y} = 3.5, S_{x x} = 5, S_{x y} = 4$ ，所以 $\hat{b} = 0.8, \hat{a} = 1.5$ ，拟合线为 $\hat{y} = 1.5 + 0.8 x$ 。

四个成对观测点、向右上方的拟合直线以及各点到直线的竖直残差段，第三点残差最大 — 最小二乘法缩小的是各点竖直残差的平方和；直线经过样本中心。

拟合值、误差与解释

把四个 $x$ 代回直线，拟合值依次为 $2.3, 3.1, 3.9, 4.7$ ，残差依次为 $- 0.3, - 0.1, 1.1, - 0.7$ 。它们相加为零，平方和为 $S S E = \sum_{i = 1}^{4} e_{i}^{2}$ $S S E = 0.09 + 0.01 + 1.21 + 0.49 = 1.8.$ 样本 $y$ 围绕均值的总平方和为 $S_{y y} = 5$ 。带截距的一元最小二乘回归满足 $S_{y y} = S S R + S S E$ ，故决定系数 $R^{2} = 1 - S S E / S_{y y} = 0.64$ 。在这个样本的线性拟合中，直线解释了约 64% 的样本平方变差；这不是“原因解释了 64%”，也不能推出未来预测有 64% 的成功率。本例相关系数 $r = S_{x y} / \sqrt{S_{x x} S_{y y}} = 0.8$ ，所以 $R^{2} = r^{2}$ ；该等式依赖于“一元、最小二乘、含截距”等条件。

若把 $x = 3$ 代入，得到拟合值 $3.9$ 。这描述样本范围内的平均趋势，不等于下一次在 $x = 3$ 时必观测到 3.9。把直线延伸到远离 $1 \leq x \leq 4$ 的地方属于外推，数据没有直接检验那一段。要谈总体参数或预测区间，还需说明抽样方式、观测之间的独立性、误差的条件均值与波动等假设；仅凭四个点不能认定因果方向。

试算。若所有 $y_{i}$ 都增加 2，散点整体上移， $\hat{b}$ 仍为 0.8， $\hat{a}$ 变为 3.5，残差和 $R^{2}$ 均不变。因为每个 $y_{i} - \bar{y}$ 没变， $S_{x y}$ 和 $S_{y y}$ 也没变。

参考资料

Penn State STAT 200，第 12 课：样本相关与一元线性回归。
NIST Engineering Statistics Handbook：线性最小二乘拟合。

@@ 第8行： / 第8行： @@
 == 系数的推导 ==
 先记 <math>\bar x=n^{-1}\sum x_i</math>、<math>\bar y=n^{-1}\sum y_i</math>，并定义
-<math display="block">S_{xx}=\sum(x_i-\bar x)^2,\qquad
+<math display="block">S_{xx}=\sum(x_i-\bar x)^2.</math>
-S_{xy}=\sum(x_i-\bar x)(y_i-\bar y).</math>
+<math display="block">S_{xy}=\sum(x_i-\bar x)(y_i-\bar y).</math>
 对 <math>a</math> 求偏导并令其为零，得到 <math>\sum[y_i-a-bx_i]=0</math>，即 <math>a=\bar y-b\bar x</math>。再把它代入 <math>S(a,b)</math>，对 <math>b</math> 求导，得到 <math>bS_{xx}=S_{xy}</math>。只要各 <math>x_i</math> 不全相同，<math>S_{xx}>0</math>，平方和关于系数的曲面有唯一最低点：
 <math display="block">\hat b=\frac{S_{xy}}{S_{xx}},\qquad
@@ 第19行： / 第19行： @@
 == 拟合值、误差与解释 ==
 把四个 <math>x</math> 代回直线，拟合值依次为 <math>2.3,3.1,3.9,4.7</math>，残差依次为 <math>-0.3,-0.1,1.1,-0.7</math>。它们相加为零，平方和为
-<math display="block">\mathrm{SSE}=(-0.3)^2+(-0.1)^2+1.1^2+(-0.7)^2=1.8.</math>
+<math display="block">\mathrm{SSE}=\sum_{i=1}^{4}e_i^2</math>
+<math display="block">\mathrm{SSE}=0.09+0.01+1.21+0.49=1.8.</math>
 样本 <math>y</math> 围绕均值的总平方和为 <math>S_{yy}=5</math>。带截距的一元最小二乘回归满足 <math>S_{yy}=\mathrm{SSR}+\mathrm{SSE}</math>，故决定系数 <math>R^2=1-\mathrm{SSE}/S_{yy}=0.64</math>。在这个样本的线性拟合中，直线解释了约 64% 的样本平方变差；这'''不是'''“原因解释了 64%”，也不能推出未来预测有 64% 的成功率。本例[[相关系数]] <math>r=S_{xy}/\sqrt{S_{xx}S_{yy}}=0.8</math>，所以 <math>R^2=r^2</math>；该等式依赖于“一元、最小二乘、含截距”等条件。