查看“︁一元线性回归”︁的源代码

'''一元线性回归'''用一个解释变量 <math>x</math> 的直线，描述响应变量 <math>y</math> 的条件平均变化。它首先是成对数据的概括方法：给定 <math>x_i</math>，观测到的 <math>y_i</math> 往往不恰落在同一条直线上，直线要说明的是总体趋势，而不是把每个点“穿过去”。

== 从散点走到一条线 ==
沿用[[散点图]]中的四对数据 <math>(1,2),(2,3),(3,5),(4,4)</math>。随 <math>x</math> 增加，<math>y</math> 大体上升，但第三、第四个点并不按一条直线增长。设拟合值为 <math>\hat y_i=a+bx_i</math>，残差为 <math>e_i=y_i-\hat y_i</math>。[[最小二乘法]]选择 <math>a,b</math>，使
<math display="block">S(a,b)=\sum_{i=1}^{n}[y_i-(a+bx_i)]^2</math>
最小。平方使正负偏离不互相抵消，也会使较大的偏离受到更大惩罚。它是一个明确的拟合准则；准则本身并不保证真实关系必为直线。

== 系数的推导 ==
先记 <math>\bar x=n^{-1}\sum x_i</math>、<math>\bar y=n^{-1}\sum y_i</math>，并定义
<math display="block">S_{xx}=\sum(x_i-\bar x)^2.</math>
<math display="block">S_{xy}=\sum(x_i-\bar x)(y_i-\bar y).</math>
对 <math>a</math> 求偏导并令其为零，得到 <math>\sum[y_i-a-bx_i]=0</math>，即 <math>a=\bar y-b\bar x</math>。再把它代入 <math>S(a,b)</math>，对 <math>b</math> 求导，得到 <math>bS_{xx}=S_{xy}</math>。只要各 <math>x_i</math> 不全相同，<math>S_{xx}>0</math>，平方和关于系数的曲面有唯一最低点：
<math display="block">\hat b=\frac{S_{xy}}{S_{xx}},\qquad
\hat a=\bar y-\hat b\bar x.</math>
直线因此经过数据中心 <math>(\bar x,\bar y)</math>。本例 <math>\bar x=2.5,\bar y=3.5,S_{xx}=5,S_{xy}=4</math>，所以 <math>\hat b=0.8,\hat a=1.5</math>，拟合线为 <math>\hat y=1.5+0.8x</math>。

[[File:Gezhi-highschool8-regression-residual-v2.svg|frame|center|alt=四个成对观测点、向右上方的拟合直线以及各点到直线的竖直残差段，第三点残差最大|最小二乘法缩小的是各点竖直残差的平方和；直线经过样本中心。]]

== 拟合值、误差与解释 ==
把四个 <math>x</math> 代回直线，拟合值依次为 <math>2.3,3.1,3.9,4.7</math>，残差依次为 <math>-0.3,-0.1,1.1,-0.7</math>。它们相加为零，平方和为
<math display="block">\mathrm{SSE}=\sum_{i=1}^{4}e_i^2</math>
<math display="block">\mathrm{SSE}=0.09+0.01+1.21+0.49=1.8.</math>
样本 <math>y</math> 围绕均值的总平方和为 <math>S_{yy}=5</math>。带截距的一元最小二乘回归满足 <math>S_{yy}=\mathrm{SSR}+\mathrm{SSE}</math>，故决定系数 <math>R^2=1-\mathrm{SSE}/S_{yy}=0.64</math>。在这个样本的线性拟合中，直线解释了约 64% 的样本平方变差；这'''不是'''“原因解释了 64%”，也不能推出未来预测有 64% 的成功率。本例[[相关系数]] <math>r=S_{xy}/\sqrt{S_{xx}S_{yy}}=0.8</math>，所以 <math>R^2=r^2</math>；该等式依赖于“一元、最小二乘、含截距”等条件。

若把 <math>x=3</math> 代入，得到拟合值 <math>3.9</math>。这描述样本范围内的平均趋势，不等于下一次在 <math>x=3</math> 时必观测到 3.9。把直线延伸到远离 <math>1\le x\le4</math> 的地方属于外推，数据没有直接检验那一段。要谈总体参数或预测区间，还需说明抽样方式、观测之间的独立性、误差的条件均值与波动等假设；仅凭四个点不能认定因果方向。

'''试算。'''若所有 <math>y_i</math> 都增加 2，散点整体上移，<math>\hat b</math> 仍为 0.8，<math>\hat a</math> 变为 3.5，残差和 <math>R^2</math> 均不变。因为每个 <math>y_i-\bar y</math> 没变，<math>S_{xy}</math> 和 <math>S_{yy}</math> 也没变。

== 参考资料 ==
* [https://online.stat.psu.edu/stat200/Lesson12 Penn State STAT 200，第 12 课]：样本相关与一元线性回归。
* [https://www.itl.nist.gov/div898/handbook/pmd/section1/pmd141.htm NIST Engineering Statistics Handbook：线性最小二乘拟合]。
[[分类:高中数学]]
[[分类:概率与统计]]