线性代数

线性代数研究向量空间、线性映射以及线性方程组。它用加法和数乘构成的结构，把几何变换、方程求解与数据拟合放在同一框架中。矩阵是这种结构在选定坐标下的表示工具。

什么使一个问题成为线性问题

映射 $T : V \to W$ 若满足 $T (a u + b v) = a T (u) + b T (v),$ 就称为线性映射。这要求保留全部线性组合，并特别要求 $T (0) = 0$ 。例如 $T (x, y) = (x + 2 y, 3 x - y)$ 是线性的； $T (x) = x + 1$ 不是，尽管其图像是一条直线。后者是仿射映射。

方程组就是寻找一个线性组合

方程 $A x = b$ 要求用 $A$ 的列向量，以 $x$ 的分量为系数，合成目标向量 $b$ 。因此有解的充要条件是 $b$ 属于列空间。

例如 ${\begin{matrix} x + y = 3, \\ 2 x - y = 0 \end{matrix}$ 两式相加得到 $3 x = 3$ ，再回代得 $x = 1, y = 2$ 。消元本质上是在不改变解集的前提下，用等价方程替换原方程。

如果两行成比例，比如 $x + y = 1$ 与 $2 x + 2 y = 2$ ，就有无穷多解；把第二个右端改为 3，则无解。方程数等于未知数个数，不能单独保证唯一解。

核、像与秩

线性映射的核是映到零的向量集合，像是所有可能输出的集合。对 $m \times n$ 矩阵，有秩—零度定理 $\dim \ker A + rank A = n .$ 它把输入自由度分成“被消去的方向”和“保留下来的独立方向”。若方程有一个特解 $x_{0}$ ，全部解就是 $x = x_{0} + z$ ，其中 $z \in \ker A$ 。

没有精确解时，寻找最近的输出

测量数据常常使方程组不相容。这时可以求最小二乘解，使 $‖ A x - b ‖^{2}$ 最小。在标准欧氏内积下，最优残差 $b - A x$ 与列空间正交，因此满足正规方程 $A^{𝖳} A x = A^{𝖳} b .$

向量b等于二一，垂直投影到横轴得到p等于二零，残差零一与横轴垂直 — 最小二乘的几何意义：在允许的输出子空间中，找离目标向量最近的点。

例如只允许输出 $t (1, 0)$ ，而目标为 $b = (2, 1)$ ，平方误差为 $(t - 2)^{2} + 1$ ，在 $t = 2$ 取得最小值 1。投影为 $(2, 0)$ ，不能被解释的残差是 $(0, 1)$ 。

当 $A$ 列满秩时，最小二乘系数唯一；不满秩时，不同系数可能给出同一最佳拟合。数值计算常采用 QR 分解或奇异值分解，避免直接构造正规方程放大条件数问题。

特征向量描述不转向的方向

非零向量 $v$ 若满足 $A v = λ v$ ，称为特征向量， $λ$ 是特征值。矩阵 $diag (2, 1)$ 沿横轴伸长两倍，纵轴保持不变，这两条轴分别对应特征值 2 和 1。

并非每个实矩阵都有实特征向量。例如平面旋转 90 度会改变每个非零实向量的方向，没有实特征向量；允许复数后，特征值为 $i$ 和 $- i$ 。使用特征分解时必须说明数域及矩阵是否可对角化。

延伸阅读

MIT OpenCourseWare，18.06 Linear Algebra：消元、四个基本子空间、投影与特征值。
矩阵 · 向量空间 · 数学建模 · 优化