内积空间

内积空间让“长度”“夹角”和“垂直”有统一的运算来源。以实向量空间为例，内积 $⟨x,y⟩$ 对每个变量线性、满足对称性 $⟨x,y⟩=⟨y,x⟩$，并且 $⟨x,x⟩>0$ 对一切非零 $x$ 成立。由此定义范数 $\Vert x\Vert =\sqrt{⟨x,x⟩}$。复向量空间改用共轭对称和共轭线性约定，不能把复数内积直接当作实数点积。

同一个坐标空间可以有不同的长度

标准 ${ℝ}^2$ 内积是 $x_1{y}_1+x_2{y}_2$。若第二个坐标代表测量误差较大的量，可以另取 $⟨x,y{⟩}_W=2x_1{y}_1+x_2{y}_2$，其权矩阵 $W=\mathrm{diag}(2,1)$ 正定。于是 $(1,1)$ 的标准长度是 $\sqrt{2}$，加权长度是 $\sqrt{3}$；“垂直”也会跟着变。权矩阵若有负特征值，例如 $\mathrm{diag}(1,-1)$，则非零向量 $(0,1)$ 的“平方长度”为负，不能定义内积。

柯西—施瓦茨不等式的来处

固定 $y\ne 0$，考虑任何实数 $t$ 下的非负量 $$0\le \Vert x-ty{\Vert }^2=\Vert x{\Vert }^2-2t⟨x,y⟩+t^2\Vert y{\Vert }^2.$$ 取使右边最小的 $t=⟨x,y⟩/\Vert y{\Vert }^2$，得到 $⟨x,y{⟩}^2\le \Vert x{\Vert }^2\Vert y{\Vert }^2$；$y=0$ 时显然成立。等号出现当且仅当 $x$ 与 $y$ 线性相关。这一步同时解释了正交投影：把 $x$ 沿 $y$ 的方向投过去，剩余部分的平方长度最小。

内积诱导的范数满足三角不等式，因为 $\Vert x+y{\Vert }^2=\Vert x{\Vert }^2+2⟨x,y⟩+\Vert y{\Vert }^2\le (\Vert x\Vert +\Vert y\Vert {)}^2$。但并非每种范数都来自内积；例如 ${ℝ}^2$ 的 ${\ell }_1$ 范数不满足内积范数必有的平行四边形恒等式。建模时选权重就是在改变“误差有多大”的几何定义，须说明单位和权重来源。

参考资料与相关词条

• MIT 18.06：正交向量与子空间。
• 相关：向量的内积、柯西不等式、正交投影、最小二乘法。