卡方分布

卡方分布（chi-squared distribution）描述独立标准正态变量的平方和，是正态样本方差和许多检验统计量的参照分布。自由度记录独立平方项的数量；其密度也可推广到任意正实数自由度。记号 ${\chi }_{\nu }^2$ 表示分布，$\nu >0$ 表示自由度。

若两个独立测量误差都已经除以各自已知标准差，得到标准正态变量 $Z_1,Z_2$，则 $Q=Z_1^2+Z_2^2$ 衡量总的平方偏离。一次实现为 $(1,2)$ 时，$Q=5$；要判断它在该误差模型下是否常见，需要计算整个平方和分布的尾概率。

从一个平方到独立平方和

设 $Z\sim N(0,1)$。对 $q>0$，变换 $Q=Z^2$ 有两个原像 $\sqrt{q}$ 与 $-\sqrt{q}$，每支的雅可比绝对值都是 $1/(2\sqrt{q})$。因此 $$f_{Z^2}(q)=\frac{2e^{-q/2}}{\sqrt{2\pi }2\sqrt{q}}=\frac{q^{-1/2}{e}^{-q/2}}{2^{1/2}\Gamma (1/2)}.$$ 这就是形状 $1/2$、尺度二的伽马分布。独立性使卷积适用；同尺度伽马变量相加时形状相加，所以对正整数 $\nu$， $$Q=\sum _{j=1}^{\nu }{Z}_j^2\sim {\chi }_{\nu }^2,f_{\nu }(q)=\frac{q^{\nu /2-1}{e}^{-q/2}}{2^{\nu /2}\Gamma (\nu /2)},q>0.$$ 这里 $Z_j$ 必须相互独立、均值为零、方差为一。密度在负半轴为零，闭支撑为 $[0,\mathrm{\infty })$，在零点没有原子。由于它是伽马密度，归一化也适用于非整数 $\nu >0$，此时不再解释为非整数个平方项。

每条曲线均未额外缩放；自由度改变位置和相对分散程度。

由伽马矩公式立即得到 $𝔼Q=\nu$、$\mathrm{Var}(Q)=2\nu$。也可从独立平方项核对：$𝔼Z^2=1$、$𝔼Z^4=3$，故每项方差为二。自由度增大时绝对方差增大，而相对标准差 $\sqrt{2/\nu }$ 减小。

一个尾概率的完整计算

当 $\nu =2$ 时，密度简化为 $f(q)=\frac{1}{2}{e}^{-q/2}$。于是开头观测的右尾概率为 $$Pr(Q\ge 5)={\int }_5^{\mathrm{\infty }}\frac{1}{2}{e}^{-q/2}\mathrm{d}q=e^{-5/2}\approx \mathrm{0.082085.}$$ 从五直到无穷远的面积正是此值，图只截取其中一段。它表示在声明的独立正态误差模型下，平方偏离至少这么大的概率，不是“模型为真的概率”。

阴影显示右尾在图窗内的部分；连同十四以右的部分，总面积为 P(Q≥5)=e^(−5/2)。竖线处的密度高度不等于尾概率。

若允许右尾概率为 $0.05$，解 $e^{-c/2}=0.05$ 得阈值 $c=-2\log 0.05\approx 5.991465$。作为变式，把误差实现改为 $(1,1)$，则 $Q=2$、右尾为 $e^{-1}\approx 0.367879$，尚未超过该阈值。

样本均值带走的一个自由度

设 $X_1,\dots ,X_n$ 独立同分布于 $N(\mu ,{\sigma }^2)$，$n\ge 2$、$\sigma >0$，样本方差定义为 $S^2=(n-1{)}^{-1}\sum _i(X_i-\overline{X}{)}^2$。令标准化向量 $Z_i=(X_i-\mu )/\sigma$。在 ${ℝ}^n$ 中选第一轴为 $(1,\dots ,1)/\sqrt{n}$，其余轴组成与它正交的标准正交基。正交变换后的联合密度仍为 $$(2\pi {)}^{-n/2}\exp (-\frac{1}{2}\sum _{j=1}^n{w}_j^2),$$ 因为长度和雅可比绝对值一都保持不变。因此新坐标仍是独立标准正态。第一坐标为 $W_1=\sqrt{n}(\overline{X}-\mu )/\sigma$；减去样本均值恰好删去这个方向，于是 $$\frac{(n-1)S^2}{{\sigma }^2}=\sum _{j=2}^n{W}_j^2\sim {\chi }_{n-1}^2.$$ 这解释了自由度的损失，也说明为何“标准化后有 n 个残差”不等于“有 n 个独立残差”：它们的和为零。该结论的精确分布依赖正态抽样，不能仅凭有限方差推广到任意总体。

独立条件也不能删掉。若令 $Z_2=Z_1$，两者各自都是标准正态，但 $Q=2Z_1^2$ 的方差为八，而 ${\chi }_2^2$ 的方差为四。非零均值平方和涉及非中心卡方分布，单纯平移一个中心卡方变量不能替代它。