正态分布

正态分布（normal distribution），也称高斯分布，是由中心位置与离散程度两个参数确定的连续概率分布。它的密度曲线呈对称钟形；某个区间的概率是曲线在该区间上方的面积。要读懂它，既要知道曲线的形状，也要分清模型中的参数、一次观测值和一组样本的平均值。

一袋产品的质量会落在哪里

设一台设备灌装某种产品。为了讨论计算，建立一个合成教学模型：稳定工作时，随机取一袋，其质量 $X$ 近似以一百克为中心波动，标准差为两克，并假设服从正态分布。记作 $$X\sim N(100,2^2).$$ 记号 $N(\mu ,{\sigma }^2)$ 的第二个参数是方差；这里均值 $\mu =100$ 克，标准差 $\sigma =2$ 克，方差为四平方克。它不表示每袋都恰好一百克，也不表示所有质量一定落在九十八至一百零二克之间。

现在的问题是：这个模型预期有多少比例的产品落在九十六至一百零二克之间？回答需要把一个质量区间转换成曲线下的面积。这里把分布作为已给定的模型；实际设备是否适合它，还需靠测量机制和资料检验。

两个参数怎样改变曲线

一般正态分布的密度为 $$f_X(x)=\frac{1}{\sigma \sqrt{2\pi }}\exp [-\frac{(x-\mu {)}^2}{2{\sigma }^2}],x\in ℝ,\mu \in ℝ,\sigma >0.$$ 其中 $\exp (u)=e^u$。指数只含到中心的标准化距离 $(x-\mu )/\sigma$：在中心两侧距离相同，密度就相同。NIST：Normal Distribution

先保持 $\sigma =2$ 不变，把 $\mu$ 从一百改为一百零四。曲线整体向右移四克，宽度与峰高不变。设备平均多灌装了多少，对应的就是中心位置移动多少。

固定标准差，改变均值只平移曲线。竖虚线标出各自中心。

再保持 $\mu =100$，比较标准差一、二、三克。标准差越大，相同的标准化距离对应的克数越多，曲线越宽；总面积又要保持为一，所以峰顶越低。中心密度 $$f_X(\mu )=\frac{1}{\sigma \sqrt{2\pi }}$$ 正好随标准差增大而减小。图中三条曲线的峰高不同，表示质量在中心附近的聚集程度不同，不表示它们总共有不同的概率。

均值不变时，标准差控制横向展开程度；三条曲线的总面积均为一。

密度的高度不是点的概率

本例在一百克处的密度为 $$f_X(100)=\frac{1}{2\sqrt{2\pi }}\approx 0.19947{\mathrm{g}}^{-1}.$$ 这是每克的密度，不能读成“恰好一百克的概率为百分之十九点九五”。在连续模型里，单点没有宽度， $$P(X=100)={\int }_{100}^{100}{f}_X(x)dx=0.$$ 而一个小区间有正的宽度。例如四舍五入到零点一克的显示值为 100.0，通常对应真值在 $[99.95,100.05)$ 克。其概率近似为 $$f_X(100)\times 0.10\approx 0.019947,$$ 更精确的积分约为 $0.019945$。显示值是一百克与连续真值恰为一百克，是两个不同事件。

密度甚至可以大于一：若标准差只有零点一克，峰值约为 $3.9894{\mathrm{g}}^{-1}$。只要把高度乘上足够小的区间宽度再积分，总概率仍为一。密度的单位与横坐标单位相反，面积才是无单位的概率。

标准化：换尺子，面积保持不变

把每个质量先减去中心一百，再除以标准差二，得到 $$Z=\frac{X-100}{2}.$$ 例如九十六克变成 $-2$，意思是比均值低两个标准差；一百零二克变成 $1$。标准化后的数没有克的单位。

一般地，令 $z=(x-\mu )/\sigma$，则 $x=\mu +\sigma z$、$dx=\sigma dz$。把这两个关系一起代入区间概率： $${\int }_a^b\frac{1}{\sigma \sqrt{2\pi }}{e}^{-(x-\mu {)}^2/(2{\sigma }^2)}dx$$ $$={\int }_{(a-\mu )/\sigma }^{(b-\mu )/\sigma }\frac{1}{\sqrt{2\pi }}{e}^{-z^2/2}dz.$$ 前面的 $1/\sigma$ 与宽度变化带来的 $\sigma$ 相消。只缩横轴而不调整密度高度，就不能保持概率面积。

定义标准正态密度与累计分布函数 $$\varphi (z)=\frac{1}{\sqrt{2\pi }}{e}^{-z^2/2},\Phi (z)={\int }_{-\mathrm{\infty }}^z\varphi (u)du.$$ 由上述换元可知 $Z\sim N(0,1)$，并得到统一的计算式 $$P(a\le X\le b)=\Phi \left(\frac{b-\mu }{\sigma }\right)-\Phi \left(\frac{a-\mu }{\sigma }\right).$$

上图的横轴以克计，下图以标准差计。密度高度与宽度同时变换，阴影概率不变。

回到开始的问题： $$P(96\le X\le 102)=\Phi (1)-\Phi (-2).$$ 正态积分通常用数值方法或分布表求值。本例 $\Phi (1)\approx 0.84134475$、$\Phi (-2)\approx 0.02275013$，相减为 $$P(96\le X\le 102)\approx \mathrm{0.81859461.}$$ 也就是在给定模型下约百分之八十一点八六。标准化图中的左边界离中心较远，右边界较近；阴影并不左右对称，因此不能直接套用“两个标准差以内”的对称面积。

“68、95、99.7”分别有多精确

对称性给出 $\Phi (-k)=1-\Phi (k)$。所以 $$P(\mu -k\sigma \le X\le \mu +k\sigma )=2\Phi (k)-1,k>0.$$ 这才是精确表达式；常见的百分比是它的近似数值。

范围	精确表达式	数值约为	本例质量范围（克）
$\mu \pm \sigma$	$2\Phi (1)-1$	68.268949%	98 至 102
$\mu \pm 2\sigma$	$2\Phi (2)-1$	95.449974%	96 至 104
$\mu \pm 3\sigma$	$2\Phi (3)-1$	99.730020%	94 至 106

三行只扩大积分区间，没有改变分布；每一行两端仍有未填充的尾部。

“约百分之九十五在两个标准差以内”适合记忆；若要恰好百分之九十五的中央概率，应取 $k={\Phi }^{-1}(0.975)\approx 1.959964$，而不是二。这里 ${\Phi }^{-1}$ 表示寻找累计概率达到指定值的分位数。三个标准差外仍有约 $0.269980\mathrm{\%}$ 的概率，并非不可能事件。

这些是已知分布中单袋质量的覆盖范围。估计未知总体均值的置信区间是另一问题：它的宽度还与样本量、标准差是否已知有关，见学生t分布。

为什么总面积为一，均值与方差又为何是这些参数

以下用积分说明公式中的常数从哪里来。初次学习时可以先掌握前面的区间计算，再回来看这个证明。

令 $$I={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{e}^{-z^2/2}dz.$$ 这个积分有限：在 $|z|\ge 1$ 时有 $e^{-z^2/2}\le e^{-|z|/2}$，右边尾部可积。把两个相同积分相乘，在平面上写为 $$I^2={\int }_{{ℝ}^2}{e}^{-(x^2+y^2)/2}dxdy.$$ 被积函数非负，可以按平面区域积分。换成极坐标，$x^2+y^2=r^2$，小面积由 $dxdy$ 变为 $rdrd\theta$。于是 $$I^2={\int }_0^{2\pi }{\int }_0^{\mathrm{\infty }}{e}^{-r^2/2}rdrd\theta .$$ 径向积分令 $v=r^2/2$，有 $dv=rdr$，所以它等于 ${\int }_0^{\mathrm{\infty }}{e}^{-v}dv=1$。角度积分等于 $2\pi$，因此 $I^2=2\pi$；因 $I>0$，得到 $I=\sqrt{2\pi }$。密度中除以 $\sqrt{2\pi }$ 后，总面积恰为一。

标准正态的 $z\varphi (z)$ 是可积奇函数，所以 $E(Z)=0$。又有 ${\varphi }^{\prime }(z)=-z\varphi (z)$，分部积分给出 $$E(Z^2)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{z}^2\varphi (z)dz=-[z\varphi (z){]}_{-\mathrm{\infty }}^{\mathrm{\infty }}+{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\varphi (z)dz=1.$$ 边界项为零，因为指数衰减快于一次幂增长。于是 $\mathrm{Var}(Z)=1$。一般正态变量写成 $X=\mu +\sigma Z$，便有 $$E(X)=\mu ,\mathrm{Var}(X)={\sigma }^2.$$ 这说明均值与方差的名称确实由积分性质支持，而不仅是对曲线参数的命名。

什么时候正态模型有根据

若灌装误差由许多细小影响相加形成，而且没有少数影响支配整体、相关性也不过强，正态近似可能合理。这里“许多因素”是建模线索，不是无需条件的定理。一个明确的数学版本是：若 $X_1,X_2,\dots$ 独立同分布，具有有限均值 $\mu$ 与有限正方差 ${\sigma }^2$，则中心极限定理给出 $$\underset{n\to \mathrm{\infty }}{lim}P(\frac{\sqrt{n}({\overline{X}}_n-\mu )}{\sigma }\le z)=\Phi (z),z\in ℝ.$$ 这里 ${\overline{X}}_n=(X_1+\cdots +X_n)/n$。定理说的是标准化样本均值的分布趋于正态；原始单次测量的分布不因此变成正态。MIT 14.30，Lecture Note 7，§18.3.2

如果每个 $X_i$ 本来就服从正态且彼此独立，则任意样本量下 ${\overline{X}}_n\sim N(\mu ,{\sigma }^2/n)$，这是精确结论；例如本例独立取四袋，平均质量的标准差为一克，单袋质量的标准差仍为两克。一般非正态样本则只能在合适条件和足够样本下近似，且没有对所有总体都有效的“超过三十就足够”。

例如所有读数都带着同一个未经校准的偏移，重复测量不会把这个共同误差按 $1/\sqrt{n}$ 消掉。若总体没有有限方差，上述定理的条件也不满足。即使中心部分拟合得好，极罕见尾部事件的相对误差仍可能很大，不能用一张钟形图保证极端风险的准确性。

实际质量不能为负，而正态密度在整个实线上为正。本例均值离零有五十个标准差，负质量区域的模型概率极小；若均值接近零而波动很大，这个近似就可能失去物理意义。计数、等待时间、明显偏斜或多峰的数据也各有结构，应结合泊松分布、指数分布等模型以及实际机制分析。观测资料可用直方图检查形状，用折线图检查漂移；“没有发现明显偏离”并不等于证明总体正态。

从单个读数走向平均值的分布

继续使用总体 $N(100,2^2)$。若独立取 $n$ 袋并计算平均质量，独立正态变量的线性组合仍是正态变量，故 $${\overline{X}}_n\sim N(100,\frac{4}{n}).$$ 均值仍为100，标准差则为 $2/\sqrt{n}$。这在正态总体假设下是精确结论，不需要等到大样本才成立。独立正态和的性质以及协方差的作用，见 MIT 18.440，第23讲与第25讲。

三条曲线对应不同随机变量：一袋质量、四袋均值、十六袋均值。它们不表示设备的单袋质量波动因取平均而消失。

例如问平均质量落在99至101克内的概率，标准化得 $$P(|{\overline{X}}_n-100|\le 1)=2\Phi \left(\frac{\sqrt{n}}{2}\right)-1.$$ 当 $n=1,4,16$ 时，概率分别约为38.29%、68.27%、95.45%。同样的一克范围，对十六袋均值是两个标准误，对单袋却只有半个标准差。把这两个对象混用，会夸大对单个产品的预测精度。

为什么共同偏移不能靠多取样消去

构造另一个教学模型：同批次的所有读数共享校准偏移 $C\sim N(0,1)$，各袋另有独立误差 ${\epsilon }_i\sim N(0,3)$，所有 ${\epsilon }_i$ 与 $C$ 相互独立，读数写成 $$X_i=100+C+{\epsilon }_i.$$ 这里方差单位均为平方克；$C$ 在不同校准批次之间变化，同一批内是共同的一项。单个读数仍为 $N(100,4)$，但同批不同读数协方差为1，已经不是独立样本。

平均后仍保留同一个 $C$，所以 $${\overline{X}}_n=100+C+\frac{1}{n}\sum _{i=1}^n{\epsilon }_i,\mathrm{Var}({\overline{X}}_n)=1+\frac{3}{n}.$$ 其中独立误差部分的方差由 $n\cdot 3/n^2=3/n$ 得到，共同偏移的方差1没有再除以 $n$。

纵轴画方差，不是标准差。两模型单次读数分布相同，联合依赖关系不同，因而取平均的效果不同。

十六个同批读数的均值方差为 $19/16$，标准差约1.090克，明显大于独立模型的0.5克。增加同批样本会减小独立误差的影响，却不会让未经校正的均值中的共同偏移自动消失。若100是已知参考值，可用样本均值减100估计本批偏移，再作校正；若真实中心与校准偏移都未知，仅靠同批读数无法把两者分开，需要参考测量或独立批次等信息。这个反例说明，正态边缘分布本身不足以保证均值方差按 $1/n$ 缩小。

与拟合中的平方误差怎样连接

若线性模型给定平均预测 $m_i(\beta )$，误差相互独立且服从同方差 $N(0,{\sigma }^2)$，观测 $y_1,\dots ,y_n$ 的联合密度为各项密度之积。取对数后 $$\log L(\beta ,\sigma )=-n\log (\sigma \sqrt{2\pi })-\frac{1}{2{\sigma }^2}\sum _{i=1}^n[y_i-m_i(\beta ){]}^2.$$ 固定正的 $\sigma$，第一项不依赖 $\beta$，第二项的系数为负，故最大化关于 $\beta$ 的似然等价于最小化残差平方和。这是正态误差模型与最小二乘法的一条联系；最小二乘作为优化方法仍可以在不假定正态时使用。若误差相关或各次方差不同，联合密度及相应平方形式都会改变。

参考资料

• NIST/SEMATECH e-Handbook，Normal Distribution：密度、标准化参数、均值与标准差。
• NIST DLMF，§7.1：正态累计概率与误差函数的记号关系。
• NIST DLMF，§5.9：高斯型积分的 Gamma 函数表示。
• Herman Bennett，MIT 14.30，Lecture Note 7（2006），§18：正态样本均值、方差以及独立同分布中心极限定理的条件。
• 相关：概率分布、积分、学生t分布、统计推断。