预测概率校准

预测概率校准（probability calibration）考察一组预报值能否作为事件发生的频率来读：在足够多、条件相近而被预测为约 $0.8$ 的对象中，事件应约有八成发生。它与区分能力不同：区分能力看高风险对象是否普遍排在低风险对象前；校准看报出的数值是否与实际频率相称。

十次预报的手算例

假设十次独立的二元事件预测中，五次报 $p = 0.2$ ，实际发生一次；另五次报 $p = 0.8$ ，实际发生四次。分组后的观测频率正好分别是 $1 / 5 = 0.2$ 与 $4 / 5 = 0.8$ 。图中横轴是组内平均预报概率，纵轴是该组实际事件频率；两点都落在对角线上。

可靠性图横轴为预测概率，纵轴为实际事件频率，两组各五次观测对应点零点二与零点八且落在理想对角线 — 两个小组恰好对齐只能说明这个示例的分组结果，不能凭十次预报证明模型长期校准。

若第 $i$ 次事件指标 $y_{i} \in {0, 1}$ ，预测概率 $p_{i} \in [0, 1]$ ，Brier 分数定义为 $BS = \frac{1}{n} \sum_{i = 1}^{n} (p_{i} - y_{i})^{2} .$ 本例低概率组的平方误差和是 $(0.2 - 1)^{2} + 4 (0.2 - 0)^{2} = 0.64 + 0.16 = 0.80$ ；高概率组是 $4 (0.8 - 1)^{2} + (0.8 - 0)^{2} = 0.16 + 0.64 = 0.80$ ，所以 $BS = 1.60 / 10 = 0.16$ 。若每次都报 $0.5$ ，本例分数为 $0.25$ ；后者刚好匹配总体事件率 $5 / 10$ ，按这个粗分组也是校准的，却完全不能把高风险和低风险对象排开。

因此，Brier 分数同时反映校准、区分能力和事件本身的不可预测性，单凭一个较低的分数不能证明“校准更好”；要同时看可靠性图、预测概率的分布，以及与相同样本上的简单基线相比的分数。反过来，分类准确率用一个阈值把 $p$ 截成 0 或 1，会抹去 $0.51$ 和 $0.99$ 之间对风险决策至关重要的差别。

可靠性图的构造与限制

在未参与拟合与调参的验证数据上，按预报概率分组。对组 $G_{k}$ 计算 ${\bar{p}}_{k} = \frac{1}{| G_{k} |} \sum_{i \in G_{k}} p_{i}, {\bar{y}}_{k} = \frac{1}{| G_{k} |} \sum_{i \in G_{k}} y_{i} .$ 画点 $({\bar{p}}_{k}, {\bar{y}}_{k})$ ，并同时显示每组人数。横轴不能只写预设的箱子中心，因为实际落入该箱的 $p_{i}$ 未必等于中心。样本少时，一组频率受偶然波动很大；过多小箱会让折线看似起伏，过少又可能掩盖局部偏差。十次数据的两个整齐点正是这个问题的示范，不是长期性能证明。

统计意义上的完美校准可以表述为 $Pr (Y = 1 ∣ P = p) = p$ ，其中 $P$ 是模型给出的概率随机变量。实际只能在有限样本和分组上估计。模型在总体上校准，也可能在某些地区、设备或年龄组中系统高估；若用于分组决策，应分别检查这些关键人群，但小组的样本量和置信范围须一并说明。

校准模型与部署后复核

若原模型排序尚可而数值偏高或偏低，可用留出的校准集拟合从原分数到概率的映射，例如 sigmoid 映射或单调的等渗回归。原模型训练所用的数据不应再作为校准器的“新预测”训练数据，否则会把过拟合后的自信也学进去；可使用独立校准集或恰当的交叉验证。校准后仍应在完全未参与选择的测试集上比较可靠性图与 Brier 分数。

以筛查为例，阈值可由漏检与误报代价决定；先把预测概率校准，才有理由把“风险 0.8”用于资源配置。然而事件基准率变化、检测流程更新或部署对象改变，都会改变概率含义。应按时间重新评估，而非把一次校准曲线当成永久证书。真实标签的漏记或选择性复查，还会把验证集中的经验频率扭曲。

参考资料与相关词条