崩溃点
崩溃点(breakdown point)衡量估计方法对有限比例任意污染的抵抗能力。对位置估计,一种常用的有限样本定义是:至少替换多少个观测,才能让估计值离原结果任意远。它衡量最坏情况下的无界失效,不是“偏差达到可以忽略”或“分类准确率”的阈值。
以五个读数 为例,平均值和中位数都是三。将最后一个读数改成巨大数 ,平均值变为 ,可随 发散,中位数却仍为三。若改掉三个读数,情况就不同了。
固定样本量的替换定义
记原样本为 ,估计为 。令 包含所有至多替换 个坐标得到的样本,定义最大变化 本文采用的替换崩溃点为 这里是“最少使其无界”的比例;另有文献采用“最多仍保持有界”的比例,有限样本下通常相差一个观测,不能混报。替换污染的思路及均值的 行为,可见Berkeley课程的相关讨论。[1]
均值只需替换一个坐标就可发散,故有限样本崩溃点为 ,当 时趋零。常见“均值崩溃点为零”的说法指这个极限,不等于有限样本中不用改数据就会失效。
五点中位数的阈值证明
五点样本至多替换两点,仍有三个原始值留在 内。若污染后的第三顺序统计量大于五,就至少需要三个数大于五;但只有两个数可能来自任意替换,矛盾。同理它不能小于一。因此中位数始终受原样本最小值与最大值控制,不能发散。
替换三点则可取污染样本 ,其第三顺序统计量就是 。所以在本文定义下,五点中位数崩溃点为 ,最大仍不崩溃的比例是 。两者随奇数样本量增大都趋向二分之一。
对 ,同一计数证明表明中位数至少需要 点替换才无界,阈值为 。偶数 若定义中位数为两个中间值的平均,只需让后 个数都趋于正无穷,故阈值为 ;少于 次替换则两个中间位置仍有界。
截尾平均的有解答变式
七个有限数排序后,每端删除一个,平均中间五个。一次任意替换若足够极端,会被相应的一端截去;不极端则仍在原有有限范围内。因此一次替换不能使结果无界。
将两个读数同时换成 ,删除最大值只能删去其中一个,剩余中间五数仍含一个 ,平均随之发散。所以该七点截尾平均的替换崩溃点是 。若每端删除两个,则至少要替换三个,阈值改为 。计算有限样本阈值时,不能只报告名义截尾比例而忽略这一点差异。
崩溃与有限偏差的区别
五点中位数在两点替换下虽不发散,仍可能从三移动到一或五;有界不代表误差可以接受。实际还要研究最大偏差、精度以及污染是否符合当前替换模型。
位置发散也不是所有参数的失效方式。尺度估计可能被推向无穷,或被压到零;回归中改变一个解释变量可制造高杠杆点,机制不同于只替换响应。新增污染与固定样本量的替换污染,也使用不同分母与计数。
高崩溃点不会修复错误的科学目标。若总体本就有两个群体,中位数代表哪个位置、是否应分组建模,仍需解释。影响函数提供污染比例趋零的另一项局部刻画;两种检查可共同使用,但不能由其中一个数值推断全部稳健性。
参考文献
- ↑ UC Berkeley Stat135,Robustness properties,“Break down point”;本文按最少引发无界失效的替换约定,独立计算有限样本阈值。