跳到正文
格致开物MATHWIKI

影响函数

影响函数(influence function)衡量统计目标在受到无穷小比例的定点污染时,其数值向哪个方向、以多大速度改变。它把“一个极端观测会产生多大作用”写成分布层面的一阶导数,常用于比较均值、中位数和稳健估计的局部敏感性。

令基准分布为标准正态 F=N(0,1),用比例 ε 的固定数值十替代其中一部分,得到混合分布 Fε=(1−ε)F+εδ10。均值变为 10ε;中位数却不会按同样斜率向十移动。两者估计的是不同的总体位置概念,对污染的反应也不同。

污染路径的导数

设统计泛函 T(F) 为由分布确定的数值,δz 为在 z 的点质量。若右导数存在,定义 IF⁡(z;T,F)=limε↓0T((1−ε)F+εδz)−T(F)ε. 分子是目标变化,分母是污染比例;污染位置 z 在取导数时固定。对于有有限均值的分布,均值泛函满足精确恒等式 T(Fε)−T(F)=ε(z−μ), 故均值影响函数为 z−μ,随污染点远离中心而无界增长。敏感性与影响函数的区别及有界性指标,可见Ruckstuhl的课程讲义。[1]

中位数的导数

设基准分布具有唯一中位数 m,在其邻域有连续且正的密度 f(m)>0,并取 z≠m。小污染下的中位数写为 mε=m+εa+o(ε)。

若 z>m,充分小污染时 z>mε,所以中位数方程为 (1−ε)F(mε)=1/2。展开得到 12+ε{f(m)a−1/2}+o(ε)=12, 于是 a=1/[2f(m)]。若 z<m,分布函数还要加上污染质量 ε,相同计算给 a=−1/[2f(m)]。合并为 IF⁡(z;med⁡,F)=sign⁡(z−m)2f(m)(z≠m). 污染点恰在中位数时,中位数可保持不动,单独取导数为零。密度为零、分布有平段或中位数不唯一时,不能直接套用除以 f(m) 的公式。

标准正态的 f(0)=1/2π,故正、负两侧影响值分别为 ±π/2≈±1.2533。把污染点从十移到一百,不会继续增加中位数的一阶影响。

标准正态下均值影响函数为穿过原点的直线,中位数影响函数在两侧分别保持正负1.2533
中位数曲线在零点的单点值另取零。远处污染的一阶作用被限幅,但有限比例污染的偏差还需另外计算。

线性近似与有限污染

主例取 ε=0.02,z=10。均值精确变成 0.2。中位数只要仍小于十,就满足 mε=Φ−1(12(1−ε)), 其中 Φ 是标准正态分布函数。代入得到约 0.025581,而影响函数一阶近似为 0.02π/2≈0.025066。近似与精确值的差别说明:影响函数是污染比例趋零的局部描述,有限比例仍有高阶作用。

正态总体在十处被小比例污染后,均值按十倍污染比例上升,中位数只小幅上升
横轴污染比例从零到0.1。中位数按混合分布的精确分位数计算,污染点在此范围始终位于中位数右侧。

变式。 对方差泛函,设基准均值为 μ、方差为 σ2。混合分布方差为 (1−ε)σ2+ε(1−ε)(z−μ)2. 因此方差影响函数为 (z−μ)2−σ2。标准正态下 z=3 给八,z=10 给九十九,比均值的一次增长更敏感。

影响函数有界刻画一种局部稳健性;崩溃点问的是多少有限比例替换能使估计任意远离。两者没有互相替代的定义。把分布泛函的导数用于样本估计的渐近方差,也还要证明相应的渐近线性表示,不能只算出一个导数便省略随机余项分析。

参考文献

  1. ↑ Andreas Ruckstuhl,Robust Fitting: Introduction to Robust Estimation Techniques,2020,第9—17张,敏感性曲线、影响函数及位置M估计。