跳到正文
格致开物MATHWIKI

因子分解定理

因子分解定理(factorization theorem,也称奈曼—费舍尔因子分解定理)通过联合密度的结构判断一个统计量是否充分。它要求所有参数使用共同的支配测度,并把与参数有关的样本信息集中到一个摘要中;不依赖参数的因子仍可依赖完整数据。

设独立读数 X1,X2,X3∼U(0,θ),未知上界 θ>0。观察到 (1,3,4) 后,任何小于四的上界都不可能产生这些数据。这个支持范围是似然的一部分,不能在代数化简时丢掉。

联合密度的两个因子

对样本 x,记 M(x)=maxixi,联合密度可以写为 pθ(x)=gθ(M(x))h(x),gθ(m)=θ−n1{m≤θ},h(x)=1{minixi≥0}. 不等式 M≤θ 约束未知上界,保留在 gθ 中;样本非负性不依赖参数,可以放进 h。这给出最大值充分的因子分解。

对主例 n=3,M=4,似然为零直到四,在 θ≥4 时正比于 θ−3。因此最大似然估计为四;上界八相对于上界四的似然比是 (4/8)3=1/8。

均匀模型上界小于样本最大值时似然为零,达到最大值后似然按上界负三次方下降
左侧的零似然来自支持条件,右侧的下降来自密度中的尺度因子;两部分都参与参数推断。纵轴按最大值归一化。

定理的形式与适用范围

设模型 {Pθ} 在同一测度 ν 下有密度 pθ,T=T(X) 是统计量。在通常的有限、可数或欧氏支配模型中,T 充分,当且仅当存在非负可测函数 h 与 gθ,使 pθ(x)=gθ(T(x))h(x)ν-几乎处处. 因子 h 不得依赖未知参数,gθ 不得再通过摘要以外的样本细节变化。连续密度在零测集上的任意改写不改变概率分布,因此定理以几乎处处的等式表述。[1]

以下给出可数样本空间上的完整证明。连续情形涉及条件概率核与支配测度,使用上述一般定理;不以零概率单点的相除来替代它。

可数样本空间上的双向证明

先假设已经存在分解。对满足 Pθ(T=t)>0 的取值, Pθ(X=x∣T=t)=gθ(t)h(x)1{T(x)=t}gθ(t)∑z:T(z)=th(z)=h(x)1{T(x)=t}∑z:T(z)=th(z). 分母在这里有限且为正,参数因子被消去,条件分布不再依赖参数。这正是充分性。对所有参数下都不会出现的摘要值,可任意选条件分布版本,不影响结论。

反过来,假设 T 充分,选取参数无关的条件概率 q(x∣t)。定义 gθ(t)=Pθ(T=t),h(x)=q(x∣T(x)). 乘法公式给出 Pθ(X=x)=Pθ(T=T(x))q(x∣T(x)), 就是所需的分解。对可数空间可以统一选取这些条件概率;对连续空间则要使用相应的核与密度版本。

因子相同不表示模型相同

在独立伯努利试验中,总成功数充分;在同方差正态位置模型中,总和充分。这两个结论分别来自各自的联合密度结构,不能只看统计量都写成“求和”就跨模型套用。

均匀上界模型尤其能说明支持的重要性。取两点样本 x=(0.2,1.8) 与 y=(0.8,1.2),两组均值相同。在 θ=2 时,两密度相同且为正;在 θ=1.5 时,第一组密度为零,第二组为正。如果只有样本均值携带参数作用,同一均值对应的两密度应始终成固定比例,这里却不成立。因此均值不是该模型的充分统计量。

不能把这个例子简写为某个含 0/0 的似然比后再约分。直接比较支持事件,才能保留导致失败的那一步。

变式。 主例若改为三次读数 (1,2,6),最大值变成六,似然最大点也变为六;上界八相对上界六的似然比为 (6/8)3=27/64。没有参与最大值变化的样本细节只进入参数无关部分。

因子分解给出的是充分统计量的判据;它本身并不证明摘要最小或完备,也没有替读者选择无偏、最大似然或贝叶斯估计方法。完成模型压缩后,估计目标与损失函数仍需另行说明。

参考文献

  1. ↑ Will Fithian,Sufficiency,“Factorization theorem”,共同支配测度的陈述与离散情形的双向证明。