因子分解定理
因子分解定理(factorization theorem,也称奈曼—费舍尔因子分解定理)通过联合密度的结构判断一个统计量是否充分。它要求所有参数使用共同的支配测度,并把与参数有关的样本信息集中到一个摘要中;不依赖参数的因子仍可依赖完整数据。
设独立读数 ,未知上界 。观察到 后,任何小于四的上界都不可能产生这些数据。这个支持范围是似然的一部分,不能在代数化简时丢掉。
联合密度的两个因子
对样本 ,记 ,联合密度可以写为 不等式 约束未知上界,保留在 中;样本非负性不依赖参数,可以放进 。这给出最大值充分的因子分解。
对主例 ,似然为零直到四,在 时正比于 。因此最大似然估计为四;上界八相对于上界四的似然比是 。
定理的形式与适用范围
设模型 在同一测度 下有密度 , 是统计量。在通常的有限、可数或欧氏支配模型中, 充分,当且仅当存在非负可测函数 与 ,使 因子 不得依赖未知参数, 不得再通过摘要以外的样本细节变化。连续密度在零测集上的任意改写不改变概率分布,因此定理以几乎处处的等式表述。[1]
以下给出可数样本空间上的完整证明。连续情形涉及条件概率核与支配测度,使用上述一般定理;不以零概率单点的相除来替代它。
可数样本空间上的双向证明
先假设已经存在分解。对满足 的取值, 分母在这里有限且为正,参数因子被消去,条件分布不再依赖参数。这正是充分性。对所有参数下都不会出现的摘要值,可任意选条件分布版本,不影响结论。
反过来,假设 充分,选取参数无关的条件概率 。定义 乘法公式给出 就是所需的分解。对可数空间可以统一选取这些条件概率;对连续空间则要使用相应的核与密度版本。
因子相同不表示模型相同
在独立伯努利试验中,总成功数充分;在同方差正态位置模型中,总和充分。这两个结论分别来自各自的联合密度结构,不能只看统计量都写成“求和”就跨模型套用。
均匀上界模型尤其能说明支持的重要性。取两点样本 与 ,两组均值相同。在 时,两密度相同且为正;在 时,第一组密度为零,第二组为正。如果只有样本均值携带参数作用,同一均值对应的两密度应始终成固定比例,这里却不成立。因此均值不是该模型的充分统计量。
不能把这个例子简写为某个含 的似然比后再约分。直接比较支持事件,才能保留导致失败的那一步。
变式。 主例若改为三次读数 ,最大值变成六,似然最大点也变为六;上界八相对上界六的似然比为 。没有参与最大值变化的样本细节只进入参数无关部分。
因子分解给出的是充分统计量的判据;它本身并不证明摘要最小或完备,也没有替读者选择无偏、最大似然或贝叶斯估计方法。完成模型压缩后,估计目标与损失函数仍需另行说明。
参考文献
- ↑ Will Fithian,Sufficiency,“Factorization theorem”,共同支配测度的陈述与离散情形的双向证明。