折棍过程
折棍过程(stick-breaking process)是一类逐次分配概率质量的构造。先把总长度设为一,每次从剩余长度中折下一定比例;折下的是本次权重,未折完的是之后所有权重的总质量。它能构造可数个非负且总和为一的随机权重,常用于贝叶斯非参数模型。
比例与权重的区别
给定 ,定义 是占“当前剩余部分”的比例, 是占原始总长度的比例。取教学数值 ,则 第二次折下一半,不等于再次分走原始长度的一半。
对任意 ,有 。证明用递推:,从一加到 后中间余量抵消。于是所有权重非负,部分和不超过一;是否最终等于一,还需要证明余量趋零。
贝塔比例与总质量证明
在常见的 GEM 构造中,取 ,令 独立同分布于 。贝塔均值给出 。利用独立性, 又 单调下降且非负,所以极限 存在。对任意 ,马尔可夫不等式给出 故 几乎处处,即 几乎必然。这个论证补上了“不断折下去就会分完”这句直觉中缺失的条件。
若再独立抽取位置 ,则 是随机概率测度;Sethuraman 的表示定理说明它具有狄利克雷过程分布 。权重总和的证明并不等于整个表示定理的证明,后者还需核对每个有限划分的狄利克雷分布。[1]
期望权重与有限截断
同样由独立性, 期望权重递减,不代表每次抽到的权重都递减。比如 时,;折棍次序不是从大到小排序。
在 时,若希望被忽略的余量期望小于百分之一,要取 。 时约 , 时约 ,所以最小整数为十二。
变式。 若要用同样方法保证 ,足够条件是 ,最小满足的整数为十四。这是马尔可夫不等式给出的充分条件,不声称十四是实际尾概率所需的最小截断。
有限计算中可保留余量作为单独一类,或将余量并到最后一项;直接删除会使总质量小于一,重新归一化又会改变每项原有权重。三种处理方式对应不同近似,应写清约定。
参考文献
- ↑ Yee Whye Teh:Dirichlet Processes: Tutorial and Practical Course,2007,“Stick-breaking Construction”部分,第49—50张编号幻灯片,给出独立贝塔权重及 Sethuraman 表示。