跳到正文
格致开物MATHWIKI

折棍过程

折棍过程(stick-breaking process)是一类逐次分配概率质量的构造。先把总长度设为一,每次从剩余长度中折下一定比例;折下的是本次权重,未折完的是之后所有权重的总质量。它能构造可数个非负且总和为一的随机权重,常用于贝叶斯非参数模型。

比例与权重的区别

给定 Vk∈[0,1],定义 π1=V1,πk=Vk∏j<k(1−Vj),RK=∏j=1K(1−Vj). Vk 是占“当前剩余部分”的比例,πk 是占原始总长度的比例。取教学数值 V1=1/2,V2=1/2,V3=1/4,则 π1=1/2,π2=1/4,π3=1/16,R3=3/16. 第二次折下一半,不等于再次分走原始长度的一半。

三步折棍,依次保留权重1/2、1/4、1/16,余量3/16
三条横带始终以原始总长度为基准。每一步只切割尚未分配的部分,已有权重保持不变。

对任意 K,有 ∑k=1Kπk=1−RK。证明用递推:Rk−1−Rk=Rk−1Vk=πk,从一加到 K 后中间余量抵消。于是所有权重非负,部分和不超过一;是否最终等于一,还需要证明余量趋零。

贝塔比例与总质量证明

在常见的 GEM 构造中,取 α>0,令 Vk 独立同分布于 Beta⁡(1,α)。贝塔均值给出 𝔼[1−Vk]=α/(α+1)。利用独立性, 𝔼[RK]=(αα+1)K. 又 RK 单调下降且非负,所以极限 R∞ 存在。对任意 ε>0,马尔可夫不等式给出 Pr⁡(R∞>ε)≤Pr⁡(RK>ε)≤𝔼[RK]ε⟶0. 故 R∞=0 几乎处处,即 ∑k=1∞πk=1 几乎必然。这个论证补上了“不断折下去就会分完”这句直觉中缺失的条件。

若再独立抽取位置 θk∼H,则 G=∑k≥1πkδθk 是随机概率测度;Sethuraman 的表示定理说明它具有狄利克雷过程分布 DP(α,H)。权重总和的证明并不等于整个表示定理的证明,后者还需核对每个有限划分的狄利克雷分布。[1]

期望权重与有限截断

同样由独立性, 𝔼[πk]=1α+1(αα+1)k−1. 期望权重递减,不代表每次抽到的权重都递减。比如 V1=1/10,V2=9/10 时,π1=0.1,π2=0.81;折棍次序不是从大到小排序。

在 α=2 时,若希望被忽略的余量期望小于百分之一,要取 (2/3)K<0.01。K=11 时约 0.01156,K=12 时约 0.00771,所以最小整数为十二。

集中参数二时截断余量期望随K衰减,百分之一阈值在K十二首次达到
这里控制的是平均遗漏质量。单次构造的实际余量仍是随机数,应另外检查或给出概率界。

变式。 若要用同样方法保证 Pr⁡(RK>0.1)≤0.05,足够条件是 (2/3)K≤0.005,最小满足的整数为十四。这是马尔可夫不等式给出的充分条件,不声称十四是实际尾概率所需的最小截断。

有限计算中可保留余量作为单独一类,或将余量并到最后一项;直接删除会使总质量小于一,重新归一化又会改变每项原有权重。三种处理方式对应不同近似,应写清约定。

参考文献

  1. ↑ Yee Whye Teh:Dirichlet Processes: Tutorial and Practical Course,2007,“Stick-breaking Construction”部分,第49—50张编号幻灯片,给出独立贝塔权重及 Sethuraman 表示。