负二项分布与过度离散计数
负二项分布有“等到固定次数成功所需失败数”和“均值可变的事件计数”两种常见表述。建模竞赛中的奖牌数、事故数或到访数通常使用后一种:同类单位的事件发生强度有未观测差异,计数的条件方差因此可能大于条件均值,称为过度离散。这不是见到几个大数就自动给数据贴上的标签。
从泊松计数看异常波动
设八个可比区域的月事件数是 ,总数 16,样本均值 。按分母 7 计算的样本方差是 方差明显大于均值,提示同一均值的泊松模型可能低估尾部波动,但八个区域远不足以单凭 判定生成机制。若有些区域人口是别人的十倍,先要使用暴露人口或观察时长;若存在季节、重复计数或区域之间的相互影响,也应优先把这些结构写进模型,而非先改分布名字。
泊松—伽马混合的推导
令某区域真实事件强度为 ,在给定强度时 。假设不同区域的 服从伽马分布,均值 ,方差 ,其中 描述额外异质性。由全期望公式,;由全方差公式, 第一项是固定强度下泊松计数本身的波动,第二项是区域强度不同造成的额外波动。这种伽马—泊松混合的边际分布就是常用的负二项计数模型;当 趋近 0、区域强度趋于固定时,分布趋向泊松。
取 ,则计数 的概率可写为 这个参数化的均值为 ,方差 。它与“等到第 次成功之前失败了多少次”的传统表述相容,但这里允许非整数 ,不能把每个区域强行想成真的在重复掷硬币。
相同均值下的零与尾部
取 、(即 ),负二项概率简化为 ,于是 ;同均值的泊松分布有 。图中两者均值一样,负二项在零附近与较大计数端有更多概率质量,中间若干计数相应更少。不能仅靠这张理论图断言具体数据必然服从哪一个分布。
回归中的检查
在回归里可令 ,其中 是每个单位的暴露时间或人口尺度, 是解释变量;这样比较的是同等暴露下的事件率。拟合后按暴露、地区或年份分组,比较观测和预测的均值、零比例及高分位计数,并检查是否有少数聚集事件支配了 。若大量结构性零来自“根本不可能发生事件”的一群单位,需要考虑两阶段或零膨胀机制;负二项增加方差并不会自动解释所有的零。