核密度估计图
核密度估计图(kernel density estimate plot)把一批连续数值附近的“集中程度”画成一条平滑曲线。曲线的纵坐标是密度,不是一个观测值恰好等于该横坐标的概率;某个区间下方的面积才与该区间所占比例对应。它与直方图都用于观察数值分布,但平滑曲线需要另选一个带宽,因此不是原始数据的唯一画法。
五次等候得到一条曲线
设五次等候分别为 分钟。这是一组合成教学数据。在横轴标出五个数时,三分钟处有两个观察值,图下方的两道短刻痕也保留了这个重复。用高斯核作为每个观测附近的平滑小峰,带宽为 时,估计密度定义为
是第 次等候的分钟数, 的单位也是分钟。因而 的单位是“每分钟”;改变时间单位时,曲线的纵坐标数值也相应改变。式中的 让五次记录的总权重为一, 则使小峰加宽时不凭空增加面积。
取 分钟,在三分钟处,五个观测的贡献可逐项写出:来自两个三分钟值的是 ,来自两分钟和四分钟的是 ,来自六分钟的是 。所以 这个数是曲线在三分钟处的高度;不能说“恰好等三分钟的概率为 25.73%”。数据里三分钟确实出现两次,但经验比例 与平滑密度的高度不是同一种量。
面积为一,峰高却没有统一答案
高斯核自身的面积为一。对于上式中的任何一个 ,令 ,就有 。因此 这也解释了图中 的峰虽然比 的峰高,总面积仍相同。小带宽保留更多局部起伏,也可能把抽样偶然性画成多个峰;大带宽能压低这种起伏,却可能抹去真实的多峰结构。单靠一条平滑曲线,不能判定总体真的有几个峰。
与直方图放在同一坐标上
要把核密度曲线叠在直方图上,直方图的纵轴也须先用密度尺度。若第 组含 个值,组宽为 ,总观测数为 ,该矩形的高度应取 ,其面积为 。把一条面积为一的密度曲线直接叠在“人数”为纵轴的直方图上,曲线与矩形便不在同一尺度上。
曲线在样本最小值之外也可能略高于零,因为高斯核的尾部延伸到整个实数轴。等候时间不可能为负,若数据集中在零附近,这种边界外的曲线尤其值得检查,可考虑边界修正、变量变换或直接展示原始点。此图只有五次记录,适合讲解计算,不足以据此断言实际等候时间的总体分布。
将本例的带宽从 改为 或 时,可以在图中找同一横坐标下的三种高度。若研究目的是比较两组等候,先核对两组的样本量、带宽与坐标尺度,再考虑用分面图或原始点辅助阅读。
参考资料
- ggplot2:核密度图官方说明,带宽、核函数与分组估计的绘图参数。
- NIST/SEMATECH:图形输出与解释,直方图的分箱选择和非参数密度估计的互补作用。
- 相关:直方图、概率分布、统计图形语法。