信息熵与信息增益

信息熵（Shannon entropy）用平均需要多少二进制信息来表示随机结果的不确定性；信息增益比较知道一个观测前后，目标结果的不确定性减少了多少。它适合决定下一次检测或分类分裂先看哪一项，但“训练表上分得开”不等于未来也能分得开。

八件样品的一次分组

设八件样品中四件合格、四件不合格，未知样品的类别 $Y$ 在这张经验表上各占一半。以 2 为对数底，二元熵是 $$H(Y)=-p{\log }_{2}p-(1-p){\log }_2(1-p),$$ 约定 $0{\log }_{2}0=0$。这里 $p=1/2$，所以 $H(Y)=1$ bit；已知类别确定时，熵为零。熵描述概率分布，不是某个样品本身拥有“1 bit 的品质”。

现在考虑一次检测 $X$，它把样品分成两组，每组四件：第一组三合格一不合格，第二组一合格三不合格。检测前的熵是 1；知道组别后，两组的类别熵都等于 $$h(3/4)=-\frac{3}{4}{\log }_2\frac{3}{4}-\frac{1}{4}{\log }_2\frac{1}{4}\approx \mathrm{0.8113.}$$ 每组概率为 $1/2$，故平均剩余不确定性 $H(Y\mid X)=\frac{1}{2}h(3/4)+\frac{1}{2}h(1/4)=0.8113$ bit，信息增益为 $1-0.8113\approx 0.1887$ bit。图中左边的总体四比四，右边的两组各变成三比一；读者可逐项核对图里的计数和这个加权平均。

信息增益来自观察后类别比例偏离二分之一，而不是来自检测名字本身。

条件熵与信息增益的推导

先设 $X,Y$ 都只取有限多个值。定义 $H(Y)=-\sum _{y}p(y){\log }_{2}p(y)$。知道观测 $X=x$ 后，把 $p(y)$ 换为 $p(y\mid x)$，再对 $p(x)>0$ 的组，按 $x$ 的出现概率取平均；零概率组不影响结果： $$\begin{array}{cc}H(Y\mid X)& =\sum _{x:p(x)>0}p(x)H(Y\mid X=x),\\ I(Y;X)& =H(Y)-H(Y\mid X).\end{array}$$ 这也叫互信息。展开对数可写成联合分布与边缘乘积分布之间的 KL 散度： $$\begin{array}{cc}& I(Y;X)\\ & =\sum _{x,y:p(x,y)>0}p(x,y){\log }_2\frac{p(x,y)}{p(x)p(y)}.\end{array}$$ 它不为负。令 $S=\{(x,y):p(x,y)>0\}$、$q(x,y)=p(x)p(y)$；在 $S$ 上，两个边缘概率都为正，故比值有定义。由 $\ln u\le u-1$ 逐格相乘再相加，得 $$\begin{array}{cc}I(Y;X)& =-\frac{1}{\ln 2}\sum _{S}p\ln \frac{q}{p}\\ & \ge \frac{1}{\ln 2}\sum _S(p-q)\\ & =\frac{1-\sum _{S}q}{\ln 2}\ge 0.\end{array}$$ 这里 $\sum _{S}p=1$，而 $\sum _{S}q\le 1$；联合概率为零的格子仍可能具有正的 $q$，所以不能直接把后一个和也写成一。等号成立当且仅当两张完整概率表相同，即 $p(x,y)=p(x)p(y)$，也就是 $X,Y$ 独立：若独立，各项对数为零；反过来，等号要求 $S$ 上逐格 $p=q$，且 $S$ 外的 $q$ 也为零。

可数无限取值时，可以仍用联合分布与边缘乘积分布的 KL 散度定义互信息，允许值为正无穷；熵差只在它有定义时使用。$H(Y)<\mathrm{\infty }$ 是可以写 $I(Y;X)=H(Y)-H(Y\mid X)$ 的充分条件；两项都为无穷时，不能作无穷减无穷。相关定义和非负性见所引 MIT 讲义§2.1、§2.3。

若另一项检测把八件样品完美分成“四件全合格”和“四件全不合格”，它在这八件数据上的增益为 1 bit。但若这项“检测”只是读取每件样品的唯一编号，训练样本也可以得到完美分裂，面对新编号却毫无预测力。因此选特征或建决策树时，要在独立样本上核对增益带来的预测改善；检测成本、等待时间和错误风险也不能只用 bit 数替代。

搜索与实验中的用法

在搜索目标时，把 $Y$ 改成目标位置、$X$ 改成下一次可能得到的探测结果，可比较各探测行动的预期信息增益。这要求事先有可信的目标位置先验和探测器的条件误报、漏报概率；同一个地点反复看见的相关读数不能当作独立证据不断增加增益。得到真实探测结果后，再按贝叶斯定理更新分布，然后选择下一步。

参考资料与相关词条

• Yury Polyanskiy、Yihong Wu，MIT 6.441，第2章§2.1和§2.3：KL散度的非负性、互信息定义及独立性。
• scikit-learn 用户指南：决策树的熵准则与信息增益。
• C. E. Shannon《A Mathematical Theory of Communication》，信息熵的原始论文。
• 相关：条件概率、贝叶斯定理、算法与复杂度、交叉验证与数据泄漏。