Fisher信息

Fisher 信息度量概率分布对参数变化有多敏感。设观测密度或质量函数为 $f(x;\theta )$，对参数求导得到得分 $U_{\theta }(x)={\partial }_{\theta }\log f(x;\theta )$。在可交换求导与积分、支持集不随参数改变等正则条件下，$E_{\theta }{U}_{\theta }=0$，单次观测的信息定义为 $$I(\theta )=E_{\theta }[U_{\theta }(X{)}^2]={\mathrm{Var}}_{\theta }(U_{\theta }(X)).$$ 它的单位是参数单位的倒数平方；不同参数化下数值会改变，不能把两个不同定义参数的信息数直接比较。

从硬币数据计算信息量

抛硬币 $n$ 次，正面概率 $0<p<1$，记录正面数 $S$。忽略与 $p$ 无关的组合系数，似然的对数为 $\ell (p)=S\log p+(n-S)\log (1-p)$。求导得 $U_p=S/p-(n-S)/(1-p)=(S-np)/[p(1-p)]$。因 $\mathrm{Var}(S)=np(1-p)$，所以 $$I_n(p)=E(U_p^2)=\frac{n}{p(1-p)}.$$ 取 $p=1/2,n=100$，信息为 400；样本比例 $\hat{p}=S/n$ 的方差是 $p(1-p)/n=0.0025$，标准差 $0.05$。这不是“100 次足够准确”的绝对标准，只是该模型、该参数点下重复实验的波动。

方差下界如何出现

若估计量 $T$ 在参数附近无偏于 $g(\theta )$，正则条件下对 $E_{\theta }T=g(\theta )$ 求导，得 $g^{\prime }(\theta )=E_{\theta }[T{U}_{\theta }]=\mathrm{Cov}(T,U_{\theta })$。由柯西不等式，$g^{\prime }(\theta {)}^2\le \mathrm{Var}(T)I(\theta )$，故 $$\mathrm{Var}(T)\ge \frac{g^{\prime }(\theta {)}^2}{I(\theta )}.$$ 估计 $p$ 时 $g^{\prime }(p)=1$；上例 $\hat{p}$ 的方差刚好等于下界 $1/I_n(p)$。边界 $p=0,1$ 不满足上面的内点求导条件，不能直接把公式中发散的信息解释为“完全无误差”。模型错设、观测相关或有系统偏差时，这个下界也不能作为实际风险保证。

参考资料与相关词条

• MIT 9.07：似然与 Fisher 信息课程笔记。
• 相关：最大似然估计、点估计、方差与标准差、实验设计与重复测量。