最大似然估计

最大似然估计（MLE）把已观察的数据暂时固定，选择使这些数据在模型下最容易出现的参数。它是一种从模型到估计量的构造方法；若模型本身不适合数据，算出的“最大”也不会自动可靠。

十次实验的参数估计

设十次试验独立，每次成功概率相同且未知，为 $p \in [0, 1]$ 。观察到七次成功、三次失败。若只记录成功总数，二项分布给数据的概率 $(\binom{10}{7}) p^{7} (1 - p)^{3}$ ；组合系数不随 $p$ 改变，因此只需最大化 $L (p) = p^{7} (1 - p)^{3} .$ 在 $0 < p < 1$ 内取对数： $ℓ (p) = 7 \log p + 3 \log (1 - p)$ 。求导得 $ℓ^{'} (p) = 7 / p - 3 / (1 - p)$ ，令其为零，化简为 $7 (1 - p) = 3 p$ ，故 $\hat{p} = 0.7$ 。二阶导数 $- 7 / p^{2} - 3 / (1 - p)^{2} < 0$ ，驻点是严格最大；两端的似然均为零，故它也是全区间最大值。

似然不是参数的概率

$L (p)$ 是“假定参数等于 $p$ ，这些数据的概率或密度是多少”构成的函数；它不是“观察数据以后 $p$ 取某值的概率”。后者需要先验分布和贝叶斯定理。在连续参数情形，点概率本来通常为零，更不能直接把似然曲线当概率密度。

若十次全成功， $L (p) = p^{10}$ 在边界 $p = 1$ 最大；只解内部导数方程会漏掉这个结果。较复杂模型也可能有多个局部最大或参数不可辨识。最大似然估计的偏差与不确定度要另行研究，不能仅因似然最大就宣称“真值是0.7”。

参考资料

宾夕法尼亚州立大学 STAT 504：§1.5 Maximum Likelihood Estimation：似然函数与二项参数估计。
宾夕法尼亚州立大学 STAT 414：The Binomial Distribution：二项模型的概率计算。