检验功效

检验功效是在某个指定的备择参数值为真时，检验正确拒绝 $H_{0}$ 的概率。若该值下第二类错误概率是 $β$ ，功效就是 $1 - β$ 。它不是检验发现“任何偏差”的统一概率，必须说明偏差究竟有多大。

同一规则在两种世界下的表现

沿用十次抛掷硬币、正面至少九次才拒绝 $H_{0} : p = 1 / 2$ 的规则。公平时误拒概率约0.0107。若硬币实际正面概率是0.8，正确拒绝的概率为 $P_{p = 0.8} (X \geq 9) = (\binom{10}{9}) (0.8)^{9} (0.2) + (0.8)^{10} \approx 0.3758.$ 因此在 $p = 0.8$ 这个备择值下，约62.42%的重复实验仍不会拒绝公平假设。单次“未显著”不能据此证明硬币公平；这套十次试验对该偏差的检出能力本来就有限。

若真实 $p$ 更接近0.5，检验结果会更像原假设下的结果，功效通常更低；若 $p$ 远离0.5，功效上升。对于固定门槛，功效曲线是 $π (p) = P_{p} (X \geq 9) = 10 p^{9} (1 - p) + p^{10}$ 。把 $p = 0.5$ 代入，得到的正是第一类错误概率 $α$ ，显示功效函数覆盖了各种真实参数值。

如何设计更有力的检验

增加样本量通常能在保持既定 $α$ 的同时提高对目标偏差的功效；减小测量噪声也有帮助。设计前应确定有实际意义的最小效应，再计算检测这一效应所需样本量。只在观察完数据后为结果补算“观察到的功效”，不能代替事前设计，也不会为未拒绝的结果增加新证据。

参考资料

宾夕法尼亚州立大学 STAT ONLINE：Power Analysis：功效、样本量与错误率。
OpenStax《Introductory Statistics 2e》第9章复习： $α$ 、 $β$ 与功效。