查看“︁Logistic回归”︁的源代码

'''Logistic 回归'''（logistic regression）用于给出二分类结果在已知特征条件下的概率。虽然名为“回归”，它的输出是介于 0 与 1 之间的条件概率；是否据此判为某一类，还需要另选阈值和损失规则。它与描述种群随时间增长的[[洛吉斯蒂模型]]都使用 S 形函数，但输入、参数解释和数据问题不同。

== 把线性分数压到零和一之间 ==
设要根据一个测量值 <math>x</math> 预测事件 <math>Y=1</math>。普通线性式 <math>\beta_0+\beta_1x</math> 可以小于 0 或大于 1，不能直接当概率。Logistic 回归先把线性式当'''对数胜算'''：
<math display="block">\ln\frac{p(x)}{1-p(x)}=\beta_0+\beta_1x,\qquad p(x)=P(Y=1\mid X=x).</math>
令右边为 <math>z</math>。两边取指数得 <math>p/(1-p)=e^z</math>；整理 <math>p=e^z(1-p)</math>，所以 <math>p(1+e^z)=e^z</math>，终于得到
<math display="block">p(x)=\frac{1}{1+e^{-(\beta_0+\beta_1x)}}.</math>
无论有限的 <math>x,\beta_0,\beta_1</math> 怎样取值，<math>0<p(x)<1</math>。此处 <math>Y</math> 是二元结果，<math>X</math> 是观察到的特征；公式刻画条件概率，并不声称改变 <math>X</math> 必会改变事件。

== 一组可复算的概率 ==
在合成示例中取 <math>\beta_0=-3</math>、<math>\beta_1=0.1</math>，<math>x</math> 是某指标的数值。<math>x=20</math> 时 <math>z=-1</math>，概率约为 0.269；<math>x=30</math> 时 <math>z=0</math>，概率为 0.5；<math>x=40</math> 时 <math>z=1</math>，概率约为 0.731。图上的三个点由同一条函数算出，不是观察到的真实频率。

[[File:Gezhi-econ-logistic-probability.svg|frame|center|alt=Logistic回归概率S曲线通过指标二十时约零点二六九、三十时零点五、四十时约零点七三一三个点，横向虚线标零点五|三十是本例概率等于零点五的位置；类别阈值由决策问题另定。]]

<math>\beta_1=0.1</math> 表示 <math>x</math> 每增加 1，'''对数胜算'''增加 0.1，胜算 <math>p/(1-p)</math> 乘 <math>e^{0.1}</math>；每增加 10，胜算乘 <math>e\approx2.718</math>。这不是概率增加 0.1，也不是概率总要乘同一个数。概率在 0.5 附近变化较快，靠近两端时较慢。

== 由伯努利似然估计参数 ==
给定独立观测对 <math>(x_i,y_i)</math>，其中 <math>y_i\in\{0,1\}</math>，并暂假定条件于各 <math>x_i</math> 的结果符合伯努利分布。记模型概率为 <math>p_i</math>。一次观测的概率质量可同时写成 <math>p_i^{y_i}(1-p_i)^{1-y_i}</math>；独立观测相乘，取对数把乘积变成和：
<math display="block">\ell(\beta_0,\beta_1)=\sum_i\bigl[y_i\ln p_i+(1-y_i)\ln(1-p_i)\bigr].</math>
使 <math>\ell</math> 最大的参数称为极大似然估计。单个 <math>y_i</math> 为 1 时，该项是 <math>\ln p_i</math>，所以模型会被推向给该事件较大概率；<math>y_i=0</math> 时相反。要估多个特征，把 <math>\beta_1x</math> 改成 <math>\sum_{j=1}^d\beta_jx_j</math> 即可；若特征之间强相关或类别完全分离，估计与解释还需要额外处理。

== 从概率到判断 ==
选择 0.5 作分类阈值，本例 <math>x\ge30</math> 被判为 1；若漏报与误报的代价不同，阈值可另定。一个模型即便能正确排序，也可能给出不可靠的概率，因此要在独立数据上检查校准：被预测为约 0.7 的一组样本，事件实际发生比例是否接近 0.7。不同人群、时段的基础发生率变化时，应重新核查；回归系数自身不构成因果证明。

== 参考与延伸 ==
* [https://scikit-learn.org/stable/modules/linear_model.html#logistic-regression scikit-learn，Logistic regression]；[https://www.statsmodels.org/stable/generated/statsmodels.discrete.discrete_model.Logit.html statsmodels，Logit 模型]。
* [[条件概率]]；[[统计推断]]；[[洛吉斯蒂模型]]；[[线性模型]]。

[[分类:概率与统计]]
[[分类:应用与建模]]