简介

逻辑回归算法是一种简单但功能强大的二元线性分类算法。需要注意的是，尽管"逻辑回归"名字带有“回归”二字，但逻辑回归是一个分类算法，而不是回归算法。
我认为，逻辑回归算法功能强大的原因，更在于，它不仅仅可以预测类别标签，而且还可以预测类别的概率。
比如说，使用逻辑回归预测天气，不仅仅可以预测某一天是否会下雨，还可以给出下雨的概率。类似地，也可以使用逻辑回归算法来预测症状给定的情况下患者患有某种疾病的概率，这也是逻辑回归在医学领域广受欢迎的原因。

逻辑回归与条件概率

逻辑回归是一个二元分类概率模型。下面我们主要了解一下逻辑回归背后的主要机制。
$p$:感兴趣事件发生的概率(所谓感兴趣，正是我们想要预测的事件，比如患者在出现某些症状时患病的概率。)
几率(odds):是一个事件发生可能性的度量。数学表达式为:$\frac{p}{1-p}$.
logit 函数:logit函数是几率(odds)的对数函数:
$logit(p)=\log \frac{p}{1-p}$
这里的log是自然对数。logit函数的输入即p是一个介于0-1之间的正数，输出即logit§为任意实数。
那如何将这里的输出将我们的数据相联系起来呢?
我们假设我们的输出即logit§与每一个样本的特征值$x_1{x}_2{x}_3...x_m$的加权($w^T$)和加偏置顶存在线性关系，即：
$logit(p)=w_1{x}_1+w_2{x}_2+......+w_m{x}_m+b={\sum }_{j=1}^m{w}_j{x}_j+b=w^{T}x+b$
当我们真正感兴趣的是条件概率$p$,即在给定一个样本特征的前提下求解类别标签为1的概率。
通过logit函数，我们可以将条件概率p映射为一个实数。那反过来，我们要求p的话呢？所以，我们可以根据logit函数求解出它的逆函数。
logit函数的逆函数通常称为logistic sigmoid函数。由于这个函数具有S形状，因此有时也简称为sigmoid函数：
$\sigma (z)=\frac{1}{1=e^{-z}}$
这里z是净输入，为样本的加权和加偏置顶：
$z=w^{T}x+b$

绘制sigmoid函数

import matplotlib.pyplot as plt
import numpy as np
def sigmoid(z):
    return 1.0/(1.0+np.exp(-z))
z=np.arange(-7,7,0.1)
sigma_z=sigmoid(z)
plt.plot(z,sigma_z)
plt.axvline(0.0,color='k')
plt.ylim(-0.1,1.1)
plt.xlabel('z')
plt.ylabel('$\sigma(z)$')
plt.yticks([0.0,0.5,1.0])
ax=plt.gca()
ax.yaxis.grid(True)
plt.tight_layout()
plt.show()

但输入的$z$为0时，输出p为0.5。当输入的z趋近于$+\infty$时，输出p接近于1。当输入的趋近于$-\infty$时，输出p接近于1。
而且当输入的$z＞0$，那么p>0.5,可以判别是预测事件的发生。当$z＜0$时，可以认为是预测事件的不发生。即对应的二值输出为:
$\hat{y}=\{\begin{array}{l}1如果\sigma (z)\ge 0.5\\ 0其他\end{array}$