1,逻辑回归介绍
逻辑回归:分类模型
应用场景:广告点击率、是否垃圾邮件
逻辑回归主要用于解决二分类问题
输入:
逻辑回归的输入:线性回归的结果
激活函数:sigmoid函数
回归的结果输入到sigmoid函数中
输出结果:[0,1]区间中的一个概率值,默认为0.5为阈值
输出结果解释:假设AB两类,A是正类,则输出结果是属于A类的概率值,如果大于0.5,则说明属于A类,否则属于B类。也可以自己设定阈值(不是0.5,选0.6,0.4都可)
衡量预测概率----对数似然损失
损失函数
分开写:
完整写:
优化:使用梯度下降法进行优化
2,逻辑回归api介绍
sklearn.linear_model.LogisticRegression(solve=‘liblinear’,penalty=‘l2’,C=1.0)
solve可选(‘liblinear’,‘sag’,‘saga’,‘newton-cg’,‘lbfgs’)
小数据集—‘liblinear’;小数据集—‘sag’,‘saga’
penalty ----正则化的种类
C---- 正则化力度
3,案例:癌症分类预测-良/恶性乳腺癌肿瘤预测
p0742