分类算法-逻辑回归与二分类

news2025/1/13 7:48:25

1、逻辑回归的应用场景

  • 广告点击率
  • 是否为垃圾邮件
  • 是否患病
  • 金融诈骗
  • 虚假账号

看到上面的例子，我们可以发现其中的特点，那就是都属于两个类别之间的判断。逻辑回归就是解决二分类问题的利器。

2、 逻辑回归的原理

2.1 输入

在这里插入图片描述
逻辑回归的输入就是一个线性回归的结果。

2.2 激活函数

  • sigmoid函数
    在这里插入图片描述
  • 分析
    • 回归的结果输入到sigmoid函数当中
    • 输出结果：[0, 1]区间中的一个概率值，默认为0.5为阈值

逻辑回归最终的分类是通过属于某个类别的概率值来判断是否属于某个类别，并且这个类别默认标记为1(正例),另外的一个类别会标记为0(反例)。（方便损失计算）

输出结果解释(重要)：假设有两个类别A，B，并且假设我们的概率值为属于A(1)这个类别的概率值。现在有一个样本的输入到逻辑回归输出结果0.6，那么这个概率值超过0.5，意味着我们训练或者预测的结果就是A(1)类别。那么反之，如果得出结果为0.3那么，训练或者预测结果就为B(0)类别。

所以接下来我们回忆之前的线性回归预测结果我们用均方误差衡量，那如果对于逻辑回归，我们预测的结果不对该怎么去衡量这个损失呢？我们来看这样一张图
在这里插入图片描述
那么如何去衡量逻辑回归的预测结果与真实结果的差异呢？

2.3 损失以及优化

逻辑回归的损失，称之为对数似然损失，公式如下：

  • 分段函数：

在这里插入图片描述

y 代表真实值，h(x)代表预测值

怎么理解单个的式子呢？这个要根据log的函数图像来理解
在这里插入图片描述

由图像可以看出，当预测值h(x)等于1的时候，纵轴（损失值）就是0，即损失值最小，符合要求；

在这里插入图片描述

由图像可以看出，当预测值h(x)等于0的时候，纵轴（损失值）就是0，即损失值最小，符合要求；

  • 综合完整损失函数
    在这里插入图片描述
    接下来我们呢就带入上面那个例子来计算一遍，就能理解意义了。
    在这里插入图片描述

2.4 优化

同样使用梯度下降优化算法，去减少损失函数的值。这样去更新逻辑回归前面对应算法的权重参数，提升原本属于1类别的概率，降低原本是0类别的概率。

3、逻辑回归API

  • sklearn.linear_model.LogisticRegression(solver=‘liblinear’, penalty=‘l2’, C = 1.0)
    • solver:优化求解方式（默认开源的liblinear库实现，内部使用了坐标轴下降法来迭代优化损失函数）
      • sag：根据数据集自动选择，随机平均梯度下降
    • penalty：正则化的种类
    • C：正则化力度

默认将类别数量少的当做正例

LogisticRegression方法相当于 SGDClassifier(loss=“log”, penalty=" "),SGDClassifier实现了一个普通的随机梯度下降学习，也支持平均随机梯度下降法（ASGD），可以通过设置average=True。而使用LogisticRegression(实现了SAG)

4、 案例：

通过学习时间，预测考试是否通过

5、分类的评估方法

5.1 精确率与召回率

5.1.1混淆矩阵

在分类任务下，预测结果(Predicted Condition)与正确标记(True Condition)之间存在四种不同的组合，构成混淆矩阵(适用于多分类)
在这里插入图片描述

5.1.2 精确率(Precision)与召回率(Recall)
  • 精确率：预测结果为正例样本中真实为正例的比例（了解）
    在这里插入图片描述
  • 召回率：真实为正例的样本中预测结果为正例的比例（查的全，对正样本的区分能力）
    在这里插入图片描述
    那么怎么更好理解这个两个概念
    在这里插入图片描述
    还有其他的评估标准，F1-score，反映了模型的稳健型

在这里插入图片描述

5.1.3 分类评估报告API
  • sklearn.metrics.classification_report(y_true, y_pred, labels=[], target_names=None )
    • y_true：真实目标值
    • y_pred：估计器预测目标值
    • labels:指定类别对应的数字
    • target_names：目标类别名称
    • return：每个类别精确率与召回率

根据前面案例，得到结果：

print("精确率和召回率为：", classification_report(y_test, result, labels=[0, 1], target_names=['通过', '不及格']))

在这里插入图片描述

假设这样一个情况，如果99个样本癌症，1个样本非癌症，不管怎样我全都预测正例(默认癌症为正例),准确率就为99%但是这样效果并不好，这就是样本不均衡下的评估问题
问题：如何衡量样本不均衡下的评估？

5.2 ROC曲线与AUC指标

5.2.1 知道TPR与FPR
  • TPR = TP / (TP + FN)
    • 所有真实类别为1的样本中，预测类别为1的比例
  • FPR = FP / (FP + FN)
    • 所有真实类别为0的样本中，预测类别为1的比例
5.2.2 ROC曲线
  • ROC曲线的横轴就是FPRate，纵轴就是TPRate，当二者相等时，表示的意义则是：对于不论真实类别是1还是0的样本，分类器预测为1的概率是相等的，此时AUC为0.5

在这里插入图片描述

5.2.3AUC指标
  • AUC的概率意义是随机取一对正负样本，正样本得分大于负样本的概率
  • AUC的最小值为0.5，最大值为1，取值越高越好
  • AUC=1，完美分类器，采用这个预测模型时，不管设定什么阈值都能得出完美预测。绝大多数预测的场合，不存在完美分类器。
  • 0.5<AUC<1，优于随机猜测。这个分类器（模型）妥善设定阈值的话，能有预测价值。

最终AUC的范围在[0.5, 1]之间，并且越接近1越好

5.2.4 AUC计算API
  • from sklearn.metrics import roc_auc_score
    • sklearn.metrics.roc_auc_score(y_true, y_score)
      • 计算ROC曲线面积，即AUC值
      • y_true:每个样本的真实类别，必须为0(反例),1(正例)标记
      • y_score:每个样本预测的概率值
print("AUC指标：", roc_auc_score(y_test, model.predict(X_test)))

在这里插入图片描述

5.2.5、总结
  • AUC只能用来评价二分类
  • AUC非常适合评价样本不平衡中的分类器性能

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1099544.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Flutter 知识集锦 | 监听与通知 ChangeNotifier

Flutter 知识集锦 | 监听与通知 ChangeNotifier

theme: cyanosis 1. 数据的提供者与消费者 今天想要和大家好好聊聊 ChangeNotifier 这个东西&#xff0c;从名字上来看它由 change(改变) 和 Notifier(通知器) 构成。打个比方&#xff1a; 有三个铁粉跟我说: "你发新文章的时候跟我说一声"。 之后我发布文章后&…
阅读更多...
基于nodejs+vue网课学习平台

基于nodejs+vue网课学习平台

各功能简要描述如下: 1个人信息管理:包括对学生用户、老师和管理员的信息进行录入、修改&#xff0c;以及老师信息的审核等 2在库课程查询:用于学生用户查询相关课程的功能 3在库老师查询:用于学生用户查询相关老师教学的所有课程的功能。 4在库学校查询:用于学生用户查询相关学…
阅读更多...
怎么把flac音频变为mp3？

怎么把flac音频变为mp3？

怎么把flac音频变为mp3&#xff1f;FLAC音频格式在许多平台和应用程序中都得到支持和应用。FLAC音频格式被广泛支持和应用。许多平台、设备和应用程序都支持FLAC格式&#xff0c;如Windows、macOS和Linux操作系统、各种音乐播放器软件、智能手机和平板电脑、在线音乐平台和流媒…
阅读更多...
Kaggle - LLM Science Exam（三）：Wikipedia RAG

Kaggle - LLM Science Exam（三）：Wikipedia RAG

文章目录 一、赛事概述1.1 OpenBookQA Dataset1.2 比赛背景1.3 评估方法和代码要求1.4 比赛数据集1.5 优秀notebook 二、 [EDA, Data gathering] LLM-SE ~ Wiki STEM | 1k DS2.1 Data overview2.2 Data gathering 三、如何高效收集数据3.1 概述3.2 与训练数据关联的维基百科类别…
阅读更多...
Q-learning如何与ABC等一些元启发式算法能够结合在一起？

Q-learning如何与ABC等一些元启发式算法能够结合在一起？

1、出现的问题 Q-learning能和元启发式算法&#xff08;如ABC、PSO、GA、SSA等&#xff09;结合在一起&#xff0c;实现工作流调度问题&#xff1f; Q-learning和ABC (Artificial Bee Colony) 等元启发式算法可以结合在一起以解决特定类型的问题。Q-learning是一种强化学习算法…
阅读更多...
http代理有什么好处，怎么通过http代理服务安全上网呢？

http代理有什么好处，怎么通过http代理服务安全上网呢？

通过http代理上网是一种常见的网络代理方式。http代理是指通过代理服务器进行网络连接&#xff0c;以实现隐藏自己的真实IP地址、保护个人隐私等目的。下面我们将介绍通过http代理上网的好处以及如何使用http代理服务来安全上网。 一、通过http代理上网的好处 1. 保护个人隐私 …
阅读更多...
LabVIEW建立生产者消费者

LabVIEW建立生产者消费者

LabVIEW建立生产者消费者 生产者/消费者设计模式由并行循环组成&#xff0c;这些循环分为两类&#xff1a;生产者循环和消费者循环。生产者循环和消费者循环间的通信可以使用队列或通道连线来实现。 队列 LabVIEW内置的队列操作VI可在函数选板>>数据通信>>队列操…
阅读更多...
Stable Diffusion绘画

Stable Diffusion绘画

正向提示词&#xff1a; 1girl, brown hair, multicolored hair, green eyes, maid, maid headdress, maid apron, cherry blossoms, sunbeam, wallpaper, 一个女孩&#xff0c;棕色头发&#xff0c;五彩头发&#xff0c;绿色眼睛&#xff0c;女仆&#xff0c;女仆头饰&#xf…
阅读更多...
一个字符串模式匹配开源库

一个字符串模式匹配开源库

1 简介 theFuzz 是一个用于模糊字符串匹配和相似度计算的强大工具。它可以帮助我们在处理文本数据时进行模糊匹配和字符串比较&#xff0c;例如拼写纠正、字符串相似度计算和模糊搜索等。 2 基本原理 theFuzz 库的基本原理是使用不同的算法来计算字符串之间的相似度。其中最常用…
阅读更多...
医疗机器人技术研究现状

医疗机器人技术研究现状

医疗机器人技术是近年来快速发展的领域&#xff0c;它在医疗领域的应用已经取得了显著的成果。本文对医疗机器人技术的研究现状进行了综述&#xff0c;包括机器人手术、康复机器人、辅助诊断和治疗机器人等方面的研究进展。同时&#xff0c;本文还对医疗机器人技术的挑战和未来…
阅读更多...
【python高级】设计模式、类工厂、对象工厂

【python高级】设计模式、类工厂、对象工厂

一、说明 最近试着读Design pattern&#xff0c; 不过有些概念实在太抽象了&#xff0c; 整理一下自己所学抽象工厂的精神&#xff0c;就是要有abstract class&#xff08;not implement&#xff09;&#xff0c;而所有不同种类的对象&#xff0c;都是继承这个abstract class&a…
阅读更多...
Ubuntu 环境配置 Minecraft 基岩版服务器

Ubuntu 环境配置 Minecraft 基岩版服务器

文章目录 Part 1 搭建服务器Part 2 配置服务器Part 3 管理服务器一、手动备份服务器二、手动恢复服务器备份三、升级服务器 Part 1 搭建服务器 更新软件包信息 sudo apt-get update sudo apt-get upgrade安装所需工具 sudo apt-get vim sudo apt-get install zip sudo apt-g…
阅读更多...
数字孪生在制造运行管理（MOM）的七大应用场景

数字孪生在制造运行管理（MOM）的七大应用场景

数字经济时代&#xff0c;数字孪生作为实现各行各业智能化、数字化的重要手段之一&#xff0c;受到了各方的广泛重视。随着各项关键使能技术的不断发展&#xff0c;数字孪生的应用价值有望得到进一步释放。这些关键使能技术包括建模、渲染、仿真、物联网、虚拟调试、可视化等&a…
阅读更多...
《机器人学导论》——探究未来世界的奇妙之旅

《机器人学导论》——探究未来世界的奇妙之旅

你是否感到生活变得越来越便利、智能&#xff1f;是的&#xff0c;这些都与机器人技术的发展密不可分。而想要更深入地了解机器人技术&#xff0c;一本好的书籍是必不可少的。那么&#xff0c;今天作者要向大家推荐的就是这样一本优秀的机器人学大作——《机器人学导论》。 《…
阅读更多...
Flutter笔记：发布一个多功能轮播组件 awesome_carousel

Flutter笔记：发布一个多功能轮播组件 awesome_carousel

Flutter笔记 电商中文货币显示插件 Money Display 作者&#xff1a;李俊才 &#xff08;jcLee95&#xff09;&#xff1a;https://blog.csdn.net/qq_28550263 邮箱 &#xff1a;291148484163.com 本文地址&#xff1a;https://blog.csdn.net/qq_28550263/article/details/1338…
阅读更多...
使用轮廓分数提升时间序列聚类的表现

使用轮廓分数提升时间序列聚类的表现

我们将使用轮廓分数和一些距离指标来执行时间序列聚类实验&#xff0c;并且进行可视化 让我们看看下面的时间序列: 如果沿着y轴移动序列添加随机噪声&#xff0c;并随机化这些序列&#xff0c;那么它们几乎无法分辨&#xff0c;如下图所示-现在很难将时间序列列分组为簇: 上面…
阅读更多...
SSM - Springboot - MyBatis-Plus 全栈体系（三十）

SSM - Springboot - MyBatis-Plus 全栈体系（三十）

第七章 MyBatis-Plus MyBatis-Plus 高级用法&#xff1a;最优化持久层开发 一、MyBatis-Plus 快速入门 1. 简介 版本&#xff1a;3.5.3.1MyBatis-Plus (opens new window)&#xff08;简称 MP&#xff09;是一个 MyBatis (opens new window) 的增强工具&#xff0c;在 MyBa…
阅读更多...
vscode终端显示多个虚拟环境

vscode终端显示多个虚拟环境

问题&#xff1a;某次突然发现vscode前面出现多个虚拟环境&#xff0c;即&#xff08;.conda&#xff09;&#xff08;base&#xff09;&#xff0c;其中&#xff08;base&#xff09;是默认自动激活的&#xff0c;但是&#xff08;.conda&#xff09;不是&#xff0c;而且我退…
阅读更多...
上海亚商投顾：沪指震荡调整跌 减肥药、华为概念股持续活跃

上海亚商投顾：沪指震荡调整跌 减肥药、华为概念股持续活跃

上海亚商投顾前言&#xff1a;无惧大盘涨跌&#xff0c;解密龙虎榜资金&#xff0c;跟踪一线游资和机构资金动向&#xff0c;识别短期热点和强势个股。 市场情绪 沪指上个交易日低开后震荡调整&#xff0c;深成指、创业板指盘中跌超1%&#xff0c;宁德时代一度跌超3%&#xff…
阅读更多...
新增Node.js运行环境、新增系统缓存清理功能，1Panel开源面板v1.7.0发布

新增Node.js运行环境、新增系统缓存清理功能，1Panel开源面板v1.7.0发布

2023年10月16日&#xff0c;现代化、开源的Linux服务器运维管理面板1Panel正式发布v1.7.0版本。 在这个版本中&#xff0c;1Panel新增Node.js运行环境&#xff1b;新增系统缓存清理功能&#xff1b;应用安装时支持选择远程数据库。此外&#xff0c;我们进行了40多项功能更新和…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023