支持向量机(SVM)白话之个人理解(学习记录)

news2024/10/7 18:30:48

本文仅有文字理解部分,没有相应的数学公式推导过程,便于新手理解。

一、什么是支持向量机

首先我们看下面这张图,在图中圆形和三角形分别代表不同的数据类型,如何画出一条直线使两者能够显著地区分开来呢?

答案可以多种多样,我们可以画出无数条直线将这两种数据分开。那么如何判断哪一条直线画的最好呢?这就牵扯到我们划该直线的目的。当另外又来了一个数据时,我们可以根据划分的直线来判断这个数据属于哪一种类型?对的,这个数据的类型我们可以估计为和它所在的那一侧的数据类型一样的数据类型。所以,我们可以看到上侧所画的红线就相对不是很好,因为当来了一个新数据接近与该直线时,我们有很大的几率将这个数据判断错误。

于是,我们进一步拓展:此时数据是在一个平面内,那如果是在三维、四维以及高维空间内呢?在二维空间内,我们可以找到一个平面来区分这些三维数据,这个平面就称为超平面。于是乎,我们提出:针对多个n维的数据类型,我们可以相应地找到一个n-1维的超平面来区分这两类n维数据类型。

我们重新回到二维平面上来,我们将所画的直线称之为决策边界(也叫超平面)。那么怎样的决策边界才是好的决策边界呢?根据上边的分析,我们初步认识到,当决策边界与两侧的数据都保持一定的距离时,这个距离在分析决策时起到了一个缓冲的作用,从而使出错的概率大大降低。那么这个缓冲区我们称之为间隔。而寻找最佳决策边界线其实就是找到间隔最大的那条直线。

由上图知,蓝线是最佳决策边界(决策超平面),其到两侧黑线的距离相等,而两侧黑线与两类数据相距最近的点相切。我们把黑线称为正超平面和负超平面(上侧是正超平面,下侧是负超平面)。而两侧黑线相切的点决定了间隔的大小,我们称相切的点为支持向量点,这也是支持向量机的由来。

二、进一步研究

探究一

如果两类数据类型中有一类数据有离群点(比如下图中的红点),我们按照之前的思路就会得到下图。

在上图中,虚线表示加入离群点后的超平面及其两侧正负超平面。而实线则是没加入红点之前的超平面和两侧正负超平面。那么我们是否要按照原来的思路选择虚线作为最终结果呢?我们可以看到,如果选择虚线,那么间隔距离就会大大减少,出错的概率就会增大。为此在上图中我们不妨舍弃这个异常离群点,仍旧选择实线作为输出结果。在上图中,我们把原来的间隔称为软间隔,把加入红点后的间隔称为硬间隔,而因为加入而失去的距离称为损失因子

当然,在实际问题中,离群点可能会很多并且很复杂,那么我们就需要用相应的数学方法去考量要不要舍弃某些离群点,在牺牲间隔距离和减少出错率之间达到最佳的平衡。

探究二

如果出现两类数据类型如下图所示,我们该如何分类画线呢?(两类数据分别用红点和蓝点表示)

为解决此类问题人们想出了升维转换这个方法,即下图。

即增加一个维度,使二维点成为三维点,然后找到一个超平面将其分为两类。所以对于在低维下无法轻易地分类的数据,可以采用这种方法来解决他们。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1578902.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

PDF锐化

PDF Shaper Ultimate(pdf转图片) 编辑->添加文件->选中一个要处理的pdf 操作->转换->PDF转为图片 ComicEnhancerPro设置(把图片锐化) PDF Shaper Ultimate(图片转pdf) 编辑-添加图片->选中所有锐化处理后的图片 转换->图片转为pdf(会把所有图…

通用CI/CD软件平台TeamCity 2024.03发布——支持HashiCorp Vault插件

TeamCity是一个通用的 CI/CD 软件平台,可以实现灵活的工作流、协作和开发做法。我们的解决方案将帮助在您的 DevOps 流程中成功实现持续集成、持续交付和持续部署。 获取TeamCity 2024.03正式版试用(Q技术交流:909157416) 具体更新详情如下…

服务注册自治,降低 ASP.NET Core Web API 依赖注入的耦合度和复杂度

前言 在软件的实际开发中,一个软件通常由多个项目组成,这些项目都会直接或者间接被主 ASP.NET Core 项目引用。 这些项目中通常都会用到若干个被注入的服务,因此我们需要在主 ASP.NET Core 项目的 Program.cs 中注册这些服务。这样不仅会增…

ATAM方法架构评估实践

用ATAM方法评估软件体系结构,其工作分为4个基本阶段,即演示、调查和分析、测试和报告ATAM(如图1所示)。接下来分别就每个阶段的实践进行详细介绍。 图1 ATAM方法的评估实践阶段划分 1.阶段1——演示(Presentation&…

esp32上PWM呼吸灯

1、什么是pwm PWM(Pulse Width Modulation)简称脉宽调制,是利用微处理器的数字输出来对模拟电路进行控制的一种非常有效的技术,广泛应用在测量、通信、工控等方面。 1.1频率 单位时间内PWM方波重复的次数 1.2占空比 一个周期内…

【Unity渲染】渲染管线原理

整理自B站UPKerry佬的视频【【教程】技术美术入门:渲染管线概述】 https://www.bilibili.com/video/BV1Q54y1G7v3/?share_sourcecopy_web&vd_source7e6249c05fba6efe32e8867373f75917 应用阶段 、几何阶段顶点处理、光栅化、片元处理、输出合并 应用阶段是CUP…

STM32_IIC_AT24C02_3_读写操作

从图中可以看到,如果进行一个写的操作,也是要先发送一个启动操作,然后发送设备地址,接着发送字节地址,最后发送数据,然后停止。Tips:先发送高位,再发送低位 设备地址(Device Address…

Transformer模型-encoder编码器,padding填充,source mask填充掩码的简明介绍

今天介绍transformer模型的encoder编码器,padding填充,source mask填充掩码 背景 encoder编码器层是对之前文章中提到的子层的封装。它接收位置嵌入的序列,并将其通过多头注意力机制和位置感知前馈网络。在每个子层之后,它执行残差…

探索 Java 网络爬虫:Jsoup、HtmlUnit 与 WebMagic 的比较分析

1、引言 在当今信息爆炸的时代,网络数据的获取和处理变得至关重要。对于 Java 开发者而言,掌握高效的网页抓取技术是提升数据处理能力的关键。本文将深入探讨三款广受欢迎的 Java 网页抓取工具:Jsoup、HtmlUnit 和 WebMagic,分析…

一文读懂CSS中的阴影:box-shadow,text-shadow,drop-shadow的区别与使用方式

一、区别 box-shadow 应用于元素,为元素本身添加阴影效果。 text-shadow 应用于文本,为文本内容添加阴影效果。 drop-shadow 是filter属性的一部分,通常用于图像,为其添加阴影效果。 二、box-shadow box-shadow属性用于为元素&…

stable-diffusion-webui怎么样增加自己训练的LoRA模型?

不怕笑话,我曾经为了找这个功能,居然搞了半天时间,结果还没有搞定。 后来再不断地研究各种教程,就是没有发现这个功能,无意间发现有一个人贴了一张图片, 他只是介绍放到这个目录,他没有告诉我这个目录怎么样来的,因为我在同样的位置上没有这个目录。 这样我训练出来…

【数据结构】考研真题攻克与重点知识点剖析 - 第 5 篇:树与二叉树

前言 本文基础知识部分来自于b站:分享笔记的好人儿的思维导图与王道考研课程,感谢大佬的开源精神,习题来自老师划的重点以及考研真题。此前我尝试了完全使用Python或是结合大语言模型对考研真题进行数据清洗与可视化分析,本人技术…

网站想使用https安全协议,必须要安装ssl证书吗?

ssl证书作为保护网站数据传输安全的重要工具,被广泛应用于网站的安全加密通信中。很多人在初次接触ssl证书时,有一个常见的疑问:网站使用https协议必须要ssl证书吗? 答案是肯定的。   HTTPS是一种通过计算机网络进行安全通信的…

MongoDB基本操作之备份与恢复【验证有效】

资源获取 MongoDB Database Tools 解压zip包,将其中的工具复制到bin目录下 mongodump与mongorestore – 备份 mongodump -h localhost:27017 -u admin -p pass --authenticationDatabase admin -d runoob -o /usr/local/mongo/bak/ --forceTableScan –切换数据库…

怎么防止文件被拷贝,复制别人拷贝电脑文件

怎么防止文件被拷贝,复制别人拷贝电,脑文件 防止文件被拷贝通常是为了保护敏感数据、知识产权或商业秘密不被未经授权的人员获取或传播。以下列出了一系列技术手段和策略,可以帮助您有效地防止文件被拷贝。 1. 终端管理软件: 如安企神、域智…

内网穿透的应用-如何使用Docker本地部署Dify LLM结合内网穿透实现公网访问本地开发平台

文章目录 1. Docker部署Dify2. 本地访问Dify3. Ubuntu安装Cpolar4. 配置公网地址5. 远程访问6. 固定Cpolar公网地址7. 固定地址访问 本文主要介绍如何在Linux Ubuntu系统以Docker的方式快速部署Dify,并结合cpolar内网穿透工具实现公网远程访问本地Dify! Dify 是一款…

(表征学习论文阅读)A Simple Framework for Contrastive Learning of Visual Representations

Chen T, Kornblith S, Norouzi M, et al. A simple framework for contrastive learning of visual representations[C]//International conference on machine learning. PMLR, 2020: 1597-1607. 1. 前言 本文作者为了了解对比学习是如何学习到有效的表征,对本文所…

Vscode 中调试Django程序

调试介绍: ​​​​​​​Explore the debugger Debug/调试 可以让我们在特定的代码行上暂停程序的运行。当程序暂停时,我们可以查看变量的数值,在“Debug控制台”中运行代码,或利用“Debug”工具提供的其他功能。启动Debugger/调试器会自动…

MAC苹果电脑如何使用Homebrew安装iperf3

一、打开mac终端 找到这个终端打开 二、终端输入安装Homebrew命令 Homebrew官网地址:https://brew.sh/ 复制这个命令粘贴到mac的终端窗口,然后按回车键 /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/in…

rsync实时同步(上行同步)

目录 一、实现实时同步 1. 定期同步的不足 2. 实时同步的优点 3. Linux内核的inotify机制 4. 发起端配置rsyncinotify 4.1 修改rsync源服务器配置文件 4.2 调整inotify内核参数 4.3 安装inotify-tools 4.4 在另一个终端编写触发式同步脚本 4.5 验证 二、使用rsync实现…