机器学习2_支持向量机_线性可分——MOOC

news2024/11/13 6:42:43

目录

定义

线性可分(Linear Separable)

线性不可分(Nonlinear Separable)

数学化定义

问题描述

优化问题

线性可分定义

假定训练样本集是线性可分的

1、最小化(Minimize):

2、限制条件:

已知:训练样本集 ,  ;

待求: 

事实1:

事实2:

支持向量机优化问题推导中最难理解的部分

优化问题定为:

限制条件:

总结

二次规划的定义:

凸优化问题的例子


定义

线性可分(Linear Separable)

二维 

三维

特征空间维度 \geqslant 四维 时,二维的情况下分割圆圈和叉的直线。

线性不可分(Nonlinear Separable)

不存在一条直线

二维 

三维

特征空间维度 \geqslant 四维 时,三维的情况下,分割圆圈和叉的平面将会变成超平面(Hyperplane)。由于人眼对空间的感知仅仅局限于三维,所以说我们无法直观的画出一个图。

数学化定义

在四维以及四维以上的情况说明线性和线性不可分的情况,必须借助数学对线性可分和线性不可分给出一个精确的定义。

假设:\omega _1'=-\omega _1,\omega _2'=-\omega _2,b'=b,则

用数学严格定义训练样本以及他们的标签

假设:我们有N个训练样本和他们的标签

 \left \{ \left ( X_1,y_1 \right ),\left ( X_2,y_2 \right ),\dots,\left ( X_n,y_n \right ) \right \}

其中 X_i=\left [ x_{i1},x_{i2} \right ]^T  , y_i=\left \{ +1,-1 \right \}

X_i 是向量,y_i 是X_i 的标签。

我们规定X_i 属于 C_1 ,则 y_i= +1X_i 属于 C_2 ,则 y_i= -1

线性可分的严格定义:一个训练样本集 \left \{ \left ( X_1,y_1 \right ),\left ( X_2,y_2 \right ),\dots,\left ( X_n,y_n \right ) \right \},在 i=1\sim N线性可分,是指存在 \left ( \omega _1,\omega _2,b \right ),使得对 i=1\sim N,有:

(1)若  y_i= +1,则  \omega _1X_{i1}+\omega _2X_{i2}+b > 0

(2)若  y_i= -1,则  \omega _1X_{i1}+\omega _2X_{i2}+b < 0

假设:

X_i=\begin{bmatrix} x_{i1}\\ x_{i2} \end{bmatrix}^T   \omega =\begin{bmatrix} \omega _{1}\\ \omega _{2} \end{bmatrix}^T

(1)若  y_i= +1,则  \omega ^TX_{i}+b > 0

(2)若  y_i= -1,则  \omega ^TX_{i}+b < 0

线性可分定义的最简化形式

如果  y_i= +1 或 -1,则上面两个公式可以合为一个。

一个训练样本集 \left \{ \left ( X_i,y_i \right ) \right \},在  i=1\sim N线性可分,是指存在 \left ( \omega ,b \right ) ,似的对 i=1\sim N,有:

y_i\left ( \omega ^TX_i+b \right )> 0


问题描述

支持向量机算法

1、解决线性可分问题

2、再将线性可分问题中获得的结论推广到线性不可分情况

如何解决线性可分问题?

二维特征空间中的二分类问题

如图,哪条线更好?

2号线更能抵御训练样本位置的误差。

基于最优化的理论,将寻找2号线的过程变成了一个最优化的问题。

Veapick给出的回答:

假设对于任意一条分开圆圈和叉这两类的直线,把这条直线朝一侧平行的移动,直到它插到或几个训练样本位置。同时,也把这条直线朝另外一侧平行的移动,直到它插到或几个训练样本位置。

我们定义这两条虚线,它也都是平行的。

我们定义这两条平行线插到的训练样本叫做这个数据集的支持向量(Support Vectors),把这两条平行线之间的距离叫做间隔(Margin Vipic)。

断言我们想要求的2号线是使间隔margin最大的一条线。需要比较1、2、3号3条件的间隔margin。

显然2号线的margin间隔比1号线、3号线都要大。支持向量机要找的是使间隔margin最大的那一条直线。

为了让找到的直线唯一,还需要定义这条线应该再多上下两条平行线,就是图中的两条虚线所示,这条线在上下两个平行线的正中间,也就是这条线到左右两边所有的支持向量距离应该相等

总结

在线性可分的条件下,支持向量机寻找的最优的分类直线应该满足下面三个条件:

  1. 该直线分开了两类;
  2. 该直线最大化间隔(margin)
  3. 该直线处于间隔的中间,到所有支持向量距离相等。

上述的结果,都是基于二维特征空间的结果。在高维的特征空间中,直线将变成超平面。但以上的结论却是一致的。


优化问题

线性可分定义

一个训练样本集 \left \{ \left ( X_i,y_i \right ) \right \},在  i=1\sim N线性可分,是指存在 \left ( \omega ,b \right ) 使:

(1)若  y_i= +1,则  \omega ^TX_{i}+b > 0

(2)若  y_i= -1,则  \omega ^TX_{i}+b < 0

假定训练样本集是线性可分的

支持向量机需要寻找的是最大化 间隔(Margin)的超平面。

可以写出如下形式:

1、最小化(Minimize):\frac{1}{2}\left \| \omega \right \|^2

\left \| \omega \right \|^2

\omega =\begin{bmatrix} \omega_1\\ \omega_2\\ ...\\ \omega_m\\ \end{bmatrix}

\left \| \omega \right \|^2=\omega_1^2+\omega_2^2+...+\omega_m^2=\displaystyle\sum_{i=1}^{m}\omega_i^2

2、限制条件:y_i\left ( \omega ^Tx_i+b \right )\geq 1,(i=1\sim N)

已知:训练样本集 \left \{ \left ( X_i,y_i \right ) \right \},  i=1\sim N

待求: \left ( \omega ,b \right )

回顾【问题描述】

支持向量机需要找一个超平面,使它的间隔最大;

离两边所有支持向量的距离相等

事实1:

\omega ^TX_{i}+b = 0

\left (\alpha \omega ^T\right ) x+\left (ab \right ) = 0  是同一个超平面。\left (a\neq 0 \right )

事实2:

一个点 X_0 到超平面  \omega ^TX_{i}+b = 0 的距离 d=\frac{\left | \omega ^Tx_0+b \right |}{\left \| \omega \right \|}

点到超平面的距离公式

一个点 \left ( x_0,y_0 \right ) 到超平面 \omega _1x_0+\omega_2y_0+b=0 的距离 d=\frac{\left | \omega _1x_0+\omega _2y_0+b \right |}{\sqrt{\omega _1^2+\omega _2^2}}

支持向量机优化问题推导中最难理解的部分

用 a 去缩放 \omega b 

\left ( \omega,b \right )\rightarrow \left ( a \omega,a b \right )

最终使在支持向量 x_0 上有  \left | \omega ^Tx_0+b \right |= 1 ,而在非支持向量上  \left | \omega ^Tx_0+b \right |> 1

\because 根据【事实1】 \left ( \omega,b \right )  表示的超平面和  \left ( a \omega,a b \right )  表示的超平面是同一个平面。

\therefore  参数 a 去缩放 \left ( \omega,b \right ) 

\because 根据【事实2】,支持向量 X_0 到超平面的距离将会变为:d=\frac{\left | \omega ^Tx_0+b \right |}{\left \| \omega \right \|}=\frac{1}{\left \| \omega \right \|}

\therefore  最大化支持向量机到超平面的距离 等价于最小化 \left \| \omega \right \|

优化问题定为:

最小化: \frac{1}{2}\left \| \omega \right \|^2

最小化: \left \| \omega \right \|

限制条件:

支持向量到超平面的距离为: \frac{1}{2}\left \| \varepsilon \right \|

在非支持向量上  \left | \omega ^Tx_0+b \right |> 1

\therefore  y_i\left ( \omega ^Tx_i+b \right )\geq 1,(i=1\sim N)

其中 y_i \Rightarrow  协调超平面的左右

             \Rightarrow \left ( \omega ^Tx_0+b \right )> 1

             \Rightarrow \left ( \omega ^Tx_0+b \right )< 1

如果把  限制条件改成: y_i\left ( \omega ^Tx_i+b \right )\geq 2,那么会跟原来的相差一个 a ,根据【事实1】,他们代表的是用一个平面。

总结

线性可分的情况下,支持向量机寻找最佳超平面的优化问题可以表示为:

凸优化(Convex Optimization)\Rightarrow 只有唯一一个全局极值

最小化(Minimize): \frac{1}{2}\left \| \omega \right \|^2

限制条件:y_i=\left ( \omega ^Tx_i+b \right )\geq 1,(i=1\sim N)

在这个训练数据以及  \left ( X_i,y_i \right ),i=1\sim N 是已知的,而 \left ( \omega,b \right )  是待求的。

二次规划的定义:

(1)目标函数(Objective Function)是二次项。

目标函数:\frac{1}{2}\left \| \omega \right \|^2 \Rightarrow \frac{1}{2}\left \| \omega \right \|^2= \frac{1}{2} \omega_1 ^2+\frac{1}{2} \omega_2 ^2+...+\frac{1}{2} \omega_M ^2

(2)限制条件是一次项。

限制条件:y_i=\left ( \omega ^Tx_i+b \right )\geq 1,(i=1\sim N)

要么无解,要么只有唯一的最小值。

凸优化问题的例子

根据梯度不断试探。

先找到一个 \omega _0 和对应的 f\left ( \omega _0\right ),然后在 \omega _0 的旁边再找到一个 \omega _1 和对应的 f\left ( \omega _1\right ) 

一个优化问题是凸的 \Rightarrow 总能找到高效快速算法去解决它

用凸优化解出的支持向量机最佳分类超平面的例子:

用凸优化解出的支持向量机最佳分类超平面的例子

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2236743.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

git 工具原理

git 目录 git git的使用 了解git的三个区域 具体操作 如何下载别人上传到git的工程 -- 可以参考菜鸟教程&#xff0c;包括安装配置git Git 安装配置 | 菜鸟教程 -- Git 是一种分布式版本控制系统&#xff0c;用于管理软件项目的源代码。它是由 Linux 之父 Linus Torval…

MAN TruckScenes数据集:第一个用于自动驾驶卡车的大规模多模式数据集。

2024-07-15,为了推进自动驾驶卡车技术的发展并确保其在公共道路上的安全性&#xff0c;由慕尼黑工业大学和MAN Truck & Bus SE联合创建了MAN TruckScenes数据集。数据集首次为研究社区提供了一个包含丰富环境条件下的卡车特定挑战&#xff0c;如拖车遮挡、新型传感器视角和…

基于微信小程序的实习管理系统(附源码,文档)

博主介绍&#xff1a;✌程序员徐师兄、7年大厂程序员经历。全网粉丝12w、csdn博客专家、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ &#x1f345;文末获取源码联系&#x1f345; &#x1f447;&#x1f3fb; 精彩专栏推荐订阅&#x1f447;…

mp3格式音频怎么做成二维码?扫码获取音频文件的制作方法

随着二维码的广泛使用&#xff0c;现在很多内容都会通过生成二维码的方式来传输内容&#xff0c;通过这种方式可以更快捷的实现内容分享&#xff0c;简化其他人获取内容的流程&#xff0c;有效提高效率。音频是目前常见的一种内容分享方式&#xff0c;比如录音、听力、音乐等类…

山东布谷科技:关于直播源码|语音源码|一对一直播源码提交App Store的流程及重构建议

自从YY、六间房开启国内聊天室和秀场等网红盛行的网络红利时代以来&#xff0c;紧随其后国内各大音视频平台相应出现&#xff0c;先有映客花椒等直播平台的风头正劲&#xff0c;后有功能板块更丰富的头条抖音Tiktok等&#xff0c;盈利功能点不仅仅有直播PK连麦等礼物打赏功能&a…

【NOIP普及组】统计单词数

【NOIP普及组】统计单词数 &#x1f490;The Begin&#x1f490;点点关注&#xff0c;收藏不迷路&#x1f490; 一般的文本编辑器都有查找单词的功能&#xff0c;该功能可以快速定位特定单词在文章中的位置&#xff0c;有的还能统计出特定单词在文章中出现的次数。 现在&#x…

ArkTs语言常用数据类型和使用说明及示例(9种常用,7种非常用)

具体请前往&#xff1a;ArkTs语言基本数据类型及使用说明--包括9种常用变量类型和7种非常用类型

“双十一”电商狂欢进行时,在AI的加持下看网易云信IM、RTC如何助力商家!

作为一年一度的消费盛会&#xff0c;2024年“双十一”购物狂欢节早已拉开帷幕。蹲守直播间、在主播热情介绍中点开链接并加购&#xff0c;也已成为大多数人打开“双11”的重要方式。然而&#xff0c;在这火热的购物氛围背后&#xff0c;主播频频“翻车”、优质主播稀缺、客服响…

机器学习中的分类:决策树、随机森林及其应用

&#x1f497;&#x1f497;&#x1f497;欢迎来到我的博客&#xff0c;你将找到有关如何使用技术解决问题的文章&#xff0c;也会找到某个技术的学习路线。无论你是何种职业&#xff0c;我都希望我的博客对你有所帮助。最后不要忘记订阅我的博客以获取最新文章&#xff0c;也欢…

ETL架构怎么选?全量、增量还是实时流式?

一、 ETL &#xff1a; 基本定义&#xff1a;ETL 是将业务系统的数据经过抽取&#xff08;Extract&#xff09;、清洗转换&#xff08;Transform&#xff09;之后加载&#xff08;Load&#xff09;到数据仓库的过程&#xff0c;目的是将企业中分散、零乱、标准不统一的数据整合…

特色3D打印机stm32迷你8轴双核心主板

我自己设计的3D打印机主板 1. 这是一块迷你的8轴主板, 主板尺寸为100mm*75mm, 使用一个8cm静音风扇散热足够了2. 这是一个带有保护的板子, 驱动上的gpio具有过压保护功能, 能够直接抗住24V的冲击, 意味着一个驱动炸了, 板子不烧, 并且其他的驱动也没事, 主板支持自动关机3. 8…

【2】GD32H7xx 串口Idle + DMA接收不定长数据

目录 1. IDLE中断相关介绍2. D-Cache与DMA同时使用2.1 I-Cache与D-Cache2.2 D-Cache与DMA同时使用时的数据一致性问题2.2.1 CPU读取DMA写入到SRAM的数据2.2.2 DMA读取CPU写入到SRAM的数据 3. Uart Idle DMA收发程序4. 程序测试 1. IDLE中断相关介绍 在 GD32H7xx MCU 中&#…

证书学习(六)TSA 时间戳服务器原理 + 7 个免费时间戳服务器地址

目录 一、简介1.1 什么是时间戳服务器1.2 名词扩展1.3 用时间戳标记顺序1.4 7 个免费TSA时间戳服务器地址(亲测可用)1.5 RFC 3161 标准二、时间戳原理2.1 时间戳服务工作流程2.2 验证工作流程2.3 举个例子2.4 时间戳原理总结三、代码实现3.1 curl 命令请求时间戳3.2 java 代码…

一步一步从asp.net core mvc中访问asp.net core WebApi

"从asp.net core mvc中访问asp.net core WebApi"看到这个标题是不是觉得很绕口啊&#xff0c;但的确就是要讲一讲这样的访问。前面我们介绍了微信小程序访问asp.net core webapi(感兴趣的童鞋可以看看前面的博文有关WEBAPI的搭建)&#xff0c;这里我们重点不关心如何…

信捷 XD PLC C语言 FB和FC 不同

信捷 XD PLC 的C语言下 FB和FC 的使用&#xff0c;如果你有困惑&#xff0c;本文可能会帮到你&#xff01; 调用FB要带后缀_Body的&#xff0c;这个地方很容易忽视和出错。 不同之处FBFC可以在全局变量表中建立此类型对象可以1个&#xff0c;也可以多个不可以参数类型及数量有…

「Mac畅玩鸿蒙与硬件28」UI互动应用篇5 - 滑动选择器实现

本篇将带你实现一个滑动选择器应用&#xff0c;用户可以通过滑动条选择不同的数值&#xff0c;并实时查看选定的值和提示。这是一个学习如何使用 Slider 组件、状态管理和动态文本更新的良好实践。 关键词 UI互动应用Slider 组件状态管理动态数值更新用户交互 一、功能说明 在…

共享汽车管理:SpringBoot框架的高效实现

摘要 随着信息技术在管理上越来越深入而广泛的应用&#xff0c;管理信息系统的实施在技术上已逐步成熟。本文介绍了共享汽车管理系统的开发全过程。通过分析共享汽车管理系统管理的不足&#xff0c;创建了一个计算机管理共享汽车管理系统的方案。文章介绍了共享汽车管理系统的系…

艾体宝产品丨加速开发!Redis Copilot智能助手上线

我们最近发布了 Redis Copilot&#xff0c;旨在帮助开发者更加高效地使用 Redis 构建应用。提升应用性能&#xff0c;简化构建过程是我们不懈的追求。Redis Copilot 正是为此而生的人工智能助手&#xff0c;助力开发者迅速掌握 Redis 的使用技巧。现在您可以在 Redis Insight 中…

阿里云centos7.9服务器磁盘挂载,切换服务路径

项目背景 1、项目使用的服务器为阿里云centos7.9&#xff0c;默认的磁盘为vda&#xff0c;文件系统挂载在这个磁盘上&#xff0c;项目上使用的文件夹为/home/hnst/uploadPath 2、vda使用率已达到91% 3、现购置一块新的磁盘为vdb&#xff0c;大小为2T 目的 切换服务所使用的…

Electron + Vue3 开发桌面应用+附源码

什么是 Electron&#xff1f; Electron 是一个使用 JavaScript、HTML 和 CSS 构建跨平台桌面应用程序的框架。它由 GitHub 开发并维护&#xff0c;允许开发者使用现代 Web 技术创建原生应用程序。Electron 结合了 Chromium 渲染引擎和 Node.js 运行时环境&#xff0c;使得开发…