机器学习中的数学原理——向量内积

news2024/12/29 8:08:31

今天是2023年的第一天,祝大家新年快乐!这个专栏主要是用来分享一下我在机器学习中的学习笔记及一些感悟,也希望对你的学习有帮助哦!感兴趣的小伙伴欢迎私信或者评论区留言!这一篇就更新一下《白话机器学习中的数学——向量内积》!

目录

一、什么是内积

二、案例分析 


一、什么是内积

内积一般指点积。在数学中,数量积(dot product; scalar product,也称为点积)是接受在实数R上的两个向量并返回一个实数值标量的二元运算。它是欧几里得空间的标准内积。

两个向量a = [a1, a2,…, an]和b = [b1, b2,…, bn]的点积定义为:a·b=a1b1+a2b2+……+anbn。

二、案例分析 

在上面的学习中,我们已经初步了解了二分类的问题,在最简单的二分类问题中,我们需要找到那条分界线,但是不是像我们之前回归那样,找直线的斜率和截距,而是要找向量。分类用图形来解释更容易理解,所以把它想象为有大小和方向的、 带箭头的向量比较好。

我们所要画的直线是使权重向量成为法线向量的直线。设权重向量为 w,那么那条直线的表达式就是这样的。

\omega \cdot X=0

我们来慢慢解释上面这段话,权重向量就是我们想要知道的未知参数,w 是权重一词的英 文——weight 的首字母。上次学习回归时,我们为了求未知参数θ 做了很多事情,而 w 和 θ 是一样的。所以它们都是参数,只是叫法不同。上述的表达式就是两个向量的内积,我们也可以写成这样:

我们依然为图像的横纵分类案例举例,图像有宽和高的二维情况, 所以 n = 2 就可以了,表达式就可以写成:

法线是与某条直线相垂直的向量。我们设权重向量为w = (1, 1),那么刚才的内积表达式会变成什么样呢?只需要代入(1,1)进行计算就可以了

移项变形之后,表达式变成 x2 = −x1 了。这就是斜率为−1 的直线

在这张图上再画上刚才确定的权重向量 w = (1, 1) 就更容易理解了

权重向量 w 和这条直线是垂直的!这就是“使权重向量成为法线向量的直线”在图形上的解释。高中时我们还学过,用向量之间的夹角 θ和 cos 计算内积的表达式

这是内积的另一个表达式。用这个表达式也没有问题。表达式中 的 |w| 和 |x| 是向量的长,因此必定是正数。所以要想使内积为0,只能使 cos θ = 0。要想使 cos θ = 0,也就意味着 θ = 90◦ 或θ = 270◦ 。这两种情况也是直角。

最终找到与我画的直线成直角的权重向量就完成任务了。

当然,一开始并不存在你画的那种直线,而是要通过训练找到权重向量,然后才能得到与这个向量垂直的直线,最后根据这条直线就可以对数据进行分类了。 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/132874.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【C语言】指针

文章目录指针作为参数的指针访问某个地址上的变量*指针的应用数组和指针数组变量是特殊的指针指针常量和常量指针数组指针和指针数组常见错误指针运算动态内存分配指针 一般用p来表示一个指针,来自pointer 一个指针类型的变量就是保存地址的变量。 变量的值是内存…

windows x32调用门实现 ring3提权

概述 调用门是Intel提供的一个机制,用于控制不同权限级(ring0-ring3)的程序函数调用。简单点就是提供了一个ring3 调用ring0 函数的机制。 在intel手册volume3-Chapter 5.83描述如下 Call gates facilitate controlled transfers of program control between dif…

算法笔记(25)win10系统安装tensorflow-GPU环境亲测好用

环境准备 首先你的电脑得有GPU显卡,然后在tensorflow官网(在 Windows 环境中从源代码构建 | TensorFlow)找到各安装软件对应的版本,版本不对应将会导致安装失败。 标本机GPU显卡版本题本文选择的是官网最新的组合:p…

cubeIDE开发, stm32窗口看门狗WWDG的CubeMX配置及HAL库底层实现分析

一、stm32的WWDG说明 1.1 WWDG特点: 在前一篇博文介绍独立看门狗时就指出STM32 MCU提供两个看门狗,独立看门狗和窗口看门狗。 cubeIDE开发, stm32独立看门狗IWDT的CubeMX配置及HAL库底层实现分析_py_free的博客-CSDN博客 相比独立看门狗&am…

【C语言】数据类型

文章目录c语言的类型整数整数类型整数的内部表达整数的范围unsigned整数的格式化浮点型浮点类型输入输出输出精度字符类型逃逸字符类型转换自动类型转换强制类型转换逻辑类型bool逻辑运算条件运算符C语言的变量,必须在使用前定义,并且确定类型&#xff1…

ubuntu下使用doxygen生成软件文档

ubuntu下使用Doxygen生成软件文档一、软件下载1.系统安装Doxygen2.Vscode插件安装二、软件配置三、文档生成1.方法1:使用Doxygen-gui生成(推荐)2.方法:采用Doxygen命令(不推荐)另外Windows下使用方法提示&a…

【JavaScript】 Date 日期对象概述及相关方法

文章目录【JavaScript】 Date 日期对象的创建及相关方法一. 日期对象的创建二. 日期对象的相关方法三. 时间戳案例案例1:在页面上展示一个时钟,隔1s更新一次案例2:距离除夕倒计时【JavaScript】 Date 日期对象的创建及相关方法 一. 日期对象…

ArcGIS基础:构建点对连线表达点集内部相互关系

原始数据如下,为普通的点图层,总共是21个点。 点位分布如下: 属性表打开如下: 下面使用【构造视线】工具进行操作,其工具位于【3D分析工具】下的【可见性】工具栏。 打开【构造视线】对话框,把【视点…

Leetcode【494. 目标和】

题目描述 给你一个整数数组 nums 和一个整数 target 。 向数组中的每个整数前添加 ‘’ 或 ‘-’ ,然后串联起所有整数,可以构造一个 表达式 例如,nums [2, 1] ,可以在 2 之前添加 ‘’ ,在 1 之前添加 ‘-’ &…

第10章 角色页的分页、排序、查询实现

1 重构WebApi.Controllers.RoleController. PostRolePageByFromBodyAsync //把所有符合条件的角色实例,按照指定字段进行排序操作。 if (!string.IsNullOrEmpty(pagination.OrderByFiled)) { var _obj JsonConvert.DeserializeAnonymousType(pagination.OrderByFil…

力扣 2351. 第一个出现两次的字母

题目 给你一个由小写英文字母组成的字符串 s ,请你找出并返回第一个出现 两次 的字母。 注意: 如果 a 的 第二次 出现比 b 的 第二次 出现在字符串中的位置更靠前,则认为字母 a 在字母 b 之前出现两次。 s 包含至少一个出现两次的字母。 …

TopK问题的必会解法

目录经典解法,创建K个大小的堆不考虑空间的暴力排序做法不考虑空间的快排partition变形减治法思想(核心:找第K大的数)空间有限放不下,海量数据的分治法经典解法,创建K个大小的堆 传统的直接建立一个K个元素的小顶堆,类…

推荐两款可以将图片无损放大的在线工具

文章目录一、waifu2x网站预览传送地址二、BigJPG网站预览传送地址好不容易找到合适的图片素材但尺寸太小?那这里的工具正好适合你,能把你的小图放大几倍都不模糊。 一、waifu2x 本程序使用卷积神经网络对动漫风格的图片进行放大操作(支持照…

再聊一下那 SQLSERVER 行不能跨页的事

一:背景 1. 讲故事 上一篇写完了之后,马上就有朋友留言对记录行的 8060byte 限制的疑惑,因为他的表记录存储了大量的文章,存储文章的字段类型用的是 nvarchar(max),长度很显然是超过 8060byte 的,请问这个…

win10搭建 IIS 服务器

第一步: 打开程序和功能 找到 Internet 这个 勾选web管理工具和万维网服务 第二步: 在本地电脑创建一个文件夹(不要有中文空格等特殊字符) index.html 是默认访问的网址 第三步 关联访问的链接 选择本地物理路径 访问测试 第四步 修改绑定端口 第五步 修改防火墙 …

Linux | 文件操作的系统调用 open() read() write()

1. 基本含义辨析 文件操作的系统调用 open read write close (系统调用:实现在内核中【用户态->内核态】—“陷入内核”) man: 1 命令 2 系统调用 3 库函数 C操作文件的库函数 fopen fread fwrite fclose (fo…

一个有意思的图片鼠标切换

做淘宝活动页面的时候,用到最多的就是锚点,一个图片标签,然后不断地在上面画热区。不过我想问的是有多少人研究过,用矩形画热点,四个坐标值各自表示的含义,还有它和background-position有什么相同或相似的地…

JavaWeb:RequestResponse的概述

1,Request和Response的概述 Request是请求对象,Response是响应对象。 这两个对象在我们使用Servlet的时候有看到: 此时,我们就需要思考一个问题request和response这两个参数的作用是什么? request:获取请…

RapidUp: Multi-Domain Permutation Protocol for Lookup Tables学习笔记

1. 引言 前序博客有: PLOOKUPPLOOKUP代码解析Efficient polynomial commitment schemes for multiple points and polynomials学习笔记PLONK PLOOKUPPlonKup: Reconciling PlonK with plookupPLONK: permutations over lagrange-bases for oecumenical nonintera…

2022年就要过去了,我的这份成绩单请您查收……

喜迎元旦岁月不居,时节如流年关交迭在即在2022行将尾声的此时想静静地坐下片刻和关注了云和恩墨这么久的老朋友们细数一遍这光阴里的纷纷呈呈这一年,充满了挑战与艰辛但所有努力和守望终有结果收成这一年,我们全心投入产品研发收获了更多的荣…