深度学习之微积分预备知识点

news2024/11/24 1:53:15

极限(Limit)

  • 定义:表示某一点处函数趋近于某一特定值的过程,一般记为 \lim_{x \to a}f(x) =L

极限是一种变化状态的描述,核心思想是无限靠近而永远不能到达

  • 公式eq?%5Clim_%7Bx%20%5Cto%20a%7D%20f%28x%29 表示 x 趋向 a 时 f(x) 的极限。
知识点口诀解释
极限的存在左右极限需相等左极限等于右极限,极限才存在
极限求值小数接近分母带分子分母消掉无关,最后代入极限值
无限极限无穷大趋向无穷多x 趋向无穷大时,函数会无界
常数极限常数极限还是常常数不随 x 变化,其极限为常数本身

总结

  • 极限是“左等于右”,常数不变小数带。

导数(Derivative)

  • 定义:函数的局部性质,导数表示函数变化率,即在某一点的斜率。

           对函数y = f(x)来说,其导数可以用符号f'(x)来表示。也可记为eq?%5Cfrac%7B%5Cmathrm%7Bdf%28x%29%29%7D%20%7D%7B%5Cmathrm%7Bd%7D%20x%7D

  • 公式eq?%5Cfrac%7Bdy%7D%7Bdx%7D%20%3D%20%5Clim_%7B%5CDelta%20x%20%5Cto%200%7D%20%5Cfrac%7B%5CDelta%20y%7D%7B%5CDelta%20x%7D
知识点口诀解释
导数定义式变化速率瞬间看导数即函数在某点的变化率
斜率斜率即导数曲线的导数等于该点处切线的斜率
导数存在条件连续光滑无跳变函数在该点必须连续且光滑

总结

  • 导数看斜率,曲线随点变。


微分(Differentiation)

  • 定义:微分是导数的线性近似,表示函数在小变化下的增量。

  • 公式eq?dy%20%3D%20f%27%28x%29%20dx,表示 dx 的微小变化引起 dy 的变化。

微分近似小变大,导差线性接着算。

  • 知识点口诀解释
    微分近似小变大差线性算微分表示函数的增量,是导数的线性近似
    一阶微分导数导差就是微分微分与导数等价于线性变化

    总结

  • 微分近似小变大,导差线性接着算。

  • 导数表示变化率微分表示变化量

偏导数(Partial Derivative)

  • 定义:偏导数表示多元函数在某一点处关于某一变量的导数,其他变量保持不变。
  • 公式符号eq?%5Cfrac%7B%5Cpartial%20f%28x%2Cy%29%7D%7B%5Cpartial%20x%7D 来表示多元函数eq?z%20%3D%20f%28x%2Cy%29 ,关于x的偏导数 即:eq?%5Cfrac%7B%5Cpartial%20f%28x%2Cy%29%7D%7B%5Cpartial%20x%7D%20%3D%20%5Clim_%7Bh%20%5Cto%200%7D%5Cfrac%7Bf%28x+h%2Cy%29-f%28x%2Cy%29%7D%7Bh%7D
知识点口诀解释
偏导数看谁变化锁其他偏导数只看一个变量,其他变量保持不变
偏导数几何意义高维斜率看切面在多维空间中,偏导数表示函数沿某轴的斜率
计算方法变量固定逐个求对每个变量分别求导

总结

  • 偏导锁定一变量,高维斜率看切面。

梯度(Gradient)

  • 定义:梯度是函数在多维空间中变化最快的方向,一个包含所有偏导数的向量符号是eq?%5Ctriangledown
  • 公式: 对函数 eq?z%20%3D%20f%28x%2Cy%29%3Dx%5E2%20+%20y%5E2 来说,其梯度向量是  eq?%5Ctriangledown%20f%28x%2Cy%29%20%3D%20%282x%2C2y%29

    梯度下降算法中,参数更新公式为   eq?%5Ctheta%20_%7Bt+1%7D%20%3D%5Ctheta_%7Bt%7D%20-%20%5Ceta%20%5Ctriangledown%20_%7B%5Ctheta%7DJ%28%5Ctheta_%7Bt%7D%29

知识点口诀解释
梯度定义快速上升靠梯度梯度表示函数变化最快的方向
梯度计算多维偏导排成队梯度是各个偏导数排列成的向量
梯度方向梯度方向最快升梯度方向表示函数上升最快的方向

总结

  • 梯度导快升,排队各偏导。

链式求导法则(Chain Rule)

  • 定义:链式法则用于复合函数的求导,即导数分为外层函数和内层函数分别求导。

假设对实数x,有可微函数f 和 g,其中z = f(y) ,y = g(x),那么,链式法则公式如下  eq?%5Cfrac%7B%5Cmathrm%7Bd%7Dz%20%7D%7B%5Cmathrm%7Bd%7D%20y%7D%20*%20%5Cfrac%7B%5Cmathrm%7Bd%7Dy%20%7D%7B%5Cmathrm%7Bd%7D%20x%7D

所谓链式法则,就是一层一层增加可以互相抵消的分子分母

例子

有函数   eq?f%28x%29%20%3D%20x%5E2  和  eq?g%28x%29%20%3D%20x+1, 计算  eq?h%28x%29%20%3D%20f%28g%28x%29%29%20%3D%20%28x+1%29%5E2  的导数,可得

eq?h%27%28x%29%20%3D%20f%27%28g%28x%29%29*g%27%28x%29%20%5C%5C%20%5C%20%3D%202%28x+1%29*1%20%5C%5C%20%5C%20%3D%202x%20+2

  • 公式eq?%5Cfrac%7B%5Cmathrm%7Bd%7D%20%7D%7B%5Cmathrm%7Bd%7D%20x%7Df%28g%28x%29%29%20%3Df%27%28g%28x%29%29*g%27%28x%29
知识点口诀解释
链式法则内外分导再相乘外层函数的导数乘以内层函数的导数
链式求导应用多层复合层层解对于多层复合函数,逐层求导

总结

  • 链式分内外,逐层导相乘。


记忆口诀

  • 极限:“左等于右,常数不变小数带”,极限需要左右一致,小数极限直接代入。
  • 导数:“导数看斜率,曲线随点变”,导数表示函数在一点的斜率,函数形状随点变化。
  • 微分:“微分近似小变大,导差线性接着算”,微分表示函数的线性近似,是导数的进一步延伸。
  • 偏导数:“偏导锁定一变量,高维斜率看切面”,多变量函数中只看一个变量的变化,其余固定。
  • 梯度:“梯度导快升,排队各偏导”,梯度表示函数上升最快的方向,是各偏导数的组合。
  • 链式法则:“链式分内外,逐层导相乘”,链式法则用于复合函数的求导,逐层求导并相乘。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2140833.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

2024 VMpro 虚拟机中如何给Ubuntu Linux操作系统配置联网

现在这是一个联网的状态 可以在商店里面下载东西 也能ping成功 打开虚拟网络编辑器 放管理员权限 进行设置的更改 选择DNS设置 按提示修改即可 注意的是首选的DNS服务器必须是114.114.114.114 原因 这边刚刚去查了一下 114.114.114.114 是国内的IP地址 8.8.8.8 是国外的I…

【人工智能】OpenAI最新发布的o1-preview模型,和GPT-4o到底哪个更强?最新分析结果就在这里!

在人工智能的快速发展中,OpenAI的每一次新模型发布都引发了广泛的关注与讨论。2023年9月13日,OpenAI正式推出了名为o1的新模型,这一模型不仅是其系列“推理”模型中的首个代表,更是朝着类人人工智能迈进的重要一步。本文将综合分析…

PFC和LLC的本质和为什么要用PFC和LLC电路原因

我们可以用电感和电容的特性,以及电压和电流之间的不同步原理来解释PFC(功率因数校正)和LLC(谐振变换器)。 电感和电容的基本概念 电感(Inductor): 电感是一种储存电能的组件。它的…

PhotoZoom Pro / Classic 9.0.2激活版安装激活图文教程

图像格式中,位图格式的图像是由点阵像素组成的数据文件,所以呢在把位图图像放大的时候,就会发现看到它是由于许多点构成,这就是为什么数码照片在使用普通的工具放大时会失真的原因。不过呢由于一些日常需求,我们经常需…

图神经网络模型扩展5--3

以图卷积网络为例,在每一层卷积中,我们需要用到两个输入A∈Rnn 和X∈Rnd。 很容易想象,当输入的图数据很大时(n 很大),图卷积网络的计算量是很大的,所需要的内存也是很大的。推广到更一般的信息传递网络,在每一层中&am…

Python 课程12-Python 自动化应用

前言 Python 自动化应用 可以帮助开发者节省时间和精力,将重复性、手动操作变为自动化脚本。例如,Python 可以用于自动化处理文件、邮件、生成报表,甚至可以控制浏览器执行复杂的网页操作任务。借助 Python 的强大库和工具,可以轻…

Kubernetes 常用指令2

kubernetes 常用命 令 1. 编写 yaml 文件 2. kubectl create 通过配置文件名或标准输入创建一个集群资源对象,支 持 json 和 yaml 格式的文件 语法: kubectl create -f 文件名 kubectl create deployment 资源名 --image镜像名 kubectl create deplo…

视频格式转为mp4(使用ffmpeg)

1、首先安装ffmpeg,下载链接如下 https://www.gyan.dev/ffmpeg/builds/packages/ffmpeg-6.1.1-full_build.7z 安装后确保ffmpeg程序加到PATH路径里,cmd执行ffmpeg -version出现下图内容表示安装成功。 2、粘贴下面的脚本到文本文件中,文件后缀…

【Linux进程控制】进程创建|终止

目录 一、进程创建 fork函数 写时拷贝 二、进程终止 想明白:终止是在做什么? 进程退出场景 常见信号码及其含义 进程退出的常见方法 正常终止与异常终止 exit与_exit的区别 一、进程创建 fork函数 在Linux中fork函数是非常重要的函数&#x…

魔方财务升级指南

本文将详细介绍如何升级魔方财务系统,确保您能够顺利地更新到最新版本。 重要提示 在进行任何系统升级之前,请务必备份数据。这是良好的习惯,也是我们的建议。 备份数据库,并下载到本地。最好将网站目录文件打包,并…

【最新华为OD机试E卷-支持在线评测】最长连续子序列(100分)多语言题解-(Python/C/JavaScript/Java/Cpp)

🍭 大家好这里是春秋招笔试突围 ,一枚热爱算法的程序员 💻 ACM金牌🏅️团队 | 大厂实习经历 | 多年算法竞赛经历 ✨ 本系列打算持续跟新华为OD-E/D卷的多语言AC题解 🧩 大部分包含 Python / C / Javascript / Java / Cpp 多语言代码 👏 感谢大家的订阅➕ 和 喜欢�…

沉浸式利用自然语言无代码开发工具生成式AI产品应用(上)

背景 小伙伴们过去在开发应用时,经常需要编写大量代码文件以实现业务逻辑,想必肯定有小伙伴开发过类似于快消行业索赔处理、订单库存跟踪和项目审批等系统。去解决这些业务实际问题,我们需要定制地开发业务应用程序为这些问题提供解决方案。…

S100A9:鸡支原体感染中的免疫调控“双面间谍”【AbMole】

在生物学研究的广阔天地里,总有一些分子扮演着令人意想不到的角色。今天,我们要探索的主角是S100A9蛋白,一种在鸡支原体感染过程中展现出惊人双重功能的分子。这项来自华中农业大学动物科技学院与兽医学院的最新研究成果,揭示了S1…

(一)springboot2.6.13+mybatis-plus3.5.3.1+shardingsphere4.0.0-RC2

1,POM配置 <?xml version"1.0" encoding"UTF-8"?> <project xmlns"http://maven.apache.org/POM/4.0.0" xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation"http://maven.apache.org/POM/4.0…

【Mac】系统环境配置

常用工具 Navicat PJ版本&#xff1a;this Host切换器 SwitchHosts termius 一款好用的Linux服务器连接工具&#xff1a; termius 小飞机 dddd&#xff1a;&#x1fa9c; Git mac安装git有好多种方式&#xff0c;自带的xcode或者通过Homebrew来安装&#xff0c;本文的…

文心一言 VS 讯飞星火 VS chatgpt (348)-- 算法导论23.2 7题

七、假定图G的一棵最小生成树已经被计算出来。如果在图中加入一个新结点及其相关的新边&#xff0c;我们需要多少时间来对最小生成树进行更新&#xff1f;如果要写代码&#xff0c;请用go语言。 文心一言&#xff1a; 在图中加入一个新节点及其相关边后&#xff0c;要更新最小…

【计算机毕设-大数据方向】基于Hadoop的在线教育平台数据分析可视化系统的设计与实现

&#x1f497;博主介绍&#xff1a;✌全平台粉丝5W,高级大厂开发程序员&#x1f603;&#xff0c;博客之星、掘金/知乎/华为云/阿里云等平台优质作者。 【源码获取】关注并且私信我 【联系方式】&#x1f447;&#x1f447;&#x1f447;最下边&#x1f447;&#x1f447;&…

QGis二次开发 —— 3、程序加载栅格tif与矢量shp文件可进行切换控制,可进行导出/导入工程(附源码)

效果 功能说明 软件可同时加载.tif栅格图片与.shp矢量图片、加载图片后可进行自由切换查看图层、可对加载的图片进行关闭 关闭后清空图层、可对加载的图片进行导出.qgs的QGIS工程、可对.qgs的QGis工程导入并导入后可进行自由切换查看图层。 源码 注意: 在加载tif栅格文件后会在…

类和对象补充

const 成员函数 const修饰的成员函数称之为const成员函数&#xff0c;const修饰成员函数放到成员函数参数列表的后面。 void Print() const { cout << _year << "-" << _month << "-" << _day << endl; } 为什么要…

SpringDoc介绍

一、SpringDoc 官方文档 1.1何为SpringDoc SpringDoc是一个用来自动生成API文档的库。它是基于SpringBoot项目的&#xff0c;遵循OpenAPI3(一个组织规定的规范)规范。它是通过检查我们运行中的程序&#xff0c;推断出基于Spring配置、类结构和各种注解的API语义&#xff0c;从…