深度学习之微积分预备知识点(2)

news2024/9/23 23:32:59

极限(Limit)

  • 定义:表示某一点处函数趋近于某一特定值的过程,一般记为 \lim_{x \to a}f(x) =L

极限是一种变化状态的描述,核心思想是无限靠近而永远不能到达

  • 公式eq?%5Clim_%7Bx%20%5Cto%20a%7D%20f%28x%29 表示 x 趋向 a 时 f(x) 的极限。
知识点口诀解释
极限的存在左右极限需相等左极限等于右极限,极限才存在
极限求值小数接近分母带分子分母消掉无关,最后代入极限值
无限极限无穷大趋向无穷多x 趋向无穷大时,函数会无界
常数极限常数极限还是常常数不随 x 变化,其极限为常数本身

总结

  • 极限是“左等于右”,常数不变小数带。

导数(Derivative)

  • 定义:函数的局部性质,导数表示函数变化率,即在某一点的斜率。

           对函数y = f(x)来说,其导数可以用符号f'(x)来表示。也可记为eq?%5Cfrac%7B%5Cmathrm%7Bdf%28x%29%29%7D%20%7D%7B%5Cmathrm%7Bd%7D%20x%7D

  • 公式eq?%5Cfrac%7Bdy%7D%7Bdx%7D%20%3D%20%5Clim_%7B%5CDelta%20x%20%5Cto%200%7D%20%5Cfrac%7B%5CDelta%20y%7D%7B%5CDelta%20x%7D
知识点口诀解释
导数定义式变化速率瞬间看导数即函数在某点的变化率
斜率斜率即导数曲线的导数等于该点处切线的斜率
导数存在条件连续光滑无跳变函数在该点必须连续且光滑

总结

  • 导数看斜率,曲线随点变。


微分(Differentiation)

  • 定义:微分是导数的线性近似,表示函数在小变化下的增量。

  • 公式eq?dy%20%3D%20f%27%28x%29%20dx,表示 dx 的微小变化引起 dy 的变化。

微分近似小变大,导差线性接着算。

  • 知识点口诀解释
    微分近似小变大差线性算微分表示函数的增量,是导数的线性近似
    一阶微分导数导差就是微分微分与导数等价于线性变化

    总结

  • 微分近似小变大,导差线性接着算。

  • 导数表示变化率微分表示变化量

偏导数(Partial Derivative)

  • 定义:偏导数表示多元函数在某一点处关于某一变量的导数,其他变量保持不变。
  • 公式符号eq?%5Cfrac%7B%5Cpartial%20f%28x%2Cy%29%7D%7B%5Cpartial%20x%7D 来表示多元函数eq?z%20%3D%20f%28x%2Cy%29 ,关于x的偏导数 即:eq?%5Cfrac%7B%5Cpartial%20f%28x%2Cy%29%7D%7B%5Cpartial%20x%7D%20%3D%20%5Clim_%7Bh%20%5Cto%200%7D%5Cfrac%7Bf%28x+h%2Cy%29-f%28x%2Cy%29%7D%7Bh%7D
知识点口诀解释
偏导数看谁变化锁其他偏导数只看一个变量,其他变量保持不变
偏导数几何意义高维斜率看切面在多维空间中,偏导数表示函数沿某轴的斜率
计算方法变量固定逐个求对每个变量分别求导

总结

  • 偏导锁定一变量,高维斜率看切面。

梯度(Gradient)

  • 定义:梯度是函数在多维空间中变化最快的方向,一个包含所有偏导数的向量符号是eq?%5Ctriangledown
  • 公式: 对函数 eq?z%20%3D%20f%28x%2Cy%29%3Dx%5E2%20+%20y%5E2 来说,其梯度向量是  eq?%5Ctriangledown%20f%28x%2Cy%29%20%3D%20%282x%2C2y%29

    梯度下降算法中,参数更新公式为   eq?%5Ctheta%20_%7Bt+1%7D%20%3D%5Ctheta_%7Bt%7D%20-%20%5Ceta%20%5Ctriangledown%20_%7B%5Ctheta%7DJ%28%5Ctheta_%7Bt%7D%29

知识点口诀解释
梯度定义快速上升靠梯度梯度表示函数变化最快的方向
梯度计算多维偏导排成队梯度是各个偏导数排列成的向量
梯度方向梯度方向最快升梯度方向表示函数上升最快的方向

总结

  • 梯度导快升,排队各偏导。

链式求导法则(Chain Rule)

  • 定义:链式法则用于复合函数的求导,即导数分为外层函数和内层函数分别求导。

假设对实数x,有可微函数f 和 g,其中z = f(y) ,y = g(x),那么,链式法则公式如下  eq?%5Cfrac%7B%5Cmathrm%7Bd%7Dz%20%7D%7B%5Cmathrm%7Bd%7D%20y%7D%20*%20%5Cfrac%7B%5Cmathrm%7Bd%7Dy%20%7D%7B%5Cmathrm%7Bd%7D%20x%7D

所谓链式法则,就是一层一层增加可以互相抵消的分子分母

例子

有函数   eq?f%28x%29%20%3D%20x%5E2  和  eq?g%28x%29%20%3D%20x+1, 计算  eq?h%28x%29%20%3D%20f%28g%28x%29%29%20%3D%20%28x+1%29%5E2  的导数,可得

eq?h%27%28x%29%20%3D%20f%27%28g%28x%29%29*g%27%28x%29%20%5C%5C%20%5C%20%3D%202%28x+1%29*1%20%5C%5C%20%5C%20%3D%202x%20+2

  • 公式eq?%5Cfrac%7B%5Cmathrm%7Bd%7D%20%7D%7B%5Cmathrm%7Bd%7D%20x%7Df%28g%28x%29%29%20%3Df%27%28g%28x%29%29*g%27%28x%29
知识点口诀解释
链式法则内外分导再相乘外层函数的导数乘以内层函数的导数
链式求导应用多层复合层层解对于多层复合函数,逐层求导

总结

  • 链式分内外,逐层导相乘。


记忆口诀

  • 极限:“左等于右,常数不变小数带”,极限需要左右一致,小数极限直接代入。
  • 导数:“导数看斜率,曲线随点变”,导数表示函数在一点的斜率,函数形状随点变化。
  • 微分:“微分近似小变大,导差线性接着算”,微分表示函数的线性近似,是导数的进一步延伸。
  • 偏导数:“偏导锁定一变量,高维斜率看切面”,多变量函数中只看一个变量的变化,其余固定。
  • 梯度:“梯度导快升,排队各偏导”,梯度表示函数上升最快的方向,是各偏导数的组合。
  • 链式法则:“链式分内外,逐层导相乘”,链式法则用于复合函数的求导,逐层求导并相乘。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2158759.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

itextsharp报错 PdfReader not opened with owner password

itextsharp报错 PdfReader not opened with owner password itextsharp读取PDF时报错: PdfReader not opened with owner password 报错原因(据说是):pdf 文件设置了加密。 网上搜索了一下,查到大多数答案是: 在创建pdfReader…

JDK7u21 HashMap版

今天在搞ROME HotSwappableTargetSource链的时候突然发现,JDK7U21反序列化链不仅HashMap.put触发了key.equals putForCreate也调用了 而且HashMap.readObject直接调用了putForCreate来还原 what?直接向HashMap两个put不就完了,还搞什么HashSet 开弄&am…

闪回科技再冲刺上市:曾夸大融资规模,毛利率下滑,有股东退出

近日,闪回科技有限公司(下称“闪回科技”)递交招股书,准备在港交所主板上市。据贝多财经了解,该公司曾于2024年2月递表,此次是“失效”后的更新版本,清科资本为其独家保荐人。 闪回科技在招股书…

5款好用的电脑软件,个个良心实用

分享5款好用但冷门的windows软件,个个良心实用,而且大部分免费,值得统统装进电脑里! 1、EagleGet——高速下载器 一款免费的高速下载软件,页面设计简洁,没有广告,支持 HTTP、HTTPS、FTP、MMS、…

​数据库: MyBatis-Plus

MyBatis-Plus MyBatis-Plus 是 MyBatis 的增强工具,核心作用是简化 CRUD 操作和提升开发效率。它提供基础的增删改查方法、分页插件、条件构造器以及代码生成器,帮助减少重复代码量。MyBatis-Plus 不支持自动建表,专注于简化数据库操作&…

QT中添加资源文件

什么是资源文件 项目中经常需要添加图片、‌音频、‌视频、翻译文件等文件,在QT中,这些文件会放在 .qrc 文件中来被使用。 .qrc 文件是一个XML格式的资源集合描述文件,是Qt中用于定义和管理资源的关键文件 如何使用 创建资源文件 在你的Qt项…

面试真题:谈一谈Mysql的分库分表

分表和分库是什么?有什么区别? 分库是一种水平扩展数据库的技术,将数据根据一定规则划分到多个独立的数据库中。每个数据库只负责存储部分数据,实现了数据的拆分和分布式存储。分库主要是为了解决并发连接过多,单机 my…

一行命令,一分钟轻松搞定SSL证书自动续期

httpsok 是一个便捷的 HTTPS 证书自动续签工具,专为 Nginx 服务器设计。已服务众多中小企业,稳定、安全、可靠。现在的网站SSL免费证书有效期只有3个月,所以就会有经常更快SSL证书的需求,如果手上需要更换的SSL证书比较多的情况下…

DoppelGanger++:面向数据库重放的快速依赖关系图生成

doi:DoppelGanger: Towards Fast Dependency Graph Generation for Database Replay,点击前往 文章目录 1 简介2 架构概述3 依赖关系图3.1 符号和问题定义3.2 无 IT(k) 图3.3 无 OT 图表3.4 无 OTIT 图表3.5 无 IT[OT] 图表3.6 输出确定性保证 4 重复向后…

win10 win11 设置文件权限以解决Onedrive不能同步问题

初级代码游戏的专栏介绍与文章目录-CSDN博客 我的github:codetoys,所有代码都将会位于ctfc库中。已经放入库中我会指出在库中的位置。 这些代码大部分以Linux为目标但部分代码是纯C的,可以在任何平台上使用。 源码指引:github源…

蓝牙AOA基站助力打造智慧医院管理系统

随着科技的飞速发展,智慧医院的概念逐渐深入人心。其中,蓝牙AOA(到达角)定位技术以其高精度、低功耗、低成本等优势,在智慧医院建设中扮演着重要角色。本文将深入探讨蓝牙AOA基站如何助力智慧医院的建设与发展。 一、蓝…

CVE-2024-4956实战

一、访问网页 二、公司信息域名收集 三、抓包读取敏感文件 Burpsuite抓包,修改GET请求即可(GET /%2F%2F%2F%2F%2F%2F%2F..%2F..%2F..%2F..%2F..%2F..%2F..%2Fetc%2Fpasswd HTTP/1.1 )

点赞系统实现

点赞功能是社交、电商等几乎所有的互联网项目中都广泛使用。虽然看起来简单,不过蕴含的技术方案和手段还是比较多的。 下面将分享之前做的判题OJ系统的点赞系统的思路。 1.需求分析 点赞功能与其它功能不同,没有复杂的原型和需求,仅仅是一…

shardingjdbc介绍

文章目录 1、shardingjdbc介绍1.1、读写分离、数据分片(分库分表)中间件:1.1.1、shardingsphere1.1.2、mycat 2、shardingjdbc-demo搭建2.1、创建项目2.2、添加依赖2.3、application.yml2.4、创建实体类 User2.5、创建 UserMapper2.6、创建测…

筛子排序(SieveSort)

当你手头有了支持AVX-512(SIMD)的i9-11900K,你最想做什么? i9-11900K?现在都14代了,谁还用11代的? 但12代以上就没有AVX-512了! AVX-512有什么特别之处?有了这个硬件支…

How do you send files to the OpenAI API?

题意:你如何向 OpenAI API 发送文件 问题背景: For fun I wanted to try to make a tool to ask chatgpt to document rust files. I found an issue, in that the maximum message length the API allows seems to be 2048 characters. 为了好玩&…

LLMs之PE:AI for Grant Writing的简介、使用方法、案例应用之详细攻略

LLMs之PE:AI for Grant Writing的简介、使用方法、案例应用之详细攻略 目录 AI for Grant Writing的简介 AI for Grant Writing的使用方法—提示资源 1、提示集合 2、提示工程 3、快速提示 为了提高文本清晰度 为了让文本更有吸引力 为了改进文本的结构和流…

QT窗口无法激活弹出问题排查记录

问题背景 问题环境 操作系统: 银河麒麟V10SP1qt版本 : 5.12.12 碰见了一个问题应用最小化,然后激活程序窗口无法弹出 这里描述一下代码的逻辑,使用QLocalServer实现一个单例进程,具体的功能就是在已存在一个程序A进程时,再启动这个程序A,新的程序A进程会被杀死,然后激活已存…

MFC - 复杂控件_1

前言 各位师傅大家好,我是qmx_07,今天给大家讲解复杂控件的相关知识点 复杂控件 进度条 绘图准备: 调整windows窗口大小、设置 Progress Control 进度条设置Button 按钮 添加进度条变量 m_Progress,通过按钮触发 void CMFCApplication2Dlg::OnBnCl…

基于JAVA+SpringBoot+Vue的景区民宿预约系统

基于JAVASpringBootVue的景区民宿预约系统 前言 ✌全网粉丝20W,csdn特邀作者、博客专家、CSDN[新星计划]导师、java领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ 🍅文末附源码下载链接🍅 哈…