GPT是什么？直观解释Transformer | 深度学习第5章 【3Blue1Brown 官方双语】

news2024/11/15 9:08:03

【官方双语】GPT是什么？直观解释Transformer | 深度学习第5章

0:00 - 预测，采样，重复：预训练/生成式/Transformer模型
3:03 - Transformer 的内部结构
6:36 - 本期总述
7:20 - 深度学习的大框架
12:27 - GPT的第一层：词嵌入为向量(embedding)
18:25 - 嵌入空间不仅代表词，还能包含上下文信息
20:22 - GPT的最后一层：向量解码为词(Unembedding)
22:22 - 带温度的 Softmax 函数
26:03 - 下期预告：深入注意力机制

1.0. GPT的解释

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

预测后续内容
在这里插入图片描述
在这里插入图片描述

  • 视频重要内容
    在这里插入图片描述

1.1 Token的解释

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
词的含义不同（以model举例）
在这里插入图片描述
注意力模块的工作：
在这里插入图片描述
在这里插入图片描述在这里插入图片描述
在这里插入图片描述

后续是接多层感知器（MLP）或者叫做前馈神经网络：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

深度学习系列课程
在这里插入图片描述

1.2 权重

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
八个类别：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

1.3 词嵌入

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
几何角度理解：
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

举个例子：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • 点积
    在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
几何角度：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

1.4 上下文长度

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

1.5 输出

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • 涉及两个步骤
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

1.6 解嵌入矩阵

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

1.7 Softmax

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

下一章：Attention
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1643734.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

HT32F52352 -- 解锁电调、电机速度控制

HT32F52352 -- 解锁电调、电机速度控制

一、问题背景 1.1 硬件： 电池组，电子调速器（好盈电调 /ESC），接收机（HT32F52352），风扇。 1.2 软件 keil5 二、问题分析 通过1.1图中可知，我们只需要使用 HT32F52352 模拟…
阅读更多...
MAT内存分析软件安装

MAT内存分析软件安装

一、简介 MAT（Memory Analyzer Tool）工具是java堆内存分析器。可以用于查找内存泄漏以及查看内存消耗情况。MAT是Eclipse开发的免费的性能分析工具。 下载链接https://www.eclipse.org/mat/downloads.php 二、安装常见问题 1. 仅支持JDK17及以上版本 …
阅读更多...
在GPU上加速RWKV6模型的Linear Attention计算

在GPU上加速RWKV6模型的Linear Attention计算

精简版：经过一些profile发现flash-linear-attention中的rwkv6 linear attention算子的表现比RWKV-CUDA中的实现性能还要更好，然后也看到了继续优化triton版本kernel的线索。接着还分析了一下rwkv6 cuda kernel的几次开发迭代以此说明对于不懂cuda以及平时…
阅读更多...
如何使用Go语言的标准库和第三方库？

如何使用Go语言的标准库和第三方库？

文章目录 一、如何使用Go语言的标准库示例：使用标准库中的fmt包打印输出 二、如何使用Go语言的第三方库示例：使用第三方库github.com/gin-gonic/gin创建Web服务器 总结 在Go语言中，标准库和第三方库的使用是日常编程中不可或缺的一部分。标准…
阅读更多...
Java基于Spring Boot框架的课程管理系统（附源码，说明文档）

Java基于Spring Boot框架的课程管理系统（附源码，说明文档）

博主介绍：✌IT徐师兄、7年大厂程序员经历。全网粉丝15W、csdn博客专家、掘金/华为云//InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ 🍅文末获取源码联系🍅 👇🏻 精彩专栏推荐订阅👇&#x1f3…
阅读更多...
Spring IoCDI （1）

Spring IoCDI （1）

目录 一、IoC & DI入门 1、Spring是什么 （1）什么是容器？ （2）什么是IoC？ 二、IoC介绍 1、传统程序开发 2、解决方案 3、IoC程序开发 4、IoC优势 三、DI介绍 通过前面的学习，我们知…
阅读更多...
5月4（信息差）

5月4（信息差）

🎄 HDMI ARC国产双精度浮点dsp杜比数码7.1声道解码AC3/dts/AAC环绕声光纤、同轴、USB输入解码板KC33C 🌍 国铁集团回应高铁票价将上涨 https://finance.eastmoney.com/a/202405043066422773.html ✨ 源代码管理平台GitLab发布人工智能编程助手DuoCha…
阅读更多...
mysql设置允许其他IP访问

mysql设置允许其他IP访问

文章目录 更改mysql配置文件登录mysql 更改mysql配置文件 查找.ini或者.cnf文件 更改bind-address为0.0.0.0 [mysqld] character-set-serverutf8mb4 bind-address0.0.0.0 default-storage-engineINNODB [mysql] default-character-setutf8mb4 [client] default-character-s…
阅读更多...
探索设计模式的魅力：分布式模式让业务更高效、更安全、更稳定

探索设计模式的魅力：分布式模式让业务更高效、更安全、更稳定

​🌈 个人主页：danci_ 🔥 系列专栏：《设计模式》 💪🏻 制定明确可量化的目标，坚持默默的做事。 ✨欢迎加入探索分布式模式之旅✨ 在数字化时代，企业面临着前所未有的挑战和机遇。…
阅读更多...
企业计算机服务器中了halo勒索病毒怎么处理，halo勒索病毒解密流程

企业计算机服务器中了halo勒索病毒怎么处理，halo勒索病毒解密流程

随着网络技术的不断发展，网络在企业生产运营过程中发挥着重大作用，很多企业利用网络开展各项工作业务，网络也大大提高了企业的生产效率，但随之而来的网络数据安全问题成为众多企业关心的主要话题。近日，云天数据恢复中…
阅读更多...
python学习笔记----异常、模块与包（九）

python学习笔记----异常、模块与包（九）

一、异常 1.1 什么是异常 在Python中，异常是程序执行时发生的错误。当Python检测到一个错误时，它会引发一个异常，这可能是由于多种原因，如尝试除以零、访问不存在的文件，或者尝试从列表中获取不存在的索引等。异常处…
阅读更多...
程序语言基础

程序语言基础

程序语言基础 导航 文章目录 程序语言基础导航一、程序设计语言二、各种程序语言特点三、高级程序设计语言四、编译器的工作阶段五、程序语言的数据成分六、程序控制结构七、表达式的例题八、传值、传址 一、程序设计语言 程序设计语言 高级语言低级语言 机器语言汇编语言 指…
阅读更多...
关于YOLO8学习（四）模型转换为ncnn

关于YOLO8学习（四）模型转换为ncnn

前文 关于YOLO8学习（一）环境搭建，官方检测模型部署到手机 关于YOLO8学习（二）数据集收集，处理 关于YOLO8学习（三）训练自定义的数据集 简介 本文将会讲解： （1）如何通过PyCharm，进行pt模型的转换，最后输出一个适合手机端使用的模型 开发环境 win10、python 3.11…
阅读更多...
农作物害虫检测数据集VOC+YOLO格式18975张97类别

农作物害虫检测数据集VOC+YOLO格式18975张97类别

数据集格式：Pascal VOC格式YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件) 图片数量(jpg文件个数)：18975 标注数量(xml文件个数)：18975 标注数量(txt文件个数)：18975 标…
阅读更多...
C++进阶----多态

C++进阶----多态

1.多态的概念 1.1 概念 多态的概念：通俗来说，就是多种形态，具体点就是去完成某个行为，当不同类型的对象去完成时会 产生出不同的状态。 举个例子：比如有一个基类Animal，它有两个子类Dog和Cat。每个…
阅读更多...
三个关于文件操作的实例

三个关于文件操作的实例

内容是：通过文件操作，完成一些小的需求。用来查询某文件或者某个文件里面的关键字 1.例子一 （1）需求：在一个指定的目录下，找到包含该关键字的所有文件 （2）要求输入：一个…
阅读更多...
C语言中的goto语句

C语言中的goto语句

goto label; C 语言中的 goto 语句允许把控制无条件转移到同一函数内的被标记的语句。 #include <stdio.h> int main(){goto first;printf("我是你好\n");first:printf("nihao\n");second:printf("This is 2\n");return 0; } 使用goto会…
阅读更多...
mysql其它补充

mysql其它补充

exist和in的区别 exists 用于对外表记录做筛选。 exists 会遍历外表&#xff0c;将外查询表的每一行&#xff0c;代入内查询进行判断。 当 exists 里的条件语句能够返回记录行时&#xff0c;条件就为真&#xff0c;返回外表当前记录。反之如果 exists 里的条件语句不能返回记…
阅读更多...
Day31：单元测试、项目监控、项目部署、项目总结、常见面试题

Day31：单元测试、项目监控、项目部署、项目总结、常见面试题

单元测试 保证独立性。 Assert&#xff1a;断言&#xff0c;一般用来比较是否相等&#xff0c;比如 Assert.assertEquals 在JUnit测试框架中&#xff0c;BeforeClass&#xff0c;Before&#xff0c;After和AfterClass是四个常用的注解&#xff0c;它们的作用如下&#xff1a; …
阅读更多...
Python爬虫：XPath解析爬取豆瓣电影Top250示例

Python爬虫：XPath解析爬取豆瓣电影Top250示例

一、示例的函数说明&#xff1a; 函数processing()&#xff1a;用于处理字符串中的空白字符&#xff0c;并拼接字符串。 主函数程序入口&#xff1a;每页显示25部影片&#xff0c;实现循环&#xff0c;共10页。通过format方法替换切换的页码的url地址。然后调用实现爬虫程序的…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023