博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看
配套 github 链接：https://github.com/nickchen121/Pre-training-language-model
配套博客链接：https://www.cnblogs.com/nickchen121/p/15105048.html
上节课回顾
0：40
Attention
Self-Attention
Self-Attention 其实是 Attention 的一个具体做法
给定一个 X，通过自注意力模型，得到一个 Z，这个 Z 就是对 X 的新的表征（
![[AUTOSAR][网络管理] 什么是BusOff? 如何实现它?](https://img-blog.csdnimg.cn/239a85a05c5646989999126c58a823e7.png#pic_center)
