一、前言
本文章作为学习2023年《李宏毅机器学习课程》的笔记，感谢台湾大学李宏毅教授的课程，respect！！！
读这篇文章必须先了解self-attention、Transformer，可参阅我其他文章。
二、大纲
- BERT简介
- self-supervised learning（自督导式学习）
- BERT原理
- BERT应用
- BERT为啥有效？
三、BERT简介
-
BERT (Bidirectional Encoder Representations from Transformers)
-
BERT 是由 Google AI 于 2018年10月 提出的预训练语言模型，其论文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》在 arXiv 发布，引起了 NLP 领域的巨大关注。
-
BERT 的核心思想是基于 Transformer 结构，并采用 双向（Bidirectional） 预训练机制，极大提升了自然语言理解（NLU）任务的性能。
-
参数量对比
| 模型 | 参数量 |
|---|---|
| ELMO | 94M |
| BERT | 340M |
| GPT-2 | 1542M |
| Megatron | 8B |
| T5 | 11B |
| Turing NLG | 17B |
| GPT-3 | 175B |
| Switch Transformer | 1.6T |
四、self-supervised learning（自督导式学习）
阐述BERT前先讲一下self-supervised learning（自督导式学习）。
什么是self-supervised learning（自督导式学习）？
想必大家都知道supervised learning，通俗来讲就是有输入和对应输出的成对训练资料。
self-supervised 的意思则是只有输入的资料，没有对应输出的资料的情况，就用输入划拨一部分当做输出，如下图：
有点晦涩。
打个比喻：
古诗填空题大家语文考试时候都做过吧，你要反复背诵，一会儿捂住前半句通过后半句默写前半句，一会儿捂住后半句通过前半句默写后半句，直到完全掌握。
Model比做你的大脑，输入x是完整的诗句“锄禾日当午，汗滴禾下土”，x’和x’‘就是x分出来的前半句和后半句，你大脑背诵时候就是要让你输出的答案y和x’'一样。
这就是self-supervised的精髓了，从训练资料中裂分进行训练的过程，呼应了self这个词。
五、BERT原理
哇靠，BERT就是这么干的。
1、填空题
说明：
上图自底向上看：
- 黑色方块就是要填空的地方，把它遮住；
- BERT用的结构就是Transformer Encoder，没啥好说的；
- 遮住的部分输出的向量经过Linear和softmax得到y；
- 利用cross entropy去minimize和遮住部分的正确答案的loss。
那至于怎么遮住的方法有两种：
1、找个特殊字符代表遮住这件事情；
2、随机找个文字作为输入；
2、排序题
填空题是学会了，那如果是两句诗的让你排序呢？
① “谁知盘中餐，粒粒皆辛苦”
② “锄禾日当午，汗滴禾下土”
请排序，正确答案那当然是②→① 。
你的大脑怎么知道这件事，当然是我背过知道顺序，所以Model还得知道语序。
于是有了第二招→排序。
输入就是多个不同句子，句子间隔用特殊字符表示。
输出很直观，就是该不该接在一块，Yes/No。
3、小结
这就是全部了！
干了填空题和排序题这两件事！
大名鼎鼎的BERT仅此而已，牛逼的是人家用的训练资料有3.3B词汇，约等于1435套四大名著。
六、BERT应用
BERT是个预训练模型，就像是个插座一样，你想用电风扇、电饭煲都行，所以说它是个基座。
例如：评论情感分析
基座是BERT的pretrain模型，已经会了填空和句子排序。
自定义部分插个linear、softmax适应不同任务就行。
其他的应用案例就也是这种思想，不赘述。
七、BERT为什么有效？
BERT知道上下文语义，同样的词在不同的语境下不同，这是能够辨别出来的，同样是“果”字在不同句子环境下输出的向量也不一样。
个人理解：
从空间角度，BERT做的我个人认为它是在进行空间归类，同样的词可以根据语境归类至不同矩阵空间，只要知道这种空间联系就能进行空间转换，一个神奇的例子就是用中英文转换：
八、小结
掌握BERT在做填空题和排序题这两件事情就达到基本要求了，其他的更多细节和技巧在实做中进行深入研究。
