- 文献阅读：Language Models are Unsupervised Multitask Learners
- 1. 内容介绍
- 2. 模型介绍
- 3. 实验结果
- 1. 语言模型
- 2. QA & 常识推断
- 3. 生成任务
- 4. 总结 & 思考
- 文献链接：https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf
1. 内容介绍
这篇文献就是OpenAI在2019年发表的大名鼎鼎的GPT2的文章，不过相较于GPT3，GPT2的影响力终究还是要小上不少，至少我印象中是这个样子。
而具体内容上来说，这篇文章整体上和GPT模型确实感觉好像没啥太大的差异，主要感觉还是改进了数据以及增大了模型参数量，没看出什么质上的区别……
不过这方面其实GPT3感觉也没啥太大的差别，可能真的就是more is different……
2. 模型介绍
下面，我们首先来看一下GPT2的整体模型以及训练数据。
如前所述，GPT2模型和GPT模型其实没啥本质上的差别，还是一个单向的Transformer Decoder模型，区别主要还是在训练数据以及模型的参数量上有了优化。
首先训练数据方面，这里使用WebText数据集，主要包括了800万个文件的共计40G的文本，而模型方面，其具体参数量详见下表：
3. 实验结果
下面，我们来考察一下GPT2的具体实验结果。
首先，我们给出整体的实验结果如下：
可以看到：
- 整体来说，随着参数量的增大，zero-shot的效果在各类任务上都是不断增加的。
下面，我们来分各个子任务对结果进行考察。
1. 语言模型
首先，我们来看一下GPT2的ppl效果：
可以看到：
- GPT2的PPL在各类数据集当中基本都达到了SOTA的结果；
- 随着模型的增大，模型的PPL是在持续减小的。
2. QA & 常识推断
同样的，给出GPT2模型在常识推断任务当中的结果如下：
可以看到，其整体效果是很好的。
文中还给出了一些样例如下：
3. 生成任务
最后，文中还给出了生成任务的Rouge指标如下。
4. 总结 & 思考
综上，GPT2较之GPT模型其实没啥本质上的差别，感觉还是在优化训练数据以及扩展模型，在探索基于Transformer的LLM的极限。
从GPT2的实验来看，其结果还远没有达到极限，因此后续才会有进一步的GPT3等模型的提出。
