1. transformer
2. scaling law
3. 分布式训练

自然语言处理包括几大任务

• NLP: 文本分类，词性标注，信息检索
• NLG：机器翻译，自动摘要，问答QA、对话机器ChatBot
• 下游任务: 词性标注（POS），句法分析（DP），命名实体识别（NER）和自然语言推理（NLI）,文档摘要，跨语种翻译，自然语言推理与情感分类

Transformer

几大范式

• BERT
  • 预训练，MLM, NSP
  • 下游任务：通过finetune实现分类, NER, 句子相似度, 问答系统等
• GPT
  • 预训练, Next token prediction
  • 下游任务: Prompting实现文本生成，语言翻译，对话生成，摘要生成等
• T5
  • 预训练任务: span corruption

T5

Bert

GPT

• 下游任务, 相比BERT对下游任务需要参数微调的代价，GPT3提出的prompt design, 通过instruction+prompt进行下游任务无需任何额外操作。后续Prefix-tuning: Optimizing continuous prompts for generation提出了prompt tuning效果更好
• in context learning: (few shot prompting, zero-shot transfer) 不需要进行参数更新，在模型inference阶段，为了让模型的能力迅速迁移到某个特定task，先给一些参考样例，模型就迅速领会，也就是example放在context里，模型从context领会，也就可以按照这个例子里的task输出了 .
• instruction learning： 更符合人类表达习惯的方式与LLM交互

GLM

大模型

大模型时代，则需要重点关注其zero-shot，few-shot，推理等能力。NLG通过prompt也能够实现NLU任务，主线逐渐变成了NLG任务。

PaLM: Pathways Language Model

• 数据
• 评测
• 模型
• 效果

Flan

LLama

scaling law

大模型时代，很多观念都需要更新了。scaling地方在于数据量，任务量，模型参数量。

分布式训练

• 分布式通信库：CPU上用MPI，GPU上用NCCL
• 点对点通信(Point-to-point Communication, P2P): 两个节点间通信，集合通信(Collective Communication, CC)：一组节点内通信
• 数据并行(DP)、模型并行(TP)、流水线并行(PP)
• 流水线并行: Gpipe,
  • 模型的拓扑序，切分成p段，每一段为一个stage
  • mini-batch进一步切分为几个大小的micro-batch
• zero使用的几个阶段

reference

• Gpipe-如何有效地阅读PyTorch的源代码？ - OpenMMLab的回答 - 知乎
• [Transformer 101系列] LLM分布式训练面面观 - aaronxic的文章 - 知乎
• 预训练语言模型之GPT-1，GPT-2和GPT-3 - 大师兄的文章 - 知乎
• Prompt Tuning 相比于 Fine Tuning 在哪些场景下表现更好？ - hibo的回答 - 知乎
• 面对“大模型+大规模预训练+重视SOTA的审稿人”，AI科研除了轻量化还有什么出路？ - codebird的回答 - 知乎
• UL2: Unifying Language Learning Paradigms
• 2024年，AI的机会在行业大模型吗？ - 段淇源的回答 - 知乎
• 浅谈后向传递的计算量大约是前向传递的两倍 - 回旋托马斯x的文章 - 知乎