一、发展历史

1、早期

• 训练方式：预训练+微调
• 主流架构：
  • 编码器架构：BERT
  • 解码器架构：GPT
  • 编码器+解码器架构：T5

2、当前

• 训练方式：解码器为主流
• 变种架构：
  • 因果解码器架构
  • 前缀解码器架构

二、架构简介

1、编码器-解码器架构

• 特点
  • 编码器端使用双向自注意力机制对输入信息进行编码处理，在解码器端则使用了交叉注意力与掩码自注意力机制，进而通过自回归的方式进行生成
  • 当前使用较少

2、因果解码器架构

• 特点
  • 当前绝大部分大模型均采用此架构
  • 没有显示的区分输入和输出部分
  • 采用单向的掩码注意力机制，每个输入的词元只关注它前面的和它本身的词元，进而自回归的预测输出词元
  • 由于不包含解码器，因果解码器架构删除了关注编码器表示的交叉注意力模块
  • 经过自注意力模块后的词元表示将直接进入到前馈神经网络中
• 代表大模型
  • GPT、LLaMA

3、前缀解码器架构（又称非因果解码器架构）

• 特点
  • 对因果解码器的掩码机制进行了调整，跟因果解码器一样，只保留了解码器部分
  • 参考了编码器-解码器架构设计，对输入输出都进行了特殊处理，输入使用双向注意力进行编码，输出使用单向的掩码注意力利用词元本身和前面的词元进行自回归的预测
  • 与编码器-解码器架构相比，前缀解码器在编码与解码的过程中是共享参数的
  • 可以基于因果解码器继续训练转换成前缀解码器
• 代表大模型
  • GLM-130B