目前LLM（Large Language Model）主流结构包括三种范式，分别为Encoder-Decoder、Causal Decoder、Prefix Decode。对应的网络整体结构和Attention掩码如下图。

、

各自特点、优缺点如下：

1）Encoder-Decoder

结构特点：输入双向注意力，输出单向注意力。

代表模型：T5、Flan-T5、BART。

适用任务：在偏理解的 NLP 任务上效果好。

优点：在输入上采用双向注意力，对问题的编码理解更充分。

缺点：在长文本生成任务上效果差，训练效率低。

2）Causal Decoder

结构特点：从左到右的单向注意力。

代表模型：LLaMA1/2系列、LLaMA衍生物。