LLama

• [GPT3] 使用RMSNorm（即Root Mean square Layer
  Normalization）对输入数据进行标准化，RMSNorm可以参考论文：Root mean square layer
  normalization。
• [PaLM]使用激活函数SwiGLU， 该函数可以参考PALM论文：Glu variants improve transformer。
• [GPTNeo]使用Rotary Embeddings进行位置编码，该编码可以参考论文 Roformer: Enhanced
  transformer with rotary position embedding。
• 使用了AdamW优化器，并使用cosine learning rate schedule，
• 使用因果多头注意的有效实现来减少内存使用和运行时间。该实现可在xformers

Palm

• 采用SwiGLU激活函数：用于 MLP 中间激活，采用SwiGLU激活函数：用于 MLP 中间激活，因为与标准 ReLU、GELU
  或 Swish 激活相比，《GLU Variants Improve Transformer》论文里提到：SwiGLU
  已被证明可以显著提高模型效果
• 提出Parallel Layers：每个 Transformer 结构中的“并行”公式：与 GPT-J-6B
  中一样，使用的是标准“序列化”公式。并行公式使大规模训练速度提高了大约 15%。消融实验显示在 8B 参数量下模型效果下降很小，但在
  62B 参数量下没有模型效果下降的现象。
• Multi-Query Attention：每个头共享键/值的映射，即“key”和“value”被投影到 [1,
  h]，但“query”仍被投影到形状 [k, h]，这种操作对模型质量和训练速度没有影响，但在自回归解码时间上有效节省了成本。
• 使用RoPE embeddings：使用的不是绝对或相对位置嵌入，而是RoPE，是因为 RoPE 嵌入在长文本上具有更好的性能 ，
• 采用Shared Input-Output Embeddings:输入和输出embedding矩阵是共享的，这个我理解类似于word2vec的输入W和输出W’：

GLM

• Layer Normalization的顺序和残差连接被重新排列，
• 用于输出标记预测的单个线性层；
• ReLU s替换为GELU s
• 二维位置编码

BLOOM

• 使用 ALiBi 位置嵌入，它根据键和查询的距离直接衰减注意力分数。 与原始的 Transformer 和 Rotary 嵌入相比，它可以带来更流畅的训练和更好的下游性能。ALiBi不会在词嵌入中添加位置嵌入；相反，它会使用与其距离成比例的惩罚来偏向查询键的注意力评分。
  

• Embedding Layer Norm 在第一个嵌入层之后立即使用，以避免训练不稳定。

• 使用了 25 万个标记的词汇表。 使用字节级 BPE。 这样，标记化永远不会产生未知标记

• 两个全连接层：
  

GPT

GPT 使用 Transformer 的 Decoder 结构，并对 Transformer Decoder 进行了一些改动，原本的 Decoder 包含了两个 Multi-Head Attention 结构，GPT 只保留了 Mask Multi-Head Attention，如下图所示: