GPT一代

• 模型堆叠了12个解码器层。由于在这种设置中没有编码器，这些解码器层将不会有普通transformer解码器层所具有的编码器-解码器注意力子层。但是，它仍具有自注意力层。

训练过程

Transformer Decoder 结构

• 编码器（6 layers）
  • 多头自注意神经网络
  • 全连接神经网络
  • Residual Connections and Layer Normalization

• 解码器（6 layers）
  • 掩码多头自注意神经网络
  • 多头注意力机制
  • 全连接神经网络
  • Residual Connections and Layer Normalization
  n Softmax层权值矩阵与目标语言词向量矩阵共享参数。