转载请注明出处：https://blog.csdn.net/nocml/article/details/125711025

本系列传送门：
Transformer(一)–论文翻译：Attention Is All You Need 中文版
Transformer(二)–论文理解：transformer 结构详解
Transformer(三)–论文实现：transformer pytorch 代码实现
Transformer(四)–实现验证：transformer 机器翻译实践

1 文章说明

此篇文章是衔接上一篇的后续，在这篇blog中，我们会使用之前实现的代码，在真实的大规模语料上来训练一个机器翻译模型，用实际效果来检验我们实现的代码。
这个实验是我很早之前，也就是刚写完代码时做的，只不过模型结果没有经过系统评估，连blue分也没计算，所以当时就没有整理成blog。最近想了想，还是把结果粘上来，大家看一下。然后transformer这块就结束了。最近一直在搞chatgpt相关的事情，有时间了也会整理下。

2. 模型训练

2.1 训练数据

训练数据使用中英平行语料，共1000W。

2.2 训练设备

服务器型号：T7920 塔式机
gpu: 2080ti 11G 单卡 (由于只是验证模型的正确性，所以只使用了一块卡)
cpu: 至强 5218N * 2
内存：128G

2.3 训练参数

• $lr：6.26\times 10^{-5}$
• $batchsize:16$
• $sentencemaxlength:128$ （语料中的最大长度）
• $warmstep:10000$
• $tokennum:45000$
• $epoch:5$

2.4 训练过程

• 训练时长：7d（一个epoch 大概需要一天多）
• 训练损失：从百分位降到千分位，具体见下图
  • 训练初始：
  • 训练结束：
    

2.5 模型结果

结果展示：

注：最后一个例子超过我设置的解码长度了，没有翻译完。

2.6 结果分析

没有计算具体的评估指标，主要是当时忙着做其它项目，没有过多的时间，且当时训练的目的也只是为了通过实验来看看代码是否有致命缺陷。从结果来看，已经有一定的翻译效果了。