Tansformer模型构建(编码器与解码器模块耦合)
- 1. 模型构建介绍
- 2 编码器-解码器结构的代码实现
- 3 Tansformer模型构建过程的代码实现
- 4 小结
1. 模型构建介绍
通过上面的小节, 我们已经完成了所有组成部分的实现, 接下来就来实现完整的编码器-解码器结构耦合.
Transformer总体架构图:
2 编码器-解码器结构的代码实现
EncoderDecoder函数完成编码解码的子任务,就是把编码和解码的流程进行封装实现。
# 编码解码内部函数类 EncoderDecoder 实现分析
# init函数 (self, encoder, decoder, source_embed, target_embed, generator)
# 5个成员属性赋值 encoder 编码器对象 decoder 解码器对象 source_embed source端词嵌入层对象
# target_embed tar