什么是Seq2Seq

Seq2Seq模型，全称Sequence to sequence，由Encoder和Decoder两个部分组成，每部分都是一个RNNCell（RNN、LSTM、GRU等）结构。Encoder将一个序列编码为一个固定长度的语义向量，Decoder将该语义向量解码为另一个序列。输入序列和输出序列都可以是不定长序列。

Seq2Seq可以用于机器翻译、文本摘要生成、对话生成等领域。

Seq2Seq结构

Seq2Seq包含一个RNN作为Encoder对输入序列进行编码，一个RNN作为Decoder对输出序列进行解码。下面参考https://zhuanlan.zhihu.com/p/70880679介绍两种最常用的Seq2Seq结构。

为简化描述，这里都以RNN代替LSTM和GRU，并且省略偏置项。

• 结构1

  

  Encoder输入序列ABC，生成语义向量 c 作为Decoder的初始隐藏状态，Decoder中初始时刻输入