本篇介绍了序列-序列机制和张量流的基本概念,基于中文语料库说明基于循环神经网络的语言翻译的实战应用。
01、序列-序列机制
序列-序列机制概述
序列-序列(Sequence To Sequence,Seq2Seq)是一个编码器-解码器 (Encoder-Decoder Mechanism)结构的神经网络,输入是序列(Sequence),输出也是序列(Sequence)。编码器(Encoder)将可变长度的序列转变为固定长度的向量表达,而解码器(Decoder)则将这个固定长度的向量转换为可变长度的目标信号序列,如图1所示,图中EOS是序列的结束标识符。
■ 图 1序列-序列机制
序列-序列的基本模型包含三个部分,即编码器、解码器以及连接两者的中间状态向量语义编码(C)。编码器通过学习输入,将其编码成固定大小的状态向量,继而将语义编码传给解码器,解码器再通过对状态向量语义编码的学习输出对应的序列。
图2表示了序列-序列模型的基本工作流程