一.文章概述

通常而言，Seq2Seq解决方案一般都采用循环神经网络，但在本文，作者提出了基于卷积神经网络的解决方案ConvS2S。基于卷积神经网络的方案有两大优势：计算并行化更高，优化更容易（非线性的数量是固定的）。

二.卷积框架

ConvS2S的框架如下图所示，在对源语句English(上)进行编码后，对4个德语目标词进行编码（左下）并计算并计算注意力。然后将注意力（中右）计算的条件输入添加到解码器状态，再预测目标单词（右下）。

2.1 位置编码

给定输入序列$\mathbf{x}=(x_1,...,x_m)$，其对应的嵌入表示为$\mathbf{w}=\left(w_1,\dots ,w_m\right)$，其中$w_j\in {\mathbb{R}}^f$。对于其嵌入表示，作者加上了绝对位置，即$\mathbf{e}=\left(w_1+p_1,\dots ,w_m+p_m\right)$。

2.2 卷积块结构

Encoder和Decoder都采用卷积块（一维卷积+非线性层）。令Decoder第$l$块的输出为${\mathbf{h}}^l=\left(h_1^l,\dots ,h_n^l\right)$，Encoder第$l$块输出为${\mathbf{z}}^l=\left(z_1^l,\dots ,z_m^l\right)$ 。给定输入$X\in {\mathbb{R}}^{k\times d}$ ，经过卷积神经网络的输出为$Y=[AB]\in {\mathbb{R}}^{2d}$。对于非线性层，作者采用的是门控线性单元，即：
$$v([AB])=A\otimes \sigma (B)$$
其中$\sigma (B)$控制着当前上下文中哪些输入$A$是相关的。

此外，为了能堆叠更深的卷积层，作者使用了残差连接。
$$h_i^l=v\left(W^l\left[h_{i-k/2}^{l-1},\dots ,h_{i+k/2}^{l-1}\right]+b_w^l\right)+h_i^{l-1}$$
为了避免decoder看到未来的信息，作者在输入的左侧和右侧都pad $k-1$个$0$，并删除了卷积输出末端的$k$个元素。

$$h_i^l=v\left(W^l\left[h_{i-k/2}^{l-1},\dots ,h_{i+k/2}^{l-1}\right]+b_w^l\right)+h_i^{l-1}$$

2.3 Multi-step Attention

对于每个decoder层，作者引入了单独的注意力机制。作者组合当前解码器状态$h_i^l$和先前的目标元素$g_i$来计算注意力：
$$d_i^l=W_d^l{h}_i^l+b_d^l+g_i$$
对于解码层$l$，状态$i$和源元素$j$的注意力 $a_{ij}^l$是基于点积计算的：
$$a_{ij}^l=\frac{\exp \left(d_i^l\cdot z_j^u\right)}{{\sum }_{t=1}^m\exp \left(d_i^l\cdot z_t^u\right)}$$
其中$z_j^u$表示最后一个编码层的输出。当前解码曾的输入$c_i^l$即为解码器输出和输入嵌入$e_j$的加权和：
$$c_i^l=\sum _{j=1}^m{a}_{ij}^l\left(z_j^u+e_j\right)$$

上述注意力的计算方法与传统的seq2seq中的注意力机制有点不太相同，作者还添加了$e_j$，其类似于键值存储网络，其中键是$z_j^u$ ，值是$z_j^u+e_j$。编码器的输出$z_j^u$表示潜在的大输入上下文，而$e_j$提供了特定输入元素的点信息，其对预测比较有效。

2.4 正则化策略

通过缩放残差模块的输出和注意力以确保整个网络的方差不会发生剧烈变化。

对于残差块，将残差块的输入和输出的总和乘以$\sqrt{0.5}$，使总和的方差减半。

由注意力生成的条件输入 $c_i^l$是 $m$个向量的加权和，作者通过乘以$m\sqrt{1/m}$来抵消方差的变化。