论文笔记--Skip-Thought Vectors
- 1. 文章简介
- 2. 文章概括
- 3 文章重点技术
- 3.1 Skip Thought Vectors
- 3.2 词表拓展
- 4. 文章亮点
- 5. 原文传送门
- 6. References
1. 文章简介
- 标题：Skip-Thought Vectors
- 作者：Ryan Kiros, Yukun Zhu, Ruslan Salakhutdinov, Richard S. Zemel, Antonio Torralba, Raquel Urtasun, Sanja Fidler
- 日期：2015
- 期刊：NIPS
2. 文章概括
文章提出了Skip Thought模型，旨在提供一种句向量的预训练方式。文章的核心思想类似于Word2Vec的skip-gram方法，即通过当前句子预测上下文句子。整体架构如下
3 文章重点技术
3.1 Skip Thought Vectors
文章的整体架构选用基于GRU的encoder-decoder网络架构。给定输入的句子三元组
(
s
i
−
1
,
s
i
,
s
i
+
1
)
(s_{i-1}, s_{i}, s_{i+1})
(si−1,si,si+1)，令
w
i
t
w_i^t
wit表示句子
s
i
s_i
si的第
t
t
t个单词，
x
i
t
x_i^t
xit表示其对应的单词嵌入。
首先模型对输入的句子
s
i
s_i
si进行编码，encoder国策可表示为下面的GRU公式：
r
t
=
σ
(
W
r
x
t
+
U
r
h
t
−
1
)
∈
(
0
,
1
)
,
z
t
=
σ
(
W
z
x
t
+
U
z
h
t
−
1
)
∈
(
0
,
1
)
,
h
‾
t
=
tanh
(
W
x
t
+
U
(
r
t
⊙
h
t
−
1
)
)
,
h
t
=
(
1
−
z
t
)
⊙
h
t
−
1
+
z
t
⊙
h
‾
t
r^t = \sigma (W_r x^t + U_r h^{t-1}) \in (0, 1), \\z^t = \sigma (W_z x^t + U_z h^{t-1}) \in (0, 1), \\\overline{h}^t = \tanh (Wx^t + U(r^t \odot h^{t-1})) ,\\ h^t = (1-z^t)\odot h^{t-1} + z^t \odot \overline{h}^t
rt=σ(Wrxt+Urht−1)∈(0,1),zt=σ(Wzxt+Uzht−1)∈(0,1),ht=tanh(Wxt+U(rt⊙ht−1)),ht=(1−zt)⊙ht−1+zt⊙ht，其中
r
t
,
z
t
∈
(
0
,
1
)
r^t, z^t \in (0, 1)
rt,zt∈(0,1)表示重置门和更新门，
h
‾
t
\overline{h}^t
ht表示候选的隐藏状态，其更新到
t
t
t时刻的隐藏层比例由更新门
z
t
z^t
zt确定，其从上一个时刻隐藏层输入的比例由重置门
r
t
r^t
rt确定。
接下来将句子编码分别传入到解码GRU中，用于预测当前句子相邻的上/下一个句子
s
i
−
1
,
s
i
+
1
s_{i-1}, s_{i+1}
si−1,si+1，省略角标
i
−
1
,
i
+
1
i-1, i+1
i−1,i+1，相邻两个句子的解码公式均为
r
t
=
σ
(
W
r
d
x
t
−
1
+
U
r
d
h
t
−
1
+
C
r
h
i
)
∈
(
0
,
1
)
,
z
t
=
σ
(
W
z
d
x
t
+
U
z
d
h
t
−
1
)
+
C
z
h
i
∈
(
0
,
1
)
,
h
‾
t
=
tanh
(
W
d
x
t
+
U
d
(
r
t
⊙
h
t
−
1
)
+
C
h
i
)
,
h
t
=
(
1
−
z
t
)
⊙
h
t
−
1
+
z
t
⊙
h
‾
t
r^t = \sigma (W_r^d x^{t-1} + U_r^d h^{t-1} + C_r h_i )\in (0, 1), \\z^t = \sigma (W_z^d x^t + U_z^d h^{t-1}) + C_z h_i \in (0, 1), \\\overline{h}^t = \tanh (W^dx^t + U^d(r^t \odot h^{t-1}) + Ch_i) ,\\ h^t = (1-z^t)\odot h^{t-1} + z^t \odot \overline{h}^t
rt=σ(Wrdxt−1+Urdht−1+Crhi)∈(0,1),zt=σ(Wzdxt+Uzdht−1)+Czhi∈(0,1),ht=tanh(Wdxt+Ud(rt⊙ht−1)+Chi),ht=(1−zt)⊙ht−1+zt⊙ht，即计算当前时刻的解码输出时，会考虑上一时刻的输入词嵌入和当前时刻的编码输出
h
i
h_i
hi。给定
h
i
+
1
t
h_{i+1}^t
hi+1t，训练目标为通过前面时刻的单词预测（输入单词及对应编码嵌入）当前时刻
t
t
t的单词:
P
(
w
i
+
1
t
∣
w
i
+
1
<
t
,
h
i
)
∝
exp
(
v
w
i
+
1
t
,
h
i
+
1
t
)
P(w_{i+1}^t|w_{i+1}^{<t}, h_i) \propto \exp (v_{w_{i+1}^t}, h_{i+1}^t)
P(wi+1t∣wi+1<t,hi)∝exp(vwi+1t,hi+1t)，其中
v
w
i
+
1
t
v_{w_{i+1}^t}
vwi+1t表示
w
i
+
1
t
w_{i+1}^t
wi+1t对应的词表矩阵的行向量。
总结来说，模型会首先对输入句子进行编码，然后将该编码得到的隐藏状态输入到其相邻句子的解码GRU中，尝试生成与其相邻的句子。类似于word2vec中的通过中心词预测上下文，只是上下文窗口固定为1。
最终训练的目标函数即为相邻句子解码的目标函数之和：
∑
t
log
P
(
w
i
+
1
t
∣
w
i
+
1
<
t
,
h
i
)
+
log
P
(
w
i
−
1
t
∣
w
i
−
1
<
t
,
h
i
)
\sum_t \log P(w_{i+1}^t|w_{i+1}^{<t}, h_i) + \log P(w_{i-1}^t|w_{i-1}^{<t}, h_i)
t∑logP(wi+1t∣wi+1<t,hi)+logP(wi−1t∣wi−1<t,hi)
3.2 词表拓展
为了处理词表中未出现的单词，文章选择采用Word2Vec等较全的预训练单词嵌入进行补充。由于该单词嵌入和Skip-thought训练的单词嵌入有一定的偏差，所以文章先训练一个从Word2Vec到RNN（Skip-thought）的l2线性回归： f : V w 2 v → V r n n f: \mathcal{V}_{w2v}\to \mathcal{V}_{rnn} f:Vw2v→Vrnn。推理阶段，针对词表中未出现的单词 v v v，会首先查找其在Word2Vec下的嵌入 v w 2 v v_{w2v} vw2v，再通过学习好的映射 f f f预测其在文章训练的空间下的嵌入表达； v r n n ≈ f ( v w 2 v ) v_{rnn} \approx f(v_{w2v}) vrnn≈f(vw2v)。
4. 文章亮点
文章参考Skip-gram的思想，通过训练一个基于RNN的编码-解码模型，得到句子的预训练嵌入。实验证明，只需要在预训练的嵌入上增加一个简单的Logistic Regression，就可以持平针对下游任务精心设计的模型的表现，在当下（2015年）达到了SOTA水平。且文章通过t-SNE方法对训练的句向量进行了可视化表达，发现训练的句向量在多个数据集上呈现较为理想（按照标签组团）的分布，如下图所示。
文章给出的Skip-thought向量可以较好的捕捉到句子特征，可供开发人员在此基础上进一步研究基于句向量的NLP任务。
5. 原文传送门
Skip-Thought Vectors
6. References
[1] 论文笔记–Efficient Estimation of Word Representations in Vector Space
