（1）NNLM模型（神经网络语言模型）
语言模型是一个单纯的、统一的、抽象的形式系统，语言客观事实经过语言模型的描述，比较适合于电子计算机进行自动处理，因而语言模型对于自然语言的信息处理具有重大的意义。换一句话说，语言模型其实就是看一句话是不是正常人说出来的正常的话。用神经网络来训练语言模型的思想最早由百度 IDL （深度学习研究院）的徐伟提出[1]，其中这方面的一个经典模型是NNLM：已知前面n个词的情况下预测词典中所有次成为第n+1个词的概率，并以此为目标进行训练。总体架构如下：
（1）模型输入：待预测的词
w
t
w_t
wt的前n个词
w
t
−
1
,
w
t
−
2
.
.
.
w
t
−
n
+
1
w_{t-1},w_{t-2}...w_{t-n+1}
wt−1,wt−2...wt−n+1
（2）训练过程：
①输入层：把这n个词分别经过一个特征映射矩阵
M
a
t
r
i
x
C
MatrixC
MatrixC进行特征映射以后变成n个特征向量，而后再把这n个特征向量进行拼接。
②隐藏层：拼接得到的向量经过一个全连接层再经过激活函数tanh。
③输出层：本质上这也是个全连接层加上softmax。一共有
V
V
V 个结点，其中
V
V
V代表的是词典中的不同的词的个数。其中输出层
V
i
V_i
Vi代表着单词
w
t
w_t
wt是词典的第
i
i
i个单词的概率。
（2）Word2vec
传统的one-hot 编码仅仅只是将词符号化，不包含任何语义信息。 所以我们需要解决两个问题：1 需要赋予词语义信息，2 降低维度。
通过NNML模型的训练以后我们获得了以下东西：词矩阵
M
a
t
r
i
x
Matrix
Matrix,两个全连接层的参数（隐藏层和输出层）
而对于word2vec 而言，词向量矩阵的意义就不一样了，因为Word2Vec的最终目的不是为了得到一个语言模型，而是只关心模型训练完后的副产物：特征映射矩阵
M
a
t
r
i
x
C
MatrixC
MatrixC，用这个可以直接把单词映射成一个K维向量。也就是说Word2vec是NNML模型的一个副产物，而Word2vec是在原有的基础上加上了一些拓展的优化，总结起来可以分为以下几点：（没有去深究，等以后学会了再补上）
①把输出层改造成了Huffman树的形式，采用了Hierarchical Softmax的方法来提高模型的预测准确度
②把词向量模型进一步划分为两种：
（1）CBOW：是一个基于上下文预测当前的目标单词向量模型。
（2）Skip-gram：是已经知道当前词语对上下文进行预测
