《Ai学习笔记》自然语言处理 (Natural Language Processing)：常见机器阅读理解模型（上）02

news2025/3/15 7:50:26

Glove 词向量：

在机器理解中的词的表示：

词袋（bow,bag of words）

one-hot

词向量

word2vec

glove

目的：将一个词转换成一个向量

Word2vec

是一种用于生成词向量的工具包，由Google在2013年开源推出。它是一种自然语言处理技术，旨在将文本中的词汇转换成连续的向量空间中的稠密向量表示，这样的表示方式能够捕获词语之间的语义和语法关系。Word2vec模型主要基于两个算法：连续词袋（Continuous Bag of Words, CBOW）和Skip-gram。

连续词袋（CBOW）：该模型通过上下文词语预测目标词，即利用一个词语的周围上下文词汇来预测这个词语本身。在这个过程中，模型学习到一个词语的向量表示，使其能够尽可能准确地反映该词语在不同上下文中的出现情况。
Skip-gram：与CBOW相反，Skip-gram模型是利用中心词来预测它周围的上下文词汇。这种方法试图使一个词的向量能够生成它在文本中可能的上下文，从而学到的词向量能够体现词语的分布特征。

Word2vec的核心在于其能够将词语映射到高维空间中，使得语义上相似的词语在该空间中的距离较近。这种词向量表示法对于许多自然语言处理任务非常有用，如情感分析、机器翻译、文本分类、信息检索、语义相似度计算等。Word2vec的成功在于它能够在无监督的情况下从大量文本数据中学习到高质量的词嵌入，极大地推动了自然语言处理领域的发展。

Word2vec问题：只关注局部，没有考虑全文语言特性。

GLOVE

GloVe (Global Vectors for Word Representation) 是另一种词嵌入方法，由斯坦福大学的研究人员在2014年提出。与Word2vec相似，GloVe的目标也是学习词语的向量表示，以便捕捉它们之间的语义关系。但是，GloVe在训练方法上有所不同，它结合了全局统计信息和局部上下文信息。

GloVe的基本思想是基于词语共现矩阵（co-occurrence matrix）。这个矩阵的元素表示一个词作为上下文词出现在另一个词周围的概率。与Word2vec的Skip-gram需要最大化条件概率不同，GloVe直接对整个共现矩阵进行了优化，通过最小化词语对的共现频率与其向量内积之间的差异来学习词向量。具体来说，它的目标函数表达了词语共现次数的对数与这两个词语向量的点积之间的差距的平方和。

GloVe的优点在于它明确地纳入了全局的统计信息，这有助于模型更好地理解和平衡词频的影响，并且在某些任务和数据集上表现出了比Word2vec更好的性能。此外，GloVe在训练时通常比Skip-gram更快，因为它优化的是整个概率的加权求和，而不是单独的条件概率。

总而言之，GloVe是Word2vec之后发展起来的一种高效且有效的词嵌入方法，它通过优化词语共现的统计信息来学习词向量，尤其适合于那些需要考虑全局统计特性的应用场景。