目录
一、为什么要有词嵌入？
二、one-hot编码：
三、什么是词嵌入（word embedding）
1、什么是嵌入矩阵？
2、为什么要设置维数？
3、相比one-hot编码的优点
4、什么是word2vec和GLove？
四、图嵌入
1、词嵌入与图嵌入的相似性
2、什么是随机游走
3、Node2vec
4、总结
一、为什么要有词嵌入？
文本是非结构化数据并且是不可计算的
向量是结构化数据并且是可计算的
二、one-hot编码：
猫：［1，0，0，0］
狗：［0，1，0，0］
牛：［0，0，1，0］
羊：［0，0，0，1］
缺点显而易见 真实情况文本出现的单词有成千上万个不同
- 无法表达词语之间的关系
- 这种过于稀疏的向量，导致计算和存储的效率都不高
三、什么是词嵌入（word embedding）
word embedding 是文本表示的一类方法。跟 one-hot 编码和整数编码的目的一样，但他有更多的优点，比如通过词嵌入可以把高维的one-hot稀疏变为低维稠密
例子：（如下图所示：）
s=’我喜欢学习数学’ 使用词嵌入技术，将s中的每个词，都表示为一个128维的向量（这个维数是可以自定义的，只要能够保持与嵌入矩阵的维数是一致的）【为什么要设置维数】（目的是要捕捉词与词之间的关系）。
上图中的右边矩阵E即为嵌入矩阵。
1、什么是嵌入矩阵？
嵌入矩阵是通过特定的词嵌入算法，如word2vec、fasttext、Glove等训练得到一个通用的嵌入矩阵。（如下图所示）
2、为什么要设置维数？
设置维数是为了进一步说明词与词之间的关系（如下图左边表示）
通过降维算法不仅可表达相似性而且可通过计算得到数学关系 ，并绘制在二维平面上，可以发现语义相近的词语对应的位置也更相近。
上图说明，词嵌入向量不仅可以表达语义的相似性，而且可以通过向量的数学关系，描述词语之间的语义关联。
3、相比one-hot编码的优点
1、通过更低维的表达，表达效率得到提升。
2、可以理解词语的语义，并进行词语的推理，即语义相似的词在向量空间上也会更近。
3、嵌入矩阵是通用的，同一份词向量，可以用在不同的NLP任务中。
详细的视频参考：什么是词嵌入，Word Embedding算法_哔哩哔哩_bilibili
4、什么是word2vec和GLove？
Word2vec 和Glove都是 Word Embedding 的方法之一。他是 2013 年由谷歌的 Mikolov 提出了一套新的词嵌入方法。
Word2vec有两种训练模式：CBOW(Continuous Bag-of-Words Model)和Skip-gram (Continuous Skip-gram Model)
1、CBOW通过上下文来预测当前值。相当于一句话中扣掉一个词，让你猜这个词是什么
比如：
2、Skip-gram用当前词来预测上下文。相当于给你一个词，让你猜前面和后面可能出现什么词
比如：
详细内容可参考：一文看懂 Word2vec（基本概念+2种训练模型+5个优缺点） (easyai.tech)
Glove算法详细可参考：GloVe详解 | 永远的热河路 (fanyeong.com)
四、图嵌入
将图嵌入到一个低维连续稠密的d维向量，上图中的d=6，这就是图嵌入。
1、词嵌入与图嵌入的相似性
词嵌入与图的随机游走是相似的，相邻的词之间是（相似的）存在一定关系，随机游走也是相邻的节点是相似的（可以预测中间的点）。（左图为节点，右图为词嵌入）
2、什么是随机游走
随机游走（deepWalk）就是在图中选取邻近的结点是完全随机的，其嵌入缺点，完全的随机游走，训练节点嵌入向量，只会把距离自己比较近的存在相似，而距离远但实际相似的是捕捉不到的。
例如，下图苏伊士运河和巴拿马运河随机游走是做不到相似的。它只能找到周边的相似性。
DeepWalk缺点：
1、用完全随机游走，训练节点嵌入向量。
2、仅能反映相邻节点的社群相似信息。
3、无法反映节点的功能角色相似信息。
可参考的视频：Node2Vec【图神经网络论文精读】_哔哩哔哩_bilibili
3、Node2vec
node2vec相当于有偏的随机游走（可调节pq值）。（a乘权重有权图或者乘1无权图）
左图，如果把p调小相当于BFS（找周围相似），右图若把q调的小相当于DFS（找远处的相似），可以想象为DFS与BFS的一种结合。是一种二阶的随机游走，而不是deepWalk一阶的（相当于p=1,q=1的特例）。
4、总结
（Node2vec图嵌入算法）是无监督的和deepwalk（相当于把Word2vec用在图上）一样 ：
1、Node2Vec解决图嵌入问题，将图中的每个节点映射为一个向量（嵌入)
2、向量（嵌入)包含了节点的语义信息(相邻社群和功能角色)。
3、语义相似的节点，向量（嵌入)的距离也近。
4、向量（嵌入)用于后续的分类、聚类、Link Prediction、推荐等任务。
1、在DeepWalk完全随机游走的基础上，Node2Vec增加p、_q参数，实现有偏随机游走。不同的p、q组合，对应了不同的探索范围和节点语义。
2、DFS深度优先探索，相邻的节点，向量（嵌入)距离相近。
3、BFS广度优先探索，相同功能角色的节点，向量（嵌入)距离相近。
4、DeepWalk是Node2Vec在p=1， q=1的特例。
LinkEmbedding
是两个点的连接，相当于将两个点进行融合到一起。
