CNN基础知识

1. 感知机

单层感知机就是一个二分类器，接收输入向量，输出分类结果，先进行线性加权，再进行激活函数的非线性转换，就相当于是一个小模型，里面的权重w和b是模型的参数
参考1

参考2

2. DNN 深度神经网络（全连接神经网络）

DNN 与感知机的区别

DNN特点，全连接神经网络

DNN前向传播和反向传播

3. CNN结构【提取特征+分类】

3.1 CNN特有的卷积层，
3.2 卷积层自带卷积核和relu激活函数，
3.3 CNN特有的池化层（池化层没有激活函数）

4. CNN应用于文本

RNN基础

1. RNN的本质

常用在NLP中，应为NLP是处理语句的，语句之间有先后顺序，RNN可以在预测中加入先后顺序的信息

–分割线–

–分割线–

–分割线–

词向量模型word2Vec

把单词转换成向量，也就是一个一个的数值，计算机知道这些数值的含义，人类不需要理解

1. 自然语言处理需要解决的问题

1. 单词之间应该有先后的顺序，而不是用词频；
2. 意思相近的单词在空间中的表示也应该相近；

2. 如何解决上述问题

1. 把单词变成向量，计算两个向量之间的相似度；（解决问题2）

3. 词向量是什么（训练成词向量）

词向量就是在规定的维度内，通常是50-300维度，把单词变成数值，计算机可以认识

4. 神经网络做什么？

输入两个单词，预测第三个单词

5. 模型如何去训练词向量

1. 先有一个词向量库（随机初始化的），Look up embedding, 从中查找到输入词的向量，词向量输入到网络中，预测下一个词向量是什么，通过loss更新网络的权重参数以及词向量库
   
   词训练数据库，是任何正常说话的逻辑数据都可以当成训练数据

6. 构建训练数据

7. 浩大的语料库中，