文章目录
- Reptile
- RNN
- LSTM
- 梯度下降的LSTM
- 基于度量的方法
- Siamese Network
- N-way Few/One-shot Learning
- 原型网络
- 匹配网络
- 关系网络
- 虚拟数据的少量学习
- Train + Test as RNN
Reptile
RNN
LSTM
RNN的变形
加入门
梯度下降的LSTM
GD看似像简化的LSTM
可以让机器自动学习这些zf和zi
典型的LSTM的c和x是没有关系的，但是GD的LSTM的θ和输入的梯度是有关系的。
优点：合理的模型尺寸；在典型的梯度下降中，所有参数使用相同的更新规则；训练和测试模型架构可以不一样。
参数更新不仅取决于当前梯度，还取决于先前的梯度。
加入另一个LSTM，m存储之前的数据
基于度量的方法
学习一个能同时输入训练资料和测试资料，输出结果的网络。
Siamese Network
暹罗网络-直观解释：二元分类问题:“它们是相同的吗？”
图片经过cnn之后得到的数据，如果是同一张脸就会很相近，不同就会很远。
auto-encoder会保留图片的所有资料。
我们应该使用什么样的距离？
N-way Few/One-shot Learning
假如任务是分类问题而不是回答是否的问题。
原型网络
匹配网络
s层经过多跳相似记忆网络之后才得到输出
关系网络
使用另外的网络计算相似度。
虚拟数据的少量学习
使用生成器，一张图片经过G生成多张图，然后放到网络里面。
Train + Test as RNN
输入embedding和类别的one-hot 向量，训练不了
