1. 潜变量自回归模型 2. 循环神经网络 计算损失是比较ot和xt之间来计算损失,但是xt是用来更新ht,使得其挪到下一个单元。 用一个额外的whh来存时序信息。 3. 使用循环神经网络的语言模型 4. 困惑度(perplexity) 5. 梯度剪裁 g表示所有层的梯度放到一起。 6. 更多的应用RNNs 7. 总结 循环神经网络的输出取决于当下输入和前一时间时间的隐变量应用到语言模型中时,循环神经网络根据当前词预测下一时刻词通常使用困惑度来衡量语言模型的好坏