9.27

1. 语义鸿沟： 是指输入数据的底层特征和高层语义信息之间的不一致性和查一下。如果可以有一个好的表示在某种程度上能够反映出数据的高层语义特征，那么我们就能相对容易的构建后续的机器学习模型。
2. 嵌入（Embedding）： 将一个度量空间中的一些对象映射到另一个低维的度量空间中，并尽可能地保持不同对象之间的拓扑关系。
3. 端到端的训练： 在学习过程中不进行分模块或分阶段的训练，直接优化任务的总体目标。
4. 梯度消失问题阻碍神经网络的进一步发展，特别是循环神经网络。为了解决这个问题，研究人员采用两步来训练一个多层的循环神经网络：第一步为通过无监督学习的方式来逐层训练每一步循环神经网络，即预测下一个输入；第二部通过反向传播算法进行精调。
5. 过拟合问题往往是由于训练数据少和噪声以及模型能力强等原因造成的。为了解决过拟合问题，一般在经验风险最小化的基础上再引入参数的正则化来限制模型能力，使其不要过渡地最小化经验风险。这种就是结构风险最小化。
6. 超参数： 用来定义模型结构或优化策略的参数。
7. 最简单、常用的优化算法为梯度下降，首先初始化参数，然后按照下面迭代公式来计算风险函数的最小值：
   $${\theta }_{t+1}={\theta }_t-\alpha \frac{\partial R_D(\theta )}{\partial \theta }$$,其中$\alpha$为搜索步长，一般称为学习率。
8. Early Stop： 每次迭代时，把新的到的模型在验证集上进行测试，计算错误率。如果在验证集上的错误率不再下降，就停止迭代。
9. 目标函数是整个训练集上风险函数，这种方式称为批量梯度下降法（Batch Gradient Descent，BGD）。批量梯度下降法在每次迭代时需要计算每个样本上损失函数的梯度并求和。当训练集中的样本数量N 很大时，空间复杂度比较高，每次迭代的计算开销也很大。
10. 为了减少每次迭代的计算复杂度，我们也可以在每次迭代时只采集一个样本，计算这个样本损失函数的梯度并更新参数，即随机梯度下降法（Stochastic Gradient Descent，SGD）
11. 偏差指的是算法的期望预测与真实预测之间的偏差程度， 反应了模型本身的拟合能力。
12. 方差度量了同等大小的训练集的变动导致学习性能的变化， 刻画了数据扰动所导致的影响。