1. 如果在测试集上的效果不佳，应该要做什么？
2. Optimization 如何选择？
3. 解决 overfitting 的方法？

测试集上的效果不佳

1. 看训练数据的loss，是不是模型本身就没训练好？
   • 问题：model 太简单了，func set 中没有满足条件的 func (我觉得这就是一种欠拟合的状态吧)
   • 解决方案：使用更复杂的模型
2. 优化法 Optimization 没有选对，比如通过梯度下降，结果收敛到局部最优。

• 如何确定是 model 不够复杂还是优化法没有选对呢？可以先选择更复杂的模型，看有没有提升。假设换了更复杂的模型，还是没有学好的话，表明是 Optimization 的问题。

备注：如果训练层数变多，在训练集上的 loss 先减小后增大，这是的过拟合问题吗？（不是，因为过拟合是相对测试集来讲的，所以不是过拟合 overfitting

overfitting 的解决方案

mismatch

mismatch 是说训练和测试数据分布不一致带来的。不能靠增加训练数据来解决