过拟合

• 机器学习的根本问题是优化和泛化的问题。
• 优化——是指调节模型以在训练数据上得到最佳性能;
• 泛化------指训练好的模型在前所未见的数据上的性能好坏。
  训练初期:
  优化和泛化是相关的:训练集上的误差越小，验证集上的误差也越小，集上的误差也越小，模型的泛化能力逐渐增强

训练后期:
模型在验证集上的错误率不再降低，转而开始变高。模型出现过拟合，开始学习仅和训练数据有关的模式。

最优方案——获取更多的训练数据
次优方案——调节模型允许存储的信息量或者对模型允许存储的信息加以
约束，该类方法也称为正则化

在机器学习和数据科学领域，提高模型性能通常涉及多种策略。你提到的两种方案——获取更多的训练数据和正则化——是实践中非常常见且有效的方法。下面将详细解释这两种方案，并探讨它们在不同情境下的适用性。

应对过拟合-最优方案：获取更多的训练数据

原理：
更多的训练数据意味着模型可以学习到更多关于数据分布的特征，从而提高泛化能力。大数据集有助于减少过拟合的风险，因为模型有更多的机会学习到数据中的真实模式，而不是噪声。

优点：

• 提高模型的泛化能力。
• 减少过拟合的风险。
• 在一些情况下，可以简化模型设计，因为大数据集本身就能提供足够的信息来支持复杂问题的解决。

挑战：

• 数据收集可能耗时、耗力且昂贵。
• 数据质量和标签的准确性需要保证。
• 数据存储和处理能力可能受到限制。

应对过拟合-次优方案：正则化

原理：
正则化是通过在损失函数中添加一个惩罚项来约束模型的复杂度，从而防止模型在训练数据上过拟合。正则化方法包括L1正则化（Lasso）、L2正则化（Ridge） 等。L21正贝损失对于大数值的权值向量进行严厉惩罚，鼓励更加分散的权重向量;使模型倾向于使用所有输入特征做决策，此时的模型泛化性能好!

应对过拟合-次优方案2：随机失活

• 随机失活:让隐层的神经元以一定的概率不被激活。
• 实现方式:训练过程中，对某一层使用Dropout，就是随机将该层的一些输出舍弃(输出值设置为0），这些被舍弃的神经元就好像被网络删除了一样。
• 随机失活比率( Dropout ratio） :是被设为0的特征所占的比例，通常在0.2——0.5范围内。

例:假设某一层对给定输入样本的返回值应该是向量:[0.2，0.5，1.3，0.8，1.1]。,
使用Dropout后，这个向量会有几个随机的元素变成:[0,0.5，1.3， 0， 1.1]。

随机失活为什么能够防止过拟合呢?

随机失活的应用

测试阶段与训练阶段的输出值不一致

import numpy as np

# 神经元保持激活状态的概率，该值越高失活的单元就越少
P = 0.5

# 定义训练函数
def train(x, W1, b1, W2, b2, W3, b3):
    # 计算第一层输出
    H1 = np.maximum(0, np.dot(W1, x) + b1)
    # 生成第一层的mask
    U1 = (np.random.rand(*H1.shape) < P).astype(float)
    # 第一层dropout操作
    H1 *= U1
    # 计算第二层输出
    H2 = np.maximum(0, np.dot(W2, H1) + b2)
    # 生成第二层的mask
    U2 = (np.random.rand(*H2.shape) < P).astype(float)
    # 第二层dropout操作
    H2 *= U2
    # 计算输出层输出
    out = np.dot(W3, H2) + b3
    return out, H1, H2  # 可以根据需要返回中间层输出用于调试或可视化

# 定义预测函数
def predict(x, W1, b1, W2, b2, W3, b3):
    # 注意：在预测时通常不使用dropout，但为了与train函数保持一致，这里仍保留权重和偏置的变量名
    H1 = np.maximum(0, np.dot(W1, x) + b1) * P
    H2 = np.maximum(0, np.dot(W2, H1) + b2) * P
    out = np.dot(W3, H2) + b3
    return out

# 初始化权重和偏置
input_size = 3
hidden_size1 = 4
hidden_size2 = 4
output_size = 1

W1 = np.random.randn(hidden_size1, input_size) * 0.01
b1 = np.zeros((hidden_size1, 1))
W2 = np.random.randn(hidden_size2, hidden_size1) * 0.01
b2 = np.zeros((hidden_size2, 1))
W3 = np.random.randn(output_size, hidden_size2) * 0.01
b3 = np.zeros((output_size, 1))

# 示例输入
x = np.random.rand(input_size, 1)  # 假设输入是一个三维向量

# 训练并获取输出
output, H1_val, H2_val = train(x, W1, b1, W2, b2, W3, b3)
print("Training Output:", output)

# 预测
prediction = predict(x, W1, b1, W2, b2, W3, b3)
print("Prediction:", prediction)

在训练阶段直接除以概率P，测试阶段不用除以概率P。

综合考量

优点：

• 在不增加额外数据的情况下，提高模型的泛化能力。
• 通过控制模型的复杂度，有助于减少过拟合。
• 可以作为模型训练过程中的一个调整参数，灵活应用于不同的模型架构。

挑战：

• 需要仔细调整正则化参数以找到最佳平衡点，这可能需要多次实验。

• 正则化可能会限制模型的性能，尤其是在数据量充足且模型复杂度适当的情况下。

• 对于某些类型的模型（如深度学习模型），正则化的效果可能不如增加数据量显著。

• 数据量不足：在数据量严重不足的情况下，获取更多数据通常是首选方案。如果数据收集不可行或成本过高，正则化可以作为一个有效的替代方案。

• 模型复杂度过高：当模型复杂度过高且数据量相对不足时，正则化尤为重要。通过约束模型的复杂度，可以减少过拟合的风险。

• 计算资源限制：在处理大规模数据集时，计算资源的限制可能成为一个问题。在这种情况下，正则化可以作为一种减轻计算负担的策略，同时保持模型的性能。

总之，获取更多的训练数据和正则化是提高模型性能的两种有效策略。在实际应用中，应根据具体情境和数据特点灵活选择和应用这两种方法。

超参数

• 网络结构——隐层神经元个数,网络层数，非线性单元选择等
• 优化相关———学习率、dropout比率、正则项强度等

• 学习率过大，训练过程无法收敛
• 学习率偏大，在最小值附近震荡，达不到最优
• 学习率太小，收敛时间较长
• 学习率适中，收敛快、结果好

超参数优化方法

• 网格搜索法:
  1.每个超参数分别取几个值，组合这些超参数值，形成多组超参数;
  2.在验证集上评估每组超参数的模型性能;
  3.选择性能最优的模型所采用的那组值作为最终的超参数的值。

• 随机搜索法
  1.参数空间内随机取点，每个点对应一组超参数;
  2.在验证集上评估每组超参数的模型性能;
  3.选择性能最优的模型所采用的那组值作为最终的超参数的值。

• 粗搜索:利用随机法在较大范围里采样超参数训练一个周期，依据验证集正确率缩小超参数范围。
• 精搜索:利用随机法在前述缩小的范围内采样超参数;运行模型五到十个周期，选择验证集上精度最高的那组超参数。