机器学习优化算法：从梯度下降到Adam及其实验改进

在机器学习和深度学习领域，模型的训练过程本质上是一个优化问题。优化算法的作用是通过调整模型参数，使得模型在给定的数据
集上实现最优性能。而优化算法的效率和效果直接决定了模型的收敛速度和最终表现。

一、优化算法的基本概念

1. 目标函数与损失函数

   在机器学习中，我们通常定义一个目标函数（Objective Function），它衡量了模型预测值与真实值之间的差异。这个差异通常
   被称为损失（Loss）。我们的目标是通过调整模型参数，使得这个损失最小化。

2. 优化器的作用

   优化算法负责根据当前的损失计算梯度，并更新模型参数以减小损失。常见的优化算法包括梯度下降（Gradient Descent）、随
   机梯度下降（Stochastic Gradient Descent, SGD）、Adam（Adaptive Moment Estimation）等。

3. 参数更新规则

   参数更新是优化器的核心步骤。基本的更新公式可以表示为：