🎥博主：程序员不想YY啊
💫CSDN优质创作者，CSDN实力新星，CSDN博客专家
🤗点赞🎈收藏⭐再看💫养成习惯
✨希望本文对您有所裨益，如有不足之处，欢迎在评论区提出指正，让我们共同学习、交流进步！
🌱神经网络训练
💥在神经网络训练中，术语“batch”（或mini-batch）指的是一次训练过程中用于网络权重更新的样本集合。训练时，整个训练数据集会被分割成多个小批量的样本集。每个这样的批量数据（batch）会依次通过神经网络进行一次前向传播和一次反向传播，从而对模型参数进行一次更新。
💥batch的作用在于以下几个方面：
💥1. 内存管理
对于大型数据集或大型模型，一次性将全部数据输入到神经网络中可能会超出硬件的内存或显存容量限制。使用更小的batch可以减少每次需要处理数据的数量，从而减少计算所需的内存。
💥2. 计算效率
在深度学习中，使用GPU进行矩阵操作可以显著加速训练。批量处理可以更好地利用GPU的并行处理能力，使运算更加高效。如果每次只用一个样本，我们就不能充分利用这种并行性。
💥3. 梯度估计
使用整个数据集进行每次权重更新，能获得最精确的梯度下降方向，这称为批量梯度下降（Batch Gradient Descent）。但是，这种方法在实际操作中通常过于耗时且难以处理大数据集。相对地，使用小批量样本能够提供对真实梯度的合理估计，同时仍保持更快的计算速度。
💥4. 收敛性和泛化
在训练过程中，较小的batch大小引入了噪声，这可以帮助模型跳出局部最小值，有时也能更好地泛化。反之，较大的batch会减少噪声，可能更平稳地收敛到局部最小值。
💥5. 正则化效果
较小的batch大小可能由于其噪声性质而具有一定的正则化效果，有助于防止模型过拟合。它能促使模型在训练数据上找到更加鲁棒的特征。
💥选择合适的batch大小对神经网络的训练效果有很大的影响，如果batch过小，可能会导致模型训练过程中的梯度估计太过于不稳定，导致难以收敛；如果batch过大，又可能导致内存资源耗尽，或者减缓训练过程，甚至导致优化过程陷入较差的局部最小值。通常，适当的batch大小需要根据具体任务、模型架构、可用硬件资源等因素进行调整。
