损失函数

L1Loss

平均绝对误差（Mean Absolute Error，MAE）
预测值和真实值之差的绝对值

L2Loss

均方误差（Mean Square Error，MSE）
是预测值和真实值之差的平方

Smooth L1 Loss/Huber Loss

平滑版本的L1loss
在预测值与目标值之间引入了平滑，相比于均方误差（MSE）对异常值更具鲁棒性

区别

• L1loss在零点不平滑，用的较少。一般来说，L1正则会制造稀疏的特征，大部分无用的特征的权重会被置为0。（适合回归任务，简单的模型，由于神经网络通常解决复杂问题，很少使用。）
• L2loss：对离群点比较敏感，如果feature是unbounded的话，需要好好调整学习率，防止出现梯度爆炸的情况。l2正则会让特征的权重不过大，使得特征的权重比较平均。