"燃尽最后的本能,意志力会带你杀出重围"
—— 24.12.2
1. Normalization(归一化)
归一化是将数据转换为具有统一尺度的形式,通常用于数据预处理阶段。常见的归一化方法包括 Min-Max归一化、Z-Score 归一化和 L2 归一化。
特点
目的
消除数据特征之间的量纲差异,使得不同特征对模型的影响更加均衡。
应用场景
数据预处理阶段,用于提高模型的训练效果和泛化能力。和
输出范围
取决于具体的归一化方法。
Min-Max 归一化:[0,1] 或 [-1,1]
Z-Score 归一化:均值为0,标准差为1
L2 归一化:向量的 L2 范数为 1
2. Sigmoid 函数
Sigmoid 函数是一种非线性激活函数,将输入值压缩到 (0, 1) 之间。其数学表达式为:
特点
目的
将输入值压缩到(0,1)之间,适合用于二分类问题。
应用场景
二分类问题中的输出层,需要将输出值解释为概率
输出范围
(0,1)
3. Softmax 函数
Softmax 函数也是一种非线性激活函数,将输入值转换为概率分布。其数学表达式为:
其中,Xi 是输入向量的第 i 个元素,n 是输入向量的维度
特点
目的
将输入值转换为概率分布,使得所有输出值的和为1。
应用场景
多分类问题中的输出层,需要将输出值解释为概率分布
输出范围
(0,1),且所有输出值的和为 1。