1.目的

1.1损失函数求解问题

• 线性回归Loss函数梯度公式

参数	含义
$\theta$	函数参数
$\alpha$	学习率
$x_j^i$	x:数据集，i:样本，j:特征 【数据集的每一行是一条样本，每一列是一个特征】
$z_{({\theta }_j)}$	预测值
$y^i$	真实值

$$\begin{array}{rl}{\theta }_j& :={\theta }_j-\alpha \ast \frac{\partial Los{s}_{(\theta )}}{\partial {\theta }_j}\\ & :={\theta }_j-\alpha \ast (z_{({\theta }_j)}-y^i)\ast x_j^i\end{array}$$

• 对参数求偏导【求梯度】如下：
  $$\begin{array}{rl}{\theta }_1& :={\theta }_1-\alpha \ast (z_{({\theta }_1)}-y^i)\ast x_1^i\\ {\theta }_2& :={\theta }_2-\alpha \ast (z_{({\theta }_2)}-y^i)\ast x_2^i\end{array}$$

  • 对于损失函数初始参数时，参数值期望是均值为0方差1的正太分布随机在0附近的，所以每个初始参数值大小是差不多的。
  • 根据公式可知$\alpha \ast (z_{({\theta }_1)}-y^i)$值也差不多，即参数迭代的快慢就由$x_j^i$【特征值的大小】决定的
  • 假设$x_1^i$特征为年龄，$x_2^i$特征为收入，由于年龄的取值范围远小于收入，$x_1^i$<$x_2^i$,则${\theta }_2$迭代速度快于${\theta }_1$，导致${\theta }_2$达到最优解时，需要等待${\theta }_1$迭代到最优解

• 图像说明
  

  • 在机器学习算法模型中，需要根据损失函数(Loss)求梯度根据损失求最优解参数$\theta$
  • 如图，对于loss损失的最优解在中心点
  • 迭代参数路线如图蓝色线所示，当${\theta }_2$迭代到最优解时，${\theta }_1$距离最优解的距离还有一段距离，导致${\theta }_2$达到最优解时，需要等待${\theta }_1$迭代到最优解，会导致${\theta }_1$在最优解的位置慢慢震荡，不能同时获取最优解

1.2 归一化目的

• 归一化可以把数据统一到某个范围，达到梯度下降求参数迭代速度一致，统一每个特征的范围，即无量纲化【就是去单位】
• 如图，对参数进行归一化后，${\theta }_1$与${\theta }_2$迭代速度一致，可以同时求得最优解，同时收敛，减少迭代次数，模型速度加快

2. 归一化

2.1 最大值最小值归一化

参数	含义
j	特征
i	样本
$x_j^{min}$	每个特征的最小值
$x_j^{max}$	每个特征的最大值
$x_{i,j}$	特征的每个样本值

$$\begin{array}{rl}{x}_{i,j}& =\frac{x_{i,j}-x_j^{min}}{x_j^{max}-x_j^{min}}\end{array}$$

• 优点
  • 会将数据归一化到0-1之间
• 缺点
  • 容易受到噪点数据的影响,公式分母是最大值与最小值的差
    • 如果存在最大值噪点，会导致分母值变大，大部分数据趋向于0，最大值噪点的值趋向于1
    • 如果存在最小值噪点，会导致分母值变大，大部分数据趋向于1，最小值噪点的值趋向于0

      from sklearn.preprocessing import MinMaxScaler
      
      data=[[1],[2],[3],[1000]]
      scaler=MinMaxScaler()
      data_fit=scaler.fit_transform(data)
      print(data_fit)
      # [[0.      ],[0.001001],[0.002002], [1.      ]]
      data=[[1],[1100],[1020],[1000]]
      scaler=MinMaxScaler()
      data_fit=scaler.fit_transform(data)
      print(data_fit)
      #[[0.        ],[1.        ],[0.92720655],[0.90900819]]
      

  • 更新路线可能不是最优路线
    • 当我们使用最大值最小值归一化时，会将数据集的值归一化到0-1之间，导致数据的值都为正
    • 导致参数只能同时增大或减小 ，但是每个参数的关系并不都是正相关性
    • 如图,我们希望参数$w_t$迭代到$w_{\ast }$，我们发现$w_2$迭代过程中在增大,$w_1$迭代过程中在减小，由于我们将数值都归一化为正数，只能根据图中黑线迭代得到最优参数，不能通过最优路径【红色线】迭代，导致迭代次数增加

2.2 标准化

参数	含义
$x_j^{mean}$	特征均值
$standarddeviation$	特征方差

$$\begin{array}{rl}{x}_{i,j}& =\frac{x_{i,j}-x_j^{mean}}{standarddeviation}\end{array}$$

• 公式分子为均值归一化，使数据有正有负，可以得到最优的迭代路线，使更新尽可能沿着最优解路径去。
• 公式分子为方差归一化，可以减小噪点数据的影响。