Xavier 初始化

为什么在 $$W^{[l]}=np.random.randn(shape)\times np.sqrt(\frac{1}{n^{[l-1]}})$$ 中需要乘以 $np.sqrt(\frac{1}{n^{[l-1]}})$

---

Xavier 初始化通过保持输入和输出之间的方差不变来尽可能避免梯度爆炸/消失。

它假设每个神经元的输入和输出是从一个均值 $\mu$ 为零、方差 ${\sigma }^2$ 相同的分布中抽样得到的，而这个分布的方差可以通过输入和输出的维度来估计。

对于权重矩阵 $W^{[l]}$ 采用高斯分布来初始化：$\mathcal{N}(0,{\sigma }^2)$

若 $W^{[l]}$ 方差很大（取值范围非常广泛） $\to$ $l$ 层的输出值 $z$ 很大

$\to$ 激活函数 $a$ 的斜率很大（$l$ 层的输出 $z$ 就是 $a$ 的输入）

$\to$ $l$ 层权重的梯度变大（$l$ 层权重的梯度与激活函数的斜率成正比）

$\to$ 可能引发梯度爆炸

• 主要零均值： 高斯分布的均值为零，这意味着在初始化权重时，期望值为零，不会引入任何偏差。

  若 $\mu !=0$，就会引入一个初始的偏差（记为 bias_orig）。假设 $a=g(z)$，且只有一个输出层。
  

  $\hat{y}=Wx+b$

  当引入偏差之后，$\hat{y}=Wx+b+bias\_orig$

  也就是在基本预测函数的基础上加上了额外的偏差。

  ---

  即：本来预测函数与真实有一定的偏差，但是加上了额外的偏差，与真实偏差更大。

  • 偏差：模型预测值与真实值之间的差距

• 其次对称性： 高斯分布是对称的，这意味着权重的正值和负值出现的概率相等，从而可以避免引入偏斜。

那么某一个神经元输出也就是 $z=w_1{x}_1+w_2{x}_2+\cdots +w_n{x}_n=\underset{i=1}{\overset{n_{in}}{\Sigma }}{w}_i{x}_i,b=0$

假设 $x$ 的输入也具有均值 $\mu =0$，方差 ${\gamma }^2$

$E(z)=\underset{i=1}{\overset{n_{in}}{\Sigma }}E[w_i{x}_i]$
$=\underset{i=1}{\overset{n_{in}}{\Sigma }}E[w_i]E[x_i]$
$=0$

$D(z)=E(z^2)-E(z{)}^2$
$=\underset{i=1}{\overset{n_{in}}{\Sigma }}E[w_i^2{x}_i^2]-0$
$=\underset{i=1}{\overset{n_{in}}{\Sigma }}E[w_i^2]E[x_i^2]$

​ $=n_{in}{\sigma }^2{\gamma }^2$

$E[w^2]=D(w)-(E[w]{)}^2=D(w)={\sigma }^2$

$E[x^2]=D(x)-(E[x]{)}^2=D(x)={\gamma }^2$

由于需要保证输入与输出的方差一致：$D(z)={\gamma }^2$

那么 $n_{in}{\sigma }^2=1$

---

若只考虑正向传播，那么 $\sigma =\sqrt{\frac{1}{n_{in}}}$

也就是 $np.sqrt(\frac{1}{n^{[l-1]}})$

那么权重矩阵 $W^{[l]}$ 采用高斯分布来初始化：$\mathcal{N}(0,{\sigma }^2)$

• 其中 $\sigma =\sqrt{\frac{1}{n^{[l-1]}}}$

即：$W^{[l]}=np.random.randn(shape)\times np.sqrt(\frac{1}{n^{[l-1]}})$

• $np.random.randn(shape)$ 默认服从 $\mathcal{N}(0,1)$

---

若即考虑正向传播，也考虑到反向传播

那 $n_{in}{\sigma }^2=1,n_{out}{\sigma }^2=1$

不可能同时满足二者

只需满足：$n_{in}{\sigma }^2+n_{out}{\sigma }^2=2$

即：
$$\sigma =\sqrt{\frac{2}{n_{in}+n_{out}}}\text{\hspace{1em}(1)}$$
通常：$x$ 也采用高斯分布

---

若 $x$ 的输入采用均匀分布 $U(-a,a)$

同高斯分布的对称性

那么：${\sigma }^2=\frac{(a-(-a){)}^2}{12}=\frac{a^2}{3}$

带入公式 $(1)$ 得出初始化值域：
$$U(-\sqrt{\frac{6}{n_{in}+n_{out}}},\sqrt{\frac{6}{n_{in}+n_{out}}})$$