背景
之前对逻辑归回函数求导过程进行过推导,当时不会用公式编辑,直接在纸上手动推导的,再重写一下,顺便回顾一下数学知识。
逻辑回归函数
逻辑回归的数学函数表达式为:
g
(
z
)
=
1
1
+
e
−
2
g(z)=\frac{1}{1+e^{-2}}
g(z)=1+e−21
它在二维坐标系中的表现为:
因为其外形类似S形状,因而又称为Sigmoid函数。sigmoid,英/'sɪgmɒɪd/n. 乙状结肠(等于sigmoidal);S状弯曲。
导数公式
逻辑回归函数的导数公式为:
g
′
(
z
)
=
g
(
z
)
(
(
1
−
g
(
z
)
)
g^{'}(z)=g(z)((1-g(z))
g′(z)=g(z)((1−g(z))
第一步,确定公式。导数推导过程使用的是商的求导公式:
( u v ) ′ = u ′ v + u v ′ v 2 (\frac{u}{v})^{'}=\frac{u^{'}v+uv^{'}}{v^{2}} (vu)′=v2u′v+uv′
此处: u = 1 u = 1 u=1, v = 1 + e − z v=1+e^{-z} v=1+e−z。
第二步,分别对它们求导: u ′ = 0 u^{'}=0 u′=0, v ′ = e − z v^{'}=e^{-z} v′=e−z 。基本知识:常量的导数是 0,e 的 X 次幂的导数是本身。
第三步,计算数值:
g
′
(
z
)
=
0
+
e
−
z
(
1
+
e
−
z
)
2
=
e
−
z
(
1
+
e
−
z
)
2
g^{'}(z)=\frac{0+e^{-z}}{(1+e^{-z})^{2}}=\frac{e^{-z}}{(1+e^{-z})^{2}}
g′(z)=(1+e−z)20+e−z=(1+e−z)2e−z
第四步,对分子进行等价变形,先加 1 再减 1,得到:
g
′
(
z
)
=
1
+
e
−
z
−
1
(
1
+
e
−
z
)
2
=
1
+
e
−
z
(
1
+
e
−
z
)
2
−
1
(
1
+
e
−
z
)
2
=
1
1
+
e
−
z
−
1
(
1
+
e
−
z
)
2
g^{'}(z)=\frac{1+e^{-z}-1}{(1+e^{-z})^{2}}=\frac{1+e^{-z}}{(1+e^{-z})^{2}}-\frac{1}{(1+e^{-z})^{2}}=\frac{1}{1+e^{-z}}-\frac{1}{(1+e^{-z})^{2}}
g′(z)=(1+e−z)21+e−z−1=(1+e−z)21+e−z−(1+e−z)21=1+e−z1−(1+e−z)21
第五步,代入已知条件
g
(
z
)
=
1
1
+
e
−
z
g(z)=\frac{1}{1+e^{-z}}
g(z)=1+e−z1,所以上述公式就成为:
g
′
(
z
)
=
g
(
z
)
−
(
g
(
z
)
)
2
=
g
(
z
)
(
1
−
g
(
z
)
)
g^{'}(z)=g(z)-({g(z)})^{2}=g(z)(1-g(z))
g′(z)=g(z)−(g(z))2=g(z)(1−g(z))
启示录
当年读书时,不知道高等数学具体在计算机中的应用过程,所以糊里糊涂的。现在看到相关的技术知识,反观公式时,奈何有种时过境迁的感觉,年龄大了,脑容量不够用啊……