线性回归模型
创建一些带标签的数据集𝐷 = {(𝒙1, 𝑦1) , (𝒙2, 𝑦2 ), … , (𝒙𝑚, 𝑦𝑚) }
x为特征，映射到对应的标签y，再引入偏置b
线性回归模型的函数表达式可以用下面的式子
来表达：
𝑓(𝑥) = 𝑤1𝑥1 + 𝑤2𝑥2 + ⋯ + 𝑤𝑛𝑥𝑛 + 𝑏
对比函数（误差函数）
即将参数模型预测出的y与真实的y做对比，来调节参数和权重，以及偏置使得误差最小
即找到一些w使得J(x)最小甚至等于0
Loss值计算公式：
f(x)就是线性模型预测值，y为真实值，这里把b省略掉了便于计算。
最小二乘法
这里loss值（即损失值）的函数为开口向上的二次函数，那一定有个最小值
就是对w求导，导数为0时取得极小值，w=y/x时loss值最小
最小二乘法向量形式
将参数𝑏纳入到矩阵𝒘中，此时数据特征矩阵𝒙则为：
矩阵𝒘为：
得到线性回归模型的向量表达式如下式所示𝑓(𝑿) = 𝑿w
求解使得loss最小
还是仿造刚刚简易的最小二乘法求这个较复杂带矩阵表达式的最小loss值
很显然𝒙和𝒘都是一个矩阵，利用最小二乘法对这个矩阵求最优的𝒘矩阵参数。
计算的步骤如下所示
J
(
ω
)
=
1
2
(
f
(
x
)
−
Y
)
2
J(\omega)=\frac{1}{2}(f(x)-Y)^2
J(ω)=21(f(x)−Y)2
这个
1
2
\frac{1}{2}
21只是方便之后计算，注意这里Xw是两个矩阵
J
(
ω
)
=
1
2
(
X
w
−
Y
)
2
J(\omega)=\frac{1}{2}(Xw-Y)^2
J(ω)=21(Xw−Y)2
在线性代数里可写为它的转置乘以它本身
J
(
ω
)
=
1
2
(
X
w
−
Y
)
T
(
X
w
−
Y
)
J(\omega)=\frac{1}{2}(Xw-Y)^T(Xw-Y)
J(ω)=21(Xw−Y)T(Xw−Y)
转置拿进去
J
(
ω
)
=
1
2
(
X
T
w
T
−
Y
T
)
(
X
w
−
Y
)
J(\omega)=\frac{1}{2}(X^Tw^T-Y^T)(Xw-Y)
J(ω)=21(XTwT−YT)(Xw−Y)
=
1
2
(
X
T
w
T
X
w
−
Y
T
X
w
−
X
T
w
T
Y
+
Y
Y
T
)
=\frac{1}{2}(X^Tw^TXw-Y^TXw-X^Tw^TY+YY^T)
=21(XTwTXw−YTXw−XTwTY+YYT)
我们求
J
(
ω
)
J(\omega)
J(ω)的导数为0时有loss的极小值
好，来求一下w的偏导数
∂
J
(
ω
)
∂
w
=
1
2
(
X
T
w
T
X
w
∂
w
−
Y
T
X
w
∂
w
−
X
T
w
T
Y
∂
w
)
\frac{\partial J(\omega)}{\partial w}=\frac{1}{2}(\frac{X^Tw^TXw}{\partial w}-\frac{Y^TXw}{\partial w}-\frac{X^Tw^TY}{\partial w})
∂w∂J(ω)=21(∂wXTwTXw−∂wYTXw−∂wXTwTY)
常数项
Y
Y
T
YY^T
YYT为0，看看对矩阵求导的公式知识点吧，如
套公式则
∂
J
(
ω
)
∂
w
=
1
2
(
2
X
X
T
w
−
X
T
Y
−
X
T
Y
)
\frac{\partial J(\omega)}{\partial w}=\frac{1}{2}(2XX^Tw-X^TY-X^TY)
∂w∂J(ω)=21(2XXTw−XTY−XTY)
∂
J
(
ω
)
∂
w
=
X
X
T
w
−
X
T
Y
)
\frac{\partial J(\omega)}{\partial w}=XX^Tw-X^TY)
∂w∂J(ω)=XXTw−XTY)
令
∂
J
(
ω
)
∂
w
=
0
\frac{\partial J(\omega)}{\partial w}=0
∂w∂J(ω)=0则
X
X
T
w
−
X
T
Y
=
0
XX^Tw-X^TY=0
XXTw−XTY=0
w
=
(
X
X
T
)
−
1
X
T
Y
w=(XX^T)^{-1}X^TY
w=(XXT)−1XTY
但是
(
X
X
T
)
−
1
(XX^T)^{-1}
(XXT)−1大多数时候是无解的，所以最小二乘法多数情况下不能来求导得出loss最小值
于是梯度下降法就上线了
