机器学习中的数学原理——多重回归算法

news2024/11/19 1:53:02

这个专栏主要是用来分享一下我在机器学习中的学习笔记及一些感悟，也希望对你的学习有帮助哦！感兴趣的小伙伴欢迎私信或者评论区留言！这一篇就更新一下《白话机器学习中的数学——多重回归算法》！

一、什么是多重回归

二、案例分析

三、总结

一、什么是多重回归

多重线性回归 (multiple linear regression) 是简单直线回归的推广，研究一个因变量与多个自变量之间的数量依存关系。多重线性回归用回归方程描述一个因变量与多个自变量的依存关系，简称 多重回归 。

二、案例分析

还记得我们之前研究最小二乘法的时候，是根据广告费来预测点击量的，广告费作为唯一变量。无论我们之后研究的梯度下降法还是多项式回归，都是建立在广告费作为唯一变量的前提下的。然而，实际情况中点击量是受到广告费在内的多个因素影响的。也就是说，以点击量作为因变量，自变量会有多个。我们将原来的案例扩展一下，现在，决定点击量的除了广告费之外，还有广告的展示位置和广告版面的大小等多个要素。设广告费为 x1、广告栏的宽为 x2、广告栏的高为 x3，那么 fθ 可以表示如下：

$f_{\Theta }(x_1,x_2,x_3) = \Theta _0+\Theta _1x_1+\Theta _2x_2+\Theta _3x_3$

现在的问题就变成了怎么去求 $\Theta _1,\Theta _2,\Theta _3$ ,按照我们之前的做法，只需要分别求出目标函数对 $\Theta _1,\Theta _2,\Theta _3$ 的偏微分，然后更新参数就可以了。但是在求偏微分之前，我们可以先试着简化表达式的写法。

想象一下，刚才我们说有 x1、x2、x3 共 3 个变量，下面我们把它推广到有 n个变量的情况。这时候 fθ 会变成什么样子呢？

$f_{\Theta }(x_1,...,x_n) = \Theta _0+\Theta _1x_1+...+\Theta _nx_n$

每次都像这样写 n 个 x 岂不是很麻烦？所以我们现在还可以把参数 θ 和变量 x 看作向量。

这里的1就相当于 $x_0$ ,这样的操作好处就在于保证了θ和 x 的维度相同，处理起来会容易很多。把 θ 转置之后，就可以计算一下它与 x 相乘的结果。

所以简化之后的表达式就变为：

$f_\Theta (x)=\Theta ^Tx$

接下来我们就使用 fθ(x)来求参数更新表达式吧，方法与之前一样。设 u = E(θ)、v = fθ(x)的部分是一样的。为了一般化，我们可以考虑对第 j 个元素 θj 偏微分的表达式:

然后只需要求 v 对 θj 的微分就好了：

那么就可以得到第 j 个参数的更新表达式就是这样的：

这样我们就不用每个 θ 都写更新表达式，它们可以汇总为上面这样的一个表达式。像这样包含了多个变量的回归称为多重回归。可以基于一般化的思路来思考问题正是数学的优点。

三、总结

这一节主要学习了多重回归算法，有原来的一个自变量转化成了多个自变量，考虑多个自变量对因变量的影响，从而确定最优参数。同时，我们还学习了简化表达式，将原来繁琐的多个表达式整理成一个通用的表达式，用到了向量的知识，注意 $\Theta$ 和x相乘的时候需要进行转置，这一块在线性代数上面有提及。