什么是回归分析

• Regression
• 回归分析是描述变量间关系的一种统计分析方法
• 例：在线教育场景
  • 因变量Y：在线学习课程满意度
  • 自变量X：平台交互性、教学资源、课程设计
• 前面提到过 西洋跳棋系统目标函数的设计也是一个回归问题
• 预测性的建模技术，通常用于预测分析
• 预测的结果多为连续值（但也可以是离散值，甚至是二值）

简单线性回归

线性回归（linear regression）

• 因变量和自变量之间是线性关系，就可以用线性回归来建模

线性回归的目的即找到最能匹配（解释）数据的截距和斜率

线性假设

• 线性： 有些变量间的线性关系是确定性的
  
• 线性：然而通常情况下，变量间是近似的线性关系
  

如何拟合数据

• 假设只有一个因变量和自变量，每个训练样例表示 $(x_i,y_i)$
• 用 ${\hat{y}}_i$ 表示根据拟合直线和 $x_i$ 对 $y_i$ 的预测值
  ${\hat{y}}_i=b_1+b_2{x}_i$
• 定义 $e_i=y_i-{\hat{y}}_i$ 为误差项

• 目标：得到一条直线使得对于所有训练样例的误差项尽可能小

线性回归的基本假设

1. 自变量与因变量间存在线性关系;
2. 数据点之间独立;
3. 自变量之间无共线性，相互独立;
4. 残差独立,等方差,且符合正态分布。

损失函数(loss function)

• 多种损失函数都是可行的，凭直觉就可以想到：
  • 所有误差项的加和 ${\sum }_{i=1}^n{e}_i={\sum }_{i=1}^n(y_i-{\hat{y}}_i)$
  • 所有误差项绝对值的加和${\sum }_{i=1}^n|e_i|={\sum }_{i=1}^n|(y_i-{\hat{y}}_i)|$
• 考虑到优化等问题，最常用的是基于误差平方和的损失函数
  $\underset{b_1,b_2}{\min }:{\sum }_{i=1}^n{e}_i^2={\sum }_{i=1}^n(y_i-{\hat{y}}_i{)}^2={\sum }_{i=1}^n(y_i-b_1-b_2{x}_i{)}^2$

最小二乘法(Least Square, LS)

• 为了求解最优的截距和斜率，可以转化为一个针对损失函数的
  凸优化问题，称为最小二乘法
  $\frac{\partial {\sum }_{i=1}^n{e}_i^2}{\partial b_1}=-2{\sum }_{i=1}^n(y_i-b_1-b_2{x}_i)=0(1)$
  $\frac{\partial {\sum }_{i=1}^n{e}_i^2}{\partial b_2}=-2{\sum }_{i=1}^n{x}_i(y_i-b_1-b_2{x}_i)=0(2)$

• 求解得到：
  $b_2=\frac{{\sum }_{i=1}^n(x_i-\overline{x})(y_i-\overline{y})}{{\sum }_{i=1}^n(x_i-\overline{x}{)}^2}$
  $b_1=\overline{y}-b_2\overline{x}$

• $\overline{x}和\overline{y}$分别表示自变量和因变量的均值

梯度下降法（Gradient Descent，GD）

• 除了最小二乘法，还可以用基于梯度的方法迭代更新截距和斜率
  • 梯度下降法
  • 初始化 $b_1,b_2$
  • 重复：
    • $b_1=b_1-\alpha$
    • $b_2=b_2-\alpha$
      对比LS：
    • $\frac{\partial {\sum }_{i=1}^n{e}_i^2}{\partial b_1}$
    • $\frac{\partial {\sum }_{i=1}^n{e}_i^2}{\partial b_2}$

回忆西洋跳棋系统设计：
$w_i\leftarrow w_i+c\ast f_i\ast error(b)$

多元线性回归(multiple Linear Regression)

• • 当因变量有多个时，我们可以用矩阵方式表达
  
• 此时的误差项 $$e=\left[\begin{array}{c}{e}_1\\ e_2\\ ⋮\\ e_n\end{array}\right]=y-X\beta$$
• 损失函数${\sum }_{i=1}^n{e}_i^2=e^{\prime }e{e}^{\prime }表示转置$
• 求解 $\frac{\partial e^{\prime }e}{\partial \beta }=-2X^{\prime }Y+2X^{\prime }X\beta$
• 得到 $\beta =(X^{\prime }X{)}^{-1}{X}^{\prime }Y$

多元线性回归参数估计的推导(法二）

${\sum }_{i=1}^n{e}_i^2={\sum }_{i=1}^n(y_i-{\beta }_0-{\beta }_1{x}_{x1}-...-{\beta }_p{x}_{ik}{)}^2$
对每一个需要估计的参数 ${\beta }_i$求偏导:
$\sum (y_i-{\beta }_0-{\beta }_1{x}_{x1}-...-{\beta }_k{x}_{ik})=0$
$\sum (y_i-{\beta }_0-{\beta }_1{x}_{x1}-...-{\beta }_k{x}_{ik})x_{i1}=0$
…
$\sum (y_i-{\beta }_0-{\beta }_1{x}_{x1}-...-{\beta }_k{x}_{ik})x_{ik}=0$

$(y-X\beta {)}^{T}X=0$
$y^{T}X={\beta }^T{X}^{T}X\to X^{T}y=X^{T}X\beta \to beta=(X^{T}X{)}^{-1}{X}^{T}y$

实例：家庭花销预测

• 记录了 25 个家庭每年在快销品和日常服务上
  • 总开销（𝑌）
  • 每年固定收入（ 𝑋₂）、持有的流动资产（ 𝑋₃）
• 可以构建如下线性回归模型
  $y_i={\beta }_1+{\beta }_2{x}_{i2}+{\beta }_3{x}_{i3}+{ϵ}_i;i=1,...,25$

• 最终的预测模型为
  ${\hat{y}}_i=36.79+0.3318xi2+0.1258x_{i3}$
• 如果一个家庭每年固定收入为 50K$、持有流动资产 100K$，则
  预计一年将会花费
  ${\hat{y}}_i=36.79+0.3318(50)+0.1258(100)=65.96K$$

以“误差平方和”为损失函数的优缺点

• 用误差平方和作为损失函数有很多优点
  • 损失函数是严格的凸函数，有唯一解
  • 求解过程简单且容易计算
• 同时也伴随着一些缺点
  • 结果对数据中的“离群点”(outlier)非常敏感
    • 解决方法：提前检测离群点并去除
  • 损失函数对于超过和低于真实值的预测是等价的
    • 但有些真实情况下二者带来的影响是不同的

相关系数与决定系数

线性回归的相关系数

• 定义因变量和自变量之间的相关系数 r
  $r=\frac{1}{n-1}{\sum }_{i=1}^n(\frac{x_i-\overline{x}}{s_x})(\frac{y_i-\overline{y}}{s_y})$
  协方差，描述两个变量 X 和 Y 的线性相关程度
  $\overline{x}:X的均值$
  $s_x:X的标准差\sqrt{\frac{1}{n-1}\sum (x_i-\overline{x}{)}^2}$
  

线性回归的决定系数(coefficient of determination)

• 决定系数$R^2$,也称作判定系数、拟合优度
  $R^2=1-\frac{{\sum }_i(y_i-{\hat{y}}_i{)}^2}{{\sum }_i(y_i-{\overline{y}}_i{)}^2}{y}_i:真实值，{\hat{y}}_i:预测值，\overline{y}均值$
  $R^2=1-\frac{{\sum }_i(y_i-{\hat{y}}_i)/n}{{\sum }_i(y_i-{\overline{y}}_i)/n}=1-\frac{MSE}{VAR}$
• 注意：有可能<0, $R^2$不是$r^2$
• 衡量了模型对数据的解释程度
  • y的波动有多少百分比能被x的波动所描述
  • $R^2$越接近1，表示回归分析中自变量对因变量的解释越好
• 特别注意：变量相关 ≠ 存在因果关系
  

总结

• 回归分析：描述变量间关系的统计分析方法
• 线性回归：最常用，基本假设
• 基于误差平方和的损失函数
  • 最小二乘法
  • 梯度下降法
• 扩展到多元线性回归
• 相关系数与决定系数：相关 ≠ 因果