点到直线距离估计线性回归参数

文章目录

点到直线距离估计线性回归参数
@[toc]
1 推导
2 模拟

1 推导

普通最小二乘法(OLS)估计线性回归方程的参数要求残差平方和最小，通过优化方法计算出各参数的估计量。其中残差
$e_i=y_i-\beta_0-\beta_1x_i$
在下图中即有向线段AB，该线段垂直于横轴。使用OLS方法计算得到估计结果
$\beta_1 = \dfrac{\sum_{i=1}^n(x_i-\bar{x})(y_i-\bar{y})}{\sum_{i=1}^n(x_i-\bar{x})^2},\beta_0=\bar{y}-\beta_1 \bar{x}$

现在，我们换一种思考方式，即通过点到直线的距离最小进而估计参数。在下图中，计算所有样本点到直线 $L$ 的距离，其中 $L$ 就是预期估计的那条直线(从事后角度看)。根据点到直线距离公式，对于 $\forall i=1,2,\dots n$ ，
$d_i = \dfrac{|y_i-\beta_0-\beta_1x_i|}{\sqrt{1+\beta_1^2}}$
在这里插入图片描述
目标函数与OLS方法类似，即
$\min \sum_{i=1}^n d_i^2 = \min \sum_{i=1}^n \dfrac{(y_i-\beta_0-\beta_1x_i)^2}{1+\beta_1^2}$
令 $Q(\beta_1,\beta_2)$ 是关于参数 $\beta_1,\beta_2$ 的函数，使用高等数学知识，分别用 $Q$ 对 $\beta_1,\beta_2$ 偏导
$\dfrac{\partial{Q}}{\partial{\beta_0}} = -\sum_{i=1}^n \dfrac{2(y_i-\beta_0-\beta_1x_i)}{1+\beta_1^2}=0$
与OLS方法一样，使用点到直线的距离也通过样本均值点 $(\bar{x},\bar{y})$
$\sum_{i=1}^n(y_i-\beta_0-\beta_1x_i)=\sum y_i-n\beta_0-\beta_1\sum x_i=0$
于是
$\beta_0 = \bar{y}-\beta_1\bar{x}$

接下来估计 $\beta_1$ ，推导过程有点复杂，对 $\beta_1$ 求偏导，
$\dfrac{\partial{Q}}{\partial{\beta_1}} = \sum_{i=1}^n\dfrac{-2(y_i-\beta_0-\beta_1x_i)x_i(1+\beta_1^2)-2\beta_1(y_i-\beta_0-\beta_1x_i)^2}{(1+\beta_1^2)^2}=0$
显然 $(1+\beta_1^2)^2\neq 0$ ，于是
$\sum_{i=1}^n[-2x_ie_i(1+\beta_1^2)-2\beta_1e_i^2]=0$
这里用 $e_i$ 代替 $y_i-\beta_0-\beta_1x_i$ ，避免繁琐。继续展开化简
$(1+\beta_1^2)\sum_{i=1}^n x_ie_i+\beta_1\sum_{i=1}^ne_i^2=0$
将 $e_i$ 还原为 $y_i-\beta_0-\beta_1x_i$ 得到
$(1+\beta_1^2)\sum_{i=1}^n x_i(y_i-\beta_0-\beta_1x_i)+\beta_1\sum_{i=1}^n(y_i-\beta_0-\beta_1x_i)^2=0$
即
$(1+\beta_1^2)\sum_{i=1}^n (x_iy_i-\beta_0x_i-\beta_1x_i^2)+\beta_1\sum_{i=1}^n(y_i-\beta_0-\beta_1x_i)^2=0$
将 $\beta_0 = \bar{y}-\beta_1\bar{x}$ 带入上式
$(1+\beta_1^2)(\sum_{i=1}^n x_iy_i-( \bar{y}-\beta_1\bar{x})\sum_{i=1}^n x_i-\beta_1\sum_{i=1}^nx_i^2)+\beta_1\sum_{i=1}^n(y_i-(\bar{y}-\beta_1\bar{x})-\beta_1x_i)^2=0$
接下来的任务就是求解 $\beta_1$ 。过程有点复杂，先展开第一部分
$\begin{aligned} &=(1+\beta_1^2)(\sum_{i=1}^n x_iy_i-( \bar{y}-\beta_1\bar{x})\sum_{i=1}^n x_i-\beta_1\sum_{i=1}^nx_i^2)\\ &=(1+\beta_1^2)(\sum_{i=1}^n x_iy_i-\bar{y}\sum_{i=1}^n x_i-\beta_1\bar{x}\sum_{i=1}^n x_i-\beta_1\sum_{i=1}^nx_i^2)\\ &=\sum_{i=1}^n x_iy_i-\bar{y}\sum_{i=1}^n x_i-\beta_1\bar{x}\sum_{i=1}^n x_i-\beta_1\sum_{i=1}^nx_i^2+\beta_1^2\sum_{i=1}^n x_iy_i-\beta_1^2\bar{y}\sum_{i=1}^n x_i-\beta_1^3\bar{x}\sum_{i=1}^n x_i-\beta_1^3\sum_{i=1}^nx_i^2\\ &=\sum_{i=1}^n x_iy_i-n\bar{x}\bar{y}+n\beta_1\bar{x}^2-\beta_1\sum_{i=1}^nx_i^2 +\beta_1^2\sum_{i=1}^n x_iy_i-n\beta_1^2\bar{x}\bar{y}+n\beta_1^3\bar{x}^2-\beta_1^3\sum_{i=1}^nx_i^2 \end{aligned}$
展开第二部分
$\begin{aligned} &=\beta_1\sum_{i=1}^n(y_i-(\bar{y}-\beta_1\bar{x})-\beta_1x_i)^2\\ &=\beta_1\sum_{i=1}^n((y_i-\bar{y})-\beta_1(x_i-\bar{x}))^2\\ &=\beta_1\sum_{i=1}^n((y_i-\bar{y})^2+\beta_1^2(x_i-\bar{x})^2-2\beta_1(x_i-\bar{x})(y_i-\bar{y}))\\ &=\beta_1 ( \sum_{i=1}^n(y_i-\bar{y})^2+\beta_1^2\sum_{i=1}^n(x_i-\bar{x})^2-2\beta_1\sum_{i=1}^n(x_i-\bar{x})(y_i-\bar{y}))\\ & =\beta_1 \sum_{i=1}^n(y_i-\bar{y})^2+\beta_1^3\sum_{i=1}^n(x_i-\bar{x})^2-2\beta_1^2\sum_{i=1}^n(x_i-\bar{x})(y_i-\bar{y})\\ & =\beta_1 (\sum_{i=1}^ny_i^2-n\bar{y}^2)+\beta_1^3(\sum_{i=1}^nx_i^2-n\bar{x}^2)-2\beta_1^2(\sum_{i=1}^n x_iy_i-n\bar{x}\bar{y})\\ & =\beta_1 \sum_{i=1}^ny_i^2-n\beta_1\bar{y}^2+\beta_1^3\sum_{i=1}^nx_i^2-n\beta_1^3\bar{x}^2-2\beta_1^2\sum_{i=1}^n x_iy_i+2n\beta_1^2\bar{x}\bar{y} \end{aligned}$
于是
$\begin{aligned} &(1+\beta_1^2)(\sum_{i=1}^n x_iy_i-( \bar{y}-\beta_1\bar{x})\sum_{i=1}^n x_i-\beta_1\sum_{i=1}^nx_i^2)+\beta_1\sum_{i=1}^n(y_i-(\bar{y}-\beta_1\bar{x})-\beta_1x_i)^2 \\ =& \sum_{i=1}^n x_iy_i-n\bar{x}\bar{y}+n\beta_1\bar{x}^2-\beta_1\sum_{i=1}^nx_i^2 +\beta_1^2\sum_{i=1}^n x_iy_i-n\beta_1^2\bar{x}\bar{y}+n\beta_1^3\bar{x}^2-\beta_1^3\sum_{i=1}^nx_i^2 \\ +& \beta_1 \sum_{i=1}^ny_i^2-n\beta_1\bar{y}^2+\beta_1^3\sum_{i=1}^nx_i^2-n\beta_1^3\bar{x}^2-2\beta_1^2\sum_{i=1}^n x_iy_i+2n\beta_1^2\bar{x}\bar{y}\\ \end{aligned}$
合并同类项， $\beta_1$ 的三次项抵消，得到
$\begin{aligned} & n\beta_1^2\bar{x}\bar{y}-\beta_1^2\sum_{i=1}^n x_iy_i+n\beta_1\bar{x}^2-n\beta_1\bar{y}^2-\beta_1\sum_{i=1}^nx_i^2+\beta_1 \sum_{i=1}^ny_i^2+\sum_{i=1}^n x_iy_i-n\bar{x}\bar{y}\\ =&\beta_1^2(n\bar{x}\bar{y}-\sum_{i=1}^n x_iy_i)+ \beta_1(n\bar{x}^2-n\bar{y}^2)-\beta_1(\sum_{i=1}^nx_i^2- \sum_{i=1}^ny_i^2)+\sum_{i=1}^n x_iy_i-n\bar{x}\bar{y}\\ =&-\beta_1^2(\sum_{i=1}^n x_iy_i-n\bar{x}\bar{y})- \beta_1((\sum_{i=1}^nx_i^2-n\bar{x}^2)-(\sum_{i=1}^ny_i^2-n\bar{y}^2))+\sum_{i=1}^n x_iy_i-n\bar{x}\bar{y}\\ =&-s_{xy}\beta_1^2- \beta_1(s_x^2-s_y^2)+s_{xy} =0\\ \end{aligned}$
最后一步方程两边同除以 $n - 1$ 得到样本协方差 $s_{xy}$ 和方差 $s_x^2,s_y^2$ ，其中
$\left\{\begin{array}{l} s_{xy} = \sum(x_i-\bar{x})(y-\bar{y})=\sum x_iy_i-n\bar{x}\bar{y}\\ s_x^2 = \sum(x_i-\bar{x})^2= \sum x_i^2-n\bar{x}^2\\ s_y^2 = \sum(y_i-\bar{y})^2= \sum y_i^2-n\bar{y}^2\\ \end{array}\right.$
最后整理得到关于参数 $\beta_1$ 的一元二次方程，
$-s_{xy}\beta_1^2+(s_y^2-s_x^2)\beta_1+s_{xy}=0$
若 $s_{xy}\neq 0$ ，即变量 $x, y$ 存在相关性，利用求根公式得到
$\begin{aligned} &\beta_1^1 = \dfrac{(s_y^2-s_x^2)+\sqrt{(s_y^2-s_x^2)^2+4s_{xy}^2}}{2s_{xy}}\\ &\beta_1^2 = \dfrac{(s_y^2-s_x^2)-\sqrt{(s_y^2-s_x^2)^2+4s_{xy}^2}}{2s_{xy}} \end{aligned}$
其中判定式 $\Delta\ge0$ ，存在实数根。因为 $(s_y^2-s_x^2)\le\sqrt{(s_y^2-s_x^2)^2+4s_{xy}^2}$ 恒成立，对于 $\beta_1^2$ ,分子非正数，若斜率为正，则 $s_{xy}<0$ ，然而 $s_{xy}$ 表示变量 $x, y$ 的相关性，符号与 $\beta_1$ 符号理论上保持一致，故舍去 $\beta_1$ 。

推导仅供参考。反正写了好多草稿纸😂~~

2 模拟

下面使用R语言对上述方法进行模拟

beta1_new = numeric()
beta0_new = numeric()
x = rnorm(100,0,1)
for(i in 1:10000){
  y = -2*x+1+rnorm(100,0,1)
  sx = var(x)
  sy = var(y)
  sxy = cov(x,y)
  beta1_new[i] = (sy-sx + sqrt((sx-sy)^2+4*sxy^2))/(2*sxy)
  beta0_new[i] = mean(y)-beta1_new[i]*mean(x)
  cat(i,"\n")
}
par(mfrow = c(1,2))
hist(beta0_new,main = paste("期望为：",mean(beta0_new)))
hist(beta1_new,main = paste("期望为：",mean(beta1_new)))

在这里插入图片描述