下述内容为课程小结

定义

参数估计的方法包括经验风险最小化、结构风险最小化、最大似然估计、最大后验估计。

参数估计用于学习模型参数，以达到最优的目的，如线性回归的模型参数

---

经验风险最小化

对于输入的待处理数据格式为$(x，y)$时，x为输入数据，y为输入的标签，那么常用平方损失函数衡量真实值与预测值的偏差。
一般表达方式为
$$\begin{array}{rl}Loss& =\sum _{n=1}^{N}L(y^n,f(x^{(n)};w))\\ & =\frac{1}{2}\sum _{n=1}^N(Y^{(n)}-w^T{x}^{(n)}{)}^2\\ & =\frac{1}{2}||y-X^{T}w|{|}^2\end{array}$$
PS:该表达式为训练集上的经验风险定义
其中
$y=[y^{(1)},...,y^{(N)}{]}^T\in R^N$,为真实标签向量
$x\in R^{(D+1)\ast N}$由所有样本的特征向量组成

由上述表达式可知，关于$w$使得函数存在最小值，那么只需对$w$求解导数即可，得到
$$\begin{array}{rl}\frac{\partial R(w)}{\partial w}& =\frac{1}{2}\frac{\partial (||y-X^{T}w|{|}^2)}{\partial w}\\ & =-X(y-X^{T}w)\\ & =0\\ 可得w& =(X{X}^T{)}^{-1}Xy\end{array}$$
PS:根据矩阵的性质可知，$X{X}^T$必须可逆。若存在不可逆的情况，常见有两种方法用于处理：

• 使用PCA等方法进行预处理，降低或者消除特征之间的相关性
• 使用梯度下降的方法进行迭代达到参数估计目的（与深度学习中的反向传播原理一致），如$w\leftarrow w+\alpha X(y-X^{T}w)$, 𝛼 为学习率。

结构风险最小化

在最小二乘估计中，需要保证特征矩阵$X{X}^T$可逆，那么为了解决该问题，结构风险最小化在最小二乘方法基础上添加对角常数，使特征矩阵$X{X}^T$可逆，具体的实现方式为$X{X}^T+\lambda I$。则$X{X}^T+\lambda I$为满秩矩阵，必存在可逆矩阵，参数$w=(X{X}^T+\lambda I{)}^{-1}Xy$
PS:$\lambda$为超参数但不为0
将$X{X}^T+\lambda I$代入原最小二乘估计损失函数，可得到
$$\begin{array}{rl}Loss& =\sum _{n=1}^{N}L(y^n,f(x^{(n)};w))+\lambda ||w|{|}^2\\ & =\frac{1}{2}\sum _{n=1}^N(Y^{(n)}-w^T{x}^{(n)}{)}^2+\frac{1}{2}\lambda ||w|{|}^2\\ & =\frac{1}{2}||y-X^{T}w|{|}^2+\frac{1}{2}\lambda ||w|{|}^2\end{array}$$

最大似然估计

最大似然估计为概率论中的概念，那么在机器学习中除了存在的{x,y}函数对应关系$y=f(x)$，还存在条件概率$p(y|x)$。
那么条件概率$p(y|x)$使用最大似然估计如何估计参数呢？

若数据集中的y由下列表达式决定：
$y=f(x;w)+\epsilon$
其中$x$为输入样本数据，$w$为权重，$\epsilon$为噪声，服从高斯分布$\epsilon ϵN(0,{\sigma }^2)$
根据高斯分布的性质可知，$y$则服从$N(w^{T}x,{\sigma }^2)$

那么需要确定在参数$w$取某个值，确保𝑝(𝒚|𝑿; 𝒘, 𝜎)最大。
$$\begin{array}{rl}p(y|X;w,\sigma )& =\prod _{n=1}^{N}p(y^{(n)}|x^{(n)};w,\sigma )\\ & =\prod _{n=1}^{N}N(y^{(n)};w^T{x}^{(n)},{\sigma }^2)\end{array}$$

在数学中常用取对数再求导的方法进行求解，最后可以得到
${\mathbf{w}}^{ML}=(\mathbf{X}{\mathbf{X}}^T{)}^{-1}\mathbf{Xy}.$

最大后验估计

最大后验估计的前提在于需要知道一个先验分布。
假设参数$w$服从先验分布$p(w;a)=N(w;0,a^{2}I)$,其中$a^2$为每一维度上的方差，$I$为对角矩阵。
利用贝叶斯公式$P(A|B)=P(B|A)\frac{P(A)}{P(B)}$,可得到参数$w$的后验分布计算公式为
$$\begin{array}{rl}p(w|X,y;a,\sigma )& =\frac{p(w,y|X;a,\sigma )}{{\sum }_{w}p(w,y|X;a,\sigma )}\\ & \propto p(y|X,w;\sigma )p(w;a)\end{array}$$
其中$\propto p(y|X,w;\sigma )$为$w$的似然函数，$p(w;a)$为先验分布。

那么根据最大后验估计的原理，我们旨在选取最优的参数$w$值，令$p(w|X,y;a,\sigma )$值最大，那么只需对$\propto p(y|X,w;\sigma )p(w;a)$使用最大似然函数的计算方法即可，可以得到
$$\begin{array}{r}logp(w|X,y;a,\sigma )\propto -\frac{1}{2{\sigma }^2}||y-X^{T}w|{|}^2-\frac{1}{2a^2}{w}^{T}w\end{array}$$

巧合的是，该结果与平方损失的结构风险最小化一致，那么有理由知道最大后验概率等于平方损失的结构风险最小化。