3.1 基本形式

问题描述：

函数形式：

向量形式：

许多功能更为强大的非线性模型可在线性模型的基础上引入层级结构或高维映射而得。

由于w直观表达了各属性在预测中的重要性，因此线性模型有很好的可解释性。

3.2 线性回归

一元线性回归

为了确定w和b的值，可以让均方误差最小化：

基于均方误差最小化来进行模型求解的方法称为最小二乘法。

在线性回归中，最小二乘法就是试图找到一条直线，使所有样本到直线上的欧式距离最小。

对w求导：

对b求导：

更一般的情形是多元线性回归：

多元线性回归

关系式：

目标函数：

目标函数求解：

3.3 对数几率回归

3.4 线性判别分析

3.5 多分类学习

3.6 类别不平衡问题