线性回归算法的定义和任务类型
- 定义：线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法
- 任务类型：回归
- 应用场景：异常指标监控 农业贷款监控
过拟合和欠拟合
- 定义：过拟合和欠拟合用来度量模型泛化能力的直观表现
- 欠拟合：模型在训练集、测试集上均表现不佳的情况；
- 过拟合：在训练集上表现很好，到了验证和测试阶段就很差
- 线性回归正则化模型
正则化能有效的防止过拟合现象，根据正则化的选择，线性回归模型有3种
逻辑回归算法定义和任务类型
- 定义：逻辑回归是一种广义线性回归，在线性回归的基础上添加非线性变换，使得逻辑回归输出值为离散值
- 任务类型：分类
- 应用场景：学生考试成绩预测、雾霾天气预测
逻辑回归的多分类应用
逻辑回归常用于二分类，根据策略不同，可以将逻辑回归用于多分类任务
- 一对多法
对于K分类，训练时依次把某个类别的样本归为一类，其它剩余的样本归为另一类，得到K个分类器，预测时分别用K哥分类器进行预测，选择结果最大的作为分类的结果。- 优点：普适性比较广，效率较高
- 缺点：易造成数据不平衡
以下图中黄色三角形的分类为例，依次将三角形、圆形、正方形归为一类，得到三个分类器，预测时分别用这三个分类其对黄色三角形进行预测，选择结果最大的作为黄色三角形的类别
- 一对一法
对K分类，训练时依次让不同类别数据两两组合训练，得到 K ( K − 1 ) 2 \frac{K(K-1)}{2} 2K(K−1)个分类模型，预测时分别用二分类器进行预测，最后得票最多的类别即为位置样本的类别- 优点：一定程度规避数据不平衡情况，性能相对稳定，训练效率提高
- 缺点：训练的二分类模型更多，影响预测时间
以下图中黄色三角形的分类为例，将三角形、圆形、正方形两两组合得到三角形圆形、圆形方形、三角形方形 3 × ( 3 − 1 ) 2 = 3 \frac{3\times(3-1)}{2}=3 <
