逻辑回归
逻辑回归函数:
逻辑回归分析属于概率型回归分析方法。
- 假设在自变量xi1、xi2…xip的作用下，因变量y取值为1和0的二值变量，其取值为1的概率为pi，则可以表示为：
- 相反，y取值为0的概率即：
- 对y取值为1的概率与取值为0的概率的比值取自然对数：
- 即可得到逻辑回归函数：
优势比:
流行病学衡量危险因素作用大小的比例指标。
计算公式为：
逻辑回归例子
所以，手术时间大于5小时的感染率是手术时间小于或等于5小时的感染率的2.681倍
决策树回归:
决策树实际上是将空间用超平面进行划分的一种方法，每次分割的时候，都将当前的空间一分为二， 这样使得每一个叶子节点都是在空间中的一个不相交的区域，在进行决策的时候，会根据输入样本每一维特征的值，一步一步往下，最后使得样本落入N个区域中的一个（假设有N个叶子节点），如下图所示。
假如n个特征，每个特征有Si (i∈(1,n))个取值，则遍历所有特征，尝试该特征所有取值，对空间进行划分，直到取到特征j的取值s，使得损失函数最小，这样就得到了一个划分点。
决策树回归 —— 例子
每一次进行回归树生成时采用的训练数据r都是上次预测结果fm (x)与训练数据值yi之间的残差。这个残差会逐渐的减小。
