一：逻辑回归简介

Logistic模型是1938年Verhulst-Pearl在修正非密度方程时提出来的，是分类和预测算法中的一种。通过历史数据的表现对未来结果发生的概率进行预测，是一个分类算法，常用于二类分类

做二分类问题解决方案：

分类算法、(预测)回归算法

原理，类似于一个函数，如下图所示

二：逻辑回归原理

下面举个例子

一门考试之前学生的复习时间与这个学生最后是否Pass这门考试的数据如下

hours	1	1.25	1.5	1.75	1.75	2	2.25	2.5	3	3.25	3.5	4	4.25	4.5	4.75	5	5.5
pass概率	0.09	0.2	0.25	0.27	0.5	0.4	0.43	0.46	0.48	0.49	0.498	0.6	0.65	0.7	0.75	0.8	0.9

x:hours表示学生复习时常

z:pass概率

z=ax+b 复习时长与通过概率可以是线性关系

找到最小损失值：

1 抽取两条数据计算出a和b的值

2 带入所有的数据，计算出y值

3 带入损失函数求出损失值

4 重复 1 2 3

5 直到找到最小损失

若函数原型如下

有y = 1/1+e^-z & z=ax+b

得出下式

b+ax表示问题里的数据只有一个特征，同理如果有多个特征那么z的表达式为(a1x1+b1)+(a2x2+b2)+(...)

三：逻辑回归损失函数

损失函数(loss function)或代价函数(cost function)是将随机事件或者有关随机变量的取值映射为非负实数以表示该随机事件的“风险” 或“损失”的函数。在应用中，损失函数通常作为学习准则与优化问题和联系，即通过最小化损失函数求解和评估模型

y = 10+3x；a=3；b=10

X	计算出Y	实际Y1	差值
1	13	13	0
2	16	14	2
3	19	20	1
4	22	21	1
5	25	25	0

求解最优解的a b

损失函数：|y-y1| 或 (y-y1)^2

绝对损失函数求和：4

平方损失函数求和：6

在比如：Y=8+4X；a=4；b=8

X	计算出Y	实际Y1	差值
1	12	13	-1
2	16	14	2
3	20	20	0
4	24	21	3
5	28	25	3

绝对损失函数求和：9

平方损失函数求和：23

四：逻辑回归梯度下降算法

梯度下降是求解损失函数的一种最优化算法，通过梯度下降可以快速的计算出最小的损失值(它是基于搜索的最优方法)

梯度下降法(Gradient descent)是一个一阶最优化算法，通常为称为最速下降法；要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度(或者是近似梯度)的反方向的规定步长距离点进行迭代搜索