什么是逻辑回归

• 线性回归预测的是一个连续值，逻辑回归给出的“是”和“否”的回答

Singmoid

• sigmoid函数是一个概率分布函数，给定某个输入，它将输出为一个概率值
  

逻辑回归损失函数

• 平方差所惩罚的是与损失为同一数量级的情形，对于分类问题，我们最好的使用交叉熵损失函数会更有效，交叉熵会输出一个更大的“损失”

交叉熵损失函数

• 交叉熵刻画的是实际输出（概率）与期望输出（概率）的距离，也就是交叉熵的值越小，两个概率根部就越近。假设概率分布p为期望输出，概率分布q为实际输出，H(p,q)为交叉熵，则：
  
  

keras交叉熵

在keras里，我们使用 binary-crossentropy 来计算二元交叉熵