以二分类问题为例，常见的损失函数有

• 负对数似然损失(neg log-likelihood loss)，
• 交叉熵损失(cross entropy loss)，
• deviance loss
• 指数损失(exponential loss)。

前三者虽然名字不同，但却具有相同的表达形式。此外，neg log-likelihood loss 和 exponential loss在期望意义下具有相同的解

逻辑回归（Logistic Regression）

逻辑回归是最常见的分类模型，具有如下形式：

图片展示的是 逻辑回归（Logistic Regression）模型的概率预测函数，它是机器学习中经典的二分类算法核心公式。以下是详细解析：

---

1. 公式组成

$$p(x;\omega ,b)=\sigma ({\omega }^{T}x+b)=\frac{1}{1+e^{-({\omega }^{T}x+b)}}$$

• 输入：

  • ( x ): 特征向量（如图像特征、用户行为数据等）。
  • ( $\omega$ ): 权重向量（模型需要学习的参数）。
  • ( b ): 偏置项（截距）。

• 输出：

  • ( p(x; $\omega$, b) ): 样本 ( x ) 属于类别1的概率（范围0到1）。

• 关键函数：

  • Sigmoid函数（σ）：将线性组合 ${\omega }^{T}x+b$ 映射到概率空间。

    def sigmoid(z):
        return 1 / (1 + np.exp(-z))
    

---

2. 逻辑回归的核心思想

• 本质：通过线性回归 + Sigmoid激活函数，实现二分类概率预测。
• 决策规则：
  • 若 ( p(x) \geq 0.5 )，预测为类别1；
  • 若 ( p(x) < 0.5 )，预测为类别0。

---

3. 逻辑回归的BCE损失

• 逻辑回归通常使用**二元交叉熵（BCE）**作为损失函数，而Focal BCE是对BCE的改进，用于处理类别不平衡问题。

  # 逻辑回归的BCE损失
  loss = -[y * log(p) + (1-y) * log(1-p)]
  

损失函数设计举例

---

4. 参数学习（θ = (b, ω)）

• 优化目标：通过梯度下降最小化交叉熵损失，调整 ( $\omega$ ) 和 ( b )。
• 学习过程：
  $$\omega \leftarrow \omega -\eta \cdot \frac{\partial \mathcal{L}}{\partial \omega },b\leftarrow b-\eta \cdot \frac{\partial \mathcal{L}}{\partial b}$$
  • ( $\eta$ ): 学习率
  • ( $\mathcal{L}$ ): 损失函数（如BCE）

---

5. 为什么用Sigmoid？

• 概率压缩：将线性输出 ( ${\omega }^T$ x + b ) 映射到 (0,1) 区间，符合概率定义。
• 可解释性：输出可直接解释为“属于正类的置信度”。

---

总结

逻辑回归的概率函数，它是：

1. 二分类模型的基础；
2. 通过Sigmoid函数输出概率；
3. 常与交叉熵损失配合使用（可扩展为Focal BCE处理不平衡数据）。