分类算法——逻辑回归详解

news2024/11/24 12:00:26

逻辑回归（Logistic Regression）是一种广泛使用的分类算法，特别适用于二分类问题。尽管名字中有“回归”二字，逻辑回归实际上是一种分类方法。下面将从底层原理、数学模型、优化方法以及源代码层面详细解析逻辑回归。

1. 基本原理

1.1 数学模型

逻辑回归的核心思想是将线性回归的输出通过一个逻辑函数（sigmoid函数）转化为概率值。给定输入特征向量 $x=\left [ x_{1},x_{2}, ... ,x_{n} \right ]$ ，逻辑回归模型可以表示为：

$z=\beta _{0} + \beta _{1}*x_{1} + \beta _{2}*x_{2} + ... + \beta _{n}*x_{n} = + \beta^{T}*x$

这里， $\beta _{0}$ 是截距项， $\beta _{1} , \beta _{2} ,... ,\beta _{n}$ 是特征对应的权重。

然后通过 sigmoid 函数将 $z$ 转化为概率：

$h(x)= \sigma \left ( z \right ) = \frac{1}{1+e^{-z}} = \frac{1}{1+e^{-\beta ^{\tau }x}}$

其中， $h(x)$ 表示给定输入特征 $x$ 预测为正类的概率。

整体的流程

结果类似于：

1.2 目标函数

逻辑回归的目标是最大化似然函数（Likelihood Function），其形式为：

这里， $y^{(i)}$ 是第 $i$ 个样本的标签， $m$ 是样本数量。通过取对数得到对数似然函数：

2. 优化方法

为了找到最佳的参数 β，通常使用梯度下降或牛顿法等优化算法来最小化负的对数似然函数。

2.1 梯度下降法

更新参数的公式为：

梯度下降例子图示：

这里， $\alpha$ 是学习率， $\frac{\partial l}{\partial\beta _{j}}$ 是对数似然函数的梯度，可以通过链式法则计算：

2.2 牛顿法

牛顿法利用二阶导数信息（Hessian矩阵）来更快收敛：

$\beta:=\beta - H^{-1}g$

其中，g 是梯度，H 是 Hessian 矩阵。牛顿法的优势在于收敛速度快，但计算复杂度较高。

绿色为梯度下降，红色为牛顿法，牛顿法的路径更加直接

3. 源代码层面

下面是使用 Python 的 scikit-learn 库实现逻辑回归的示例代码：

import numpy as np
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score

# 加载数据
data = load_iris()
X = data.data
y = (data.target == 0).astype(int)  # 将目标转换为二分类

# 划分数据集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 创建逻辑回归模型
model = LogisticRegression(solver='liblinear')

# 拟合模型
model.fit(X_train, y_train)

# 预测
y_pred = model.predict(X_test)

# 计算准确率
accuracy = accuracy_score(y_test, y_pred)
print(f'Accuracy: {accuracy:.2f}')