怎么样调整分类的阈值

news2024/10/5 13:00:09

调整分类模型的阈值是改变模型对正负类的预测标准的一种方法，常用于提高精确率、召回率或者其他性能指标。以下是如何调整分类阈值的步骤和方法：

PS：阈值是针对预测概率（表示样本属于某个特定类别的可能性）来说的

调整分类的阈值步骤和方法：

理解阈值的作用：
- 分类模型通常输出一个概率值（0到1之间），表示样本属于正类的可能性。
- 默认阈值通常设为0.5，即如果概率值大于0.5，预测为正类；否则预测为负类。
- 调整阈值可以改变模型对正负类的预测标准，从而影响假阳性和假阴性率。
增大阈值：精确率增加，召回率减少
- 减少假阳性（False Positive, FP）：
  - 定义：假阳性是指模型预测为正类，但实际为负类的情况。
  - 解释：增大阈值意味着模型要求更高的置信度才会将样本预测为正类。因此，一些原本在默认阈值下被预测为正类（但实际为负类）的样本，在更高的阈值下会被重新预测为负类，从而减少假阳性的数量。
- 增加假阴性（False Negative, FN）：
  - 定义：假阴性是指模型预测为负类，但实际为正类的情况。
  - 解释：增大阈值意味着一些原本在默认阈值下被正确预测为正类的样本，在更高的阈值下可能会被预测为负类。因此，模型会错过一些实际为正类的样本，从而增加假阴性的数量。
- 举例说明
  
  假设我们有一个模型的输出概率如下（数值为示例）：
  
  样本实际标签预测概率预测
  A 正类 0.8 正类真阳性
  B 负类 0.6 正类假阳性（减少假阳）
  C 正类 0.4 负类假阴性
  D 负类 0.3 负类真阴性
  E 正类 0.7 正类真阳性（增加假阴）
  默认阈值为 0.5 时：
  - 样本 A、B、E 被预测为正类。
  - 样本 C、D 被预测为负类。
  - 此时，假阳性为 1（样本 B），假阴性为 1（样本 C）。
    
    如果我们将阈值增大到 0.7：
    - 样本 A、E 被预测为正类。
    - 样本 B、C、D 被预测为负类。
    - 此时，假阳性减少到 0（样本 B 不再是假阳性），但假阴性增加到 2（样本 C 和 E）。
减小阈值：精确率减少，召回率增加
- 增加真阳性率（Recall）：
  - 定义：真阳性率是指模型正确识别正类样本的比例。
  - 解释：降低阈值会使模型更容易将样本预测为正类，因此能够捕捉更多的真正类（正类）样本，从而提高真阳性率。
- 增加假阳性率（False Positive Rate）：
  - 定义：假阳性率是指模型错误地将负类样本预测为正类的比例。
  - 解释：降低阈值会导致模型将一些本应为负类的样本错误地预测为正类，因此会增加假阳性率。
- 降低精确率（Precision）：
  - 定义：精确率是指模型预测为正类的样本中实际为正类的比例。
  - 解释：降低阈值会增加将样本预测为正类的数量，但其中一部分样本可能是假阳性，因此会降低精确率。
- 影响模型的决策边界：
  - 解释：阈值决定了模型在将样本分类为正类或负类时所依据的概率界限。降低阈值会放宽模型对于正类的判定标准，使得更多的样本被预测为正类。
- 示例说明
  
  假设我们有一个分类模型，对于一些样本的预测概率如下：
  
  样本实际标签预测概率预测标签（阈值=0.5）预测标签（阈值=0.3）
  A 正类 0.8 正类正类
  B 负类 0.3 负类正类
  C 正类 0.6 正类正类
  D 负类 0.2 负类正类
  E 正类 0.7 正类正类
  通过降低阈值（例如从0.5降至0.3）：
  - 样本 B 和 D 被重新预测为正类，因为它们的预测概率超过了0.3。
  - 这样做会增加真阳性率（Recall），但可能也会增加假阳性率（False Positive Rate），因为更多的负类样本被错误地预测为正类。同时，精确率（Precision）可能会下降，因为模型更容易将样本预测为正类，导致一些预测为正类的样本实际上是假阳性。
选择最佳阈值：
- 使用ROC曲线（Receiver Operating Characteristic Curve）和AUC（Area Under the Curve）：
  - ROC曲线绘制了不同阈值下的真阳性率（召回率）与假阳性率的关系。
  - AUC值越大，模型性能越好。
- 使用精确率-召回率曲线P-R（Precision-Recall Curve）：
  - 绘制了不同阈值下的精确率与召回率的关系。
  - 在平衡精确率和召回率时，这条曲线非常有用。

样本	实际标签	预测概率	预测
A	正类	0.8	正类	真阳性
B	负类	0.6	正类	假阳性（减少假阳）
C	正类	0.4	负类	假阴性
D	负类	0.3	负类	真阴性
E	正类	0.7	正类	真阳性（增加假阴）

样本	实际标签	预测概率	预测标签（阈值=0.5）	预测标签（阈值=0.3）
A	正类	0.8	正类	正类
B	负类	0.3	负类	正类
C	正类	0.6	正类	正类
D	负类	0.2	负类	正类
E	正类	0.7	正类	正类

实际操作示例

假设我们使用Python和Scikit-learn库来调整分类阈值：

import numpy as np
from sklearn.metrics import precision_recall_curve, roc_curve

# 假设 y_true 是真实标签，y_scores 是模型输出的概率值
y_true = np.array([0, 1, 1, 0, 1, 0, 1, 1, 0, 0])
y_scores = np.array([0.1, 0.4, 0.35, 0.8, 0.65, 0.7, 0.2, 0.9, 0.55, 0.3])

# 计算不同阈值下的精确率和召回率
precision, recall, thresholds = precision_recall_curve(y_true, y_scores)

# 计算不同阈值下的假阳性率和真阳性率（用于绘制ROC曲线）
fpr, tpr, roc_thresholds = roc_curve(y_true, y_scores)

# 选择一个新的阈值，例如0.5
new_threshold = 0.5
y_pred = (y_scores >= new_threshold).astype(int)

# 计算新的精确率和召回率
new_precision = np.sum((y_pred == 1) & (y_true == 1)) / np.sum(y_pred == 1)
new_recall = np.sum((y_pred == 1) & (y_true == 1)) / np.sum(y_true == 1)

print(f"New Precision: {new_precision}")
print(f"New Recall: {new_recall}")