文章目录
- 环境配置(必看)
- 头文件引用
- 1.逻辑回归
- 1.1 API介绍
- 1.2 代码实现
- 1.3 运行结果
- 2.分类评估方法
- 2.1 精确率(Precision)
- 2.2 召回率(Recall)
- 2.3 F1-score
- 2.4 分类评估报告api
- 2.5 代码工程
- 2.6 运行结果
- 3.ROC曲线与AUC指标
- 3.1 TPR和FPR
- 3.2 ROC曲线
- 3.3 AUC指标
- 3.4 AUC计算API
- 3.5 代码工程
- 3.6 运行结果
- 3.7 小结
- 本章学习资源
环境配置(必看)
Anaconda-创建虚拟环境的手把手教程相关环境配置看此篇文章,本专栏深度学习相关的版本和配置,均按照此篇文章进行安装。
头文件引用
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import classification_report, roc_auc_score
1.逻辑回归
逻辑回归(Logistic Regression)是机器学习中的一种分类模型,逻辑回归是一种分类算法,虽然名字中
带有回归。由于算法的简单和高效,在实际中应用非常广泛。
1.1 API介绍
1.2 代码实现
# 获取数据
breast_data = load_breast_cancer()
# print(f"breast_data.target = \n {breast_data.target}")
# print(f"breast_data.target_names = \n {breast_data.target_names}")
# 划分数据集
x_train, x_test, y_train, y_test = train_test_split(breast_data.data, breast_data.target, test_size=0.2)
# print(x_test.shape)
# 特征工程
transfer = StandardScaler()
x_train = transfer.fit_transform(x_train)
x_test = transfer.transform(x_test)
# print(f"x_train = \n {x_train}")
# 预估器
estimator = LogisticRegression()
estimator.fit(x_train, y_train)
# 得出模型
print(f"回归系数: {estimator.coef_}")
print(f"偏置: {estimator.intercept_}")
# 模型评估
# 方法1:真实值和预测值做对比
y_predict = estimator.predict(x_train)
# print(f"y_predict = {y_predict}")
# print(f"真实值和预测值做对比 = \n {y_train == y_predict}")
# 方法2:计算准确率
score = estimator.score(x_test, y_test)
print(f"score = {score}")
1.3 运行结果
可以看出准确率:98.24%
2.分类评估方法
2.1 精确率(Precision)
真正例(TP)
伪反例(FN)
伪正例(FP)
真反例(TN)
精确率:预测结果为正例样本中真实为正例的比例(了解)
2.2 召回率(Recall)
召回率:真实为正例的样本中预测结果为正例的比例(查得全,对正样本的区分能力)
2.3 F1-score
F1-score,反映了模型的稳健型
2.4 分类评估报告api
2.5 代码工程
# 获取数据
breast_data = load_breast_cancer()
print(f"breast_data.target = \n {breast_data.target}")
# print(f"breast_data.target_names = \n {breast_data.target_names}")
# 划分数据集
x_train, x_test, y_train, y_test = train_test_split(breast_data.data, breast_data.target, test_size=0.2)
# print(x_test.shape)
# 特征工程
transfer = StandardScaler()
x_train = transfer.fit_transform(x_train)
x_test = transfer.transform(x_test)
# print(f"x_train = \n {x_train}")
# 预估器
estimator = LogisticRegression()
estimator.fit(x_train, y_train)
# 得出模型
print(f"回归系数: {estimator.coef_}")
print(f"偏置: {estimator.intercept_}")
# 模型评估
# 方法1:真实值和预测值做对比
y_predict = estimator.predict(x_test)
# print(f"y_predict = {y_predict}")
# print(f"真实值和预测值做对比 = \n {y_train == y_predict}")
# 方法2:计算准确率
score = estimator.score(x_test, y_test)
print(f"score = {score}")
# 查看精确率和召回率
report = classification_report(y_test, y_predict, labels=[0, 1], target_names=["阴性", "阳性"])
print(f"report = \n {report}")
2.6 运行结果
precision: 精确率 阴性=0.98 阳性=0.99
recall: 召回率 阴性=0.98 阳性=0.99
F1-score: 稳定性 阴性=0.98 阳性=0.99
support: 样本数量 阴性=44 阳性=70 (测试样本共114个)
关注的是阳性的召回率:0.99
3.ROC曲线与AUC指标
3.1 TPR和FPR
TPR = TP / (TP + FN) 所有真实类别为1的样本中,预测类别为1的比例 (召回率)
FPR = FP / (FP + TN) 所有真实类别为0的样本中,预测类别为1的比例
3.2 ROC曲线
ROC曲线的横轴就是FPRate,纵轴就是TPRate,当二者相等时,表示的意义则是:对于不论真实类别是1还是0的样本,分类器预测为1的概率是相等的,此时AUC为0.5
3.3 AUC指标
注:ROC的面积就是AUC的指标
AUC的概率意义是随机取一对正负样本,正样本得分大于负样本得分的概率
AUC的范围在[0, 1]之间,并且越接近1越好,越接近0.5属于乱猜
AUC=1,完美分类器,采用这个预测模型时,不管设定什么阈值都能得出完美预测。绝大多数预测的场合,不存在完美分类器。
0.5<AUC<1,优于随机猜测。这个分类器(模型)妥善设定阈值的话,能有预测价值。
3.4 AUC计算API
注意:y_true的值要求必须是0或1,如果你的数据不符合要求可以使用
# 如果y_test的特征值是2和4,可以采用下面一行代码转化为0和1
y_true = np.where(y_test > 3, 1, 0)
3.5 代码工程
# 获取数据
breast_data = load_breast_cancer()
print(f"breast_data.target = \n {breast_data.target}")
# print(f"breast_data.target_names = \n {breast_data.target_names}")
# 划分数据集
x_train, x_test, y_train, y_test = train_test_split(breast_data.data, breast_data.target, test_size=0.2)
# print(x_test.shape)
# 特征工程
transfer = StandardScaler()
x_train = transfer.fit_transform(x_train)
x_test = transfer.transform(x_test)
# print(f"x_train = \n {x_train}")
# 预估器
estimator = LogisticRegression()
estimator.fit(x_train, y_train)
# 得出模型
print(f"回归系数: {estimator.coef_}")
print(f"偏置: {estimator.intercept_}")
# 模型评估
# 方法1:真实值和预测值做对比
y_predict = estimator.predict(x_test)
# print(f"y_predict = {y_predict}")
# print(f"真实值和预测值做对比 = \n {y_train == y_predict}")
# 方法2:计算准确率
score = estimator.score(x_test, y_test)
print(f"score = {score}")
# 查看精确率和召回率
report = classification_report(y_test, y_predict, labels=[0, 1], target_names=["阴性", "阳性"])
print(f"report = \n {report}")
# 查看AUC指标
auc = roc_auc_score(y_test, y_predict)
print(f"auc = {auc}")
3.6 运行结果
可以看出auc = 0.97 接近1,说明这个模型的效果还不错
3.7 小结
AUC只能用来评价二分类
AUC非常适合评价样本不平衡中的分类器性能
本章学习资源
黑马程序员3天快速入门python机器学习我是跟着视频进行的学习,欢迎大家一起来学习!