Pipeline机器学习模型串联

news2025/1/17 13:54:30

机器学习模型训练时使用 Pipeline 是一个加快效率的串联方法。Pipeline 处理机制就像是把所有模型塞到一个管子里，然后依次对数据进行处理，得到最终的分类结果。

# 模型串联
pip=Pipeline(
[ # 所有模型写进列表内
（‘模型一名称’,模型一调用）, # 模型名称可自定义
（‘模型二名称’,模型二调用）,
（‘模型三名称’, 模型三调用）
]
)

# 模型调用
model=pip.fit(x,y)

Pipeline 函数可以把多个模型按顺序打包在一起，输入的数据集经过模型的处理后，输出的结果作为下一步的输入，最后一步的估计器对数据进行分类或者其他处理。除了最后一个模型外，其他模型都必须实现 "fit()" 和 "transform()" 方法，最后一个模型需要实现 fit() 方法即可。当训练样本数据送进 pip 进行处理时，逐个调用模型的 fit() 和 transform() 方法，用最后一个模型的 fit() 方法分类或者其他处理。

示例代码：

import pylab as pl
from sklearn import datasets
from sklearn.metrics import classification_report
from sklearn.model_selection import train_test_split
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.svm import LinearSVC

digits=datasets.load_digits()

# 数据可视化
pl.gray() # 灰度化图片
pl.figure(figsize=(3, 3))
pl.matshow(digits.images[1])  # 显示图片
pl.show()

x_train, x_test, y_train, y_test = train_test_split(digits.data, digits.target, test_size=0.25, random_state=33)

pip = Pipeline([('sc', StandardScaler()), ('svc', LinearSVC())])

pip.fit(x_train, y_train)
y_predict = pip.predict

print(pip.score(x_test, y_test))
names = digits.target_names
print(classification_report(y_test, y_predict, target_names=names.astype(str)))

模型误差 = 偏差 + 方差 + 不可避免的误差（噪音）。

通常随着模型复杂度的增加，方差会逐渐增大，偏差会逐渐减小

偏差衡量了模型的预测值与实际值之间的偏离关系。例如某模型的准确度为96%，则说明是低偏差；如果准确度只有70%，则说明是高偏差。

方差描述的是训练数据在不同迭代阶段的训练模型中，预测值的变化波动情况（或称之为离散情况）。从数学角度看，可理解为每个预测值与预测均值差的平方和的再求平均数。通常在模型训练中，初始阶段模型复杂度不高，为低方差；随着训练量加大，模型逐步拟合训练数据，复杂度开始变高，此时方差会逐渐变高。