MLFlow 入门(Model管理，生命周期管理)

news2024/11/15 16:33:11

最近需求需要使用mlflow，去学习了下，记录。

简介

MLflow是一个开源平台，专门为了帮助机器学习的从业者和团队处理机器学习过程中的复杂性而设计的。MLflow关注机器学习项目的完整生命周期，确保每个阶段都是可管理的、可追溯的和可复现的。

MLflow目前提供了几个关键的组件：

MLflow AI Gateway：通过安全、简单的API与最先进的LLM进行交互。
MLflow LLM Evaluate：简化LLM和提示的评估。
MLflow Tracking：记录和查询实验：代码、数据、配置和结果。
MLflow Projects：将数据科学代码打包成一种格式，可以在任何平台上重现运行。
MLflow Models：在不同的服务环境中部署机器学习模型。
Model Registry：在一个中心仓库中存储、注释、发现和管理模型。

FE启动

（前提你需要有python环境和pip）

先安装mlflow

pip install mlflow

然后就可以直接启动sever

mlflow server --host 127.0.0.1 --port 8080

 这个端口随便你，只要是你可用的端口就行。

启动完成之后打开浏览器输入localhost:8080 你的端口是什么就是什么，我是8080而已

 就可以看到他的UI。

代码使用

创建实验

这里的实验类似于我们的project，独立的实验可以方便进行管理和查看 

from mlflow import MlflowClient
client = MlflowClient(tracking_uri="http://127.0.0.1:8080")
all_experiments = client.search_experiments()

default_experiment = [
    {"name": experiment.name, "lifecycle_stage": experiment.lifecycle_stage}
    for experiment in all_experiments
    if experiment.name == "Default"
][0]
# Provide an Experiment description that will appear in the UI
experiment_description = (
    "This is the grocery forecasting project. "
    "This experiment contains the produce models for apples."
)

# Provide searchable tags that define characteristics of the Runs that
# will be in this Experiment
experiment_tags = {
    "project_name": "grocery-forecasting",
    "store_dept": "produce",
    "team": "stores-ml",
    "project_quarter": "Q3-2023",
    "mlflow.note.content": experiment_description,
}

# Create the Experiment, providing a unique name
produce_apples_experiment = client.create_experiment(
    name="Apple_Models", tags=experiment_tags
)

在FE里面可以看到 刚刚我们创建的实验。

查看实验 

from mlflow import MlflowClient
from pprint import pprint
client = MlflowClient(tracking_uri="http://127.0.0.1:8080")
all_experiments = client.search_experiments()

pprint(all_experiments)

 

这样可以返回所有我们已经存在的实验，关于pprint()可以看我另一篇blog https://blog.csdn.net/Damien_J_Scott/article/details/134603880 

 Model准备

import mlflow
from mlflow.models import infer_signature

import pandas as pd
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score


# Load the Iris dataset
X, y = datasets.load_iris(return_X_y=True)

# Split the data into training and test sets
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, random_state=42
)

# Define the model hyperparameters
params = {
    "solver": "lbfgs",
    "max_iter": 1000,
    "multi_class": "auto",
    "random_state": 8888,
}

# Train the model
lr = LogisticRegression(**params)
lr.fit(X_train, y_train)

# Predict on the test set
y_pred = lr.predict(X_test)

# Calculate metrics
accuracy = accuracy_score(y_test, y_pred)

这里训练好了一个逻辑回归的模型。

Model记录

import mlflow
from mlflow.models import infer_signature

import pandas as pd
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score


# Load the Iris dataset
X, y = datasets.load_iris(return_X_y=True)

# Split the data into training and test sets
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, random_state=42
)

# Define the model hyperparameters
params = {
    "solver": "lbfgs",
    "max_iter": 1000,
    "multi_class": "auto",
    "random_state": 8888,
}

# Train the model
lr = LogisticRegression(**params)
lr.fit(X_train, y_train)

# Predict on the test set
y_pred = lr.predict(X_test)

# Calculate metrics
accuracy = accuracy_score(y_test, y_pred)


#2nd part code

# Set our tracking server uri for logging
mlflow.set_tracking_uri(uri="http://127.0.0.1:8080")

# Create a new MLflow Experiment
mlflow.set_experiment("MLflow Quickstart")

# Start an MLflow run
with mlflow.start_run():
    # Log the hyperparameters
    mlflow.log_params(params)

    # Log the loss metric
    mlflow.log_metric("accuracy", accuracy)

    # Set a tag that we can use to remind ourselves what this run was for
    mlflow.set_tag("Training Info", "Basic LR model for iris data")

    # Infer the model signature
    signature = infer_signature(X_train, lr.predict(X_train))

    # Log the model
    model_info = mlflow.sklearn.log_model(
        sk_model=lr,
        artifact_path="iris_model",
        signature=signature,
        input_example=X_train,
        registered_model_name="tracking-quickstart",
    )

这里在原有的代码基础上加入了模型记录的代码，其实也可以把训练模型和其他逻辑的代码放进 start_run 里面，但是官方不建议这么做，因为如果你训练或者其他逻辑代码报错有什么问题，会导致之前出现空或者无效记录，就需要手动去UI里面进行清理了

这里设置链接的方式使用的是 mlflow.set_tracking_uri(uri="http://127.0.0.1:8080")，

其实还有一种方式 client = MlflowClient(tracking_uri="http://127.0.0.1:8080")，他们的区别就是如下：

统而言之就是，client方式更加灵活，可以一份代码里面有多个跟踪服务器，另一种适合一份代码只有一个跟踪服务器来使用。 

调用Model

import mlflow
from mlflow.models import infer_signature

import pandas as pd
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score


# Load the Iris dataset
X, y = datasets.load_iris(return_X_y=True)

# Split the data into training and test sets
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, random_state=42
)

# Define the model hyperparameters
params = {
    "solver": "lbfgs",
    "max_iter": 1000,
    "multi_class": "auto",
    "random_state": 8888,
}

# Train the model
lr = LogisticRegression(**params)
lr.fit(X_train, y_train)

# Predict on the test set
y_pred = lr.predict(X_test)

# Calculate metrics
accuracy = accuracy_score(y_test, y_pred)
print(accuracy)

# Set our tracking server uri for logging
mlflow.set_tracking_uri(uri="http://127.0.0.1:8080")

# Create a new MLflow Experiment
mlflow.set_experiment("MLflow Quickstart")

# Start an MLflow run
with mlflow.start_run():
    # Log the hyperparameters
    mlflow.log_params(params)

    # Log the loss metric
    mlflow.log_metric("accuracy", accuracy)

    # Set a tag that we can use to remind ourselves what this run was for
    mlflow.set_tag("Training Info", "Basic LR model for iris data")

    # Infer the model signature
    signature = infer_signature(X_train, lr.predict(X_train))

    # Log the model
    model_info = mlflow.sklearn.log_model(
        sk_model=lr,
        artifact_path="iris_model",
        signature=signature,
        input_example=X_train,
        registered_model_name="tracking-quickstart",
    )
    print(f'{model_info.model_uri}')
    # Load the model back for predictions as a generic Python Function model
    loaded_model = mlflow.pyfunc.load_model(model_info.model_uri)
    predictions = loaded_model.predict(X_test)
    iris_feature_names = datasets.load_iris().feature_names
    result = pd.DataFrame(X_test, columns=iris_feature_names)
    result["actual_class"] = y_test
    result["predicted_class"] = predictions
    print(result[:4])

 这里在之前基础上加了调用模型的代码

FE查看

 我们返回到FE中，可以看到1这里 RUN Name 会随机生成，如果你想要指定特殊的名字就可以这样

with mlflow.start_run(run_name="test1"):
    pass

 还有就是每有个一 with mlflow.start_run(）就会有一条这个记录，可以看到3这里是没有model的，因为我测试的时候就是一个空的with mlflow.start_run(）

点击某一个run name就可以进入详情页
 红线这里就是model的url，可以直接通过这个url调用到该model，

左边文件栏里面可以看到具体记录了哪些文件。有pkl的模型，还有示例输入，还有该模型需要的依赖等等。

根据我的学习进度还在更新中....

参考链接： https://mlflow.org/docs/latest/getting-started/intro-quickstart/index.html

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1251079.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

邮件泄密案例分析

邮件泄密案例分析

近日，一起令人震惊的事件在美军方内部引发了广泛关注。据报道，美军方意外将数百万封包含敏感信息的邮件发至非洲国家马里。这些邮件涉及的内容十分广泛，包括军事行动计划、人员部署、战术策略等，甚至还有部分涉及国家安全和战略决…
阅读更多...
前缀和——238. 除自身以外数组的乘积

前缀和——238. 除自身以外数组的乘积

文章目录 🍷1. 题目🍸2. 算法原理🍥解法一：暴力求解🍥解法二：前缀和（积） 🍹3. 代码实现 🍷1. 题目 题目链接：238. 除自身以外数组的乘积 - 力扣&a…
阅读更多...
2023.11.24 关于 请求转发 和 请求重定向 的区别

2023.11.24 关于 请求转发 和 请求重定向 的区别

目录 请求转发（forward） 请求重定向（redirect） 二者区别 定义不同 请求方不同 数据共享不同 最终 URL 地址不同 代码实现不同 阅读下文之前 建议点击下方链接简单了解 Fiddle Fiddle 的安装与使用 请求转发（fo…
阅读更多...
基于UI交互意图理解的异常检测方法

基于UI交互意图理解的异常检测方法

美团到店平台技术部/质量工程部与复旦大学周扬帆教授团队开展了科研合作，基于业务实际场景，自主研发了多模态UI交互意图识别模型以及配套的UI交互框架。 本文从大前端质量保障领域的痛点出发，介绍了UI交互意图识别的方法设计与实现。基于UI交…
阅读更多...
训练日志——logging

训练日志——logging

目录 基础使用日志的6个级别打印日志修改打印级别 高级应用logging的组成记录器Loggers处理器Handlers过滤器Filterformatter格式创建关联打印日志 配置文件参考 基础使用 日志的6个级别 打印日志 import logginglogging.debug(调试日志) logging.info(消息日志) logging.war…
阅读更多...
开源vs闭源，处在大模型洪流中，向何处去？

开源vs闭源，处在大模型洪流中，向何处去？

文章目录 一、开源和闭源的优劣势比较1.1 开源优势1.2 闭源的优势 二、开源和闭源对大模型技术发展的影响2.1 数据共享2.2 算法创新2.3 业务拓展2.4 安全性和隐私2.5 社会责任和伦理 三、开源与闭源的商业模式比较3.1 盈利模式3.2 市场竞争3.3 用户生态3.4 创新速度 四&#xf…
阅读更多...
基于浣熊算法优化概率神经网络PNN的分类预测 - 附代码

基于浣熊算法优化概率神经网络PNN的分类预测 - 附代码

基于浣熊算法优化概率神经网络PNN的分类预测 - 附代码 文章目录 基于浣熊算法优化概率神经网络PNN的分类预测 - 附代码1.PNN网络概述2.变压器故障诊街系统相关背景2.1 模型建立 3.基于浣熊优化的PNN网络5.测试结果6.参考文献7.Matlab代码 摘要：针对PNN神经网络的光滑…
阅读更多...
MyBatis的解析和运行原理

MyBatis的解析和运行原理

文章目录 MyBatis的解析和运行原理MyBatis的工作原理 MyBatis的解析和运行原理 MyBatis编程步骤是什么样的？ 1、 创建SqlSessionFactory 2、 通过SqlSessionFactory创建SqlSession 3、 通过sqlsession执行数据库操作 4、 调用session.commit()提交事务 5、 调用…
阅读更多...
【JavaWeb】TomcatJavaWebHTTP

【JavaWeb】TomcatJavaWebHTTP

Tomcat&JavaWeb&HTTP 文章目录 Tomcat&JavaWeb&HTTP一、Tomcat1.1 版本选择及安装1.2 目录1.3 WEB项目部署的方式 二、IDEA中Java Web开发部署流程三、HTTP协议3.1 发展历程3.2 HTTP协议的会话方式3.3 请求报文3.4 响应报文 一、Tomcat Tomcat是Apache 软件基…
阅读更多...
机器学习探索计划——KNN算法流程的简易了解

机器学习探索计划——KNN算法流程的简易了解

文章目录 数据准备阶段KNN预测的过程1.计算新样本与已知样本点的距离2.按照举例排序3.确定k值4.距离最近的k个点投票 scikit-learn中的KNN算法 数据准备阶段 import matplotlib.pyplot as plt import numpy as np# 样本特征 data_X [[0.5, 2],[1.8, 3],[3.9, 1],[4.7, 4],[6.…
阅读更多...
通过JMeter压测结果来分析Eureka多种服务下线机制后的服务感知情况

通过JMeter压测结果来分析Eureka多种服务下线机制后的服务感知情况

文章目录 前言1. Eureka-Server的设计2. EurekaRibbon感知下线服务机制3.服务调用接口压测模型4.Eureka几种服务下线的方式4.1强制下线压测 4.2 发送delete（）请求压测 4.3 调用DiscoveryManager压测 4. 三方工具Actuator 总结 前言 上文末尾讲到了Eurek…
阅读更多...
跑步运动耳机哪个牌子好？运动型无线耳机排行榜

跑步运动耳机哪个牌子好？运动型无线耳机排行榜

​运动耳机是我们运动时不可或缺的装备，它可以让你享受高品质的音乐，还提供了高舒适佩戴体验以及稳定的连接。然而面对市面上层出不穷的运动耳机，到底哪款更值得入手？今天我为大家推荐几款市面上备受好评的运动耳机，是…
阅读更多...
【数据库】数据库物理执行计划最基本操作-表扫描机制与可选路径，基于代价的评估模型以及模型参数的含义

【数据库】数据库物理执行计划最基本操作-表扫描机制与可选路径，基于代价的评估模型以及模型参数的含义

物理执行计划基本操作符 ​专栏内容： 手写数据库toadb 本专栏主要介绍如何从零开发，开发的步骤，以及开发过程中的涉及的原理，遇到的问题等，让大家能跟上并且可以一起开发，让每个需要的人成为参与者。 本专栏…
阅读更多...
SAS9.2软件“OLE：对象的类没有在注册数据库中注册“问题的解决. 2023-11-25

SAS9.2软件“OLE：对象的类没有在注册数据库中注册“问题的解决. 2023-11-25

操作系统测试平台: Win7 sp1 32bit (6.1.7601.26321 (Win7 RTM)) ; Win 11 64bit(具体版本不详) 其它win平台理论上也可以,可自行测试 1.安装依赖库(必要步骤) 下载地址: Microsoft Visual C 2005 Redistributable 下载 Microsoft Visual C 2008 Redistributable 官方vc库总…
阅读更多...
十大排序之计数排序、桶排序、基数排序（详解）

十大排序之计数排序、桶排序、基数排序（详解）

文章目录 🐒个人主页🏅算法思维框架📖前言： 🎀计数排序 时间复杂度O(nk)🎇1. 算法步骤思想🎇2.动画实现🎇 3.代码实现 🎀桶排序🎇1. 算法步骤思想&#x1f38…
阅读更多...
ros2文件package.xml与cmakelists.txt比较

ros2文件package.xml与cmakelists.txt比较

每次在ros2里面添加文件以后，都要修改packages.xml,与cmakelists.txt文件。
阅读更多...
P10 C++类和结构体的区别

P10 C++类和结构体的区别

目录 01 前言 02 struct 与 class格式上的区别 03 struct 与 class 使用上的区别 04 常用的代码风格 01 前言 今天这期我们主要解决一个问题，就是 C 中的类和结构体有什么区别。 本期我们有两个术语，结构体 struct，它是 structure 的缩写…
阅读更多...
中国信通院王蕴韬：从“好用”到“高效”，AIGC需要被再次颠覆

中国信通院王蕴韬：从“好用”到“高效”，AIGC需要被再次颠覆

当下AIGC又有了怎样的颠覆式技术？处于一个怎样的发展阶段？产业应用如何？以及存在哪些风险？针对这些问题，我们与中国信通院云计算与大数据研究所副总工程师王蕴韬进行了一次深度对话，从他哪里找到了这些问题…
阅读更多...
crontab 定时检测 Tomcat 状态脚本实现及注意事项

crontab 定时检测 Tomcat 状态脚本实现及注意事项

背景 Jenkins 所在的 Tomcat 总是莫名挂掉，虽然任务配置了 NOKILLME 参数，而且并不是总是发生在编译完成后才挂的。怀疑是机器资源不足导致的，没有依据。最简单的办法是创建一个定时任务，检测 Tomcat 状态，不见了就拉…
阅读更多...
我的崩溃。。想鼠？？！

我的崩溃。。想鼠？？！

身为程序员哪一个瞬间让你最奔溃？ 某天一个下午崩溃产生。。。 一个让我最奔溃的瞬间是关于一个看似无害的拼写错误。我当时正在为一个电子商务网站添加支付功能，使用了一个第三方支付库。所有的配置看起来都正确，代码也没有报错，…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023