如何基于MLServer构建Python机器学习服务

news2024/9/29 18:07:01

文章目录

  • 前言
  • 一、数据集
  • 二、训练 Scikit-learn 模型
  • 三、基于MLSever构建Scikit-learn服务
  • 四、测试模型
  • 五、训练 XGBoost 模型
  • 六、服务多个模型
  • 七、测试多个模型的准确性
  • 总结
  • 参考

前言

在过去我们训练模型，往往通过编写flask代码或者容器化我们的模型并在docker中运行。这篇文章中，我们将分享如何基于mlserver来搭建Web服务。mlserver是基于 python的推理服务器，可以通过简单的代码实现python web服务，但是它的真正优点在于它是一个为生产环境设计的高性能服务器。
在这里插入图片描述

一、数据集

本博客通过使用几个图像模型作为示例，介绍如何使用 MLServer，我们要使用的数据集是Fashion MNIST 数据集。它包含 70,000 张灰度 28x28 像素的服装图像，分为 10 个不同的类别（上衣、连衣裙、外套、裤子等）。

二、训练 Scikit-learn 模型

首先，我们使用scikit-learn框架训练支持向量机 (SVM) 模型。然后我们将模型保存到一个名为Fashion-MNIST.joblib文件中。

import pandas as pd
from sklearn import svm
import time
import joblib

#Load Training Data
train = pd.read_csv('../../data/fashion-mnist_train.csv', header=0)
y_train = train['label']
X_train = train.drop(['label'], axis=1)
classifier = svm.SVC(kernel="poly", degree=4, gamma=0.1)

#Train Model
start = time.time()
classifier.fit(X_train.values, y_train.values)
end = time.time()
exec_time = end-start
print(f'Execution time: {exec_time} seconds')

#Save Model
joblib.dump(classifier, "Fashion-MNIST.joblib")

注意：SVM 算法不是特别适合大型数据集，因为它具有二次性质。根据使用的硬件，本示例中的模型将需要几分钟时间进行训练。

三、基于MLSever构建Scikit-learn服务

好的，所以我们现在有一个保存的模型文件Fashion-MNIST.joblib。让我们来看看我们如何使用 MLServer 来提供服务…

首先，我们需要安装 MLServer。

pip install mlserver

额外的运行时是可选的，但在服务模型时让生活变得非常轻松，我们也会安装 Scikit-Learn 和 XGBoost 的

pip install mlserver-sklearn mlserver-xgboost

你可以在此处找到有关所有推理运行时的详细信息，完成后，我们需要做的就是添加两个配置文件：

  • settings.json- 这包含服务器本身的配置。
  • model-settings.json- 顾名思义，此文件包含我们要运行的模型的配置。对于我们的settings.json文件，只需定义一个参数就足够了：
{
    "debug": "true"
}

该model-settings.json文件需要更多信息，因为它需要了解我们尝试服务的模型：

{
    "name": "fashion-sklearn",
    "implementation": "mlserver_sklearn.SKLearnModel",
    "parameters": {
        "uri": "./Fashion_MNIST.joblib",
        "version": "v1"
    }
}

name参数为 MLServer 提供了一个唯一标识符，这在为多个模型提供服务时特别有用（我们稍后会谈到）。定义implementation要使用的预建服务器（如果有），它与用于训练模型的机器学习框架紧密耦合。在我们的例子中，我们使用 scikit-learn 训练了模型，因此我们将使用 MLServer 的 scikit-learn 实现。对于模型，parameters我们只需要提供模型文件的位置以及版本号。

就是这样，两个小配置文件，我们准备好使用以下命令为我们的模型提供服务：

mlserver start .

我们现在已经在本地服务器上运行了我们的模型。它现在已准备好接受通过 HTTP 和 gRPC（分别为默认端口8080和8081）的请求。

四、测试模型

现在我们的模型已经启动并运行了。让我们发送一些请求以查看它的运行情况。

要对我们的模型进行预测，我们需要向以下 URL 发送 POST 请求：

http://localhost:8080/v2/models/<MODEL_NAME>/versions//infer

这意味着要访问我们之前训练的 scikit-learn 模型，我们需要用fashion-sklearn替换MODEL_NAME，用 v1替换VERSION。

下面的代码显示了如何导入测试数据，向模型服务器发出请求，然后将结果与实际标签进行比较：

import pandas as pd
import requests

#Import test data, grab the first row and corresponding label
test = pd.read_csv('../../data/fashion-mnist_test.csv', header=0)
y_test = test['label'][0:1]
X_test = test.drop(['label'],axis=1)[0:1]

#Prediction request parameters
inference_request = {
    "inputs": [
        {
          "name": "predict",
          "shape": X_test.shape,
          "datatype": "FP64",
          "data": X_test.values.tolist()
        }
    ]
}
endpoint = "http://localhost:8080/v2/models/fashion-sklearn/versions/v1/infer"

#Make request and print response
response = requests.post(endpoint, json=inference_request)
print(response.text)
print(y_test.values)

运行test.py上面的代码时，我们从 MLServer 得到以下响应：

{
  "model_name": "fashion-sklearn",
  "model_version": "v1",
  "id": "31c3fa70-2e56-49b1-bcec-294452dbe73c",
  "parameters": null,
  "outputs": [
    {
      "name": "predict",
      "shape": [
        1
      ],
      "datatype": "INT64",
      "parameters": null,
      "data": [
        0
      ]
    }
  ]
}

你会注意到 MLServer 已生成一个请求 ID，并自动添加了有关用于满足我们请求的模型和版本的元数据。一旦我们的模型投入生产，捕获这种元数据就非常重要；它允许我们记录每个请求以用于审计和故障排除目的。

你可能还会注意到 MLServer已返回一个数组outputs。在我们的请求中，我们只发送了一行数据，但MLServer也处理批量请求并将它们一起返回。你甚至可以使用一种称为自适应批处理的技术来优化在生产环境中处理多个请求的方式。

在我们上面的示例中，可以找到模型的预测，其中outputs[0].data显示模型已将此样本标记为类别0（值 0 对应于类别t-shirt/top）。该样本的真实标签也是，0所以模型得到了正确的预测！

五、训练 XGBoost 模型

现在我们已经了解了如何使用 MLServer 创建和提供单个模型，让我们来看看我们如何处理在不同框架中训练的多个模型。

我们将使用相同的 Fashion MNIST 数据集，但这次我们将训练XGBoost模型。


import pandas as pd
import xgboost as xgb
import time

#Load Training Data
train = pd.read_csv('../../data/fashion-mnist_train.csv', header=0)
y_train = train['label']
X_train = train.drop(['label'], axis=1)
dtrain = xgb.DMatrix(X_train.values, label=y_train.values)

#Train Model
params = {
    'max_depth': 5,
    'eta': 0.3,
    'verbosity': 1,
    'objective': 'multi:softmax',
    'num_class' : 10
}
num_round = 50

start = time.time()
bstmodel = xgb.train(params, dtrain, num_round, evals=[(dtrain, 'label')], verbose_eval=10)
end = time.time()
exec_time = end-start
print(f'Execution time: {exec_time} seconds')

#Save Model
bstmodel.save_model('Fashion_MNIST.json')

上面用于训练 XGBoost 模型的代码与我们之前用于训练 scikit-learn 模型的代码类似，但这次我们的模型以 XGBoost 兼容格式保存为Fashion_MNIST.json。

六、服务多个模型

MLServer 的一个很酷的事情是它支持多模型服务。这意味着您不必为要部署的每个 ML 模型创建或运行新服务器。使用我们上面构建的模型，我们将使用此功能同时为它们提供服务。

当 MLServer 启动时，它将在目录（和任何子目录）中搜索model-settings.json文件。如果您有多个model-settings.json文件，那么它会自动为所有文件提供服务。

settings.json注意：您仍然只需要根目录中的一个（服务器配置）文件

这是我的目录结构的细分以供参考：

.
├── data
│   ├── fashion-mnist_test.csv
│   └── fashion-mnist_train.csv
├── models
│   ├── sklearn
│   │   ├── Fashion_MNIST.joblib
│   │   ├── model-settings.json
│   │   ├── test.py
│   │   └── train.py
│   └── xgboost
│       ├── Fashion_MNIST.json
│       ├── model-settings.json
│       ├── test.py
│       └── train.py
├── README.md
├── settings.json
└── test_models.py

请注意，有两个model-settings.json文件 - 一个用于 scikit-learn 模型，一个用于 XGBoost 模型。

我们现在可以运行mlserver start .，它将开始处理两个模型的请求。

[mlserver] INFO - Loaded model 'fashion-sklearn' succesfully.
[mlserver] INFO - Loaded model 'fashion-xgboost' succesfully.

七、测试多个模型的准确性

现在这两个模型都在 MLServer 上启动并运行，我们可以使用测试集中的样本来验证我们每个模型的准确性。

以下代码向每个模型发送一个批处理请求（包含完整的测试集），然后将收到的预测与真实标签进行比较。在整个测试集上执行此操作可以衡量每个模型的准确性。


import pandas as pd
import requests
import json

#Import the test data and split the data from the labels
test = pd.read_csv('./data/fashion-mnist_test.csv', header=0)
y_test = test['label']
X_test = test.drop(['label'],axis=1)

#Build the inference request
inference_request = {
    "inputs": [
        {
          "name": "predict",
          "shape": X_test.shape,
          "datatype": "FP64",
          "data": X_test.values.tolist()
        }
    ]
}

#Send the prediction request to the relevant model, compare responses to training labels and calculate accuracy
def infer(model_name, version):
    endpoint = f"http://localhost:8080/v2/models/{model_name}/versions/{version}/infer"
    response = requests.post(endpoint, json=inference_request)

    #calculate accuracy
    correct = 0
    for i, prediction in enumerate(json.loads(response.text)['outputs'][0]['data']):
        if y_test[i] == prediction:
            correct += 1
    accuracy = correct / len(y_test)
    print(f'Model Accuracy for {model_name}: {accuracy}')

infer("fashion-xgboost", "v1")
infer("fashion-sklearn", "v1")

结果表明，XGBoost 模型略优于 SVM scikit-learn 模型：

Model Accuracy for fashion-xgboost: 0.8953
Model Accuracy for fashion-sklearn: 0.864

总结

希望现在你已经了解使用MLServer为模型提供服务是多么容易。

参考

https://dev.to/ukcloudman/serving-python-machine-learning-models-with-ease-37kh

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/375164.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

我要测网2022优秀检测机构评选活动举办，径硕科技分享数字营销趋势

我要测网2022优秀检测机构评选活动举办，径硕科技分享数字营销趋势

2023年2月17号&#xff0c;由我要测网主办的「数字营销韧性增长&#xff5c;2023TIC营销人开年报告」圆满举办。来自南京市产品质量监督检验院、中国检科院测试评价中心、径硕科技JINGdigital等企业的3位“重量级”嘉宾进行了精彩纷呈的分享&#xff0c;为在低谷中前行的检测机…
阅读更多...
svg和D3.js

svg和D3.js

一、svg绘制图形 像素图由一个个像素块组成&#xff0c;矢量图由多个数学公式绘制曲线组成&#xff0c;这样即使我们缩放&#xff0c;数学公式会重新计算&#xff0c;所以矢量图不会出现失真。 <!DOCTYPE html> <html lang"en"><head><meta ch…
阅读更多...
日本知名动画公司东映动画加入 The Sandbox 元宇宙

日本知名动画公司东映动画加入 The Sandbox 元宇宙

与 Minto 合作将东映动画的 IP 呈现在元宇宙。 The Sandbox 很荣幸能与东映动画合作&#xff0c;与 Minto 携手在 The Sandbox 元宇宙中创建基于东映动画 IP 的相关体验。 作为日本动画的先驱&#xff0c;东映动画制作了日本最大和世界领先的动画作品&#xff0c;包括《龙珠》、…
阅读更多...
Python实现贝叶斯优化器(Bayes_opt)优化LightGBM分类模型(LGBMClassifier算法)项目实战

Python实现贝叶斯优化器(Bayes_opt)优化LightGBM分类模型(LGBMClassifier算法)项目实战

说明&#xff1a;这是一个机器学习实战项目&#xff08;附带数据代码文档视频讲解&#xff09;&#xff0c;如需数据代码文档视频讲解可以直接到文章最后获取。1.项目背景贝叶斯优化器(BayesianOptimization) 是一种黑盒子优化器&#xff0c;用来寻找最优参数。贝叶斯优化器是基…
阅读更多...
Spring Cloud融合Nacos实现服务的注册与发现 | Spring Cloud 4

Spring Cloud融合Nacos实现服务的注册与发现 | Spring Cloud 4

一、前言 服务发现是微服务架构体系中最关键的组件之一。如果尝试着用手动的方式来给每一个客户端来配置所有服务提供者的服务列表是一件非常困难的事&#xff0c;而且也不利于服务的动态扩缩容。 Spring Cloud Alibaba Nacos Discovery通过自动配置以及其他Spring 编程模型的…
阅读更多...
独立产品灵感周刊 DecoHack #049 - 开发者如何学习UI设计

独立产品灵感周刊 DecoHack #049 - 开发者如何学习UI设计

本周刊记录有趣好玩的独立产品设计开发相关内容&#xff0c;每周发布&#xff0c;往期内容同样精彩&#xff0c;感兴趣的伙伴可以点击订阅我的周刊。为保证每期都能收到&#xff0c;建议邮件订阅。欢迎通过 Twitter 私信推荐或投稿。&#x1f4bb; 产品推荐 1. method.ac 这个…
阅读更多...
一文读懂账号体系产品设计

一文读懂账号体系产品设计

一、账号体系的概念及价值账号体系是用户在各平台上的通行证。平台给与用户可持续的服务&#xff0c;用户在平台上获取价值&#xff0c;中间的媒介&#xff0c;便是账号体系。阿境将其理解为维系用户与平台之间的枢纽。注&#xff1a;本文中&#xff0c;账号账户&#xff0c;二…
阅读更多...
《Python机器学习》基础代码2

《Python机器学习》基础代码2

&#x1f442; 逝年 - 夏小虎 - 单曲 - 网易云音乐 目录 &#x1f44a;Matplotlib综合应用&#xff1a;空气质量监测数据的图形化展示 &#x1f33c;1&#xff0c;AQI时序变化特点 &#x1f33c;2&#xff0c;AQI分布特征 相关性分析 &#x1f33c;3&#xff0c;优化图形…
阅读更多...
Python实现GWO智能灰狼优化算法优化循环神经网络回归模型(LSTM回归算法)项目实战

Python实现GWO智能灰狼优化算法优化循环神经网络回归模型(LSTM回归算法)项目实战

说明&#xff1a;这是一个机器学习实战项目&#xff08;附带数据代码文档视频讲解&#xff09;&#xff0c;如需数据代码文档视频讲解可以直接到文章最后获取。1.项目背景灰狼优化算法(GWO)&#xff0c;由澳大利亚格里菲斯大学学者 Mirjalili 等人于2014年提出来的一种群智能优…
阅读更多...
Linux和Windows环境下配置Redis开机自启动

Linux和Windows环境下配置Redis开机自启动

Linux和Windows环境下配置Redis开机自启动前言Linux服务器上设置开机自启动前置条件配置开机自启动启动的配置文件添加脚本的设置Windows设置开机自启其他简单命令前言 rt&#xff0c;没怎么接触过服务器还要摊上这么档子事&#xff0c;面试的时候也没说要跟服务器打交道啊。。…
阅读更多...
【前端】JS异步加载

【前端】JS异步加载

文章目录为什么要异步加载如何实现异步加载参考为什么要异步加载 两个原因其实是一个意思。 原因1&#xff1a; JS是单线程的语言&#xff0c;它会同步的执行代码&#xff0c;从上往下执行 但是&#xff0c;一旦网络不好&#xff0c;或要加载的js文件过大的话&#xff0c;会…
阅读更多...
记一次真实liunx挖矿病毒处理

记一次真实liunx挖矿病毒处理

在一个周末的晚上&#xff0c;收到了群里一个学弟的消息&#xff1a;话不多说开始应急&#xff1a;发现新增用户包括计划任务&#xff0c;包括使用率为百分百的cpu&#xff0c;可以确定是被入侵且植入了挖矿病毒。后门用户&#xff1a;计划任务&#xff1a;top查看进程信息&…
阅读更多...
2.27 junit5常用语法

2.27 junit5常用语法

一.了解junitjunit是一个开源的java单元测试框架,java方向使用最广泛的单元测试框架.所需要的依赖<dependencies><!-- https://mvnrepository.com/artifact/org.seleniumhq.selenium/selenium-java --><dependency><groupId>org.seleniumhq.selenium&l…
阅读更多...
敏捷测试需要遵循的原则

敏捷测试需要遵循的原则

摘要&#xff1a;与传统的阶段性测试不同的是&#xff0c;敏捷测试能够将测试集成到整个软件开发过程中&#xff0c;尽早、及时地发现缺陷&#xff0c;帮助交付有价值的高质量产品。 传统测试与敏捷测试的比较大的区别在于&#xff1a; 在瀑布方法中&#xff0c;测试只能在开发…
阅读更多...
400G光模块知识大全

400G光模块知识大全

400G光模块是目前高速传输领域中的一种先进产品&#xff0c;被广泛应用于高性能数据中心、通信网络、大规模计算、云计算等领域。本文将从400G光模块的定义、技术、产品型号、应用场景以及未来发展方向进行详细介绍。一、什么是400G光模块&#xff1f;400G光模块是指传输速率达…
阅读更多...
PCI子系统

PCI子系统

很多网络接口卡都是外围组件互联&#xff08;Peripheral Compaonent Interconnect&#xff09;设备&#xff0c;必须与Linux PCI子系统协同工作&#xff0c;并非所有的网络接口都是PCI设备&#xff0c;很多嵌入式设备的网络接口连接的就不是PCI总线&#xff0c;这些设备的初始化…
阅读更多...
学习 Python 之 Pygame 开发魂斗罗（六）

学习 Python 之 Pygame 开发魂斗罗（六）

学习 Python 之 Pygame 开发魂斗罗&#xff08;六&#xff09;继续编写魂斗罗1. 创建碰撞类2. 给地图添加碰撞体3. 让人物可以掉下去4. 实现人物向下跳跃5. 完整的代码继续编写魂斗罗 在上次的博客学习 Python 之 Pygame 开发魂斗罗&#xff08;五&#xff09;中&#xff0c;我…
阅读更多...
单例模式之饿汉、懒汉模式

单例模式之饿汉、懒汉模式

目录 1.单例模式 1.1 饿汉模式 1.2 懒汉模式 1.单例模式 单例模式能保证类在程序中只存在唯一一份实例.这一点在很多场景中都需要,比如JDBC中的DataSource实例就只需要一个. 单例模式具体的是实现方法主要有两种:饿汉模式和懒汉模式. 1.1 饿汉模式 饿汉摸模式是指,在类加…
阅读更多...
多模态推荐系统综述

多模态推荐系统综述

推荐系统(RS)已经成为在线服务不可或缺的工具。它们集成了各种深度学习技术&#xff0c;可以根据标识符和属性信息对用户偏好进行建模。随着短视频、新闻等多媒体服务的出现&#xff0c;在推荐的同时了解这些内容变得至关重要。此外&#xff0c;多模态特征也有助于缓解RS中的数…
阅读更多...
我的 System Verilog 学习记录（6）

我的 System Verilog 学习记录（6）

引言 本文简单介绍 SystemVerilog 语言的 线程。 前文链接&#xff1a; 我的 System Verilog 学习记录&#xff08;1&#xff09; 我的 System Verilog 学习记录&#xff08;2&#xff09; 我的 System Verilog 学习记录&#xff08;3&#xff09; 我的 System Verilog 学…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023