部署快捷、使用简单、推理高效！大模型部署和推理框架 Xinference 来了！

news2024/9/23 13:28:15

今天为大家介绍一款大语言模型（LLM）部署和推理工具——Xinference[1]，其特点是部署快捷、使用简单、推理高效，并且支持多种形式的开源模型，还提供了 WebGUI 界面和 API 接口，方便用户进行模型部署和推理。

现在就让我们一起来了解和使用 Xinference 吧！

Xinference 介绍

Xorbits Inference（Xinference）是一个性能强大且功能全面的分布式推理框架。可用于各种模型的推理。通过 Xinference，你可以轻松地一键部署你自己的模型或内置的前沿开源模型。无论你是研究者，开发者，或是数据科学家，都可以通过 Xinference 与最前沿的 AI 模型，发掘更多可能。下面是 Xinference 与其他模型部署推理工具的对比：

图片

技术交流群

前沿技术资讯、算法交流、求职内推、算法竞赛、面试交流(校招、社招、实习)等、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企开发者互动交流~

我们建了算法岗技术与面试交流群， 想要进交流群、需要源码&资料、提升技术的同学，可以直接加微信号：mlc2060。加的时候备注一下：研究方向 +学校/公司+CSDN，即可。然后就可以拉你进群了。

方式①、微信搜索公众号：机器学习社区，后台回复：加群
方式②、添加微信号：mlc2060，备注：技术交流

Xinference 安装

Xinference 支持两种方式的安装，一种是使用 Docker 镜像安装，另外一种是直接在本地进行安装。想了解 Docker 安装方式的朋友可以参考官方的Docker 安装文档[2]，我们这里主要介绍本地安装的方式。

首先安装 Xinference 的 Python 依赖：

pip install "xinference[all]"

Xinference 依赖的第三方库比较多，所以安装需要花费一些时间，等安装完成后，我们就可以启动 Xinference 服务了，启动命令如下：

xinference-local

启动成功后，我们可以通过地址 http://localhost:9777来访问 Xinference 的 WebGUI 界面了。

图片

**注意：**在 Xinference 安装过程中，有可能会安装 PyTorch 的其他版本（其依赖的vllm[3]组件需要安装），从而导致 GPU 服务器无法正常使用，因此在安装完 Xinference 之后，可以执行以下命令看 PyTorch 是否正常：

python -c "import torch; print(torch.cuda.is_available())"

如果输出结果为True，则表示 PyTorch 正常，否则需要重新安装 PyTorch，PyTorch 的安装方式可以参考PyTorch 的页面[4]。

模型部署与使用

在 Xinference 的 WebGUI 界面中，我们部署模型非常简单，下面我们来介绍如何部署 LLM 模型。

首先我们在Launch Model菜单中选择LANGUAGE MODELS标签，输入模型关键字chatglm3来搜索我们要部署的 ChatGLM3 模型。

图片

然后点击chatglm3卡片，会出现如下界面：

图片

在部署 LLM 模型时，我们有以下参数可以进行选择：

  • Model Format: 模型格式，可以选择量化和非量化的格式，非量化的格式是pytorch，量化格式有ggml、gptq等

  • Model Size：模型的参数量大小，如果是 ChatGLM3 的话就只有 6B 这个选项，而如果是 Llama2 的话，则有 7B、13B、70B 等选项

  • Quantization：量化精度，有 4bit、8bit 等量化精度选择

  • N-GPU：选择使用第几个 GPU

  • Model UID（可选）: 模型自定义名称，不填的话就默认用原始模型名称

参数填写完成后，点击左边的火箭图标按钮即开始部署模型，后台会根据参数选择下载量化或非量化的 LLM 模型。部署完成后，界面会自动跳转到Running Models菜单，在LANGUAGE MODELS标签中，我们可以看到部署好的 ChatGLM3-6B 模型。

图片

我们如果点击上图的红色方框图标Launch Web UI，浏览器会弹出 LLM 模型的 Web 界面，在这个界面中，你可以与 LLM 模型进行对话，界面如下：

图片

API 接口

如果你不满足于使用 LLM 模型的 Web 界面，你也可以调用 API 接口来使用 LLM 模型，其实在 Xinference 服务部署好的时候，WebGUI 界面和 API 接口已经同时准备好了，在浏览器中访问http://localhost:9997/docs/就可以看到 API 接口列表。

图片

接口列表中包含了大量的接口，不仅有 LLM 模型的接口，还有其他模型（比如 Embedding 或 Rerank ）的接口，而且这些都是兼容 OpenAI API 的接口。以 LLM 的聊天功能为例，我们使用 Curl 工具来调用其接口，示例如下：

curl -X 'POST' \
  'http://localhost:9997/v1/chat/completions' \
  -H 'accept: application/json' \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "chatglm3",
    "messages": [
      {
        "role": "user",
        "content": "hello"
      }
    ]
  }'

# 返回结果
{
  "model": "chatglm3",
  "object": "chat.completion",
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "content": "Hello! How can I help you today?",
      },
      "finish_reason": "stop"
    }
  ],
  "usage": {
    "prompt_tokens": 8,
    "total_tokens": 29,
    "completion_tokens": 37
  }
}

多模态模型

我们再来部署多模态模型，多模态模型是指可以识别图片的 LLM 模型，部署方式与 LLM 模型类似。

首先选择Launch Model菜单，在LANGUAGE MODELS标签下的模型过滤器Model Ability中选择vl-chat，可以看到目前支持的 2 个多模态模型：

图片

我们选择qwen-vl-chat这个模型进行部署，部署参数的选择和之前的 LLM 模型类似，选择好参数后，同样点击左边的火箭图标按钮进行部署，部署完成后会自动进入Running Models菜单，显示如下：

图片

点击图中Launch Web UI的按钮，浏览器会弹出多模态模型的 Web 界面，在这个界面中，你可以使用图片和文字与多模态模型进行对话，界面如下：

图片

Embedding 模型

Embedding 模型是用来将文本转换为向量的模型，使用 Xinference 部署的话更加简单，只需要在Launch Model菜单中选择Embedding标签，然后选择相应模型，不像 LLM 模型一样需要选择参数，只需直接部署模型即可，这里我们选择部署bge-base-en-v1.5这个 Embedding 模型。

图片

图片

我们通过 Curl 命令调用 API 接口来验证部署好的 Embedding 模型：

curl -X 'POST' \
  'http://localhost:9997/v1/embeddings' \
  -H 'accept: application/json' \
  -H 'Content-Type: application/json' \
  -d '{
  "model": "bge-base-en-v1.5",
  "input": "hello"
}'

# 显示结果
{
  "object": "list",
  "model": "bge-base-en-v1.5-1-0",
  "data": [
    {
      "index": 0,
      "object": "embedding",
      "embedding": [0.0007792398682795465, …]
    }
  ],
  "usage": {
    "prompt_tokens": 37,
    "total_tokens": 37
  }
}

Rerank 模型

Rerank 模型是用来对文本进行排序的模型，使用 Xinference 部署的话也很简单，方法和 Embedding 模型类似，部署步骤如下图所示，这里我们选择部署bge-reranker-base这个 Rerank 模型：

图片

图片

我们通过 Curl 命令调用 API 接口来验证部署好的 Rerank 模型：

curl -X 'POST' \
  'http://localhost:9997/v1/rerank' \
  -H 'accept: application/json' \
  -H 'Content-Type: application/json' \
  -d '{
  "model": "bge-reranker-base",
  "query": "What is Deep Learning?",
  "documents": [
    "Deep Learning is ...",
    "hello"
  ]
}'

# 显示结果
{
  "id": "88177e80-cbeb-11ee-bfe5-0242ac110007",
  "results": [
    {
      "index": 0,
      "relevance_score": 0.9165927171707153,
      "document": null
    },
    {
      "index": 1,
      "relevance_score": 0.00003880404983647168,
      "document": null
    }
  ]
}

图像模型

Xinference 还支持图像模型，使用图像模型可以实现文生图、图生图等功能。Xinference 内置了几种图像模型，分别是 Stable Diffusion（SD）的各个版本。部署方式和文本模型类似，都是在 WebGUI 界面上启动模型即可，无需进行参数选择，但因为 SD 模型比较大，在部署图像模型前请确保服务器上有 50GB 以上的空间。这里我们选择部署sdxl-turbo图像模型，部署步骤截图如下：

图片

图片

我们可以使用 Python 代码调用的方式来使用图像模型生成图片，示例代码如下：

from xinference.client import Client

client = Client("http://localhost:9997")
model = client.get_model("sdxl-turbo")

model.text_to_image("An astronaut walking on the mars")

这里我们使用了 Xinference 的客户端工具来实现文生图功能，生成的图片会自动保存在 Xinfercnce 的 Home 目录下的image文件夹中，Home 目录的默认地址是~/.xinference，我们也可以在启动 Xinference 服务时指定 Home 目录，启动命令如下：

XINFERENCE_HOME=/tmp/xinference xinference-local

语音模型

语音模型是 Xinference 最近新增的功能，使用语音模型可以实现语音转文字、语音翻译等功能。在部署语音模型之前，需要先安装ffmpeg组件，以 Ubuntu 操作系统为例，安装命令如下：

sudo apt update && sudo apt install ffmpeg

目前 Xinference 还不支持在 WebGUI 界面上部署语音模型，需要通过命令行的方式来部署语音模型，在执行部署命令之前需要确保 Xinference 服务已经启动（xinference-local），部署命令如下：

xinference launch -u whisper-1 -n whisper-large-v3 -t audio

  • -u：表示模型 ID

  • -n：表示模型名称

  • -t：表示模型类型

命令行部署的方式不仅适用语音模型，也同样适用于其他类型的模型。我们通过调用 API 接口来使用部署好的语音模型，接口兼容 OpenAI 的 Audio API 接口，因此我们也可以用 OpenAI 的 Python 包来使用语音模型，示例代码如下：

import openai

# api key 可以随便写一个
client = openai.Client(api_key="not empty", base_url="http://127.0.0.1:9997/v1")
audio_file = open("/your/audio/file.mp3", "rb")

# 使用 openai 的方法来调用语音模型
completion = client.audio.transcriptions.create(model="whisper-1", file=audio_file)
print(f"completion: {completion}")

audio_file.close()

其他

模型来源

Xinference 默认是从 HuggingFace 上下载模型，如果需要使用其他网站下载模型，可以通过设置环境变量XINFERENCE_MODEL_SRC来实现，使用以下代码启动 Xinference 服务后，部署模型时会从Modelscope[5]上下载模型：

XINFERENCE_MODEL_SRC=modelscope xinference-local

模型独占 GPU

在 Xinference 部署模型的过程中，如果你的服务器只有一个 GPU，那么你只能部署一个 LLM 模型或多模态模型或图像模型或语音模型，因为目前 Xinference 在部署这几种模型时只实现了一个模型独占一个 GPU 的方式，如果你想在一个 GPU 上同时部署多个以上模型，就会遇到这个错误：No available slot found for the model。

但如果是 Embedding 或者 Rerank 模型的话则没有这个限制，可以在同一个 GPU 上部署多个模型。

总结

今天给大家介绍了 Xinference 这个开源的部署推理工具，因为其部署方便，支持模型多等特点让我印象非常深刻，希望这篇文章可以让更多人了解这个工具，如果在使用的过程中遇到问题，也欢迎在评论区留言讨论。

关注我，一起学习各种人工智能和 AIGC 新技术，欢迎交流，如果你有什么想问想说的，欢迎在评论区留言。

参考:

[1]Xinference: https://github.com/xorbitsai/inference

[2]Docker 安装文档: https://inference.readthedocs.io/en/latest/getting_started/using_docker_image.html

[3] vllm: https://github.com/vllm-project/vllm

[4]PyTorch 的页面: https://pytorch.org/

[5] Modelscope: https://modelscope.cn/

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1518307.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

LORA_ LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS

LORA_ LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS

paper: https://arxiv.org/pdf/2106.09685.pdf code: https://github.com/microsoft/LoRA 摘要 作者提出了低秩自适应，或称LoRA，它冻结了预先训练的模型权值，并将可训练的秩分解矩阵注入变压器架构的每一层，大大减少了下游任务的…
阅读更多...
金山办公内推

金山办公内推

作为金山办公刚刚校招等待入职的一员，我诚挚地邀请您加入我的内推计划，与我一起共同打造卓越的工作环境和未来。 我能帮你 （与直接填我的内推码不同，我直接通过内部问卷帮你投） 1，直接通过校招群里的连接…
阅读更多...
提交数据加快百度搜索引擎收录

提交数据加快百度搜索引擎收录

百度站长工具做了更新，百度收录的地址分享如下，新站点提交后，可以加快百度收录。 普通收录_加快网站内容抓取，快速提交数据工具_站长工具_网站支持_百度搜索资源平台普通收录工具可实时向百度推送数据，创建并提交site…
阅读更多...
Android应用Java开发规范

Android应用Java开发规范

常规编程 魔法值与魔法数字 1.【强制】不允许任何魔法值（即未经预先定义的常量）直接出现在代码中。 反例： // 开发者 A 定义了缓存的 key。 String key "Id#taobao_" tradeId; cache.put(key, value); // 开发者 B 使用缓…
阅读更多...
香港优才计划子女读书内地高考政策解读，3个黄金年龄段不要错过！

香港优才计划子女读书内地高考政策解读，3个黄金年龄段不要错过！

香港优才计划子女读书内地高考政策解读，3个黄金年龄段不要错过！ 孩子年龄多大，适合办理香港身份？ 关注子女教育的家长们，应该对于“孩子有了香港身份，400分轻松上名校”的说法都有耳闻，但很少有…
阅读更多...
altgraph的安装和用途说明

altgraph的安装和用途说明

前言 altgraph 是 graphlib 的一个分支：一个图（网络）包，用于构建图、BFS 和 DFS 遍历、拓扑排序、最短路径等，带有 graphviz 输出。 安装 pip install altgraph 函数和用例 生物链 from altgraph import Graph# 定…
阅读更多...
Python爬虫实战入门：豆瓣电影Top250(保你会，不会来打我)

Python爬虫实战入门：豆瓣电影Top250(保你会，不会来打我)

文章目录 需求所需第三方库requests模块lxml模块了解 lxml模块和xpath语法xpath语法-基础节点选择语法 实战教程完整代码 需求 目标网站: https://movie.douban.com/top250 需求: 爬取电影中文名、英文名、电影详情页链接、导演、主演、上映年份、国籍、类型、评分、评分人数, …
阅读更多...
伪装目标检测论文BGNet：Boundary-Guided Camouflaged Object Detection

伪装目标检测论文BGNet：Boundary-Guided Camouflaged Object Detection

论文地址:link 代码地址：link 这篇论文是22年的CVPR收录的一篇关于伪装目标检测的文章，作者主要是用了一些通道注意力和Atrous卷积来实现边缘引导的伪装目标检测，模型并不复杂，看了两天的论文和代码，为了加深印象在这里…
阅读更多...
【鸿蒙 HarmonyOS 4.0】通知

【鸿蒙 HarmonyOS 4.0】通知

一、介绍 通知旨在让用户以合适的方式及时获得有用的新消息，帮助用户高效地处理任务。应用可以通过通知接口发送通知消息，用户可以通过通知栏查看通知内容，也可以点击通知来打开应用，通知主要有以下使用场景： 显示接…
阅读更多...
vscode 导入前端项目

vscode 导入前端项目

vscode 导入前端项目 导入安装依赖 运行 参考vscode 下载 导入 安装依赖 运行 在前端项目的终端中输入npm run serve
阅读更多...
洛谷 P5018 对称二叉树

洛谷 P5018 对称二叉树

题目背景 NOIP2018 普及组 T4 题目描述 一棵有点权的有根树如果满足以下条件，则被轩轩称为对称二叉树： 二叉树；将这棵树所有节点的左右子树交换，新树和原树对应位置的结构相同且点权相等。 下图中节点内的数字为权值&#xf…
阅读更多...
ES6（一）：let和const、模板字符串、函数默认值、剩余参数、扩展运算符、箭头函数

ES6（一）：let和const、模板字符串、函数默认值、剩余参数、扩展运算符、箭头函数

一、let和const声明变量 1.let没有变量提升&#xff0c;把let放下面打印不出来&#xff0c;放上面可以 <script>console.log(a);let a1;</script> 2.let是一个块级作用域,花括号里面声明的变量外面找不到 <script>console.log(b);if(true){let b1;}//und…
阅读更多...
Ubuntu系统的安装及基础操作

Ubuntu系统的安装及基础操作

目录 一、VMware虚拟机安装Ubuntu20.04过程 1、安装前的准备工作 2、VMware虚拟机创建Ubuntu操作系统 步骤一&#xff1a;以管理员的身份运行VMware虚拟机 步骤二&#xff1a;新建虚拟机 步骤三&#xff1a;选择类型配置 步骤四&#xff1a;选择安装客户机操作系统 步骤…
阅读更多...
一文解答：wifi贴码推广什么时候开始的？

一文解答：wifi贴码推广什么时候开始的？

随着互联网的快速发展和智能手机的普及&#xff0c;人们的生活方式也在发生着翻天覆地的变化&#xff0c;对于网络连接的需求也变得越来越迫切。在这样的背景下&#xff0c;WiFi贴码推广作为一种便捷的网络连接方式逐渐流行起来。那么&#xff0c;WiFi贴码推广究竟是什么时候开…
阅读更多...
PostgreSQL - 查看表膨胀空间

PostgreSQL - 查看表膨胀空间

目录 使用pgstattuple插件查看表膨胀空间 死元组&膨胀系数清理 查看表占用磁盘空间大小是如何组成的 什么是fms和vm&#xff1f; 什么是TOAST&#xff1f; 查看表和其关联的TOAST表的oid的关系 方法一 方法二 参考文档 使用pgstattuple插件查看表膨胀空间 select…
阅读更多...
Clickhouse 单机部署安装

Clickhouse 单机部署安装

前言 在大数据的时代背景下&#xff0c;数据的处理和分析能力成为企业竞争力的关键。ClickHouse&#xff0c;作为一款由俄国Yandex公司开发的分布式数据分析型数据库&#xff0c;凭借其卓越的性能和稳定性&#xff0c;赢得了业界的广泛关注。本文将介绍ClickHouse的基本概念、…
阅读更多...
中科数安｜公司办公终端、电脑文件数据 \ 资料防泄密系统

中科数安｜公司办公终端、电脑文件数据 \ 资料防泄密系统

#中科数安# 中科数安是一家专注于信息安全技术与产品研发的高新技术企业&#xff0c;其提供的公司办公终端、电脑文件数据及资料防泄密系统&#xff08;也称为终端数据防泄漏系统或简称DLP系统&#xff09;主要服务于企业对内部敏感信息的安全管理需求。 www.weaem.com 该系统…
阅读更多...
在webapp中手动发布一个应用

在webapp中手动发布一个应用

部署应用前&#xff0c;我们需要下载Tomcat。 下载官网: Apache Tomcat - Welcome! 1、下载 第一步 : 找到Download目录下的Tomcat8 第二步:选择下载第一个zip链接 2、下载完成后&#xff0c;解压并打开Tomcat文件 3、找到并点击webapp文件 创建一个文件夹 在创建的文件中…
阅读更多...
蓝桥杯第十一届电子类单片机组程序设计

蓝桥杯第十一届电子类单片机组程序设计

目录 前言 单片机资源数据包_2023&#xff08;点击下载&#xff09; 一、第十一届比赛原题 1.比赛题目 2.赛题解读 1&#xff09;计数功能 2&#xff09;连续按下无效按键 二、部分功能实现 1.计数功能的实现 2.连续按下无效按键的处理 3.其他处理 1&#xff09;对于…
阅读更多...
【危化品泄漏源定位】基于改进哈里斯鹰优化算法的危化品泄漏源定位算法 溯源定位算法【Matlab代码#63】

【危化品泄漏源定位】基于改进哈里斯鹰优化算法的危化品泄漏源定位算法 溯源定位算法【Matlab代码#63】

文章目录 【获取资源请见文章第7节&#xff1a;资源获取】1. 算法概述2. 原始哈里斯鹰算法&#xff08;HHO&#xff09;3. 改进哈里斯鹰算法&#xff08;IHHO&#xff09;3.1 动态自适应逃逸能量3.2 动态扰动策略 4. 构建源强和位置反算模型5. 部分代码展示6. 仿真结果展示7. 资…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023