利用免费 GPU 部署体验大型语言模型推理框架 vLLM

news2024/9/30 7:31:36

在这里插入图片描述

vLLM简介

vLLM 是一个快速且易于使用的 LLM（大型语言模型）推理和服务库。

vLLM 之所以快速，是因为：

  • 最先进的服务吞吐量

  • 通过 PagedAttention 高效管理注意力键和值内存

  • 连续批处理传入请求

  • 使用 CUDA/HIP 图快速模型执行

  • 量化：GPTQ[1]、AWQ[2]、SqueezeLLM[3]、FP8 KV 缓存

  • 优化的 CUDA 内核

vLLM 灵活且易于使用，因为它：

  • 与流行的 HuggingFace 模型无缝集成

  • 通过各种解码算法提供高吞吐量服务，包括并行采样、波束搜索等

  • 支持分布式推理的张量并行性

  • 支持流式输出

  • OpenAI 兼容的 API 服务器

  • 支持 NVIDIA GPU 和 AMD GPU

  • (实验性) 前缀缓存支持

  • (实验性) 多洛拉支持

技术交流群

前沿技术资讯、算法交流、求职内推、算法竞赛、面试交流(校招、社招、实习)等、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企开发者互动交流~

我们建了大模型算法岗技术与面试交流群， 想要进交流群、需要源码&资料、提升技术的同学，可以直接加微信号：mlc2060。加的时候备注一下：研究方向 +学校/公司+CSDN，即可。然后就可以拉你进群了。

方式①、微信搜索公众号：机器学习社区，后台回复：加群
方式②、添加微信号：mlc2060，备注：技术交流

实践案例合集：《大模型实战宝典》（2024版）正式发布！

用通俗易懂方式讲解系列

  • 用通俗易懂的方式讲解：自然语言处理初学者指南（附1000页的PPT讲解）
  • 用通俗易懂的方式讲解：1.6万字全面掌握 BERT
  • 用通俗易懂的方式讲解：NLP 这样学习才是正确路线
  • 用通俗易懂的方式讲解：28张图全解深度学习知识！
  • 用通俗易懂的方式讲解：不用再找了，这就是 NLP 方向最全面试题库
  • 用通俗易懂的方式讲解：实体关系抽取入门教程
  • 用通俗易懂的方式讲解：灵魂 20 问帮你彻底搞定Transformer
  • 用通俗易懂的方式讲解：图解 Transformer 架构
  • 用通俗易懂的方式讲解：大模型算法面经指南（附答案）
  • 用通俗易懂的方式讲解：十分钟部署清华 ChatGLM-6B，实测效果超预期
  • 用通俗易懂的方式讲解：内容讲解+代码案例，轻松掌握大模型应用框架 LangChain
  • 用通俗易懂的方式讲解：如何用大语言模型构建一个知识问答系统
  • 用通俗易懂的方式讲解：最全的大模型 RAG 技术概览
  • 用通俗易懂的方式讲解：利用 LangChain 和 Neo4j 向量索引，构建一个RAG应用程序
  • 用通俗易懂的方式讲解：使用 Neo4j 和 LangChain 集成非结构化知识图增强 QA
  • 用通俗易懂的方式讲解：面了 5 家知名企业的NLP算法岗(大模型方向)，被考倒了。。。。。
  • 用通俗易懂的方式讲解：NLP 算法实习岗，对我后续找工作太重要了！。
  • 用通俗易懂的方式讲解：理想汽车大模型算法工程师面试，被问的瑟瑟发抖。。。。
  • 用通俗易懂的方式讲解：基于 Langchain-Chatchat，我搭建了一个本地知识库问答系统
  • 用通俗易懂的方式讲解：面试字节大模型算法岗(实习)
  • 用通俗易懂的方式讲解：大模型算法岗(含实习)最走心的总结
  • 用通俗易懂的方式讲解：大模型微调方法汇总

免费的Google Colab T4 GPU

Google Colab 的 T4 GPU 是一种高性能的计算资源，由 Google 提供，用于加速机器学习和深度学习任务。T4 GPU 是由 NVIDIA 生产的 Tensor Core GPU，专为提供高效的深度学习推理和训练性能而设计。

以下是关于 Google Colab 的 T4 GPU 的一些关键特性：

  1. GPU 架构：T4 基于 NVIDIA 的 Ampere 架构，这是继 Turing 架构之后的新一代 GPU 架构，专为 AI 和机器学习工作负载优化。

  2. Tensor Cores：T4 包含 Tensor Cores，这些是专门为深度学习矩阵运算设计的处理单元，能够提供更高的计算效率和性能。

  3. 内存：T4 GPU 拥有 16 GB 的 GDDR6 显存，这对于处理大型模型和数据集来说是非常充足的。

  4. 计算能力：T4 GPU 提供高达 318 GFLOPS 的单精度浮点运算能力，以及 60 GFLOPS 的半精度（FP16）运算能力，这使得它能够快速执行复杂的数学运算。

  5. 多精度计算：除了 FP32 和 FP16，T4 还支持 INT8 和 INT4 精度计算，这有助于在保持性能的同时减少模型的内存占用和提高推理速度。

  6. 软件兼容性：T4 GPU 支持广泛的深度学习框架和库，如 TensorFlow、PyTorch、Keras 等，这意味着用户可以在他们选择的工具上无缝地使用 T4 GPU。

  7. 易于访问：在 Google Colab 中，用户可以通过简单的配置更改来访问 T4 GPU，无需复杂的设置或额外的硬件投资。

  8. 成本效益：虽然 T4 GPU 是一种高端计算资源，但 Google Colab 提供的免费和付费版本都允许用户以合理的成本使用这些 GPU，这对于学生、研究人员和开发者来说是一个很大的优势。

选择免费的T4 GPU

在这里插入图片描述

免费的T4 GPU

查看GPU信息

  • NVIDIA GPU 的详细信息
!nvidia-smi

在这里插入图片描述

GPU详细信息

nvidia-smi 是 NVIDIA 提供的一个命令行工具，用于监控和管理 NVIDIA GPU 设备。当你运行 nvidia-smi 命令时，它会返回一系列关于系统中所有 NVIDIA GPU 的详细信息

  • CUDA 版本：系统中安装的 CUDA 版本。

  • 驱动版本：GPU 驱动的版本。

  • 总显存：系统中所有 GPU 的总显存。

  • 其他系统级别的信息，如 CPU 使用率、内存使用情况等。

  • 显示每个进程对 GPU 显存的使用情况，包括进程 ID、已使用的显存量等。

  • GPU 编号：标识每个 GPU 的序号。

  • Name：显示 GPU 的型号。

  • Persistence-M：持续模式状态，显示是否开启，开启时 GPU 会保持唤醒状态以快速响应新任务。

  • Fan：风扇转速，显示为百分比，范围从 0 到 100%。

  • Temp：GPU 温度，单位是摄氏度。

  • Perf：性能状态，从 P0 到 P12，P0 表示最大性能，P12 表示最小性能。

  • Pwr：功耗，显示当前功耗和最大功耗。

  • Memory Usage：显存使用情况，包括总显存、已使用显存和剩余显存。

  • Bus-Id：GPU 总线的标识，格式为 domain🚌device.function。

  • Disp.A：显示 GPU 的显示输出是否激活。

  • Volatile GPU-Util：GPU 利用率，表示 GPU 正在执行的任务的负载百分比。

  • Uncorr. ECC：错误检查与纠正状态，与 GPU 的 ECC 内存相关。

  • Compute M：计算模式，显示 GPU 是处于默认模式还是特定计算模式。

# memory footprint support libraries/code
!ln -sf /opt/bin/nvidia-smi /usr/bin/nvidia-smi
!pip install -q gputil

import psutil
import humanize
import os
import GPUtil as GPU

GPUs = GPU.getGPUs()
# XXX: only one GPU on Colab and isn’t guaranteed
gpu = GPUs[0]
def printm():
    process = psutil.Process(os.getpid())
    virtual_memory = humanize.naturalsize( psutil.virtual_memory().available )
    memory_info = humanize.naturalsize( process.memory_info().rss)
    memoryFree =gpu.memoryFree
    memoryUsed = gpu.memoryUsed
    memoryUtil = gpu.memoryUtil*100
    memoryTotal = gpu.memoryTotal

    print(f"Gen RAM Free: {virtual_memory} | Proc size: {memory_info}" )

    print("GPU RAM Free: {0:.0f}MB | Used: {1:.0f}MB | Util {2:3.0f}% | Total {3:.0f}MB".\
          format(memoryFree, memoryUsed, memoryUtil*100, memoryTotal))
printm()

返回

 Preparing metadata (setup.py) ... done
  Building wheel for gputil (setup.py) ... done
Gen RAM Free: 12.4 GB  | Proc size: 98.9 MB
GPU RAM Free: 15101MB | Used: 0MB | Util   0% | Total 15360MB
  • 查看cuda版本信息
!nvcc -V

返回

nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2023 NVIDIA Corporation
Built on Tue_Aug_15_22:02:13_PDT_2023
Cuda compilation tools, release 12.2, V12.2.140
Build cuda_12.2.r12.2/compiler.33191640_0

根据版本信息，需要从源码安装

安装vLLM

%%bash
git clone https://github.com/vllm-project/vllm src
cd /content/src
pip install -e .  # This may take 5-10 minutes.

检查torch版本

import torch
print(torch.version.cuda)

使用MODELSCOPE 镜像

%%bash
export VLLM_USE_MODELSCOPE=True

测试

from vllm import LLM, SamplingParams
prompts = [
    "Hello, my name is",
    "The president of the United States is",
    "The capital of France is",
    "The future of AI is",
]
sampling_params = SamplingParams(temperature=0.8, top_p=0.95)
llm = LLM(model="Qwen/Qwen1.5-1.8B-Chat",dtype='half')

在这里插入图片描述

加载千问1.5-1.8B-Chat

outputs = llm.generate(prompts, sampling_params)

# Print the outputs.
for output in outputs:
    prompt = output.prompt
    generated_text = output.outputs[0].text
    print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}")

在这里插入图片描述

引用链接

[1] GPTQ: https://arxiv.org/abs/2210.17323
[2] AWQ: https://arxiv.org/abs/2306.00978
[3] SqueezeLLM: https://arxiv.org/abs/2306.07629

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1540850.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

输入N个整数，输出这个整数两两组合且不重复的所有二元组，要求从小到大输出并且用括号的形式。

输入N个整数，输出这个整数两两组合且不重复的所有二元组，要求从小到大输出并且用括号的形式。

输入描述: 第一行输入一个整数N&#xff0c;N<30。 第二行输入N个整数。 输出描述: 按题意输出。 输入样例#: 3 1 2 3 输出样例#: (1,2) (1,3) (2,1) (2,3) (3,1) (3,2) #include <stdio.h>void quicksort(int s[],int min,int max); //快速排序int partitio…
阅读更多...
那些王道书里的题目-----计算机网络篇

那些王道书里的题目-----计算机网络篇

注&#xff1a;仅记录个人认为有启发的题目 p155 34.下列四个地址块中&#xff0c;与地址块 172.16.166.192/26 不重叠&#xff0c;且与172.16.166.192/26聚合后的地址块不会引入多余地址的是&#xff08;&#xff09; A.172.16.166.192/27 B.172.16.166.128/26 …
阅读更多...
53 initrd/initramfs 相关

53 initrd/initramfs 相关

前言 呵呵 这里主要是 探究一下 根文件系统 相关的东西 以及 附加了一些 系统启动的相关信息 计算机启动 硬件重置寄存器 设置初始化数据 计算机访问 0xffff0, 执行 bios 的代码, bios 选择启动设备, 然后执行 启动设备 boolloader 的代码 bootloader 将 boot.img 加载…
阅读更多...
玩具蛇（蓝桥杯）

玩具蛇（蓝桥杯）

文章目录 玩具蛇题目描述答案&#xff1a;552dfs 玩具蛇 题目描述 本题为填空题&#xff0c;只需要算出结果后&#xff0c;在代码中使用输出语句将所填结果输出即可。 小蓝有一条玩具蛇&#xff0c;一共有 16 节&#xff0c;上面标着数字 1 至 16。每一节都是一个正方形的形…
阅读更多...
GCC制作静态库详解

GCC制作静态库详解

目录 前言 一.静态动态库区别 二.静态库制作 2.1 库文件命名 三.静态库文件制作 3.1 静态库制作 3.1.1 先获得.o文件 3.1.2 生成静态库文件 3.1.3 删除不必要文件 3.1.4 使用静态库 3.1.5 使用运行运行 前言 带大家快速入门&#xff0c;学会制作静态库。本文详细介绍在Linux系统…
阅读更多...
“玩转文本魔法师：Python编程轻松变格式“

“玩转文本魔法师：Python编程轻松变格式“

Hey小伙伴们&#xff0c;今天我们要一起打造一个文本转换器&#xff0c;就像神奇的魔法棒&#xff0c;能把普通的文字变成各种奇妙的格式&#xff01;想象一下&#xff0c;你的输入是&#xff1a;“Hello, World!”&#xff0c;输出可以是Markdown、HTML或者粗体、斜体的文字&a…
阅读更多...
大语言模型（Large Language Model，LLM）简介

大语言模型（Large Language Model，LLM）简介

1. 什么是大语言模型 它是一种基于深度学习的人工智能模型&#xff0c;它从大量来自书籍、文章、网页和图像等来源的数据中学习&#xff0c;以发现语言模式和规则&#xff0c;如处理和生成自然语言文本。通常&#xff0c;大语言模型含数百亿&#xff08;或更多&#xff09;参数…
阅读更多...
外包干了4年，技术退步明显.......

外包干了4年，技术退步明显.......

先说一下自己的情况&#xff0c;大专生&#xff0c;19年通过校招进入杭州某软件公司&#xff0c;干了接近4年的功能测试&#xff0c;今年年初&#xff0c;感觉自己不能够在这样下去了&#xff0c;长时间呆在一个舒适的环境会让一个人堕落! 而我已经在一个企业干了四年的功能测…
阅读更多...
GJB5000软件配置管理计划模板

GJB5000软件配置管理计划模板

1 范围 1.1 标识 本条应描述本文档所适用的系统和软件的完整标识&#xff0c;适用时&#xff0c;包括其标识号、名称、缩略名、版本号和发布号。 1.2 系统概述 本条应概述本文档所适用的系统和软件的用途。它还应描述软件的一般特性&#xff1b;概述软件开发、运行和维护…
阅读更多...
【 Mysql8.0 忘记登录密码 可以试试 】

【 Mysql8.0 忘记登录密码 可以试试 】

** Mysql8.0 忘记登录密码 可以试试 ** 2024-3-21 段子手168 1、首先停止 mysql 服务 &#xff0c;WIN R 打开运行&#xff0c;输入 services.msc 回车打开服务&#xff0c;找到 mysql 服务&#xff0c;停止。 然后 WIN R 打开运行&#xff0c;输入 CMD 打开控制台终端输…
阅读更多...
深度学习绘制热力图heatmap、使模型具有可解释性

深度学习绘制热力图heatmap、使模型具有可解释性

思路 获取想要解释的那一层的特征图&#xff0c;然后根据特征图梯度计算出权重值&#xff0c;加在原图上面。 Demo 加上类激活(cam) 可以看到&#xff0c;cam将模型认为有利于分类的特征标注了出来。 下面以ResNet50为例: Trick: 使用 for i in model._modules.items():可以…
阅读更多...
springboot做自定义校验注解

springboot做自定义校验注解

目录 自定义校验注解的实现 注意&#xff1a; 首先&#xff0c;我们需要自定义一个校验注解&#xff1a; 注解含义&#xff1a; Target({ElementType.FIELD}) Retention(RetentionPolicy.RUNTIME) Constraint(validatedBy PhoneValidator.class) 校验注解逻辑实现类&a…
阅读更多...
数据结构：图的最短路径

数据结构：图的最短路径

目录 一、最短路径的基本概念 二、无权图单源最短路径 三、Dijkstra算法&#xff08;正权图单源&#xff09; 3.1、算法的基本步骤 3.2、算法的实现 3.3、习题思考 3.3.1、网络延迟时间 四、A*算法&#xff08;正权图单源单目标点&#xff09; 4.1、算法的基本概念 4…
阅读更多...
阿里必问：Spring源码背后的10大设计奥秘！

阿里必问：Spring源码背后的10大设计奥秘！

如有疑问或者更多的技术分享，欢迎关注我的微信公众号“知其然亦知其所以然”！ 各位小米粉丝们，大家好！今天小米要和大家分享的是一个备受关注的话题——“阿里巴巴面试题：Spring源码中的设计模式？”设计模式是软件工程领域中的经典话题，也是技术面试中的常见考点之一。而…
阅读更多...
UE5学习日记——Rope Swing 人物与绳索摆动知识准备

UE5学习日记——Rope Swing 人物与绳索摆动知识准备

rope swing荡绳 比我想的要复杂&#xff0c;目前还没查到简单的做法。本文为查资料的记录&#xff0c;积累后再做一个自己满意的荡绳蓝图。 一、某国外网友的解释 原文 https://forums.unrealengine.com/t/implementing-rope-swing/83098/15 Project Flake - Physics Rope De…
阅读更多...
1+x中级题目练习复盘（八）

1+x中级题目练习复盘（八）

SQL 语句中进行 group by 分组时&#xff0c;可以不写 where 子句 在使用 select 语句进行查询分组时&#xff0c;如果希望去掉不满足条件的分组&#xff0c;使用 having 子句File 类的 isDirectory() 方法可以判断文件是否为目录 在使用 select 语句进行查询分组时&#xff0…
阅读更多...
StarRocks学习笔记

StarRocks学习笔记

介绍场景建表明细模型聚合模型更新模型主键模型 介绍 StarRocks是一款经过业界检验、现代化&#xff0c;面向多种数据分析场景的、兼容MySQL协议的、高性能分布式关系型分析数据库。 StarRocks充分吸收关系型 OLAP 数据库和分布式存储系统在大数据时代的优秀研究成果&#xff…
阅读更多...
【数据结构】链表习题之链表的中间节点和合并两个有序链表

【数据结构】链表习题之链表的中间节点和合并两个有序链表

&#x1f451;个人主页&#xff1a;啊Q闻 &#x1f387;收录专栏&#xff1a;《数据结构》 &#x1f389;道阻且长&#xff0c;行则将至 前言 嗨嗨&#xff0c;今天的博客是关于链表的题目&#xff0c;力扣题目之链表的中间节点和合并两个有序链表 一.链表的…
阅读更多...
【MySql】1.mysql数据库

【MySql】1.mysql数据库

一、数据库的基本概念 1.数据 记录事物的信息&#xff1b;按统一的格式进行存储 2.表 数据的集合&#xff0c;行和列的组合&#xff1b;将多条数据组织在一起 3.数据库 表的集合&#xff0c;是存储 相互有关 数据的仓库 二、数据库管理系统 DBMS的主要功能&#xff1a; …
阅读更多...
【Unity】UI九宫格

【Unity】UI九宫格

什么是九宫格&#xff1f; 顾名思义&#xff0c;九宫格就是指UI切成9个格子&#xff0c;9个格子可以任意拉伸。 1、3、7、9不拉伸。 2、8水平拉伸。 4、6垂直拉伸。 5既可以水平也可以垂直拉伸。 怎么切九宫格&#xff1f; 选中图片&#xff0c;改成Sprite模式&#xff0c;点…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023