【#第三期实战营闯关作业##LMDeploy 量化部署进阶实践 】

news2024/11/24 18:38:22

今天学习了《LMDeploy 量化部署进阶实践》一课，，收获很大。以下是记录复现过程及截图：在这里插入图片描述
创建一个名为lmdeploy的conda环境
在这里插入图片描述
创建成功后激活环境并安装0.5.3版本的lmdeploy及相关包。在这里插入图片描述

相关包install成功在这里插入图片描述
创建好的conda环境并启动InternLM2_5-7b-chat。这是对话截图
运行InternLM2.5 -20B模型，会发现此时显存占用大约71G：单卡80G-220=40G,400.8=32G,so,（权重）2*20G+32G(cache占用）=72G.
在这里插入图片描述
启动API服务器。后端logo在这里插入图片描述
api的ui
在这里插入图片描述
以Gradio网页形式连接API服务器,输入http://127.0.0.1:6006，然后就可以与模型尽情对话了，就是上面截图。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2093006.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Java 入门指南：Java 并发编程 —— 线程安全问题与锁机制

Java 入门指南：Java 并发编程 —— 线程安全问题与锁机制

线程安全的概念 线程安全可以简单理解为在多线程环境下，一个方法或实例在并发执行时能够保持数据的一致性和完整性，不会因为多个线程的交替执行而导致错误的结果。 线程不安全的原因 线程不安全通常由以下几个原因引起： 原子性问题&#x…
阅读更多...
让自家的智能语音助手实现todo任务的添加

让自家的智能语音助手实现todo任务的添加

我家的树莓派在成为了“智能语音助手”后，经过rasa学习训练，已经可以帮忙查日期/时间，查天气预报，进行一些简单的闲聊。但是，我希望它的功能还可以再强大些，比如说，可以帮我记录todo任务。为了实…
阅读更多...
ProtoBuf 详解

ProtoBuf 详解

1、初识ProtoBuf 序列化的概念： 举个例子： 我们在打电话的过程中，两个人可以通过电话听到对方的声音，这个过程就涉及到了序列化和反序列化。 相同的例子还有：网络通信、数据持久化等 常见的实现方式：JS…
阅读更多...
upload-labs靶场通关攻略

upload-labs靶场通关攻略

一。 1.将一个php文件重命名为jpg文件 2.将这个jpg文件上传然后抓包吧jpg改成php接着放行 3.鼠标右键图片在新建标签页打开图片后去蚁剑连接 二 1.上传jpg文件然后抓包把jpg改成php放行 2.图片右键新建标签页打开图片，复制图片地址去蚁剑连接 三 1.文件重命名为1…
阅读更多...
四款AI工具写完毕业论文，这才是真正的写作神器!(含教程)

四款AI工具写完毕业论文，这才是真正的写作神器!(含教程)

在当今信息爆炸的时代，AI写作工具的出现极大地提高了写作效率和质量。特别是在学术论文的撰写过程中，AI工具不仅能够帮助快速生成论文草稿，还能优化内容质量、进行查重和排版，提供写作建议和创意灵感，极大地减轻了学者…
阅读更多...
ChatGPT的全面写作革命：我们迎来效率飞跃还是创造力危机？

ChatGPT的全面写作革命：我们迎来效率飞跃还是创造力危机？

近年来，随着人工智能技术的持续发展，类似于ChatGPT的AI工具开始变革我们的工作模式。从撰写访谈大纲到文章框架，再到设计标题，许多人已逐渐依赖AI的辅助功能。不过，最近一家媒体采取了更加大胆的尝试：完全交…
阅读更多...
Python基础 3 - 函数及数据容器

Python基础 3 - 函数及数据容器

文章目录 一、函数概念1、函数介绍2、函数的定义3、函数的调用4、函数说明文档5、函数嵌套调用6、变量作用域1）局部变量2）全局变量3）声明全局变量 二、数据容器入门1、列表 (list)1) 列表的定义2) 调用列表元素3) 列表的方法4) 列表的特点5) …
阅读更多...
债务重组的费用不菲，为什么现在越来越多的人还是愿意做债重？

债务重组的费用不菲，为什么现在越来越多的人还是愿意做债重？

债务重组，起初是专为优质企业客户量身打造的大额融资解决方案，周期紧凑，一个月见成效。但随着时代变迁，它悄然转型，成了负债繁重、网贷缠身者的“救星”。这类朋友通过债务重组，先是由专业机构垫付月供&…
阅读更多...
论文阅读：VideoMamba: State Space Model for Efficient Video Understanding

论文阅读：VideoMamba: State Space Model for Efficient Video Understanding

论文地址：arxiv 摘要 为了解决视频理解中的局部冗余与全局依赖性的双重挑战。作者将 Mamba 模型应用于视频领域。所提出的 VideoMamba 克服了现有的 3D 卷积神经网络与视频 Transformer 的局限性。 经过广泛的评估提示了 VideoMamba 的能力： 在视觉领…
阅读更多...
基于 Householder 变换的 qr 分解 算法与源码实现

基于 Householder 变换的 qr 分解 算法与源码实现

1，算法描述 1.1 算法1 反射向量 计算 Householder 向量 给定 算法计算满足 v(1) 1.0 的 和 , 使得 是正交矩阵且 , 即，将m维向量 通过反射变换 反射至 轴上去。 1.2 算法2 QR 分解 Householder QR 分解 未完待补。。。。 2，源码…
阅读更多...
什么是RS485总线？

什么是RS485总线？

1.什么是RS485总线？ RS485 是一种通用的通信标准，广泛用于数据采集和控制应用中。 它的主要优点之一是它允许将多个 RS485 设备放在同一条总线上，这使得多个节点可以相互连接。 RS-485是美国电子工业协会（EIA）在1983年…
阅读更多...
2024HarmonyOS应用开发者高级认证最新整理题库和答案(已收录182道 )

2024HarmonyOS应用开发者高级认证最新整理题库和答案(已收录182道 )

更新截止2024-08-27,完整题库一共182道题,足够覆盖90%考题,如有新题和遗漏我会持续补充 所有题目的选项都是打乱顺序的,记答案不要记序号 完整题库请在我的网盘下载或查看在线文档 完整题库在线文档预览 单选(已收录102道) 1 . 以下哪个装饰器用来表示并发共享对象。(B) A. @…
阅读更多...
Windows服务器应急响应（下）

Windows服务器应急响应（下）

目录 介绍步骤 介绍 进程（Process）是计算机中的程序关于某数据集合上的一次运行活动，是系统进行资源分配和调度的基本单位，是操作系统结构的基础。在早期面向进程设计的计算机结构中，进程是程序的基本执行实体&#x…
阅读更多...
基于FPGA的lz4解压缩仿真调试

基于FPGA的lz4解压缩仿真调试

1、简介 对于任意长度顺序呈现的输入数据流，通过对冗余byte的数据编码，完成数据压缩的问题。数据包格式 从数据包长度可知，最少需要5个字节才能压缩，否则压缩无意义，对于lz其他的介绍可以百度，本文只介绍…
阅读更多...
JobScheduler 开发自测调试

JobScheduler 开发自测调试

1. 目标 例如以下模拟数据 相同时间内灭屏待机情况 有Job优化版本 无Job优化版本 数据展示 剩余电量 50 45 续航提升5% 时间延迟次数 100 0 N/A，体现数据优化原因 拦截Job次数 132 0 N/A，体现数据优化原因 第三方App的Job 执行总次数(越大越耗电) 20 200 优化后，减少（1-20/…
阅读更多...
C++ 变量、输入输出、表达式和顺序语句 ac-wing

C++ 变量、输入输出、表达式和顺序语句 ac-wing

输入两个整数&#xff0c;求这两个整数的和是多少。 #include <iostream> using namespace std; int main () {int a, b;cin >> a >> b;cout << a b << endl;return 0; }差 #include<iostream> using namespace std; int main() {int A…
阅读更多...
easy_fastapi 后端开发框架

easy_fastapi 后端开发框架

GitHub easy_fastapi by one-ccs 遵循 MIT 开源协议 Easy FastAPI 基于 FastAPI 开发的后端框架&#xff0c;集成 SQLAlchemy、Pydantic、Alembic、PyJWT 等插件。 一、目录结构说明 project-root/ │ ├─ backend/ # 后端项目目录&#xff08;python 3.12.4&#xff09; │…
阅读更多...
微信小程序背景图无法显示

微信小程序背景图无法显示

文章目录 不知道有没有人跟我一样&#xff0c;刚接触微信小程序&#xff0c;在写代码的时候&#xff0c;背景图莫名奇妙不显示。 网上有很多解决方法&#xff0c;比如转 base64 &#xff0c;网络图片地址等等&#xff0c;但我觉得都太麻烦了&#xff0c;这里直接给出我的解决方…
阅读更多...
Unity实战案例全解析 之 背包/贩卖/锻造系统（左侧类图实现）

Unity实战案例全解析 之 背包/贩卖/锻造系统（左侧类图实现）

物品类 using System.Collections; using System.Collections.Generic; using UnityEngine; public class Item {#region 物品类的基础属性public int ID { get; set; }public string Name { get; set; }public Typeitem typeitem { get; set; }//物品类型public Qualityitem…
阅读更多...
VMware17 虚拟机使用NAT模式上网配置

VMware17 虚拟机使用NAT模式上网配置

1、. 确认网络适配器选择NAT模式 2、 查看所需要配置的网络信息 在NAT设置里面找到网关ip 在DHCP设置中查看可用ip的范围 后面设置虚拟机的etc/sysconfig/network-scripts/下面的ens文件会用到 查看网卡名称 ip addr 我这里的网卡名称是ens33 配置网关、ip地址、DNS地址 vi…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023