chatglm3 vllm部署推理；api访问使用

news2024/11/8 22:42:19

用fastchat部署暂时有各种问题，参考：https://github.com/lm-sys/FastChat/pull/2622

在这里插入图片描述

本篇用vllm运行测试可以使用

在这里插入图片描述

1、vllm运行

python -m vllm.entrypoints.api_server --model  /***/chatglm/chatglm3-6b/

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1261645.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

景联文科技加入中国人工智能产业联盟（AIIA）数据委员会

近日，景联文科技加入中国人工智能产业联盟（AIIA）数据委员会，成为委员会成员单位。中国人工智能产业发展联盟（简称AIIA）是在国家发改委、科技部、工信部、网信办指导下，由中国信息通信研究院等单…

colab notebook导出为PDF

目录方法一：使用浏览器打印功能方法二：使用nbconvert转换方法三：在线转换方法一：使用浏览器打印功能一般快捷键是CTRLP 然后改变目标打印机为另存为PDF 这样就可以将notebook保存为PDF了方法二：使用nbconver…

【labelimg使用小技巧】

小技巧打开labelimg后，在上方的视图中，勾选自动保存，即可每次操作后自行保存，无需确认保存所在文件位置上述勾选完成后，W为新建标注框，进行命名后，S即为切换下一张图像如何放大图片呢 &am…

linux查看emmc分区信息（10种方法）

目录 ## 1 emmc ## 2 uboot查看 ## 3 kernel查看方法1 方法2 方法3 方法4 方法5 方法6 方法7 方法8 方法9 方法10 ## 1 emmc 我们要说的是，User Data Partition中的再分区可简化为 ## 2 uboot查看 u-boot> mmc partPartition Map for MMC device…

界面控件DevExpress WPF流程图组件，完美复制Visio UI！(二)

DevExpress WPF Diagram（流程图）控件帮助用户完美复制Microsoft Visio UI，并将信息丰富且组织良好的图表、流程图和组织图轻松合并到您的下一个WPF项目中。在上文中（点击这里回顾>>），我们为大家介绍…

【unity实战】基于权重的随机事件（附项目源码）

文章目录前言开始一、简单的使用二、完善各种事件1. 完善生成金币事件2. 完善生成敌人事件敌人3. 完善生成药水事件最终效果参考源码完结前言随机功能和UnityEvent前面其实我们都已经做过了，但是随机UnityEvent事件要怎么使用呢？这里就来举一个例子…

技术人如何实现颠覆式成长

前言颠覆式成长要求个人不断创新、承担风险，并抓住机遇。通过创新的方法，充分发挥个人的优势，并在个人成长中突破传统、发挥独特的方式和思考，从而实现个人创造力和效能的突破。颠覆式成长需要不断学习和个人发展，…

2015年五一杯数学建模A题不确定性条件下的最优路径问题解题全过程文档及程序

2015年五一杯数学建模 A题不确定性条件下的最优路径问题原题再现目前，交通拥挤和事故正越来越严重的困扰着城市交通。随着我国交通运输事业的迅速发展，交通“拥塞”已经成为很多城市的“痼疾”。在复杂的交通环境下，如何寻找一条可靠、快…

(C++)字符串相乘

个人主页：Lei宝啊愿所有美好如期而遇题目链接如下： 力扣（LeetCode）官网 - 全球极客挚爱的技术成长平台备战技术面试？力扣提供海量技术面试资源，帮助你高效提升编程技能，轻松拿下世界 IT 名…

Docker 容器日志查看和清理

🚀 作者主页： 有来技术 🔥 开源项目： youlai-mall 🍃 vue3-element-admin 🍃 youlai-boot 🌺 仓库主页： Gitee 💫 Github 💫 GitCode 💖 欢迎点赞…

山寨Stream API

作者简介：大家好，我是smart哥，前中兴通讯、美团架构师，现某互联网公司CTO 联系qq：184480602，加我进群，大家一起学习，一起进步，一起对抗互联网寒冬一个需求 List<Per…

LeetCode [简单]（非递归）二叉树的中序遍历

遍历左孩子，将他们放进栈中，左边走到尽头，出栈，root变为栈顶元素，存值，向右边走一个再次遍历左孩子，将他们放入栈中，如果没有左孩子了，就出栈，root变为栈顶…

Rocky Linux 9.3 为 PowerPC 64 位带回云和容器镜像

导读RHEL 克隆版 Rocky Linux 9.3 今天发布了，作为红帽企业 Linux 发行版 CentOS Stream 和 Red Hat Enterprise Linux 的免费替代版本，现在可供下载。 Rocky Linux 9.3 是在 Rocky Linux 9.2 发布 6 个月之后发布的，它带回了 PowerPC 64 位…

Mysql锁实战详细分析

1.mysql回表查询在这里提起主要是用于说明mysql数据和索引的结构，有助于理解后续加锁过程中的一些问题。 mysql索引结构和表数据结构是相互独立的，根据索引查询，只能找到索引列和主键聚簇索引。如果select语句中不包含索引列，m…

SpringBoot自动配置注入Bean工具autoconfigure

依赖 <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-autoconfigure</artifactId></dependency> yml配置 student:red: com.ma.config.MinIOConfigProperties spring.factories org.springframework.…