ChatGLM使用记录

news2024/11/18 23:48:01

ChatGLM

ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。

  • 官方网站：https://chatglm.cn/

  • 项目地址：https://github.com/THUDM/ChatGLM-6B

  • 相关PPT：ChatGLM: 从千亿模型到ChatGPT

  • 相关实践：https://www.heywhale.com/mw/project/643977aa446c45f4592a1e59

安装

先clone项目：

git clone https://github.com/THUDM/ChatGLM-6B.git

然后进入项目ChatGLM-6B后，安装需要的环境

pip install -r requirements.txt

其中 transformers 库版本推荐为 4.27.1，但理论上不低于 4.23.1 即可。

此外，如果需要在 cpu 上运行量化后的模型，还需要安装 gcc 与 openmp。多数 Linux 发行版默认已安装。对于 Windows ，可在安装 TDM-GCC 时勾选 openmp。 Windows 测试环境 gcc 版本为 TDM-GCC 10.3.0， Linux 为 gcc 11.3.0。在 MacOS 上请参考 Q1。

下载本地模型

基于自己硬件条件来安排：

量化等级最低 GPU 显存（推理）最低 GPU 显存（高效参数微调）
FP16（无量化）13 GB14 GB
INT88 GB9 GB
INT46 GB7 GB

目前模型越大，性能越好，对应的地址有：

  • https://huggingface.co/THUDM/chatglm-6b/
  • https://huggingface.co/THUDM/chatglm-6b-int8
  • https://huggingface.co/THUDM/chatglm-6b-int4

这里以fp16为例，不做量化处理。进入https://huggingface.co/THUDM/chatglm-6b/tree/main

创建chatglm-6b文件夹并进入

在这里插入图片描述

将所有的文件都下载到该文件夹下：

在这里插入图片描述

如果是已联网的远程服务器，可以直接通过wget下载，下载链接就是那个下载符号对应的链接：

在这里插入图片描述

wget https://huggingface.co/THUDM/chatglm-6b/resolve/main/pytorch_model-00001-of-00008.bin

在这里插入图片描述

代码调用

可以通过如下代码调用 ChatGLM-6B 模型来生成对话：

>>> from transformers import AutoTokenizer, AutoModel
>>> tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b-fp16", trust_remote_code=True)
>>> model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().cuda()
>>> model = model.eval()
>>> response, history = model.chat(tokenizer, "你好", history=[])
>>> print(response)
你好👋!我是人工智能助手 ChatGLM-6B,很高兴见到你,欢迎问我任何问题。
>>> response, history = model.chat(tokenizer, "晚上睡不着应该怎么办", history=history)
>>> print(response)
晚上睡不着可能会让你感到焦虑或不舒服,但以下是一些可以帮助你入睡的方法:

1. 制定规律的睡眠时间表:保持规律的睡眠时间表可以帮助你建立健康的睡眠习惯,使你更容易入睡。尽量在每天的相同时间上床,并在同一时间起床。
2. 创造一个舒适的睡眠环境:确保睡眠环境舒适,安静,黑暗且温度适宜。可以使用舒适的床上用品,并保持房间通风。
3. 放松身心:在睡前做些放松的活动,例如泡个热水澡,听些轻柔的音乐,阅读一些有趣的书籍等,有助于缓解紧张和焦虑,使你更容易入睡。
4. 避免饮用含有咖啡因的饮料:咖啡因是一种刺激性物质,会影响你的睡眠质量。尽量避免在睡前饮用含有咖啡因的饮料,例如咖啡,茶和可乐。
5. 避免在床上做与睡眠无关的事情:在床上做些与睡眠无关的事情,例如看电影,玩游戏或工作等,可能会干扰你的睡眠。
6. 尝试呼吸技巧:深呼吸是一种放松技巧,可以帮助你缓解紧张和焦虑,使你更容易入睡。试着慢慢吸气,保持几秒钟,然后缓慢呼气。

如果这些方法无法帮助你入睡,你可以考虑咨询医生或睡眠专家,寻求进一步的建议。

Demo & API

先确认相关代码的模型文件名是否跟自己下载的模型文件名一致，如果不一致先进行修改。

  • web_demo.py

在这里插入图片描述

如果不一致的话，修改文件名为对应的chatglm-6b

  • api.py

在这里插入图片描述

如果不一致的话，修改文件名为对应的chatglm-6b

  • cli_demo.py

在这里插入图片描述

如果不一致的话，修改文件名为对应的chatglm-6b

web_demo

web_demo是基于gradio开发的，这里可以进一步修改，指定ip和port，便于远程访问:

在这里插入图片描述

输入python web_demo.py经过一段时间的等待，出现如下图一样的输出就代表运行成功，在浏览器输入地址：http://xxxxxx:xxxxx，就可以愉快地使用chatglm了。

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

api

在命令行输入python api.py，经过一段时间的运行，出现如下输出，就是运行成功。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Xn6QRC5i-1689330121452)(C:\Users\DELL-3020\AppData\Roaming\Typora\typora-user-images\image-20230615173532384.png)]

按照官网给的示例,

curl -X POST "http://127.0.0.1:8000"
-H 'Content-Type: application/json'
-d '{"prompt": "你好", "history": []}'

回复：

{"response":"你好！我是人工智能助手 ChatGLM-6B，很高兴见到你，欢迎问我任何问题。",
 "history":[["你好","你好！我是人工智能助手 ChatGLM-6B，很高兴见到你，欢迎问我任何问题。"]],
 "status":200,
 "time":"xxxxx"}

可以使用python中的requests库进行访问，可以把这个代码封装一下实现多轮对话。

import requests
import json

url = 'http://127.0.0.1:8000'
headers = {'Content-Type': 'application/json'}
data = {"prompt": "你好", "history": []}

response = requests.post(url=url, headers=headers, data=json.dumps(data))
response.json()

cli_demo

在命令行输入python cli_demo.py，经过一段时间的运行，出现如下输出，就是运行成功。

在这里插入图片描述

然后就可以在终端和它进行对话，就像运行wei_demo.py一样。

在这里插入图片描述

其它设备部署

cpu

如果没有 GPU 硬件的话，也可以在 CPU 上进行推理，但是推理速度会更慢（大概需要 32GB 内存）

model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).float()

如果内存不足，可以直接加载量化后的模型：

# INT8 量化的模型将"THUDM/chatglm-6b-int4"改为"THUDM/chatglm-6b-int8"
model = AutoModel.from_pretrained("THUDM/chatglm-6b-int4",trust_remote_code=True).float()

mac部署

对于搭载了 Apple Silicon 或者 AMD GPU 的Mac，可以使用 MPS 后端来在 GPU 上运行 ChatGLM-6B。需要参考 Apple 的 官方说明 安装 PyTorch-Nightly。

目前在 MacOS 上只支持从本地加载模型。将代码中的模型加载改为从本地加载，并使用 mps 后端：

model = AutoModel.from_pretrained("your local path", trust_remote_code=True).half().to('mps')

加载半精度的 ChatGLM-6B 模型需要大概 13GB 内存。内存较小的机器在空余内存不足的情况下会使用硬盘上的虚拟内存，导致推理速度严重变慢。此时可以使用量化后的模型如 chatglm-6b-int4。因为 GPU 上量化的 kernel 是使用 CUDA 编写的，因此无法在 MacOS 上使用，只能使用 CPU 进行推理。

# INT8 量化的模型将"THUDM/chatglm-6b-int4"改为"THUDM/chatglm-6b-int8"
model = AutoModel.from_pretrained("THUDM/chatglm-6b-int4",trust_remote_code=True).float()

为了充分使用 CPU 并行，还需要单独安装 OpenMP。

多卡部署

如果一台机器有多张 GPU，但是每张 GPU 的显存大小都不足以容纳完整的模型，那么可以将模型切分在多张GPU上。首先安装 accelerate: pip install accelerate，然后通过如下方法加载模型：

from utils import load_model_on_gpus
model = load_model_on_gpus("THUDM/chatglm-6b", num_gpus=2)

即可将模型部署到两张 GPU 上进行推理。可以将 num_gpus 改为你希望使用的 GPU 数。默认是均匀切分的，也可以传入 device_map 参数来自己指定。

参考

  • https://github.com/THUDM/ChatGLM-6B
  • https://huggingface.co/THUDM/chatglm-6b
  • https://github.com/THUDM/P-tuning-v2
  • https://github.com/hwchase17/langchain
  • https://github.com/imClumsyPanda/langchain-ChatGLM
  • https://github.com/openai/openai-cookbook
  • https://python.langchain.com/en/latest/getting_started/getting_started.html

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/756360.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

opencv实战--角度测量和二维码条形码识别

opencv实战--角度测量和二维码条形码识别

文章目录 前言一、鼠标点击的角度测量二、二维码条形码识别 前言 一、鼠标点击的角度测量 首先导入一个带有角度的照片 然后下面的代码注册了一个鼠标按下的回调函数， 还有一个点的数列，鼠标事件为按下的时候就记录点，并画出点，…
阅读更多...
uniapp微信小程序上传体积压缩包过大分包操作和上传时遇到代码质量未通过问题

uniapp微信小程序上传体积压缩包过大分包操作和上传时遇到代码质量未通过问题

1：首先我们得从项目最初阶段就得考虑项目是否要进行分包操作，如果得分包，我们应该创建一个与pages同级的文件夹，命名可以随意 2:第二部我们将需要分包的文件和页面放到分包文件夹里面subpage，这里我们得注意&#xff…
阅读更多...
Python基础语法第三章之顺序循环条件

Python基础语法第三章之顺序循环条件

目录 一、顺序语句 二、条件语句 2.1什么是条件语句 2.2语法格式 2.2.1 if 2.2.2if - else 2.2.3if - elif - else 2.3缩进和代码块 2.4闰年的判断练习 2.5空语句 pass 三、循环语句 3.1while 循环 3.1.1代码示例练习 3.2 for 循环 ​3.3 continue 3.4 break 一…
阅读更多...
给LLM装上知识：从LLM+LangChain的本地知识库问答到LLM与知识图谱的结合

给LLM装上知识：从LLM+LangChain的本地知识库问答到LLM与知识图谱的结合

前言 过去半年，随着ChatGPT的火爆，直接带火了整个LLM这个方向，然LLM毕竟更多是基于过去的经验数据预训练而来，没法获取最新的知识，以及各企业私有的知识 为了获取最新的知识，ChatGPT plus版集成了bing搜…
阅读更多...
linux常用工具介绍

linux常用工具介绍

文章目录 前言目录文件查看ls1、查看详细信息（文件大小用K、M等显示）2、按照文件创建时间排序（常在查看日志时使用） sort1、排序数字 df 、du1、查看目录的大小2、查看目录 从大到小排序 显示前n个3、查看磁盘使用情况 tailf一些目…
阅读更多...
银河麒麟高级服务器操作系统V10安装mysql数据库

银河麒麟高级服务器操作系统V10安装mysql数据库

一、安装前 1.检查是否已经安装mysql rpm -qa | grep mysql2.将查询出的包卸载掉 rpm -e --nodeps 文件名3.将/usr/lib64/libLLVM-7.so删除 rm -rf /usr/lib64/libLLVM-7.so4.检查删除结果 rpm -qa | grep mysql5.搜索残余文件 whereis mysql6.删除残余文件 rm -rf /usr/b…
阅读更多...
怎么用二维码做企业介绍？企业宣传二维码2种制作方法

怎么用二维码做企业介绍？企业宣传二维码2种制作方法

怎么做一个企业推广二维码呢？现在制作二维码来做宣传推广是常用的一种方式，一般需要包含企业介绍、工作环境、产品简介、宣传视频、公司地址等等方面内容，那么企业介绍二维码该如何制作？下面给大家分享一下使用二维码编辑器&#…
阅读更多...
EventBus详解

EventBus详解

目录 1 EventBus 简介简介角色关系图四种线程模型 2.EventBus使用步骤添加依赖注册解注册创建消息类发送消息接收消息粘性事件发送消息 使用postStick()接受消息 3 EventBus做通信优点4 源码getDefault()register()findSubscriberMethods方法findUsingReflection方法findUsingR…
阅读更多...
前端部署项目，经常会出现下载完 node 或者 npm 运行时候发现，提示找不到

前端部署项目，经常会出现下载完 node 或者 npm 运行时候发现，提示找不到

1. 首先要在下载时候选择要下载的路径，不能下载完后，再拖拽到其他文件夹，那样就会因为下载路径和当前路径不一致，导致找不到相关变量。 2. 所以一开始就要在下载时候确定要存放的路径，然后如果运行报错，就…
阅读更多...
【Java基础教程】（十三）面向对象篇 · 第七讲：继承性详解——继承概念及其限制，方法覆写和属性覆盖，关键字super的魔力~

【Java基础教程】（十三）面向对象篇 · 第七讲：继承性详解——继承概念及其限制，方法覆写和属性覆盖，关键字super的魔力~

Java基础教程之面向对象 第七讲 本节学习目标1️⃣ 继承性1.1 继承的限制 2️⃣ 覆写2.1 方法的覆写2.2 属性的覆盖2.3 关键字 this与 super的区别 3️⃣ 继承案例3.1 开发数组的父类3.2 开发排序类3.3 开发反转类 🌾 总结 本节学习目标 掌握继承性的主要作用、实…
阅读更多...
git指令记录

git指令记录

参考博客（侵权删）：关于Git这一篇就够了_17岁boy想当攻城狮的博客-CSDN博客 Git工作区介绍_git 工作区_xyzso1z的博客-CSDN博客 git commit 命令详解_gitcommit_辰风沐阳的博客-CSDN博客 本博客只作为自己的学习记录，无商业用途&…
阅读更多...
计算机存储设备

计算机存储设备

缓存为啥比内存快 内存使用 DRAM 来存储数据的、也就是动态随机存储器。内部使用 MOS 和一个电容来存储。 需要不停地给它刷新、保持它的状态、要是不刷新、数据就丢掉了、所以叫动态 、DRAM 缓存使用 SRAM 来存储数据、使用多个晶体管(比如6个)就是为了存储1比特 内存编码…
阅读更多...
【python】python全国数据人均消费数据分析（代码+报告+数据）【独一无二】

【python】python全国数据人均消费数据分析（代码+报告+数据）【独一无二】

👉博__主👈：米码收割机 👉技__能👈：C/Python语言 👉公众号👈：测试开发自动化 👉荣__誉👈：阿里云博客专家博主、51CTO技术博主 &#x…
阅读更多...
bio、nio、aio、io多路复用

bio、nio、aio、io多路复用

BIO-同步阻塞IO NIO-同步非阻塞IO 不断的重复发起IO系统调用，这种不断的轮询，将会不断地询问内核，这将占用大量的 CPU 时间，系统资源利用率较低 IO多路复用模型-异步阻塞IO IO多路复用模型，就是通过一种新的系统调用&a…
阅读更多...
前端开发者都应知道的 网站

前端开发者都应知道的 网站

1、ransform.tools 地址：transform.tools/ transform.tools 是一个网站，它可以让你转换几乎所有的东西，比如将HTML转换为JSX，JavaScript转换为JSON，CSS转换为JS对象等等。当我需要转换任何东西时，它真的帮…
阅读更多...
Java反射机制概述

Java反射机制概述

Java反射的概述 Reflection（反射）是被视为动态语言的关键，反射机制允许程序在执行期借助于Reflection API取得任何类的内部信息，并能直接操作任意对象的内部属性及方法。 加载完类之后，在堆内存的方法区中就产生了一…
阅读更多...
PyTorch: 池化-线性-激活函数层

PyTorch: 池化-线性-激活函数层

文章和代码已经归档至【Github仓库：https://github.com/timerring/dive-into-AI 】或者公众号【AIShareLab】回复 pytorch教程 也可获取。 文章目录 nn网络层-池化-线性-激活函数层池化层最大池化：nn.MaxPool2d()nn.AvgPool2d()nn.MaxUnpool2d()线性层激…
阅读更多...
腾讯云2核4G服务器性能如何？能安装几个网站？

腾讯云2核4G服务器性能如何？能安装几个网站？

腾讯云2核4G服务器能安装多少个网站？2核4g配置能承载多少个网站？一台2核4G服务器可以安装多少个网站？阿腾云2核4G5M带宽服务器目前安装了14个网站，从技术角度是没有限制的，只要云服务器性能够用，想安装几个…
阅读更多...
Acrel-3200远程预付费电能管理系统在某医院的应用 安科瑞 许敏

Acrel-3200远程预付费电能管理系统在某医院的应用 安科瑞 许敏

摘要：介绍张家港第一人民医院远程预付费电能管理系统，采用智能远程预付费电度表，采集各租户实时用电量、剩余电量，通过智能远程预付费电度表进行远程分合闸控制，进而实现先售电后用电。系统采用现场就地组网的方式&…
阅读更多...
【Java】Tomcat、Maven以及Servlet的基本使用

【Java】Tomcat、Maven以及Servlet的基本使用

Tomcat什么是TomcatTomcat的目录结构启动Tomcat MavenMaven依赖管理流程配置镜像源 Servlet主要工作实现Servlet添加依赖实现打包分析 配置插件 Tomcat 什么是Tomcat Tomcat 是一个 HTTP 服务器。前面我们已经学习了 HTTP 协议, 知道了 HTTP 协议就是 HTTP 客户端和 HTTP 服务…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023