chatglm4本地部署详解

news2024/12/28 5:19:07

下载地址

模型下载地址:GitHub - THUDM/GLM-4: GLM-4 series: Open Multilingual Multimodal Chat LMs | 开源多语言多模态对话模型

已经训练好的数据下载地址:

https://huggingface.co/THUDM/glm-4-9b-chat-1m/tree/main

测试主机配置

cpu:E5-2680v4

内存:32G

显卡:Tesla M4 24G

最低硬件要求

如果您希望运行官方提供的最基础代码 (transformers 后端) 您需要:

  • Python >= 3.10
  • 内存不少于 32 GB

如果您希望运行官方提供的本文件夹的所有代码,您还需要:

  • Linux 操作系统 (Debian 系列最佳)
  • 大于 8GB 显存的,支持 CUDA 或者 ROCM 并且支持 BF16 推理的 GPU 设备。(FP16 精度无法训练,推理有小概率出现问题)

一、下载

(一)打开模型安装地址,点击下载

(二)打开已经训练好的数据下载地址,依次点击下载。超过1G的,建议使用迅雷云盘。

二、安装依赖

(一)安装步骤

        从官网了解可知composite_demo文件夹是存放更新说明的地方

        composite_demo文件夹中的requirements.txt文件夹,是此版本需要安装的依赖

使用命令:(反复执行,直到安装成功)

为保证减少连接失败造成的安装失败,建议尝试使用科学方法,你懂的

pip install -r requirements.txt

安装完毕的样子:

(二)安装失败的解决方案

安装失败,基本都是因为下载时连接失败或者连接断开造成,解决方案主要是两种:

        一种是,指定源地址下载

        另一种是,手动从web下载安装文件后安装

1. transformers==4.40.0载失败

        解决办法:指定清华源下载

pip install transformers==4.40.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

 2. accelerate>=0.30.1下载失败

        accelerate>=0.30.1,也是类似情况,但指定源下载依然不奏效。

        解决方法:可以在该版本下载页面下载安装文件accelerate · PyPI(浏览器下载也失败了2次,反正都是断点续传,继续重复执行下载即可。)

        使用下面命令进行安装

pip install accelerate-0.31.0-py3-none-any.whl 

 

        安装成功显示如下:

3. matplotlib下载失败

        解决方法:直接在requirements.txt文件中,将>=3.9.0删除。即不约束版本号

4. PyMuPDF下载失败

        解决方法:

(1)先安装PyMuPDFb-1.24.3-py3-none-manylinux2014_x86_64.manylinux_2_17_x86_64.whl

        PyMuPDF手动安装:下载地址PyMuPDFb · PyPI

        安装命令:

pip install PyMuPDFb-1.24.3-py3-none-manylinux2014_x86_64.manylinux_2_17_x86_64.whl

(2)再安装PyMuPDF-1.24.5-cp311-none-manylinux2014_x86_64.whl

        下载地址:PyMuPDF · PyPI

        安装命令:

pip install PyMuPDF-1.24.5-cp311-none-manylinux2014_x86_64.whl 

5. python_docx-1.1.2下载失败

        下载地址:python-docx · PyPI

        安装命令: 

pip install python_docx-1.1.2-py3-none-any.whl

 6. python-pptx 0.6.23 下载失败

下载地址:python-pptx · PyPI

安装命令:

pip install python_pptx-0.6.23-py3-none-any.whl 
(1)执行安装时,过程中下载XlsxWriter-3.2.0-py3-none-any.whl又失败!

        下载地址:XlsxWriter · PyPI

安装命令:

pip install XlsxWriter-3.2.0-py3-none-any.whl 

最后,重新安装

pip install python_pptx-0.6.23-py3-none-any.whl 

7.streamlit-1.35.0下载失败

        下载地址:streamlit · PyPI

        安装命令

pip install streamlit-1.35.0-py2.py3-none-any.whl

8. tiktoken 0.7.0 下载失败

        下载地址:tiktoken · PyPI

        安装命令

pip install tiktoken-0.7.0-cp311-cp311-manylinux_2_17_x86_64.manylinux2014_x86_64.whl 

三、测试模型

        已经下载好的模型及训练数据。

        glm-4-9b-chjat为已经训练的参数

        GLM-4-main为模型文件

(一)修改trans_cli_demo.py文件中,第18行,训练参数的位置

        把它修改成glm-4-9b-chat的路径:/home/ls/文档/GLM4/glm-4-9b-chat

 (二)执行trans_cli_demo.py

        执行命令:

python trans_cli_demo.py 

       可以执行,但是太慢了

        chatglm4 在当前配置可以运行。但是只是能运行而已。跟chatglm3回复速度相比,简直是慢动作中的慢动作。要想丝滑运行,升级硬件吧。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1829554.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

超拟人大模型:AI心理健康服务的未来

摘要: 周末听了一场聆心智能关于情感LLM的分享,总结了相关内容如下。在人工智能技术的浪潮中,超拟人大模型技术为心理健康服务领域带来了革命性的变化。本文将分析超拟人大模型的进展、CharacterGLM模型的特点、Emohaa模型的应用以及心理健康…

解放双手 免费AI编程工具---Fitten Code

前言 相信大家在2023年后听说了不少的关于人工智能的话题,对于这种全新的科技又好奇又恐惧,今天我们来见识下一个在VS中的AI代码工具吧。 配置环境 安装 首先我们找到管理扩展,然后再搜索Fitten Code下载安装。 我这里已经下好过了&#xff…

《C语言》文件操作

文章目录 一、认识文件1、文件的概念2、程序文件3、数据文件4、文件名 三、二进制文件和文本文件四、文件的打开和关闭1、流2、标准流3、文件指针4、文件的关闭和打开 四、文件的顺序读写文件的随机读写1、fseek2、ftell3、rewind4.int origin 一、认识文件 主要讨论数据文件 1…

Python 潮流周刊#56:NumPy 2.0 里更快速的字符串函数

△△请给“Python猫”加星标 ,以免错过文章推送 本周刊由 Python猫 出品,精心筛选国内外的 250 信息源,为你挑选最值得分享的文章、教程、开源项目、软件工具、播客和视频、热门话题等内容。愿景:帮助所有读者精进 Python 技术&am…

【GO-OpenCV】go-cv快速配置

最近对golang实现目标检测心血来潮,尝试在没有sudo权限的平台配置go-cv,有所发现,索性多个平台都做尝试 安装Go语言(Golang) 通过包管理器安装(适用于Debian/Ubuntu)(有点慢) 更新包列表: sud…

贷款投资决策和常用财务函数

前段时间上了一门excel操作的课,本文结合其中介绍财务函数以及投资决策分析相关的部分,对贷款中的现金流计算进行深入的分析。 以等额本息产品为例进行实操计算,假设某产品本金12000元,期限12,IRR利率24%。每期还款113…

关于volatile与System.out的“冲突”导致的内存屏障失效问题

起因:今天在写一个volatile相关的Demo,本来想的是一个线程根据这个IS_STOP去一直进行循环,直到另一个线程改变为true就中断。内存屏障的问题会导致虽然其他线程修改了值,但是原线程是不知道的,会继续循环,所…

c++模板模式

文章目录 模板模式什么是模板模式为什么使用模板模式模板模式实现步骤 示例模板模式优缺点 模板模式 什么是模板模式 模板模式(Template Method Pattern)是一种行为设计模式,它定义了一个操作中的算法骨架,将某些步骤的具体实现延…

质疑标普,理解标普,加入标普

上周我在文章里提到过,标普信息科技LOF(161128)出现套利机会。每天申购卖出,到现在一个账户56*6336润。 得益于美股七巨头轮流领涨,161128依旧坚挺,每天溢价都是10%,成交量1个多亿,场内新增份额才400万份&…

Web的UI自动化基础知识

目录 1 Web自动化入门基础1.1 自动化知识以及工具1.2 主流web自动化测试工具1.3 入门案例 2 使用工具的API2.1 元素定位2.1.1 id选择器2.1.2 name2.1.3 class_name选择器2.1.4 tag_name选择器2.1.5 link_text选择器2.1.6 partial_link_text选择器2.1.7 xpath选择器2.1.8 CSS选择…

【AI实践】Dify开发应用和对接微信

自定义应用 创建应用有2种, 从应用模板创建 空白应用,也就是自定义应用 选择翻译助手 Translation assistant模板创建一个应用 自定义应用,创建一个child_accompany_bot自定的应用,用来支持家长,如何解决低龄儿童的…

马克·雷伯特访谈:机器人的未来及波士顿动力的创新之路

引言 机器人技术作为现代科技的前沿领域,始终吸引着大量的关注与研究。波士顿动力公司作为这一领域的领军者,其创始人兼前CEO马克雷伯特(Marc Raibert)近日在主持人莱克斯弗里德曼(Lex Fridman)的播客节目…

this指针如何使C++成员指针可调用

在C中,this指针是一个隐藏的指针,指向当前对象实例。它在成员函数中自动可用,用于访问该对象的成员变量和成员函数。理解this指针的工作原理有助于理解为什么指向成员的指针是可调用的。在本文中,我们将详细探讨this指针的概念&am…

计算机组成原理之定点运算器的组成

文章目录 定点运算器的组成逻辑运算ALU两级先行进位的ALU 总线单总线结构双总线结构三总线结构 定点运算器的组成 逻辑运算 总的来说,逻辑非运算就是按位取反;逻辑加运算就是按位取或运算;逻辑乘运算就是按位取和运算;逻辑异运算…

vue框架学习------框架概述

框架 在基础语言之上,对各种基础功能进行封装 什么是框架 框架(Framework)是整个或部分系统的可重用设计,表现为一组抽象构件及构件实例间交互的方法; 另一种定义认为,框架是可被应用开发者定制的应用骨架。前者是从应用方面而…

分类模型部署-ONNX

分类模型部署-ONNX 0 引入:1 模型部署实战测试:1 安装配置环境:2 Pytorch图像分类模型转ONNX-ImageNet1000类3 推理引擎ONNX Runtime部署-预测单张图像: 2 扩展阅读参考 0 引入: 在软件工程中,部署指把开发…

仅凭一图,即刻定位,AI图像定位技术

AI图像定位技术,解锁空间密码!仅凭一图,即刻定位,精准至经纬度坐标,让世界无处不晓。 试试看能否猜中这张自拍照的背景所在?可别低估了A的眼力,答案说不定会让你大吃一惊呢。 近期,…

计算机组成原理之浮点四则运算

文章目录 浮点加减运算浮点乘法运算浮点除法运算浮点运算器的流水原理习题 浮点加减运算 总的来说,分为四个步骤: (1)0操作数检查 (2)比较阶码大小并完成对阶 (3)尾数进行加或者减操…

异常向量表的设置

1、Linux Kernel中对异常向量表的填充 linux/arch/arm64/kernel/entry.S kernel_ventry 是一个定义异常向量的宏; 在该宏中,程序跳转到了b el\el\ht()\regsize()\label; 以为异常向量的第6行为例,其实就是跳转到了bl el1h_64_irq; 然后你去搜…

算法题解记录28+++对称二叉树(百日筑基)

一、题目描述: 题目难度:简单 给你一个二叉树的根节点 root , 检查它是否轴对称。 示例 1: 输入:root [1,2,2,3,4,4,3] 输出:true 分割线 示例 2: 输入:root [1,2,2,null,3,nul…