ModaHub魔搭社区:清华开源ChatGLM语言模型一键部署教程

news2024/11/18 10:41:49

目录

ChatGLM是什么

傻瓜式安装部署

一.下载

二、解压

ChatGLM懒人安装包


ChatGLM是什么

ChatGLM和ChatGPT类似,是由清华大学开发的开源大型语言模型。由于它是开源的,所以带来了很多的可能性,比如可以像Ai绘画一样自己微调模型。

目前这个版本是6B的,需要一定的配置才能运行。如果你的显存只有6G,勉强能跑;8G稍微好一点;12G以上就可以正常运行了。此外,它对内存的需求也比较高,建议最好要有16G以上的内存。如果你没有NVIDIA的独立显卡,也可以使用CPU来运行。但是需要注意的是,这样会非常慢,并且需要32G以上的内存才能正常运行。

ChatGLM的本地一键包。这是一个完全在本地使用的语言模型,可以利用你的显卡来运行。

傻瓜式安装部署

一.下载

我在文章末端提供了下载链接,当你下载完成后,会有如下三个文件。

  1. 程序包(ChatGLM-webui.zip)
  2. 模型包(model.zip)
  3. 环境包(环境包.zip)

二、解压

先解压程序包到当前目录。

解压完毕后,再解压主程序(ChatGLM-webui.zip)

然后就可以看到解压出的文件目录了。

接下来,我们继续把模型(model.zip)和环境包(环境包.zip)都解压到上图的主程序根目录中。

现在我们已经全部解压完毕了,对应自己的显卡,去运行对应.bat文件。我的显卡是12G以上的,所以我运行12G以上显存-fp16_1.bat 文件

然后我们把链接复制到浏览器访问http://127.0.0.1:17860/

像访问ChatGPT一样输入内容发送,就能得到反馈,使用起来比较简单,详细的技巧自行研究,或者关注这篇文章:Prompt Engineering基础教程

启动完成后,打开网页就可以开始愉快的对话了。虽然这个模型比不上ChatGPT,毕竟它只有62亿的参数。但是这也是它的优势,因为它可以在家用显卡上运行。相信在未来,这个模型还会有很多的应用和玩法,因为它是开源的,只需要时间的沉淀。

ChatGLM懒人安装包

微云下载:文件分享

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/726980.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

老板说,给我把这个 JS React 项目迁移到 TypeScript

在我们日益发展的网络开发领域中,JavaScript 长期以来一直是首选的语言。它的多功能性和普及性推动了许多应用和网站取得成功。然而,随着项目规模和复杂性的增长,维护 JavaScript 代码库可能变得具有挑战性、容易出错且难以扩展。 走出来的第…

5-Spring cloud之Feign的使用——服务器上实操

5-Spring cloud之Feign的使用——服务器上实操 1. 前言2. 搭建Feign2.1 添加子模块——dog-api2.1.1 子模块结构2.1.2 pom文件2.1.3 核心接口DogClientApi 2.2 添加子模块——dog-consumer-feign-802.2.1 子模块结构2.2.2 pom文件2.2.3 yml文件2.2.4 主启动类2.2.5 controller …

Linux里git的使用

git的使用 一.前置要求1.git的安装2.注册Gitee并创建仓库 二.git三板斧 一.前置要求 1.git的安装 2.注册Gitee并创建仓库 然后记住下面的网址。 之后将仓库克隆到云服务器里。记得输入gitee的账号和密码。 查看目录,可以发现仓库已经在目录里了。 进入目录&#xf…

python毕设课设大作业《火车票分析助手》程序

在PyCharm中运行《火车票分析助手》即可进入如图1所示的系统主界面。 图1 系统主界面 具体的操作步骤如下: (1)在主界面“车票查询”选项卡中依次输入,出发地、目的地以及出发时间,然后单击“查询”按钮,…

十九、Jenkins版本构建完成,触发自动化测试

十九、Jenkins版本构建完成,触发自动化测试 1.构建后操作-Build other projects 2.关联自动化测试工程 这样版本构建完成,就会执行自动化测试

金九银十跳槽涨薪Java面试题!568页真题+答案解析,大厂都在考

2023年一半又过去了,各大企业的招聘也又开始大量放岗了,各位苟着的小伙伴们要抓住机会了! 但很多小伙伴对面试不够了解,不知道如何准备,对面试环节的设置以及目的不了解,尤其是面试题还很难,有些…

RocketMQ5.0--事务消息

RocketMQ5.0–事务消息 一、事务消息概览 RocketMQ事务消息的实现原理基于两阶段提交和定时事务状态回查来决定消息最终是提交还是回滚,消费者可以消费事务提交的消息,如下图所示。事务消息的作用:确保本地业务与消息在一个事务内&#xff0…

成功解决:java file outside of source root

前言 我复制一个很小项目的代码,然后重新命名后。用IDEA打开,发现.java文件的左下方有个橘色的标志。 1、问题文件 这里显示 Java file outside of source root。 查阅资料发现:这个问题是指Java文件不在源代码根目录之内。这可能会导致…

使用pytest命令行实现环境切换

目录 前言 pytest_addoption(parser, pluginmanager) 在conftest.py文件中定义命令行参数 获取命令行参数 设置不同环境的全局变量 定义测试类及测试方法 测试验证 前言 在自动化测试过程中经常需要在不同的环境下进行测试验证,所以写自动化测试代码时需要考…

Android12之IBinder中[[clang::lto_visibility_public]]作用(一百六十)

简介: CSDN博客专家,专注Android/Linux系统,分享多mic语音方案、音视频、编解码等技术,与大家一起成长! 优质专栏:Audio工程师进阶系列【原创干货持续更新中……】🚀 人生格言: 人生…

MySQL自治平台建设的内核原理及实践(上)

总第565篇 2023年 第017篇 本文整理自美团技术沙龙第75期的主题分享《美团数据库攻防演练建设实践》,系超大规模数据库集群保稳系列(内含4个议题的PPT及视频)的第4篇文章。 本文作者在演讲后根据同学们的反馈,补充了很多技术细节&…

如何绘制「UML类图」

一、UML类图简介 类图以反映类的结构(属性、操作)以及类之间的关系为主要目的,描述了软件系统的结构,是一种静态建模方法。类图用来描述系统中有意义的概念,包括具体的概念、抽象的概念、实现方面的概念等,是对现实世界中事物的抽…

设计模式--------结构型模式

结构型模式 结构型模式描述如何将类或对象按某种布局组成更大的结构。它分为类结构型模式和对象结构型模式,前者采用继承机制来组织接口和类,后者釆用组合或聚合来组合对象。 由于组合关系或聚合关系比继承关系耦合度低,满足“合成复用原则”…

web 页面布局:(三)position 坐标系布局

web 页面布局:(三)position 坐标系布局 页面坐标系position 设置fixedrelativeabsolutesticky 应用场景 页面坐标系 因为所有文本内容,是从左向右读,自上而下读,和书写习惯,读书习惯一致&#…

惊呆了!这个银行管理技巧也太厉害了吧

在金融行业,蓄电池监控是一项至关重要的任务。随着金融机构的数字化转型和依赖电力的增加,蓄电池成为保障金融系统正常运行的关键组成部分。 因此,对蓄电池的状态进行监控和维护,确保其高效可靠地工作,对金融行业的稳定…

深度学习06-pytorch从入门到精通

文章目录 概述环境准备安装cuda和cudnn安装pytorch 基础张量定义numpy转换数学函数随机数计算函数矩阵处理函数 自动梯度案例计算图 torchvision模块TransformsDataSetDataLoader自定义数据集 nn模块nn.ModuleCNN图像处理层nn.Conv2dnn.AvgPool2d和nn.MaxPool2dnn.Linearnn.Bat…

TransFuse

方法 Transformer分支 将不同尺度的特征图 t 0 、 t 1 和 t 2 t^0、t^1和t^2 t0、t1和t2保存起来,之后与对应的CNN分支的特征图融合。 CNN分支 以基于ResNet的模型为例,模型通常有五个块,每个块对特征图进行两倍下采样。我们获取第 4( g 0…

vue父组件调用子组件的Form表单校验

需求1:父组件调用子组件的表单验证方法,验证成功,继续进行接下来的操作,验证失败,提示用户并返回。 需求2:父组件校验多个子组件的表单验证方法,验证成功,继续进行接下来的操作&…

cookie/session/token(持续更新)

1.cookie 1.1概念 cookie是服务器产生的保存在客户端的一小段文本信息,格式是字典形式,键值对形式 cookie有两类: 1.会话级cookie:保存在内存,随浏览器关闭自动消息 2.持久化cookie:保存在硬盘,浏览器关闭不会直接消失,生命周期取决于失效时间 1.2如何查看cookie以及格式…

vue3+vite+element pro + pnpm 创建的monorepo项目

vue3+vite+element pro + pnpm 创建的monorepo项目 欢迎使用河码桌面技术说明界面欢迎使用河码桌面 欢迎使用河码桌面,河码桌面是一个基于vue3+vite+element pro + pnpm 创建的monorepo项目,项目采用的是类操作系统的web界面,操作起来简单又方便,符合用户习惯,又没有操作…