实例创建
1.先进入官网https://doc.damodel.com
进行注册,新用户可以免费送代金券,实名注册后一共可以得到50块钱,现在4090还搞活动,1.5左右一个钟。
2.创建后进入DAMODEL控制台创建实例:
如下:
这里创建实例,还需要创建密钥对,这个很简单,直接创建并保存在本地主机即可,然后再选这个密钥对就好。
如下:
接着就等待一小会就可以看到新建好的实例了。
ChatGLM-6B-部署
官方教程
官方教程其实也十分详细,下面贴出链接:
https://doc.damodel.com/profile/best_practice/ChatGLM-6B/cglm6b.html
个人教程与实际操作
下载ChatGLM-6B代码
-
在命令行里直接git:
git clone https://gitcode.com/applib/ChatGLM-6B.git -
cd 进入ChatGLM-6B
-
pip install -r requirements.txt 装这个demo所需要的一些配置
如下图:
下载ChatGLM-6B模型
这里是我和官方教程不一样的地方,我选了魔塔社区的下载教程,并且全部下载了模型和一些文件。
官方教程是先下载到本地,然后再上传到服务器。
我是直接下载到云服务器。
我这里是先:
- pip install modelscope
- 新建一个python文件,代码如下:
#模型下载
from modelscope import snapshot_download
model_dir = snapshot_download(‘ZhipuAI/chatglm3-6b’) - 查看模型文件路径
/root/.cache/modelscope/hub/ZhipuAI/chatglm3-6b
如下图所示:
调用ChatGLM-6B模型
- 首先修改cli_demo.py中的模型路径
cli_demo.py中有俩行代码如下:
tokenizer = AutoTokenizer.from_pretrained(“THUDM/chatglm-6b”, trust_remote_code=True)
model = AutoModel.from_pretrained(“THUDM/chatglm-6b”, trust_remote_code=True).half().cuda()
需要修改为:
tokenizer = AutoTokenizer.from_pretrained(“/root/.cache/modelscope/hub/ZhipuAI/chatglm3-6b”, trust_remote_code=True)
model = AutoModel.from_pretrained(“/root/.cache/modelscope/hub/ZhipuAI/chatglm3-6b”, trust_remote_code=True).half().cuda()
- 在终端直接调用pythoncli_demo.py
如下图: