【AI落地应用实战】DAMODEL深度学习平台部署+本地调用ChatGLM-6B解决方案

news2024/11/14 4:19:29

ChatGLM-6B是由清华大学和智谱AI开源的一款对话语言模型，基于 General Language Model (GLM)架构，具有 62亿参数。该模型凭借其强大的语言理解和生成能力、轻量级的参数量以及开源的特性，已经成为在学术界和工业界引起了广泛关注。

本篇将介绍使用DAMODEL深度学习平台部署ChatGLM-6B模型，然后通过Web API的形式使用本地代码调用服务端的模型进行对话。

一、DAMODEL-ChatGLM-6B服务端部署

DAMODEL（丹摩智算）是专为AI打造的智算云，致力于提供丰富的算力资源与基础设施助力AI应用的开发、训练、部署。目前给新用户提供了近100小时的免费4090算力可供使用。

1.1、实例创建

首先进入DAMODEL控制台，点击资源-GPU云实例，点击创建实例：
在这里插入图片描述
进入创建页面后，首先在实例配置中首先选择付费类型为按量付费，其次选择单卡启动，然后选择需求的GPU型号，本次实验可以选择选择：按量付费–GPU数量1–NVIDIA-GeForc-RTX-4090，该配置为60GB内存，24GB的显存。
在这里插入图片描述

继续往下翻，配置数据硬盘的大小，每个实例默认附带了50GB的数据硬盘，本次创建可以就选择默认大小50GB，可以看到，平台提供了一些基础镜像供快速启动，镜像中安装了对应的基础环境和框架，这里选择PyTorch1.13.1的框架启动，也可以选择PyTorch2.1.2版本启动。
在这里插入图片描述

点击创建密钥对，输入自定义的名称，创建好密钥对后，选择刚刚创建好的密钥对，并点击立即创建，等待一段时间后即可启动成功！
在这里插入图片描述

1.2、模型准备

启动环境后，打开终端，用git 克隆https://github.com/THUDM/ChatGLM-6B.git项目，若遇到github连接超时，可以选择离线下载并上传到项目中。

cd /home/aistudio/work/
git clone https://github.com/THUDM/ChatGLM-6B.git

成功克隆项目后，会显示如下文件夹：
在这里插入图片描述
其次cd进入该文件夹，使用pip安装项目依赖：pip install -r requirements.txt，可以看到DAMODEL平台环境依赖的下载安装速度可以达到18MB/s以上，非常迅速，等待片刻显示如下Successfully installed则说明依赖安装完成！
在这里插入图片描述
依赖安装成功后，我们需要引入模型文件，比较方便的是，DAMODEL（丹摩智算）提供了数据上传功能，用户有20GB免费存储空间，该空间被挂载到实例的/root/shared-storage目录，跨实例共享。

这里首先点击文件存储，点击上传文件。
在这里插入图片描述
然后下载Hugging Face上的ChatGLM-6B预训练模型，也可以进入魔塔社区选择https://www.modelscope.cn/models/ZhipuAI/chatglm3-6b/files里的所有文件进行下载
在这里插入图片描述
然后将下载下来的模型文件及配置进行上传并解压，上传时尽量保持该界面首页显示，等待上传成功后再进行其他操作。
在这里插入图片描述

1.3、模型启动

上传好预训练模型及解压后，我们就可以去启动python脚本运行了，ChatGLM-6B提供了cli_demo.py和web_demo.py两个文件来启动模型，第一个是使用命令行进行交互，第二个是使用本机服务器进行网页交互。
由于要使用本地模型启动，所以我们需要把从Hugging Face Hub加载改为本地路径加载，打开cli_demo.py文件，将这两行代码改为从本地文件目录加载预训练模型。
在这里插入图片描述
然后在终端输入python cli_demo就可以成功启动模型了，在cli_demo.py中，main函数启动一个无限循环，等待用户输入。用户可以输入文本与模型进行对话，或输入"clear"清空对话历史并清除屏幕，或输入"stop"退出程序。对于正常的对话输入。

启动模型后的效果如下图所示：
在这里插入图片描述
也可以在终端输入python web_demo.py，通过Web界面与模型进行交互。
在这里插入图片描述
不过由于Jupyter的限制，无法直接打开访问服务器的127.0.0.1:7860网页端交互界面，这里可以利用MobaXterm建立ssh隧道，实现远程端口到本机端口的转发。首先打开tunneling，新建SSH通道，填入ssh的相关配置，并将7860通道内容转发到本机，点击start开始转发：
在这里插入图片描述
在这里插入图片描述

转发成功后，就可以成功在网页与模型进行交互了，效果如下：

在这里插入图片描述

二、通过Web API实现本地使用

2.1、启动服务

通过以上步骤，我们成功启动了ChatGLM-6B模型，并可以在服务器的JupyterLab中进行对话，下面我们将其部署为API服务，然后在本地进行使用。

同样ChatGLM-6B模型为我们提供了api.py文件，它实现了一个基于FastAPI框架API服务，其接收一个HTTP POST请求，该请求体包含文本生成所需的参数，如prompt（提示文本）、history（对话历史）、max_length（生成文本的最大长度）、top_p（采样时的累积概率阈值）和temperature（采样时的温度参数，影响生成文本的随机性）。在接收到请求后，该服务使用预训练的模型和分词器（tokenizer）来生成一个响应文本，并更新对话历史。随后生成的响应文本、更新后的对话历史、状态码（固定为200）和当前时间戳被打包成一个JSON对象并返回给客户端。

我们可以直接在终端cd进入ChatGLM-6B文件夹，运行api.py文件：

cd ChatGLM-6B
python api.py

显示如下提示则说明启动成功！
在这里插入图片描述

2.2、开放端口

其次需要为本地访问开放对应的端口，首先需要点击访问控制，进入端口开放页面。
在这里插入图片描述
然后点击添加端口，输入端口号，并点击确定开放：
在这里插入图片描述
点击确认开放端口后，平台会给出访问链接，将其复制以便后续使用
在这里插入图片描述
做完以上这些步骤后，服务器端就已经部署好了，接下来测试本地调用效果!

2.3、使用PostMan测试功能

打开PostMan，新建一个Post，将刚刚复制的网址粘贴到url栏，然后在Body中填入相应的内容。
在这里插入图片描述
Body示例内容如下：

{  
  "prompt": "你好，你是谁？",  
  "max_length": 512,  
  "top_p": 0.9,  
  "temperature": 0.7  
}

点击send后，显示以下response则说明成功！
在这里插入图片描述

2.4、本地代码使用功能

测试完成后，下面开始转到本地开发，以下是一个基础的单轮对话功能示例代码：

import requests  
import json  

# API的URL  
# 即刚刚复制的访问链接
api_url = "http://cqbiq6nhri0c73eq3cv0-8000.agent.damodel.com"  
   
data = {  
    "prompt": "你好，你是谁?",  
    "max_length": 500,  
    "top_p": 0.9,  
    "temperature": 1.0  
}  

# 发送POST请求   
response = requests.post(api_url, json=data)  

# 检查响应状态码   
if response.status_code == 200:  
    result = response.json()  
    print("Response:", result['response'])  
    print("Updated History:", result['history'])  
    print("Time:", result['time'])  
else:  
    print("Failed to get response from the API. Status code:", response.status_code)  
    print(response.text)

在此基础上，我们可以实现一个基于ChatGLM-6B模型的简单对话系统，在本地通过命令行与DAMODEL部署好的模型进行交互。对于正常的对话输入，程序将用户的输入作为prompt，连同当前的对话历史记录conversation_history、最大生成长度max_length、top_p和temperature等参数一起发送到指定的API URL。然后，它检查API的响应状态码。如果状态码为200，表示请求成功，程序将打印出API返回的响应内容和更新后的对话历史记录，并更新conversation_history列表。

以下是一个多轮对话的示例代码：

import requests  
import json  
  
api_url = "http://cqbiq6nhri0c73eq3cv0-8000.agent.damodel.com"  

conversation_history = []
print("欢迎使用 ChatGLM-6B 模型，输入内容即可进行对话，clear 清空对话历史，stop 终止程序")

while True:
    query = input("\n用户：")
    if query.strip() == "stop":
        break
    if query.strip() == "clear":
        history = []
        os.system(clear_command)
        print("欢迎使用 ChatGLM-6B 模型，输入内容即可进行对话，clear 清空对话历史，stop 终止程序")
        continue
    prompt = query
    data = {  
        "prompt": prompt,  
        "history": conversation_history,  
        "max_length": 5000,  
        "top_p": 0.9,  
        "temperature": 0.9  
    }
    response = requests.post(api_url, json=data)
    if response.status_code == 200:  
        result = response.json()  
        print("Response:", result['response'])  
        print("Updated History:", result['history'])  
          
        conversation_history = result['history']
          
    else:  
        print("Failed to get response from the API. Status code:", response.status_code)  
        print(response.text)

运行的效果如下：

在这里插入图片描述
除了常规的4090显卡和P40显卡，DAMODEL（丹摩智算）上线了H800系列显卡，基于最新Ampere架构，7纳米制程，80GB显存，拥有10240个CUDA核心和320个Tensor核心强势登陆。

# 体验链接：
https://damodel.com/register?source=1D5686A0
# 代金券：
damodelkele

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1964094.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

成为 Spring Boot + Vue 图书作者的必备素养

成为 Spring Boot + Vue 图书作者的必备素养

个人名片 🎓作者简介：java领域优质创作者 🌐个人主页：码农阿豪 📞工作室：新空间代码工作室（提供各种软件服务） 💌个人邮箱：[2435024119@qq.com] 📱个人微信：15279484656 🌐个人导航网站：www.forff.top 💡座右铭：总有人要赢。为什么不能是我呢？ 专栏导…
阅读更多...
Python 使用 Detectron2 进行目标检测 (Detectron2, CenterNet2, Detic)

Python 使用 Detectron2 进行目标检测 (Detectron2, CenterNet2, Detic)

代码说明 代码主要是一个用来演示如何使用 Detectron2 进行目标检测的脚本。它可以从摄像头或视频文件中读取图像，并应用指定的配置文件进行目标检测。其中，Detectron2 结合了 CenterNet2 和 Detic 进行目标检测。 主要库介绍 Detectron2 Detect…
阅读更多...
UMG文本控件(UTextBlock)超过边界区域以后显示省略号

UMG文本控件(UTextBlock)超过边界区域以后显示省略号

测试版本:UE5.4.1 UMG文本控件超过边界区域以后显示省略号
阅读更多...
基于springboot+vue+uniapp的校园快递平台小程序

基于springboot+vue+uniapp的校园快递平台小程序

开发语言：Java框架：springbootuniappJDK版本：JDK1.8服务器：tomcat7数据库：mysql 5.7（一定要5.7版本）数据库工具：Navicat11开发软件：eclipse/myeclipse/ideaMaven包&#…
阅读更多...
【打家劫舍】python刷题记录

【打家劫舍】python刷题记录

R3-递归篇。第100篇blog. 思路： 和爬楼梯有点相似，每次隔1格，2格，3格----(隔3格就亏了，所以还是类似爬楼梯问题，1格或者2格) class Solution:def rob(self, nums: List[int]) -> int:cur,pre0,0for nu…
阅读更多...
科普文：Linux目录详解

科普文：Linux目录详解

在 Linux/Unix 操作系统中，一切都是文件，甚至目录也是文件，文件是文件，鼠标、键盘、打印机等设备也是文件。 这篇文章，我们将一起学习 Linux 中的目录结构及文件。 Linux 的文件类型 Linux系统中的文件系统&#xf…
阅读更多...
图片太大怎么压缩变小？图片太大压缩变小的几个方法

图片太大怎么压缩变小？图片太大压缩变小的几个方法

图片太大怎么压缩变小？在当今数字化时代，图像的处理和分享已经成为日常工作和生活中不可或缺的一部分。然而，有时我们会遇到一个普遍的问题：图片文件太大，需要压缩以便于存储、传输或发布。为什么要压缩图片呢&#xf…
阅读更多...
【PCB prepreg】PP 参数比选 四 ＜预浸料树脂流＞

【PCB prepreg】PP 参数比选 四 ＜预浸料树脂流＞

预浸料树脂在压力下加热时会熔化和流动。这通常被称为树脂流动。树脂的流动取决于压力和树脂使用的热量。树脂可以自由流动的时间有限。在成为流体一段时间后，树脂会变成凝胶。 预浸料树脂的流动性对层压操作至关重要，而层压条件会影响这种流动性。此外…
阅读更多...
程序员修炼之路

程序员修炼之路

成为一名优秀的程序员，需要广泛而深入地学习多个领域的知识。这些课程不仅帮助建立扎实的编程基础，还培养了问题解决、算法设计、系统思维等多方面的能力。以下是一些核心的必修课： 计算机基础 计算机组成原理：理解计算机的硬件组…
阅读更多...
国内备受好评PostgreSQL数据库性能如何?

国内备受好评PostgreSQL数据库性能如何?

为什么国内很多数据库采用PostgreSQL数据库作为基础，再次开发自己的产品呢?不仅仅是因为PostgreSQL数据库开源免费、PostgreSQL 数据库的性能也是相当出色的，具有以下几个方面的特点： 1. 处理大规模数据： - 能够有效地管理和处…
阅读更多...
外设购物平台

外设购物平台

目 录 一、系统分析 二、系统设计 2.1 系统功能设计 2.2 数据库设计 三、系统实现 3.1 注册功能 3.2 登录功能 3.3 分页查询所有商品信息功能 3.4 分页条件（精确、模糊）查询商品信息功能 3.5 购物车功能 3.6 订单管理功能 四、项…
阅读更多...
javafx的ListView代入项目的使用

javafx的ListView代入项目的使用

目录 1. 创建一个可观察的列表，用于存储ListView中的数据,这里的User是包装了用户的相关信息。 2.通过本人id获取friendid，及好友的id，然后用集合接送，更方便直观一点。 3.用for遍历集合，逐个添加。 4.渲染器&…
阅读更多...
css各种使用案例合集（二）

css各种使用案例合集（二）

1、hover动画 场景1&#xff1a;要求有旋转、变色&#xff0c;有变化过程 场景结果&#xff1a; 代码示例&#xff1a; <div class"box"><div class"headUp"></div><div class"head"></div><div class"mo…
阅读更多...
全面整理人工智能(AI)学习路线图及资源推荐

全面整理人工智能(AI)学习路线图及资源推荐

在人工智能&#xff08;AI&#xff09;飞速发展的今天&#xff0c;掌握AI技术已经成为了许多高校研究者和职场人士的必备技能。从深度学习到强化学习&#xff0c;从大模型训练到实际应用&#xff0c;AI技术的广度和深度不断拓展。作为一名AI学习者&#xff0c;面对浩瀚的知识海…
阅读更多...
FPC焊接座子和FPC线的线序问题，弄个转接口

FPC焊接座子和FPC线的线序问题，弄个转接口

焊接fpc底座 可以发现&#xff0c;也可以焊接上&#xff0c;但在原理图中的顺序连接不同可能导致顺序完全相反 FPC线顺序也可能不同 所以还是弄个转换接口&#xff0c;可是临时测试使用
阅读更多...
智能制造有哪些发展阶段？企业推进数字化制造容易走进什么误区？

智能制造有哪些发展阶段？企业推进数字化制造容易走进什么误区？

随着智能制造的浪潮席卷全球&#xff0c;我们正目睹一场前所未有的工业变革。智能制造这一集精益生产、柔性制造、敏捷制造和云制造等先进范式于一体的全新制造模式&#xff0c;正在重塑制造业的未来。 本文将深入探讨智能制造的三个发展阶段&#xff1a;数字化制造、网络化制…
阅读更多...
Studying-代码随想录训练营day49| 42. 接雨水、84.柱状图中最大的矩形

Studying-代码随想录训练营day49| 42. 接雨水、84.柱状图中最大的矩形

第49天&#xff0c;单调栈part02&#xff0c;两个很经典的例题&#xff0c;编程语言&#xff1a;C 目录 42. 接雨水 84.柱状图中最大的矩形 总结&#xff1a; 42. 接雨水 文档讲解&#xff1a;代码随想录接雨水 视频讲解&#xff1a;手撕接雨水 题目&#xff1a; 42. 接雨…
阅读更多...
轻松上手Scikit-learn——评估模型性能（准确率、精确率、召回率、ROC和AUC）

轻松上手Scikit-learn——评估模型性能（准确率、精确率、召回率、ROC和AUC）

轻松上手Scikit-learn——评估模型性能&#xff08;准确率、精确率、召回率、ROC和AUC&#xff09; 安装scikit——learn pip install -U scikit-learn常用模型性能评估指标 在开始介绍之前先规定几个表示&#xff1a; 模型预测正确的正样本&#xff0c;称为真正样本&#…
阅读更多...
AI会带来新的就业岗位吗？

AI会带来新的就业岗位吗？

最近&#xff0c;百度的首席执行官Roy在世界人工智能大会&#xff08;WAIC&#xff09;上提出了一个观点。他表示&#xff0c;大家无需过于担心人工智能会导致大量失业&#xff0c;相反&#xff0c;人工智能会创造一批新的就业岗位。他特别提到了几个核心的典型代表&#xff0c…
阅读更多...
visual Studio怎么设置背景图片

visual Studio怎么设置背景图片

想在visual Studio设置一个自己喜欢的背景图片&#xff0c;效果如下&#xff1a; 废话不多说&#xff0c;以Vs2022为例&#xff0c;操作步骤如下&#xff1a; 1.打开“扩展”>“管理扩展”>“搜索ClaudiaIDe”安装 或者直接下载官方安装版https://kbuchi.gallerycdn.vs…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023