丹摩征文活动｜智谱AI引领是实现文本可视化 - CogVideoX-2b 部署与使用

news2024/11/14 9:12:04

文章目录

  • 前言
  • 一、DAMODEL平台特性
  • 二、创建CPU云实例
  • 三、CogVedioX介绍
  • 四、DAMODEL一键部署CogVideoX
    • 1. 创建丹摩实例(参考上述介绍)
    • 2. 配置环境和依赖
    • 3. 模拟与配置文件
    • 4. 开始运行
      • 4.1 调试
      • 4.2 webUI
      • 4.3 端口映射

前言

DAMODEL（丹摩智算）是一款专为满足高性能计算需求而设计的云端解决方案。我们提供多款高性能的GPU资源，您可以根据自己的需求灵活租赁，无需购买和维护昂贵的硬件设备。产品以高性能、灵活性为核心，致力于为炼丹师们提供高效、便捷的计算服务。

提示：以下是本篇文章正文内容，下面案例可供参考

一、DAMODEL平台特性

  • 超友好！
    配备 124G 大内存和 100G 大空间系统盘，一键部署，三秒启动，让 AI 开发从未如此简单！

  • 资源多！
    从入门级到专业级 GPU 全覆盖，无论初级开发还是高阶应用，你的需求，我们统统 Cover！

  • 性能强！
    自建 IDC，全新 GPU，每一位开发者都能体验到顶级的计算性能和专属服务，大平台值得信赖！

二、创建CPU云实例

  • 登录DAMODEL平台进入DAMODEL控制台，点击资源-GPU云实例，点击创建实例：
    在这里插入图片描述

  • 进入创建页面后，首先在实例配置中选择付费类型，一般短期需求可以选择按量付费或者包日，长期需求可以选择包月套餐；其次选择单卡或多卡启动，然后选择需求的GPU型号，首次创建实例推荐选择：按量付费–GPU数量1–NVIDIA-GeForc-RTX-4090，该配置为60GB内存，24GB的显存。
    在这里插入图片描述

  • 往下翻，配置数据硬盘的大小，每个实例默认附带了50GB的数据硬盘，首次创建可以就选择默认大小50GB，可以看到，平台提供了一些基础镜像供快速启动，镜像中安装了对应的基础环境和框架，这里选择PyTorch1.13.1的框架启动。
    在这里插入图片描述

  • 点击创建密钥对，输入自定义的名称，然后选择自动创建并将创建好的私钥保存的自己电脑中并将后缀改为.pem，以便后续本地连接使用。
    在这里插入图片描述

三、CogVedioX介绍

CogVideoX是智谱AI推出的视频生成模型。CogVideoX支持英文提示词，能够根据用户的输入生成相应的视频。初代模型生成的视频长度为6秒，每秒8帧，分辨率为720x480。随着技术的不断发展，后续版本如CogVideoX v1.5已支持5秒和10秒的视频长度、768P的分辨率以及16帧的生成能力。其具有以下特点：

特点分析
高效的三维变分自编码器结构CogVideoX采用了一套高效的三维变分自编码器结构（3D VAE），该结构能够将原始视频数据压缩至原始大小的2%，从而降低了视频扩散生成模型的训练成本和难度。结合3D RoPE位置编码模块，该技术提升了在时间维度上对帧间关系的捕捉能力，有助于建立视频中的长期依赖关系。
端到端的视频理解模型智谱AI打造了一款端到端的视频理解模型，该模型能够为大量视频数据生成描述。这一创新增强了模型对文本的理解和对指令的遵循能力，确保生成的视频更加符合用户的输入需求，并能够处理超长且复杂的prompt指令。
文本、时间、空间三维一体融合的Transformer架构CogVideoX采纳了一种将文本、时间、空间三维一体融合的Transformer架构。该架构摒弃了传统的cross attention模块，设计了Expert Block以实现文本与视频两种不同模态空间的对齐，并通过Full Attention机制优化模态间的交互效果。

随着大型模型技术的持续发展，视频生成技术正逐步走向成熟。CogVideoX作为智谱AI推出的开源视频生成模型，在视频生成领域具有广泛的应用前景。未来，智谱技术团队将继续扩大数据量和模型规模，探索更高效的模型架构，以实现更优质的视频生成体验。同时，CogVideoX的开源也将推动整个行业的快速迭代与创新发展，为开发者提供更加丰富的视频生成工具和平台。综上所述，CogVideoX是一款功能强大、技术领先的视频生成模型，具有广泛的应用前景和发展潜力。

项目地址：https://github.com/THUDM/CogVideo
模型下载：https://huggingface.co/THUDM/CogVideoX-2b

四、DAMODEL一键部署CogVideoX

1. 创建丹摩实例(参考上述介绍)

由于 CogVideoX 在 FP-16 精度下的推理至少需 18GB 显存，微调则需要 40GB 显存，我们这里可以选择L40S 显卡（推荐）或者4090 显卡，硬盘可以选择默认的 100GB 系统盘和 50GB 数据盘，镜像选择 PyTorch2.3.0、Ubuntu-22.04，CUDA12.1 镜像，创建并绑定密钥对，最后启动
在这里插入图片描述

2. 配置环境和依赖

  • 进入 JupyterLab 后，打开终端
    在这里插入图片描述
    在这里插入图片描述
  • 首先拉取 CogVideo 代码的仓库，下载完成后解压缩CogVideo-main.tar
wget http://file.s3/damodel-openfile/CogVideoX/CogVideo-main.tar
tar -xf CogVideo-main.tar

在这里插入图片描述

  • 进入 CogVideo-main 文件夹，输入安装对应依赖
cd CogVideo-main/
pip install -r requirements.txt

在这里插入图片描述

  • 以上依赖安装好后，可以在终端输入 python，然后输入以下代码进行测试，显示如下状态，没有报错就说明依赖安装成功！输入quit()可退出 python
import torch
from diffusers import CogVideoXPipeline
from diffusers.utils import export_to_video

在这里插入图片描述

3. 模拟与配置文件

除了配置代码文件和项目依赖，还需要上传 CogVideoX 模型文件和对应的配置文件。

  • 平台已预置了 CogVideoX 模型，可内网高速下载，执行以下命令，下载完成后解压缩CogVideoX-2b.tar
cd /root/workspace
wget http://file.s3/damodel-openfile/CogVideoX/CogVideoX-2b.tar
tar -xf CogVideoX-2b.tar

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4. 开始运行

4.1 调试

进入CogVideo-main文件夹，运行test.py文件

cd /root/workspace/CogVideo-main
python test.py

test.py 代码内容如下，主要使用diffusers库中的CogVideoXPipeline模型，加载了一个预训练的 CogVideo 模型，然后根据一个详细的文本描述（prompt），生成对应视频：

import torch
from diffusers import CogVideoXPipeline
from diffusers.utils import export_to_video

# prompt里写自定义想要生成的视频内容
prompt = "A panda, dressed in a small, red jacket and a tiny hat, sits on a wooden stool in a serene bamboo forest. The panda's fluffy paws strum a miniature acoustic guitar, producing soft, melodic tunes. Nearby, a few other pandas gather, watching curiously and some clapping in rhythm. Sunlight filters through the tall bamboo, casting a gentle glow on the scene. The panda's face is expressive, showing concentration and joy as it plays. The background includes a small, flowing stream and vibrant green foliage, enhancing the peaceful and magical atmosphere of this unique musical performance."

pipe = CogVideoXPipeline.from_pretrained(
    "/root/workspace/CogVideoX-2b", # 这里填CogVideo模型存放的位置，此处是放在了数据盘中
    torch_dtype=torch.float16
).to("cuda")

# 参数do_classifier_free_guidance设置为True可以启用无分类器指导，增强生成内容一致性和多样性
# num_videos_per_prompt控制每个prompt想要生成的视频数量
# max_sequence_length控制输入序列的最大长度
prompt_embeds, _ = pipe.encode_prompt(
    prompt=prompt,
    do_classifier_free_guidance=True,
    num_videos_per_prompt=1,
    max_sequence_length=226,
    device="cuda",
    dtype=torch.float16,
)

video = pipe(
    num_inference_steps=50,
    guidance_scale=6,
    prompt_embeds=prompt_embeds,
).frames[0]

export_to_video(video, "output.mp4", fps=8)

运行成功后，可以在当前文件夹中找到对应 prompt 生成的 output.mp4 视频
在这里插入图片描述

4.2 webUI

模型官方也提供了 webUIDemo，进入CogVideo-main文件夹，运行gradio_demo.py文件：

cd /root/workspace/CogVideo-main
python gradio_demo.py

运行后我们可以看到，访问路径是本地 urlhttp://0.0.0.0:7870：
在这里插入图片描述

4.3 端口映射

此时我们需要通过丹摩平台提供的端口映射能力，把内网端口映射到公网；
进入GPU 云实例页面，点击操作-更多-访问控制：
在这里插入图片描述
点击添加端口，添加7870端口
在这里插入图片描述
添加成功后，通过访问链接即可访问到刚刚启动的 gradio 页面
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2238961.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

MySQL的知识巩固

MySQL的知识巩固

目录 三大范式 第一范式: 第二范式: 第三范式: 巴斯-科德范式(BCNF): 反范式： MySQL的工作原理 三大范式 第一范式: 一个字段只表明一个事情 优点: 数据一致性： 在1NF中，由于每个属性都是原子的，因此避免了在一个属性中存…
阅读更多...
越野车TV 1.0.5337 | TV端越野赛车游戏，解锁无限金币

越野车TV 1.0.5337 | TV端越野赛车游戏，解锁无限金币

越野车TV是一款专为电视设计的越野赛车游戏，最初是安卓手机端的游戏，现已移植到TV端并兼容遥控器操作。这款游戏的特点是解锁了VIP，所有资源都可以免费使用。游戏采用3D横版卡通风格，提供真实的越野赛车体验。玩家可以在崎岖的赛道…
阅读更多...
MySQL 迁移 dm

MySQL 迁移 dm

参考链接 此处为语雀内容卡片，点击链接查看：MySQL 5.7.27 迁移 DM 8 语雀 迁移前准备 以下中的命名，密码都是可修改的，这里给出的就只是一个例子 创建表空间 # 创建表空间名为 dbTest，路径为 Z:\fei\data\dm\dbT…
阅读更多...
信息安全工程师（82）操作系统安全概述

信息安全工程师（82）操作系统安全概述

一、操作系统安全的概念 操作系统安全是指操作系统在基本功能的基础上增加了安全机制与措施，从而满足安全策略要求，具有相应的安全功能，并符合特定的安全标准。在一定约束条件下，操作系统安全能够抵御常见的网络安全威胁&#xff…
阅读更多...
从0开始学习Linux——文件管理

从0开始学习Linux——文件管理

往期目录： 从0开始学习Linux——简介&安装 从0开始学习Linux——搭建属于自己的Linux虚拟机 从0开始学习Linux——文本编辑器 从0开始学习Linux——Yum工具 从0开始学习Linux——远程连接工具 从0开始学习Linux——文件目录 从0开始学习Linux——网络配置 从0开…
阅读更多...
vue中调用全屏方法、 elementUI弹框在全屏模式下不出现问题、多级嵌套弹框蒙层遮挡问题等处理与实现方案

vue中调用全屏方法、 elementUI弹框在全屏模式下不出现问题、多级嵌套弹框蒙层遮挡问题等处理与实现方案

全屏模式下弹框不展示的原因是elementUI的弹框我们让他挂在body中了，而我们全屏的div盒子不是整个文档，这时候就找不到弹框了。 当我们把弹框改为插入到父元素上 这时候会出现蒙层盖住整个页面，什么也点不了的问题。 这是elementUI官方的一个…
阅读更多...
特征检测与特征匹配方法笔记+代码分享

特征检测与特征匹配方法笔记+代码分享

在一幅图像中，总能发现其独特的像素点，这些点可以被视为该图像的特征，我们称之为特征点。在计算机视觉领域中，基于特征点的图像特征匹配是一项至关重要的任务，因此，如何定义并识别一幅图像中的特征点显得尤…
阅读更多...
补： 力扣145 ： 二叉树的后序遍历

补： 力扣145 ： 二叉树的后序遍历

天才的回归 ---- 二叉树的后序遍历 描述： **给你一棵二叉树的根节点 root ，返回其节点值的 后序遍历 ** 示例： 解法：递归就不说了，看下遍历法，与先序和中序略有不同 简单来说注意两个点： 1&…
阅读更多...
Centos8 安装 JDK / Python / MySQL / Redis / Nginx

Centos8 安装 JDK / Python / MySQL / Redis / Nginx

安装 JDK 华为镜像 JDK 下载地址：https://repo.huaweicloud.com:8443/artifactory/java-local/jdk/ 这里安装 JDK8 为例： # 这里直接通过 wget 下载 wget https://repo.huaweicloud.com:8443/artifactory/java-local/jdk/8u202-b08/jdk-8u202-linux-x…
阅读更多...
使用轻易云平台高效集成聚水潭与南网订单数据

使用轻易云平台高效集成聚水潭与南网订单数据

高效实现聚水潭与南网供应商对接的数据集成方案 普通发货对接南网供应商配送通知接口 在现代数据集成项目中，如何高效、可靠地实现不同系统之间的数据对接是一个关键挑战。本文将聚焦于一个实际案例：将聚水潭平台的数据集成到南方电网商城平台&#xff…
阅读更多...
【经验分享】一招解决VMware虚拟机存储空间越来越大的问题

【经验分享】一招解决VMware虚拟机存储空间越来越大的问题

【经验分享】一招解决VMware虚拟机硬盘空间越来越大的问题 前言一、解决办法二、补充说明 前言 在使用虚拟机过程中，会出现用着用着虚拟机硬盘占用空间越来越大的问题。即使删除了文件，依然会占用宿主机的硬盘空间。如果虚拟机一开始分配的硬盘空间过大…
阅读更多...
使用Element UI实现一个拖拽图片上传，并可以Ctrl + V获取图片实现文件上传

使用Element UI实现一个拖拽图片上传，并可以Ctrl + V获取图片实现文件上传

要在 Element UI 的拖拽上传组件中实现 Ctrl V 图片上传功能，可以通过监听键盘事件来捕获粘贴操作，并将粘贴的图片数据上传到服务器。 版本V1，实现获取粘贴板中的文件 注意，本案例需要再你已经安装了Element UI并在项目中正确配…
阅读更多...
Ascend Extension for PyTorch是个what？

Ascend Extension for PyTorch是个what？

1 Ascend Extension for PyTorch Ascend Extension for PyTorch 插件是基于昇腾的深度学习适配框架，使昇腾NPU可以支持PyTorch框架，为PyTorch框架的使用者提供昇腾AI处理器的超强算力。 项目源码地址请参见Ascend/Pytorch。 昇腾为基于昇腾处理器和软…
阅读更多...
strtok_s详解，实现使用strtok_s分割字符串，并返回包含分割符的子串

strtok_s详解，实现使用strtok_s分割字符串，并返回包含分割符的子串

1.strtok_s函数原型 strtok_s 是一个线程安全的字符串分割函数，它是 strtok 的一个变体，用于将字符串分割成一系列的标记（tokens）。与 strtok 不同，strtok_s 需要一个额外的参数来保存上下文信息，这样它就…
阅读更多...
Docker--Docker是什么和对Docker的了解

Docker--Docker是什么和对Docker的了解

Docker 的本质 Docker的本质是LXC（Linux容器）之类的增强版，它本身不是容器，而是容器的易用工具。 Docker通过虚拟化技术，将代码、依赖项和运行环境打包成一个容器，并利用隔离机制来使得容器之间互相独立、…
阅读更多...
大数据新视界 -- 大数据大厂之 Impala 性能优化：优化数据加载的实战技巧（下）（16/30）

大数据新视界 -- 大数据大厂之 Impala 性能优化：优化数据加载的实战技巧（下）（16/30）

💖💖💖亲爱的朋友们，热烈欢迎你们来到 青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而 我的…
阅读更多...
【测试框架篇】单元测试框架pytest（3）：用例执行参数详解

【测试框架篇】单元测试框架pytest（3）：用例执行参数详解

一、前言 上一篇内容介绍了用例编写的规则以及执行用例，执行用例时我们发现有些print输出内容，结果没有给我们展示，这是因为什么原因呢？接下来我们会针对这些问题进行阐述。 二、参数大全 我们可以在cmd中通过输入 pytest -h 或…
阅读更多...
设计模式-七个基本原则之一-开闭原则 + SpringBoot案例

设计模式-七个基本原则之一-开闭原则 + SpringBoot案例

开闭原则:(SRP) 面向对象七个基本原则之一 对扩展开放：软件实体（类、模块、函数等）应该能够通过增加新功能来进行扩展。对修改关闭：一旦软件实体被开发完成，就不应该修改它的源代码。 要看实际场景，比如组内…
阅读更多...
Android Room框架使用指南

Android Room框架使用指南

Room框架使用指南 项目效果创建应用，配置Gradle1、在app Module的build.gradle配置kapt插件2、配置依赖：3、配置依赖包版本号创建实体类创建DAO1、DAO简介2、WordDao设计以及相关注解说明3、监听数据变化添加Room数据库1、Room数据库简介2、实现Room数据库实现存储库实现View…
阅读更多...
前端开发中常用的包管理器（npm、yarn、pnpm、bower、parcel）

前端开发中常用的包管理器（npm、yarn、pnpm、bower、parcel）

文章目录 1. npm (Node Package Manager)2. Yarn (Yarn Package Manager)3. pnpm4. Bower5. Parcel总结 前端开发中常用的包管理器主要有以下几个： 1. npm (Node Package Manager) 简介： npm 是 Node.js 的默认包管理器，也是最广泛使用的包…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023