文章目录
- 一、关于 Cosmos
- 主要特点
- 模型家族
- 二、使用示例
- 1、推理
- 2、后训练
- 许可证和联系方式
一、关于 Cosmos
NVIDIA Cosmos是开发者第一的世界基础模型平台，旨在帮助物理AI开发者更好、更快地构建他们的物理AI系统。宇宙包含
- 预训练模型，可通过拥抱脸下的 NVIDIA开放模型许可证 获得，允许免费将模型用于商业用途
- 通过Apache 2许可证提供的 NVIDIA Nemo 框架 下的训练脚本，用于对各种下游物理AI应用程序的模型进行后期训练
该平台的详细信息在Cosmos论文中进行了描述。build.nvidia.com提供预览访问。
- github : https://github.com/NVIDIA/Cosmos
- 网站|HuggingFace|无GPU预览|Paper|Paper 网站
主要特点
- 预训练的基于扩散的世界基础模型，用于Text2World和Video2World生成，用户可以根据文本提示和视频提示生成视觉模拟。
- 预训练Autoregressive-based世界基础模型，用于Video2World生成，用户可以根据视频提示和可选文本提示生成视觉模拟。
- 视频标记器，用于高效地将视频标记为连续标记（潜在向量）和离散标记（整数）。
- 用于构建您自己的视频数据集的视频管理管道。[即将推出]
- 后训练脚本通过NeMo框架对预训练的世界基础模型进行后训练，用于各种物理AI设置。
- 通过NeMo框架预训练脚本，用于构建您自己的世界基础模型。[Diffusion] [Autoregressive] [Tokenizer]。
模型家族
| Model name | Description | Try it out |
|---|---|---|
| Cosmos-1.0-Diffusion-7B-Text2World | Text to visual world generation | Inference |
| Cosmos-1.0-Diffusion-14B-Text2World | Text to visual world generation | Inference |
| Cosmos-1.0-Diffusion-7B-Video2World | Video + Text based future visual world generation | Inference |
| Cosmos-1.0-Diffusion-14B-Video2World | Video + Text based future visual world generation | Inference |
| Cosmos-1.0-Autoregressive-4B | Future visual world generation | Inference |
| Cosmos-1.0-Autoregressive-12B | Future visual world generation | Inference |
| Cosmos-1.0-Autoregressive-5B-Video2World | Video + Text based future visual world generation | Inference |
| Cosmos-1.0-Autoregressive-13B-Video2World | Video + Text based future visual world generation | Inference |
| Cosmos-1.0-Guardrail | Guardrail contains pre-Guard and post-Guard for safe use | Embedded in model inference scripts |
二、使用示例
1、推理
遵循 Cosmos Installation Guide 设置docker。关于预训练模型的推理，请参考 Cosmos Diffusion Inference以及 Cosmos Autoregressive Inference.
下面的代码片段提供了推理用法的要点。
PROMPT="A sleek, humanoid robot stands in a vast warehouse filled with neatly stacked cardboard boxes on industrial shelves. \
The robot's metallic body gleams under the bright, even lighting, highlighting its futuristic design and intricate joints. \
A glowing blue light emanates from its chest, adding a touch of advanced technology. The background is dominated by rows of boxes, \
suggesting a highly organized storage system. The floor is lined with wooden pallets, enhancing the industrial setting. \
The camera remains static, capturing the robot's poised stance amidst the orderly environment, with a shallow depth of \
field that keeps the focus on the robot while subtly blurring the background for a cinematic effect."
# Example using 7B model
PYTHONPATH=$(pwd) python cosmos1/models/diffusion/inference/text2world.py \
--checkpoint_dir checkpoints \
--diffusion_transformer_dir Cosmos-1.0-Diffusion-7B-Text2World \
--prompt "$PROMPT" \
--offload_prompt_upsampler \
--video_save_name Cosmos-1.0-Diffusion-7B-Text2World
text2world_example.mp4
Nvidia 还提供多GPU的推理支持扩散Text2World WFM模型通过NeMo框架。
2、后训练
NeMo框架为GPU加速后训练提供了扩散和自回归模型的一般后训练，其他类型的后训练即将推出。
许可证和联系方式
本项目将下载并安装额外的第三方开源软件项目。在使用前查看这些开源项目的许可条款。
NVIDIA Cosmos源代码根据Apache 2许可证发布。
NVIDIA Cosmos 模型根据NVIDIA开放模型许可证发布。如需自定义许可证，请联系cosmos-license@nvidia.com。
2025-01-29(三)
