引子
Sora，2024年2月15日，OpenAI发布的人工智能文生视频大模型。支持60秒视频生成，震荡了国内国际学术圈、广告圈、AI教培圈。Sora最主要有三个优点：第一，“60s超长视频”，之前文本生成视频大模型一直无法真正突破AI视频的4秒连贯性瓶颈，而Sora直接做到了60秒连贯视频。第二，单视频既能有多角度镜头也能一镜到底，可以很好地展现场景中的光影关系、各个物体间的物理遮挡、碰撞关系，并且镜头丝滑可变。第三，Sora所合成的内容与物理世界规律保持一致，即不会出现违反世界客观规律的视觉信息。嗯，这段是我抄的，其实还是有些不符合物理世界规律的地方。说明OpenAI也亲自下场来卷文生图的这个领域了，当然我们现在没办法直接试用Sora看效果，那么今天的主角出场，Open-Sora，北京大学与兔展智能联合发起的Sora复现计划，旨在联合开源社区力量完成对Sora的复现。2024年3月1日正式公开，这也快一个月了，估摸着bug也解的差不多了。OK，那就让我们开始吧。
一、环境安装
1、代码仓库
https://github.com/hpcaitech/Open-Sora
cd /datas/work/zzq
mkdir OpenSora & cd OpenSora
git clone https://github.com/hpcaitech/Open-Sora
2、docker内安装依赖
docker pull pytorch/pytorch:2.2.2-cuda12.1-cudnn8-devel
docker run -it --gpus=all --rm -v /datas/work/zzq/:/workspace pytorch/pytorch:2.2.2-cuda12.1-cudnn8-devel bash
apt-get update && apt-get install libgl1
apt-get install libglib2.0-0
pip3 install torch torchvision -i Simple Index
pip3 install -U xformers --index-url https://download.pytorch.org/whl/cu121
pip install packaging ninja -i Simple Index
pip install flash-attn --no-build-isolation -i Simple Index
cd Open-Sora
pip install -v . -i Simple Index
pip install gradio -i Simple Index
git clone https://github.com/NVIDIA/apex
cd apex
pip install -v --disable-pip-version-check --no-cache-dir --no-build-isolation --config-settings "--build-option=--cpp_ext" --config-settings "--build-option=--cuda_ext" .
3、模型下载
https://github.com/hpcaitech/Open-Sora?tab=readme-ov-file#model-weights
stabilityai 模型
https://huggingface.co/stabilityai/sdxl-vae/tree/main
t5模型
https://huggingface.co/DeepFloyd/t5-v1_1-xxl/tree/main
根据16X512X512.py文件中的设置，放置预训练模型
二、测试
1、推理
显卡不支持，关掉flashattn
torchrun --standalone --nproc_per_node 1 scripts/inference.py configs/opensora/inference/16x256x256.py --ckpt-path /workspace/OpenSora/Open-Sora/OpenSora-v1-HQ-16x256x256.pth --prompt-path ./assets/texts/t2v_samples.txt
注：--ckpt-path一定要是绝对路径，否则会网络下载模型
视频生成路径
