CharacterGen引入了一个简化的生成流程和一个图像条件的多视图扩散模型。该模型有效地将输入姿态校准到规范形式,同时保留输入图像的关键属性,从而解决了多样化姿态带来的挑战。
CharacterGen的另一个核心组成部分是基于Transformer的、可泛化的稀疏视图重建模型,它有助于从多视图图像创建详细的3D模型。还采用了纹理反投影策略来生成高质量的纹理贴图。此外,建立了一个动漫角色数据集,以多种姿态和视角渲染,用于训练和评估我们的模型。
使用云平台:OpenBayes
注册 - OpenBayes
登录到 OpenBayes 平台后,打开「公共教程」,找到「CharacterGen 单图生成高质量 3D 角色」的教程。
进入到教程界面后,点击右上角「克隆」。
平台在克隆过程中以自动为我们配置好了模型文件,点击「下一步:选择算力」。
平台会自动选择合适的算力资源和镜像版本,这里使用的是英伟达 RTX 4090算力和 PyTorch 的镜像,点击「审核并执行」。可以使用文章开头的邀请链接,获得 RTX 4090 使用时长!
确认模型信息无误后,点击「继续执行」。
稍等片刻,待系统分配好资源,状态栏显示为「运行中」后,打开工作空间。
新建一个「终端」,在终端中输入指令「bash setup.sh」完成初始化。
接着输入「source~/.bashrc」来完成模型的配置。
当返回一个新的终端后,接着输入「bash run.sh」。
显示 8080 后,点击右侧 API 地址处的链接就可以进入 Demo 界面了。需要注意的是使用 API 需要先进行实名认证~
该模型为我们提供了两种模式,分别为 2D 生成和 3D 生成。2D 生成可以根据我们输入的图片来输出前后左右 4 个方向的姿态;3D 生成则可以直接生成一个 3 维模型。
需要注意的是,如果我们想要生成 3D 模型,需要先完成 2D 生成再进行 3D 生成。下面我们选择一个图片来进行尝试。
可以看到模型生成了 4 个方向的姿态,点击「Generate 3D Mesh」生成 3D 模型。
可以看到无论是 2D 生成还是 3D 生成,模型的效果都是不错的。