ComfyUI+MuseV+MuseTalk图片数字人

news2024/11/23 23:03:07

电脑配置

GPU12G+,如果自己电脑配置不够,选择云gpu,我就是用的这个,自己电脑太老配置跟不上

环境:

Python 3.11.8

torch 2.2.1

cuda_12.1

资源提供:

链接:https://pan.baidu.com/s/1_idZbFSl4W12ZooBaRJOpA 
提取码:7x21 

 muse/data:数据支持防止到models中对应位置

muse/ComfyUI.ZIP:完整包(包括 ComfyUI+ComfyUI-Manager+MuseV资源+MuseTalk资源),差不多就是直接用这个资源就行了,包含了所有

一、ComfyUI


https://github.com/comfyanonymous/ComfyUI.git
 

 安装:

pip install -r requirements.txt

 启动服务:

python main.py --listen=0.0.0.0 --port=8080

二、ComfyUI-Manager

https://github.com/ltdrdata/ComfyUI-Manager.git

 将ComfyUI-Manager移动到ComfyUI/custom_nodes下

三、ComfyUI-MuseV

GitHub - chaojie/ComfyUI-MuseV

通过ComfyUI-Manager安装musev 

 下载MuseV需要的models

huggingface-cli download --resume-download TMElyralab/MuseV --local-dir ComfyUI/models/diffusers/TMElyralab/MuseV

四、ComfyUI-MuseTalk

GitHub - chaojie/ComfyUI-MuseTalk

安装ComfyUI-MuseTalk

 下载Talk相关model:

  1. Download our trained weights.

  2. Download the weights of other components:

    • sd-vae-ft-mse
    • whisper
    • dwpose
    • face-parse-bisent
    • resnet18

文件列表:

ComfyUI/models/diffusers/TMElyralab/MuseTalk/
├── musetalk
│   └── musetalk.json
│   └── pytorch_model.bin
├── dwpose
│   └── dw-ll_ucoco_384.pth
├── face-parse-bisent
│   ├── 79999_iter.pth
│   └── resnet18-5c106cde.pth
├── sd-vae-ft-mse
│   ├── config.json
│   └── diffusion_pytorch_model.bin
└── whisper
    └── tiny.pt

 安装完后会提示web页面会提示重启,不过会有很多其它的问题,后面有各种问题的解决方案。

通过右边菜单load加载从https://github.com/chaojie/ComfyUI-MuseTalk/blob/main/wf.json 下载的文件。

并且上传视频和音频,视频可以从浏览器上传,但是音频需要手动上传到服务器的后台,填写绝对路径。

最后点击Queue Prompt

等待几分钟最终得到如图结果:

这里有点意思是需要把frame_rate设置成8,并且需要设置音频文件的end时间 

错误解决:

musev出现问题

1 Cannot import /hy-tmp/ComfyUI/custom_nodes/ComfyUI-MuseV module for custom nodes: No module named 'omegaconf'

pip install omegaconf

2 Cannot import /hy-tmp/ComfyUI/custom_nodes/ComfyUI-MuseV module for custom nodes: No module named 'pandas'

pip install pandas

3 Cannot import /hy-tmp/ComfyUI/custom_nodes/ComfyUI-MuseV module for custom nodes: No module named 'sklearn'

pip install scikit-learn

4 Cannot import /hy-tmp/ComfyUI/custom_nodes/ComfyUI-MuseV module for custom nodes: No module named 'librosa'

pip install librosa

5 Cannot import /hy-tmp/ComfyUI/custom_nodes/ComfyUI-MuseV module for custom nodes: No module named 'ffmpeg'

pip install ffmpeg

6 Cannot import /hy-tmp/ComfyUI/custom_nodes/ComfyUI-MuseV module for custom nodes: No module named 'easydict'

pip install easydict

7 ModuleNotFoundError: No module named 'ip_adapter'

pip install ip_adapter

8 ImportError: cannot import name 'StableDiffusionPipeline' from 'diffusers' (unknown location)

pip install diffusers

9 ModuleNotFoundError: No module named 'xformers'

pip install xformers

10 RuntimeError: operator torchvision::nms does not exist

pip install torch torchvision --upgrade

11 ImportError: cannot import name 'ProjPlusModel' from 'ip_adapter.ip_adapter_faceid'

pip uninstall ip_adapter
pip install git+https://github.com/tencent-ailab/IP-Adapter.git

12 ModuleNotFoundError: No module named 'skimage'

pip install scikit-image

13 ModuleNotFoundError: No module named 'timm'

pip install timm

musetalk问题

1 ModuleNotFoundError: No module named 'mmcv'

pip install 'mmcv>=2.0.0rc4,<2.2.0'

2 ModuleNotFoundError: No module named 'mmdet'

pip install mmdet

3 RuntimeWarning: Couldn't find ffmpeg or avconv - defaulting to ffmpeg, but may not work
  warn("Couldn't find ffmpeg or avconv - defaulting to ffmpeg, but may not work", RuntimeWarning)

sudo apt install ffmpeg

4 AttributeError: module 'ffmpeg' has no attribute 'Error'

卸载低版本的ffmpeg

pip uninstall ffmpeg
pip uninstall ffmpeg_python

重新安装

pip install ffmpeg-python

参考文档:

版本匹配:Installation — mmcv 2.2.0 文档

训练数据:https://civitai.com/user/impactframes

听说最近又出了一款比较好的图片数字人的开源工具,不过还没有测试

GitHub - fudan-generative-vision/hallo: Hallo: Hierarchical Audio-Driven Visual Synthesis for Portrait Image Animation

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1904653.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

跟《经济学人》学英文:2024年07月06日这期:Japan’s mind-bending bento-box economics

Japan’s mind-bending bento-box economics 日本令人费解的便当盒经济学 mind-bending&#xff1a;使人知觉不正常的&#xff1b;使人精神恍惚的&#xff1b;使人精神错乱的 bento&#xff1a;美 [bentoʊ] 盒饭&#xff1b;盒饭或饭盒 The paradox of red-hot labour mar…

浅尝Apache Mesos

文章目录 1. Mesos是什么2. 共享集群3. Apache Mesos3.1 Mesos主节点3.2 Mesos代理3.3 Mesos框架 4. 资源管理4.1 资源提供4.2 资源角色4.3 资源预留4.4 资源权重与配额 5. 实现框架5.1 框架主类5.3 实现执行器 6. 小结参考 1. Mesos是什么 Mesos是什么&#xff0c;Mesos是一个…

昇思25天学习打卡营第14天|Pix2Pix实现图像转换

Pix2Pix是基于条件生成对抗网络&#xff08;cGAN, Condition Generative Adversarial Networks &#xff09;实现的一种深度学习图像转换模型&#xff0c;该模型是由Phillip Isola等作者在2017年CVPR上提出的&#xff0c;可以实现语义/标签到真实图片、灰度图到彩色图、航空图到…

【js基础巩固】深入理解作用域与作用域链

作用域链 先看一段代码&#xff0c;下面代码输出的结果是什么&#xff1f; function bar() {console.log(myName) } function foo() {var myName "极客邦"bar() } var myName "极客时间" foo()当执行到 console.log(myName) 这句代码的时候&#xff0c…

acwing 291.蒙德里安的梦想

解法&#xff1a; 核心&#xff1a;先放横着的&#xff0c;再放竖着的。 总方案数&#xff0c;等于只放横着的小方块的合法方案数。 如何判断当前方案是否合法&#xff1f;所有剩余位置&#xff0c;能否填充满竖着的小方块。 即按列来看&#xff0c;每一列内部所有连续的空着的…

第六十八回 东平府误陷九纹龙 宋公明义释双枪将-文心大模型ernie-speed免费使用方法

宋江和卢俊义抓阄儿&#xff0c;宋江打东平府&#xff0c;卢俊义打东昌府&#xff0c;谁先打下谁做梁山泊主。宋江带领林冲、花荣、刘唐等二十八人&#xff0c;卢俊义带领吴用、公孙胜、关胜等二十八人。 宋江等人到了东平府外安山镇&#xff0c;郁保四和王定六自告奋勇去下战…

搭建NEMU与QEMU的DiffTest环境(动态库方式)

搭建NEMU与QEMU的DiffTest环境&#xff08;动态库方式&#xff09; 1 DiffTest原理简述2 编译NEMU3 编译qemu-dl-difftest3.1 修改NEMU/scripts/isa.mk3.2 修改NEMU/tools/qemu-dl-diff/src/diff-test.c3.3 修改NEMU/scripts/build.mk3.4 让qemu-dl-difftest带调试信息3.5 编译…

昇思12天

FCN图像语义分割 1. 主题和背景 FCN是由UC Berkeley的Jonathan Long等人于2015年提出的&#xff0c;用于实现图像的像素级预测。 2. 语义分割的定义和重要性 语义分割是图像处理和机器视觉中的关键技术&#xff0c;旨在对图像中的每个像素进行分类。它在很多领域有重要应用…

【问题解决】 pyocd 报错 No USB backend found 的解决方法

pyocd 报错 No USB backend found 的解决方法 本文记录了我在Windows 10系统上遇到的pyocd命令执行报错——No USB backend found 的分析过程和解决方法。遇到类似问题的朋友可以直接参考最后的解决方法&#xff0c;向了解问题发送原因的可以查看原因分析部分。 文章目录 pyoc…

ChatGPT-4o大语言模型优化、本地私有化部署、从0-1搭建、智能体构建等高级进阶

目录 第一章 ChatGPT-4o使用进阶 第二章 大语言模型原理详解 第三章 大语言模型优化 第四章 开源大语言模型及本地部署 第五章 从0到1搭建第一个大语言模型 第六章 智能体&#xff08;Agent&#xff09;构建 第七章 大语言模型发展趋势 第八章 总结与答疑讨论 更多应用…

端口被占用,使用小黑框查杀

netstat -ano &#xff08;查看目前所有被占的端口&#xff09; netstat -ano|findstr " 8080" 查一下目前被占用的端口号 &#xff0c;目前我要查的端口号是&#xff1a;8080&#xff0c;注意 后面打8080的时候&#xff0c;要有空格&#xff0c;要不然报错 **task…

无人机便携式侦测干扰设备(定全向)技术详解

无人机便携式侦测干扰设备&#xff08;定全向&#xff09;是一种专门针对无人机进行侦测和干扰的设备。它具备定向和全向两种工作模式&#xff0c;能够覆盖较宽的频率范围&#xff0c;有效侦测并干扰无人机与遥控器之间的通信信号&#xff0c;从而达到控制或驱离无人机的目的。…

CRT工具

CRT工具 传输位置设置 打开SFTP alt p 命令 ls&#xff1a;远程机器当前目录内容 lls&#xff1a;传输位置文件的目录内容 pwd&#xff1a;远程机器的当前位置 lpwd&#xff1a;传输位置的位置 get 文件&#xff1a;ftp传输文件 get -r 文件夹&#xff1a;ftp传输文件…

AI中药处方模型构建与案例

在中医领域,人工智能(AI)可以生成各种指令来辅助诊断、治疗和研究。 1. 诊断辅助指令: 根据患者的症状和体征,自动分析并生成可能的中医证候诊断建议。利用中医望闻问切四诊信息,智能识别关键症状,提供对应的中医辨证思路。2. 治疗建议指令: 根据辨证结果,自动推荐相应…

2024吉他手的超级助手Guitar Pro8中文版本发布啦!

亲爱的音乐爱好者们&#xff0c;今天我要来和你们分享一款让我彻底沉迷的软件—Guitar Pro。如果你是一名热爱吉他的朋友&#xff0c;那么接下来的内容你可要瞪大眼睛仔细看哦&#xff01;&#x1f440;&#x1f3b6; Guitar Pro免费绿色永久安装包下载&#xff1a;&#xff0…

90元搭建渗透/攻防利器盒子!【硬件篇】

前言 以下内容请自行思考后进行实践。 使用场景 在某些情况下开软件进行IP代理很麻烦&#xff0c;并不能实现真正全局&#xff0c;而且还老容易忘记&#xff0c;那么为了在实景工作中&#xff0c;防止蓝队猴子封IP&#xff0c;此文正现。 正文 先说一下实验效果&#xff1…

鸿蒙开发管理:【@ohos.account.distributedAccount (分布式帐号管理)】

分布式帐号管理 本模块提供管理分布式帐号的一些基础功能&#xff0c;主要包括查询和更新帐号登录状态。 说明&#xff1a; 本模块首批接口从API version 7开始支持。后续版本的新增接口&#xff0c;采用上角标单独标记接口的起始版本。开发前请熟悉鸿蒙开发指导文档&#xff…

axios取消请求功能CancelToken原理解析

今天在论坛看到一个取消axios请求的功能&#xff0c;具体场景是这样的&#xff1a;前端接口以较短时间间隔请求后端接口刷新状态&#xff0c;接口返回“成功”状态之后还有处于pending状态的请求在排队&#xff0c;如果请求不取消就会导致前端最后获取到的状态出错&#xff0c;…

C语言实现计算器混合运算(含括号,加减乘除)

功能描述&#xff1a; 实现计算器混合运算基本功能&#xff0c;包括&#xff1a;( )、、-、*、/。 功能很简单&#xff0c;但实现起来还是有一定逻辑难度&#xff0c;因为&#xff0c;混合运算需要考虑优先级。 优先级最高的为&#xff1a;&#xff08;&#xff09; 其次&a…

LabVIEW干涉仪测向系统

开发了一套基于LabVIEW的软件系统&#xff0c;结合硬件设备&#xff0c;构建一个干涉仪测向实验教学平台。该平台应用于信号处理课程&#xff0c;帮助学生将理论知识与实际应用相结合&#xff0c;深化对信号处理核心概念的理解和应用。 项目背景&#xff1a; 当前信号处理教学…