文章目录
- (一)关于 Rope Crystal
- (二)安装 Rope Crystal
- (三)运行 Rope Crystal
- (3.1)选择目录
- (3.2)加载目录
- (3.3)选择并替换
- (3.4)播放和录制
- (四)参数详解
- (4.1) GFPGAN
- (4.2) Difference
- (4.3) Top Mask
- (4.4) Mask Blur
- (4.5) CLIP
- (4.6) Occluder
- (4.7) Mouth Parser
- (4.8) Threshhold
- (4.9) Blur
- (4.10) Threads
- (4.11) Video Quality
- (五)样例
(一)关于 Rope Crystal
之前提到过,非常有趣的开源项目。
官网仓库:🔗地址。
介绍自己是一个类roop的项目,并且专注于界面操作元素。
相对roop来说它最大的特点有但不限于:
- 新的改进的图形用户界面,对源/目标/输出进行管理,各种操作更加方便。
- 单个人物可同时选择多个源脸以创建综合的结果。⭐️⭐️⭐️⭐️⭐️
- 改进了目标/源人脸选择,提高了工作流程效率。
- 内存要求要低得多(如果不启用GFPGAN,CLIP等)。
- 遮挡处理,CLIP遮挡(输入文字描述),口型解析器(仅用于嘴部区域的遮挡工具)。⭐️⭐️⭐️
- 可以启用GFPGAN进行超分输出。⭐️⭐️⭐️⭐️⭐️
实际测试结果,也是比roop精度更好,操作更方便,选项更多,界面更友好。
当然不可能像DFL那么自然,不过挺好玩的。
(二)安装 Rope Crystal
各种项目都差不多,请参考官网的WIKI吧。
就是克隆仓库,建立Python虚拟环境,安装依赖,下载放置一堆模型,以及Nvidia那套,等等。
同时可以参考Roop的安装步骤,非常类似的。
注意它只支持N卡。
(三)运行 Rope Crystal
项目给了个批处理,执行它。实际执行的是:
call venv\Scripts\activate.bat
python Rope.py
pause
主界面如下(相对原始roop来说,看上去有点复杂)。
从上到下依次是:
- 视频预览
- 参数调节
- 素材脸部等3行
- 线程视频参数
- 状态栏
(3.1)选择目录
让我们一步一步来吧。
最开始运行的时候,并没有这些内容,界面是空的。
首次运行需要先设置目录(把素材都放在设定的目录中)。
- 选择源脸图片目录【Source Faces】
- 选择目标视频目录【Target Videos】
- 选择输出视频目录【Saved Videos】
三个目录都选了后,点击【Load Folders】。
💡只有首次运行才选目录,下次用就直接点击【Load Folders】。
(3.2)加载目录
每次运行都需要点击【Load Folders】,然后:
源脸图片【Source Faces】行,会出现你放进去的多个素材识别后的脸部。
目标视频【Target Videos】行,会出现你放进去的多个目标视频。
在这些视频/图片上滚动鼠标滚轮可以左右移动,免得图片多了,界面不够大。
(3.3)选择并替换
按照下面的顺序:
- 选择目标视频。
- 寻找目标视频当前帧的脸部(可多个)。
- 选择一个目标脸部(黄框为选中)。
- 选择这个目标脸部对应的来源脸部(黄框为选中,可多个)。
- 点击【swap】替换。
如果有多个目标脸部需要替换,那么就依次黄框选中每个目标脸部再选对应的源脸部。
因为有黄框,很容易看清源->目标的对应关系。赞!!!
(3.4)播放和录制
和原始roop不同,点击【swap】替换脸部后,我们只能在预览窗口看到结果。
我们可以这样操作来保存视频:
- 按下【录制】
- 点击【播放】
如果不先按下1处的【录制】就播放,那么就只在界面预览整个视频,不会保存成文件。
(四)参数详解
可以不调节任何参数,直接合成。
但是有些参数确实能改善质量,有些参数适合不同类型的情况。
(4.1) GFPGAN
要肝才高清
提高面部分辨率(需要适配目标视频清晰度,并不是都开最高)。
单击 :以打开/关闭。
滚动鼠标滚轮:更改强度(0% = 关闭,100% = 最强)
(4.2) Difference
差异
允许目标显示目标面部和交换面部的相似位置
单击 :以打开/关闭。
滚动鼠标滚轮:以更改阈值(0% = 非常严格,100% = 无限制)
(4.3) Top Mask
顶部遮罩
降低和升高前额的遮罩边界
滚动鼠标滚轮:以降低和升高位置(0% = 边界靠近顶部,100% = 边界靠近面部中间)
(4.4) Mask Blur
遮罩模糊
设置遮罩(顶部以及侧面)的模糊量
滚动鼠标滚轮:以更改强度(0% = 无模糊,100% = 最高模糊)
(4.5) CLIP
Contrastive Language-Image Pretraining = 对比语言-图像预培训
基于文本输入创建遮罩
在字段中输入文本,以逗号分隔。例如,”cup,hands“,应该需要英文单词吧:)
单击 :以打开/关闭
滚动鼠标滚轮:调整单词强度(越高越强)
(4.6) Occluder
遮挡物
创建遮挡面部的任何对象的遮罩。
利于自动遮盖头发。不利于个人形象。
单击 :以打开/关闭
(4.7) Mouth Parser
嘴型解析
从原始面部和交换的面部在嘴周围创建遮罩。
利于说话等显得自然,不利于保持相似性。
单击 :以打开/关闭
(4.8) Threshhold
阈值
由交换器用于确定目标人脸是否与帧中的任何人脸匹配。
滚动鼠标滚轮:以更改强度(默认为 85%,越低越严格限制,越高限制越少)。
单击 :以打开(应用到所有脸部)/关闭
(4.9) Blur
模糊
设置所有遮罩的模糊量
滚动鼠标滚轮:以更改强度(0% = 无模糊,100% = 高模糊)
(4.10) Threads
线程
在你的显卡/显存能够承受的范围内,加大线程数可以加快处理速度。
滚动鼠标滚轮:以更改线程数
(4.11) Video Quality
视频质量
滚动鼠标滚轮:以更改输出视频质量,值越小视频质量越高。
(五)样例
最终视频效果挺不错的,因为处理很慢所以没有管小部分遮挡的问题。
Pure Rope Crystal test