以前的记录,整理发现了值得分享一下。
云解决方案
- 腾讯: https://ai.qq.com/product/facemerge.shtml
- Face++: https://www.faceplusplus.com.cn/face-merging/
- Baidu:https://ai.baidu.com/tech/face/merge
自研
-
纯Opencv实现,基于人脸检测及人脸关键点检测
- https://github.com/yejunzhou/yry 换脸,基于dlib人脸关键点检测进行特征融合
- http://matthewearl.github.io/2015/07/28/switching-eds-with-python/
- https://www.learnopencv.com/face-morph-using-opencv-cpp-python/
- https://github.com/tonyiweb/face_merge_master 基于dlib人脸关键点检测进行特征融合,tornado web service
-
ML/DL实现
- Deepfake: Unsupervised Image to image translation networks
- 基于GAN和VAE实现,其中GAN将两个域中的图像映射到同一个潜在空间,VAE对图像进行迁移
- CNN/AE
- Fast Face-swap Using Convolutional Neural Network
-
软件
- Swapface:视频
- ZAO:单张照片怎么做
试用
- baidu api
- tencent api
资源
-
https://cloud.tencent.com/developer/article/1401153
-
https://www.cnblogs.com/wm123/p/5370064.html
-
@声音克隆 zao应该是没有用到网传的开源东西.前几天看到一篇知户上的文章,一个多年CV的人测试了zao,根据他的说法,zao不紧紧是检测脸部的关键点还识别出了局部5关特征,他用蓝和红的小方框分别遮挡了了左右眼睛,换脸后的效果大叠眼镜,相同的嘴巴也可以遮挡下,换回来的就露馅了.应该不是用的早先网传的那些东西实现的.根据他的说法 ZAO应该是提前制作了大量的五关模型,快速替换脸部信息.说明zao不只分析了整个脸部肯定也分析了五官特征。这样一个可能的答案就出现了,zao应该是预设了某种模版,可以和对象的五官匹配,生成的视频用的可能不是对象的样貌,而是来自于预设数据库中和对象最吻合的模版。(也许同时也叠加了对象本身五官)一张包含人脸的图像中有几种核心元素,即通用概念范畴上的姿态,角度,表情以及个性化生物属性即所谓的个体长相(五官)包含在编码器和解码器的中间层,这些属性数据解耦,dst保留姿态角度表情属性,叠加src的个人属性进行训练,输出后即是保留dst演技水平的又具备src五官特征的完整视频。
-
论文《Towards Open-Set Identity Preserving Face Synthesis》中网络I和E实际是要提取图像的两组正交的解耦的特征,感觉I和E是可以放到一个网络中完成的,而且这样同时提取两个输入A和B的两组特征,可以进行交叉验证,即A变为B,B变为A,整个网络的结构对称性就加强了