完全外行,不建议参考
一、3D重建
-
PointAvatar: Deformable Point-based Head Avatars from Videos
对原始颜色进行解纠缠,得到固有反射和相关阴影。
基于可变形点云对表情、颜色、位置等信息进行建模。
总结:可以看作是对局部像素的分解与扩展。
-
NeuFace: Realistic 3D Neural Face Rendering from Multi-view Images
通过神经渲染技术获得底层的几何表示。
基于几何、物理、光照进行建模。
总结:对全局结构的关注和扩展。
-
A Hierarchical Representation Network for Accurate and Detailed Face Reconstruction from In-The-Wild Images
二、talking-head
- MetaPortrait: Identity-Preserving Talking Head Generation with Fast Personalized Adaptation
在生成过程中对原始身份信息进行保留,以保留更多人像相关信息。
提取密集landmark,预测并增强wrap flow。
总结:对位移做预测,进行像素点扭曲。
- High-fidelity Generalized Emotional Talking Face Generation with Multi-modal Emotion Space Learning
利用多模态(图片、音频、文本)情绪驱动。
和(1)对比,没有头部驱动,更类似于wav2lip。
总结:给定原图片(身份)和参考视频(动作、情绪),利用辅助信息做生成。
- Progressive Disentangled Representation Learning for Fine-Grained Controllable Talking Head Synthesis
利用数据增强进行解纠缠
总结:同步解纠缠多种类型特征辅助生成
- LipFormer: High-fidelity and Generalizable Talking Face Generation with A Pre-learned Facial Codebook
预训练习得高质量人脸码本,利用合适的唇部编码和扭曲模块辅助生成。
总结:利用先验知识辅助生成。
三、身份交换
- 3D-Aware Face Swapping