文章解决的是图片动画的问题。假设有源图片和驱动视频，并且其中的物体是同一类的，文章的方法让源图片中的物体按照驱动视频中物体的动作而动。
文章的方法只需要一个同类物体的视频集，不需要而外的标注。

方法

该方法基于self-supervised策略。简单而言就是基于训练视频中的一帧图像和和学习到的动作表示，重建出训练视频。其中，动作表示是动作特定的关键点（motion-specific keypoint）和局部仿射变换（local affine transformations）。

框架图如上图所示，由两个部分组成，一个是运动估计模块，一个是图像生成模块。
运动估计模块的目的是估计从驱动视频的一帧$\mathbf{D}\in {\mathbb{R}}^{3\times H\times W}$到源图片$\mathbf{S}\in {\mathbb{R}}^{3\times H\times W}$的稠密运动场（dense motion field）。运动场${\mathcal{T}}_{\mathbf{S}\leftarrow \mathbf{D}}:{\mathbb{R}}^2\to {\mathbb{R}}^2$将$\mathbf{D}$中每个像素位置映射到对应的$\mathbf{S}$。${\mathcal{T}}_{\mathbf{S}\leftarrow \mathbf{D}}$也被称为反向光流（backward optical flow）。使用反向光流而不是正向光流，因为可以使用双线性采样以可微分的方式有效地实现后向扭曲。

仿射变换

在齐次坐标上，仿射变换可以用下面的式子表示：
$$\left[\begin{array}{c}\vec{y}\\ 1\end{array}\right]=\left[\begin{array}{cc}B& \vec{b}\\ 0,\dots ,0& 1\end{array}\right]\left[\begin{array}{c}\vec{x}\\ 1\end{array}\right]$$在2维图像上，仿射变换由矩阵$\mathbf{A}\in {\mathbb{R}}^{2\times 3}$表示。

运动估计

粗运动估计

粗运动估计预测关键点处的运动模式。
动作估计模块估计反向光流${\mathcal{T}}_{\mathbf{S}\leftarrow \mathbf{D}}$。${\mathcal{T}}_{\mathbf{S}\leftarrow \mathbf{D}}$用在关键点附近的一阶泰勒展开表示。

假设存在一个抽象参考帧$\mathbf{R}$。这样，我们需要估计两个变换：从$\mathbf{R}$到$\mathbf{S}$（${\mathcal{T}}_{\mathbf{S}\leftarrow \mathbf{R}}$）和从$\mathbf{R}$到$\mathbf{D}$（${\mathcal{T}}_{\mathbf{D}\leftarrow \mathbf{R}}$）。抽象参考帧的好处是可以让我们独立的处理$\mathbf{D}$和$\mathbf{S}$。
为了描述方便，用$\mathbf{X}$表示$\mathbf{S}$或者$\mathbf{D}$，用$p_1,\cdots ,p_K$表示抽象参考帧$\mathbf{R}$上的关键点的坐标，用$z$表示在其他帧上的点的坐标。我们估计在关键点$p_1,\cdots ,p_K$周围的${\mathcal{T}}_{\mathbf{X}\leftarrow \mathbf{R}}$。具体而言，我们考虑${\mathcal{T}}_{\mathbf{X}\leftarrow \mathbf{R}}$在关键点$p_1,\cdots ,p_K$的一阶泰勒展开：
$${\mathcal{T}}_{\mathbf{X}\leftarrow \mathbf{R}}(p)={\mathcal{T}}_{\mathbf{X}\leftarrow \mathbf{R}}(p_k)+(\frac{d{\mathcal{T}}_{\mathbf{X}\leftarrow \mathbf{R}}(p)}{dp}{|}_{p=p_k})(p-p_k)+o(\Vert p-p_k\Vert )$$这是可以看做一个仿射变换${\mathbf{A}}_{\mathbf{X}\leftarrow \mathbf{R}}^k\in {\mathbb{R}}^{2\times 3}$，${\mathcal{T}}_{\mathbf{X}\leftarrow \mathbf{R}}(p_k)$是平移参数，$\frac{d{\mathcal{T}}_{\mathbf{X}\leftarrow \mathbf{R}}(p)}{dp}{|}_{p=p_k}$是线性映射的参数。

${\mathcal{T}}_{\mathbf{X}\leftarrow \mathbf{R}}$用其在K个关键点处的值和Jacobian表示。
T X ← R ( p ) ≈ { { T X ← R ( p 1 ) , d T X ← R ( p ) d p ∣ p = p 1 } , ⋯   , { T X ← R ( p K ) , d T X ← R ( p ) d p ∣ p = p K } } \mathcal T_{\mathbf X \leftarrow \mathbf R}(p) \approx \{\{ \mathcal T_{\mathbf X \leftarrow \mathbf R}(p_1),\frac{d \mathcal T_{\mathbf X \leftarrow \mathbf R}(p)}{dp}|_{p=p_1}\}, \cdots,\{ \mathcal T_{\mathbf X \leftarrow \mathbf R}(p_K),\frac{d \mathcal T_{\mathbf X \leftarrow \mathbf R}(p)}{dp}|_{p=p_K}\}\} TX←R​(p)≈{{TX←R​(p1​),dpdTX←R​(p)​∣p=p1​​},⋯,{TX←R​(pK​),dpdTX←R​(p)​∣p=pK​​}}
我们假设${\mathcal{T}}_{\mathbf{X}\leftarrow \mathbf{R}}$在每个关键点的局部是双射。则对于${\mathcal{T}}_{\mathbf{S}\leftarrow \mathbf{D}}$，我们有
$${\mathcal{T}}_{\mathbf{S}\leftarrow \mathbf{D}}={\mathcal{T}}_{\mathbf{S}\leftarrow \mathbf{R}}\circ {\mathcal{T}}_{\mathbf{D}\leftarrow \mathbf{R}}^{-1}$$用一阶泰勒展开近似有
$$\begin{gathered} {\mathcal{T}}_{\mathbf{S}\leftarrow \mathbf{D}}(z)\approx {\mathcal{T}}_{\mathbf{S}\leftarrow \mathbf{R}}(p_k)+J_k(z-{\mathcal{T}}_{\mathbf{D}\leftarrow \mathbf{R}}(p_k)) \\ {J}_k=(\frac{d{\mathcal{T}}_{\mathbf{S}\leftarrow \mathbf{R}}(p)}{dp}{|}_{p=p_k})(\frac{d{\mathcal{T}}_{\mathbf{D}\leftarrow \mathbf{R}}(p)}{dp}{|}_{p=p_k}{)}^{-1} \end{gathered}$$
${\mathcal{T}}_{\mathbf{S}\leftarrow \mathbf{R}}(p_k)$和${\mathcal{T}}_{\mathbf{D}\leftarrow \mathbf{R}}(p_k)$用U-Net结构的关键点预测网络（keypoint predictor network）预测。每个关键点一个heatmap，总共预测K个heatmap。decoder的最后一层用softmax预测关键点置信图（keypoint confidence map），也就是关键点在每个像素位置的置信度，满足${\sum }_{z\in \mathcal{Z}}{\mathbf{W}}^k(z)=1$，其中$\mathcal{Z}$表示所有的像素位置。
${\mathcal{T}}_{\mathbf{S}\leftarrow \mathbf{R}}(p_k)$和${\mathcal{T}}_{\mathbf{D}\leftarrow \mathbf{R}}(p_k)$相当于仿射变换中的平移参数，用关键点置信图加权计算：
$$b^k=\sum _{z\in \mathcal{Z}}{\mathbf{W}}^k(z)z$$
$\frac{d{\mathcal{T}}_{\mathbf{S}\leftarrow \mathbf{R}}(p)}{dp}{|}_{p=p_k}$和$\frac{d{\mathcal{T}}_{\mathbf{D}\leftarrow \mathbf{R}}(p)}{dp}{|}_{p=p_k}$相当于仿射变换中的线性变换部分，他们作为仿射变换中剩下的4个参数用关键点预测网络的额外的4个通道估计，每个关键点4个估计图。用$P_{ij}^k\in {\mathbb{R}}^{H\times W}$表示其中一个通道的估计值，其中$i,j$是仿射变换的坐标。线性变换的参数用关键点置信图加权融合：
$${\mathbf{B}}^k[i,j]=\sum _{z\in \mathcal{Z}}{\mathbf{W}}^k(z)P_{ij}^k(z)$$

密集运动估计

密集运动估计预测整个图像每个像素点的运动模式${\hat{\mathcal{T}}}_{\mathbf{S}\leftarrow \mathbf{D}}$。

我们使用卷积网络从$K$个关键点处的泰勒展开${\mathcal{T}}_{\mathbf{S}\leftarrow \mathbf{D}}(z)$和源图像帧$\mathbf{S}$中估计${\hat{\mathcal{T}}}_{\mathbf{S}\leftarrow \mathbf{D}}$。
用关键点处的变换扭曲源图像帧$\mathbf{S}$，可以得到$K$个变换后的图像${\mathbf{S}}^1,\cdots ,{\mathbf{S}}^K$。另外，考虑额外的图像${\mathbf{S}}^0=\mathbf{S}$作为背景。
对每一个关键点计算heatmap ${\mathbf{H}}_k(z)$表示每个变换在哪发生。
$${\mathbf{H}}_k(z)=exp(\frac{({\mathcal{T}}_{\mathbf{D}\leftarrow \mathbf{R}}(p_k)-z{)}^2}{\sigma })-exp(\frac{({\mathcal{T}}_{\mathbf{S}\leftarrow \mathbf{R}}(p_k)-z{)}^2}{\sigma })$$
将${\mathbf{H}}_k$和${\mathbf{S}}^0,\cdots ,{\mathbf{S}}^K$拼接起来用U-Net处理，我们估计$K+1$个掩码 ${\mathbf{M}}_k,k=0,\cdots ,K$ 表示每个位置用哪个局部变换，满足${\sum }_{k=0}^K{\mathbf{M}}^k(z)=1$。最后的密集运动场表示为：
$${\hat{\mathcal{T}}}_{\mathbf{S}\leftarrow \mathbf{D}}(z)={\mathbf{M}}_{0}z+\sum _{k=1}^K{\mathbf{M}}_k({\mathcal{T}}_{\mathbf{S}\leftarrow \mathbf{R}}(p_k)+J_k(z-{\mathcal{T}}_{\mathbf{D}\leftarrow \mathbf{R}}(p_k)))$$
对于每一个像素点的位置如下计算：
$$\mathbf{O}(z)={\mathbf{M}}^0(z)z+\sum _{k=1}^K{\mathbf{M}}^k(z){\mathbf{A}}_{\mathbf{S}\leftarrow \mathbf{D}}^k\left[\begin{array}{c}z\\ 1\end{array}\right]$$