Sat2Vid: Street-view Panoramic Video Synthesis from a Single Satellite Image

提出了一种新颖的方法，用于从单个卫星图像和摄像机轨迹合成时间和几何一致的街景全景视频。

即根据单个卫星图像和给定的观看位置尽可能真实地、尽可能一致地合成街景全景视频序列。

相关工作包括交叉视图合成（Cross-view synthesis）和视频合成以及神经渲染：

交叉视图合成的重点是从给定图像的一个完全不同的视角进行合成。目前该领域的大部分工作都是针对单幅图像的合成。一个非常典型的应用是从给定的卫星图像生成街景。

视频合成根据给定的输入有多种形式，大致可以分为以下三类。 (1) 无条件视频合成 , 通过将（空间）图像上的当前 GAN 框架进一步扩展到时间维度，从给定的输入随机变量生成视频剪辑。 （2）未来视频预测旨在根据目前的观察结果推断视频的未来帧。 (3) 视频到视频合成将视频从源域映射到目标域（例如，从一系列语义分割生成 RGB 图像）掩模或深度图像。

方法：

网络由多个子网络组成，负责在不同场景表示之间进行转换的三个处理阶段。

卫星阶段：输入的卫星图像由 2D U-Net 处理，生成具有相应语义的 2.5D 高度图。

转换阶段：为了获得 3D 表示，语义高度图被转换为语义体素占用网格。然后根据输入轨迹的采样点提取可见点。 

3D 到视频生成阶段：在 3D 域中运行的生成器从语义推断每个点的特征。级联的 SparseConvNet 和 RandLANet都具有沙漏结构，依次作用于粗略和精细生成。使用多类纹理编码器来计算输入卫星图像的多个潜在向量。

最后，具有级联特征的点云被投影到每一帧，最后使用轻量级网络进行上采样以使分辨率加倍。注：（1）3D-to-video生成阶段是在BicycleGAN[47]的框架下训练的； (2) 天空点包含在管道中，但此处未可视化； (3)特征用伪彩色表示。

Visible Points Extraction阶段：

与输入轨迹中的采样位置一起，我们创建仅包含可见点的点云并构建 3D-2D 对应关系。这对应于查找视频中每个像素的 3D 空间中的点的索引。每个像素都有唯一对应的3D点，并且3D空间中的每个点可以对应多个像素。相同的映射还将用于将彩色点云投影到视频帧上。

3D Generator：

在 3D 到视频生成阶段，我们首先从重投影语义推断 3D 空间中点云的特征。点的语义是根据每个点在水平面上的坐标从卫星语义中收集的。远处的点简单地标记为天空。所提出的 3D 生成器由 SparseConvNet和 RandLA-Net 组成，并具有级联连接。两个网络都纯粹在 3D 域中运行，并具有依次作用于粗略和精细生成的沙漏结构。最后，这些点被投影到帧上，这些帧通过轻量级上采样模块进一步转换为输出视频。

粗生成阶段基于体素。在此阶段开始时，首先根据目标体素大小对点云进行体素化。共享同一体素的多个点将被平均作为该体素的特征。在我们的实验中，体素大小设置为 3.125cm（每米 32 个体素）。 最后，网络的输出被去体素化为点云。同样，共享相同体素的点将被分配给相同的特征。

精细生成阶段基于点云。该阶段的输入是中间粗特征和来自跳跃连接的原始点语义的串联。

然后，视频帧中的每个像素根据变换阶段计算的点像素映射 M 从点云中的对应点收集粗略和精细特征。最后，上采样模块将分辨率加倍，将具有丰富特征的帧转换为输出RGB视频。

Multi-class Encoder：

我们使用多类纹理编码器来计算每个类的多个潜在向量，以丰富生成场景的多样性。我们的流程中使用的 BicycleGAN 中的编码器将地面真实街景 RGB 以及训练期间中心帧的语义作为输入。这里语义的作用是用于注意力池化的一个指标。获得整幅图像的特征图F后，编码器并不直接进行平均池化，而是对具有相同语义类别的像素的特征进行池化，最终获得多个潜在向量。

计算资源：a single Nvidia Tesla V100 GPU with 32GB memory.

实验结果：