Adversarial Schrödinger Bridge Matching

公众号：EDPJ（进 Q 交流群：922230617 或加 VX：CV_EDPJ 进 V 交流群） 

目录

0. 摘要

1. 简介

4. 实验

---

0. 摘要

薛定谔桥（Schrödinger Bridge，SB）问题提供了一个结合最优输运（optimal transport）和扩散模型的强大框架。一个解决 SB 问题的有前景的新方法是迭代马尔可夫拟合（Iterative Markovian Fitting，IMF），它在连续时间随机过程的马尔可夫和倒向投影（reciprocal projection）之间交替。然而，由于使用了许多步的随机微分方程数值求解器，IMF 程序构建的模型推理时间较长。为了解决这个限制，我们提出了一种新的离散时间 IMF（D-IMF），其中随机过程的学习被替换为仅在离散时间内学习几个转移概率。其主要优点是它在实践中可以自然地通过去噪扩散 GAN（DD-GAN）实现，这是一种已经很成熟的对抗生成建模技术。我们展示了我们的 D-IMF 程序可以在仅用几步生成代替数百步生成的情况下，提供与 IMF 相同质量的无监督域迁移。

（2022|ICLR，扩散 GAN，少量步扩散，对抗散度，非饱和 GAN）用去噪扩散 GAN 解决生成学习难题_高样本质量、模式覆盖和快速采样-CSDN博客 

1. 简介

贡献。本论文通过引入一种新方法来学习薛定谔桥（Schrödinger Bridge），解决了现有迭代马尔可夫拟合（IMF）框架推理时间较长的限制。

• 理论 I。我们引入了离散迭代马尔可夫拟合（D-IMF）（sec. 3.2, 3.3），创新性地应用离散马尔可夫投影来解决薛定谔桥问题，而不依赖随机微分方程。这一方法显著简化了推理过程，使其在理论上仅需几步评估即可完成。

• 理论 II。我们推导了处理高维高斯分布时 D-IMF 程序的闭式（closed-form）更新公式。这一进展允许对我们方法的收敛率进行详细的实证分析，并增强其理论基础（sec. 3.4, 4.1）。

• 实践。对于通过样本获得的一般数据分布，我们提出了一种算法（Adversarial Schrödinger Bridge Matching，ASBM）来实际实现离散马尔可夫投影和我们的 D-IMF（sec. 4.2）。我们的算法基于对抗学习和去噪扩散 GAN [49]。我们学习的 SB 模型在推理中仅使用 4 步评估（sec. 3.5），而不是基础 IMF [43] 的数百步。

4. 实验

我们通过使用 sec. 3.4 中的 D-IMF 解析公式进行实验。我们遵循 [12] 中的设置，并考虑维度 D = 16 和 ϵ∈{1,3,10} 的中心高斯分布 p0=N(0,Σ0) 和 p1=N(0,Σ1) 的薛定谔桥问题。 

我们发现，在所有情况下，我们的 D-IMF 过程显示出指数级的收敛速度。如图 2a 所示，收敛速度对时间步 N 的依赖性迅速饱和。因此，即使只有几个时间点，例如 N = 5，也能提供快速的收敛速度。从图 2b 可以明显看出，收敛速度受参数 ϵ 的选择影响很大。例如，从 ϵ=1 到 ϵ=10 的过渡需要多十倍的 D-IMF 迭代次数。因此，这个超参数在实际问题中可能非常重要。 

Diffusion schrödinger bridge matching（DSBM）