OpenAI SORA团队负责人 通往智能的方式 报告笔记

这个报告其实是2024年智源大会的主旨报告，OpenAI SORA和DALL-E团队负责人Aditya Ramesh给出的一段有关多模态大模型的报告。我去听了现场，感觉倍受启发，但是感觉很多并不能当场理解，于是下来又看了几遍，实在是非常的inspiring，于是打算写下一段笔记，来记录这个报告。但是与其说主题是多模态大模型，我更认为这个负责人在讨论的是通向智能的方式，所以自作主张换了个名字。

一. DaLL-E 1是通向智能的方式吗

DALL-E是一个基于自回归的图像生成模型，给定一段文本，生成一个图像。可以看到，生成的图像还是比较符合文本的描述的。

这里强调了它看到了Scaling with DALL-E，也就是DALL-E的缩放定律，就像大语言模型的缩放定律一样。即，

1. 如果在一个小规模的模型上进行训练的话，可以看到光和反射、颜色和现状被很好的绘制出来了。
2. 在一个相对大一点的规模上呢，就可以学习到艺术风格，更换一些属性等。
3. 再大一点呢，就可以看到能够渲染出文字了！组合的一个泛化，甚至是image的上下文学习了！甚至可以实现image上的一些iq测试。

如下图

即便如此，Aditya在想一个关键的问题这是学习智能的好的方式吗，作者提到DALL-E 1的方法是学习一个模型，来压缩世界上所有的像素是一个非常困难的事情，需要建模很多信息（是VQGAN的那个部分吗）。Aditya还列出了一些其他的文章，这些文章都暗示了DALL-E不是实现智能的方式。比如说虽然iGPT能够在scale的时候取得比较好的结果，但是呢效率并不如CLIP。Aditya提到CLIP在从图像中提取智能的效率是CLIP的好几个数量级之倍。

所以作者给了一个很重要的结论DALL-E是一个有趣的项目，但是不是通向AGI的关键路径

二、图像表示学习的演化

Aditya先简单介绍了一下CLIP，这里就略过了。在介绍完CLIP后，作者提到了CLIP是一个巨大的范式转变，因为不需要手工标注的样本了。手工标准样本又花时间又痛苦，然而CLIP可以利用互联网上的自由文本，去学习一个在各个领域都很好的分类器。

接着，Aditya讨论了，图像表征学习的发展。最开始的时候，deep learning在image net上进行有监督的学习，预测图像的分类。接着呢，CLIP出现之后，可以通过互联网的文本-图像进行学习了，不需要提取手工特征了。最后还提到了一个文章，大致是通过训练一个图像编码器，用这个编码器来重建这个图像的caption，有点像之前的反过来。如下图。

所以，Aditya再次发问**基于文本的模拟是通向智能的方式吗？**作者又提到了iGPT。iGPT（似乎是一个生成式的图像模型，纯图像）通过大规模生成式学习能够学习到数据的结构，然后得到较好的表示（尽管不是很足够），那么文生图模型也能够学习到好的表示吗？Aditya得到的答案是：是。提到了your diffusion model is secretly a zero-shot classfier这个文章（如果没看过可以看我往期的博客）。这个文章基本的思想就是，即使你在建模给定文本的图像分布，这个模型也可以转换为分类模型。

所以作者给出了一个结论：我们的范式正在从给定图像来预测文本（比如说文本是分类的标签），转换为给定文本来预测图像

三、下一步与未来

接着作者提到了DALL-E3，这里有一个take away就是，在最具描述性（ultradescriptive）的文本上训练，会更具有效率。这告诉人们可以通过将语言当作脚手架，得到一个更好的无监督模型，脚手架这个比喻在智源大会里也经常被提到。

接着，作者举了一个比较有意思的例子来解释他的思想，如下图。中间这一列代表的是加了不同程度噪声的图像。加噪声的意义是为了代表剩下的部分（即没加噪声的部分）是希望去建模（or生成的），（这里应该没说错，就是没加噪声的部分是要生成的，然后噪声的部分可能就是只要生成的合理即可的这样）。

1. 如果说图像里没有噪声的话，必须要用每一个具体的像素点来进行描述，图像里就没有不确定性了。
2. 如果给模型添加一些噪声，那么就会有一些模型需要学习才能得到的，比如说狗的纹理之类的，就会存在一些不确定性，但是剩下的不确定性仅需要通过一个真正描述性的标题来得到。
3. 如果增加了很多的噪声，那么就会有很多的不确定性，为了解释仍然存在信号的部分，只需要一个简单的说明了。
4. 如果再加的话，模型就需要学习一切。此时并没有标题了，因为anything is possible。

接着，Aditya介绍了左边的这个环的意义。假设现在要学习一个文生图的模型，$p(image|caption)$，如果给它输入的是每个点的pixel value，那么它可能什么都学不到。如果计算量更多的话，那么就可以学到一个把比较有描述性的文本，转换成图像的模型，但是它可能学不到特别多，因为给它说得比较详细。如果计算量还能多，那么就能够从更多的描述性文本中进行学习。如果有特别大的规模，有可能就完全不需要conditional了。

接着Aditya进行了一段总结，然后补充了一下第二个图，如下图。说觉得可以从模拟$p(text|image)$，转移到$p(image|text)$。还提到说，有一些迹象证明，无条件建模任务的性能也会随着时间推移而提高。

对着这个图，Aditya又在这里进行了一番回顾，我们最开始其实不太用文本，只在预测一些信息的时候使用。接着就在训练模型的过程中越来越多的使用文本，比如CLIP和Image captioners。最后发现了其实可以通过使用非常描述性的标题来训练良好的生成式模型，最后，可能随着时间的推移，规模的扩大，语言可能真的只是脚手架，可以扔掉了，因为视觉世界可能是比文本更通用的界面

Aditya在这里提到说，之前的讨论代表了一个思维的转变。之前的思维是，固定数据集，找到更好的优化目标和模型结构来改善认知。 而最近而言呢，固定了优化目标，和模型结构，去找到更好的数据集。这个意思是，比如说如何使用更加描述性的文本，如何对文本排序等。

四、在将语言纳入视觉中，我们得到了什么

Aditya在这里又进行了一遍回顾，最开始我们想从图里生成文本，接着又想从文本里生成图。在随着计算的增加，语言的作用似乎在被纳入视觉。

在这里回顾了DALLE-2，因为DALLE-2可以做一些有趣的风格迁移，在拍了张图片之后，使用CLIP得到图像表征之后，就可以在视觉空间中进行风格化，而且保持本身的细节。

接着回顾了DALLE-1，DALLE-1学习到了图像的上下文学习，仅需给模型上半部分的图像，就可以生成对上半部分进行一些改变的下半部分， （如第一个图的im2im），尽管并没有被训练为如此。所以Aditya当时就认为这是一个通向各种图像控制的一个路径。

五、总结

作者最后总结压缩一切可能是正确的路径，而语言只是一个必要的脚手架。当然，最后可能也不够，需要一些额外的trick来让我们抵达。

语言虽然似乎可以帮我们抵达，但是最终也会归为视觉智能。

最后会给我们一个通用的界面，来模拟任何我们想要的东西。