在2024年的GTC大会上，黄仁勋特邀Transformer机器语言模型的七位创造者，共同探讨Transformer模型的过去、现在与未来。他们一致认为，尽管Transformer已经成为现代自然语言处理领域的基石，但这个世界仍然需要超越Transformer的新颖架构，能够引领我们到达新的性能高度。
Transformer 8位创造者
-
Ashish Vaswani，EssentialAI 联合创始人兼 CEO
-
Noam Shazeer，Character.AI 首席执行官兼联合创始人
-
Jakob Uszkoreit，Inceptive 联合创始人兼首席执行官
-
Llion Jones，SakanaAI 联合创始人兼首席技术官
-
Aidan Gomez，Cohere 联合创始人兼首席执行官
-
Lukasz Kaiser，OpenAI 技术人员
-
Illia Polosukhin，NEAR Protocol 联合创始人
-
Niki Parmar，EssentialAI 联合创始人（因家庭原因未出席）
黄仁勋表示在过去20年，PC变革使计算成本降低了1万倍，但目前趋势已趋向平缓，我们开始追求加速计算，在计算机图形和游戏领域不断推动者技术创新，如果我们能够加速代表 99% 运行时间的 1% 代码，那么在某些应用领域，我们将获得巨大的好处，实现巨大的差异。GPU加速计算和人工智能的结合，让生成式AI展示出巨大能力，生成式 AI 不仅可以识别图像，还可以根据文本描述生成相应的图像，这也将带来新的工业革命，能够创造一些从未存在过的东西。
01 Transformer诞生与价值
Noam Shazeer：早在 2015 年，我们就看到了这个规模效应。让模型变得更大，它就变得更聪明。你只需要扩大规模，模型能够执行数百万种不同的任务。
Ashish Vaswani：Transformer出现时，我就意识到梯度下降训练的模型是一个很好的老师。而且可扩展的通用架构终将赢得长期胜利。今天是tokens，明天可能是我们在计算机上执行的动作，它会开始模仿我们的活动，自动化我们大量的工作。
02Transformer进步空间
Aidan Gomez：我认为在推理方面，人们已经做了大量工作来加速这些模型，提高效率。但我仍然觉得有些不安，现在还是离我们最初的形式太相近了。我觉得世界需要比transformer更强的东西。
Llion Jones：现在的计算量太大了。我想人们处于大量的计算量浪费。我认为，计算是接下来必须解决的问题之一。我们需要知道针对特定问题应该投入多少计算资源。
Ashish Vaswani：我们最初的目标是模拟 token 的演变，实现线性生成。现在这个过程也适用于图像，扩散模型会迭代地进行改进和完善。根本的问题是，哪些知识应该存在于模型内部，哪些应该存在于模型外部？例如，推理应该在外部使用符号系统进行，这是一个效率的论点。
Jensen 向 Ashish Vaswani 赠送了签名的 DGX-1 封面
03创业的理念
Ashish Vaswani：一个超级智能AI是无法诞生在学术实验室的。我们必须要走出去，接触社会，让世界与这些模型互动，从中获取反馈，并让它们变得更聪明。做到这一点的方式就是走出去，创建新的学习体验。
Jakob Uszkoreit：AI真的可以帮助我们在实际生活生产中做很多有效率的事情，Alphafold2（DeepMind旗下研发蛋白质设计的人工智能公司）研发结果公布，Alphafold2和Alphafold1最关键的区别使用了Transformer架构，提升了算法模型效率。
Llion Jones：我们想做的是以自然界为灵感的AI公司，也会做开源，将现在所有可用模型放在了Huggng Face上，然后使用了大量的计算量进行进化计算（evolutionary computation）来探索合并、堆叠图层的方法。
Aidan. Gomez：我创办的Cohere是面向企业的AI公司。我们创建了一个平台，让每个企业都可以采用和集成这项技术到他们的产品中，而不是直接面向消费者。我们想用这种方式让社会接触AI的手段更加简便、成本更低。
04未来的AI模型发展的方向
Lllia Polosukhin：下一代模型更看重与用户的交互，需要来自大规模用户互动的数据。
Llion Jones：下一个更重要的方向是训练AI的推理和自主决策能力，现在大部分的机器训练和人机交互还是人工手动输入指令的，我们现在需要做的是训练机器强大的推理能力。
Jakob Uszkoreit：另一个方向是模型应该生产出人类世界的商品，也就是人们想要消费的东西，而在这之前机器必须接受所有刺激人类消费欲望的训练和指令。在那时，所有音视频等三维世界观察世界的信息都由AI自动化完成。
Lukasz Kaiser：是的，就像是用人的思维方式进行思考。只需要小规模的数据就可以得到像样的AI系统。因为AI的推理能力越强，所需要的数据训练量就越少，因为那时的AI更加智能了，可以自己检索信息、生成信息、进行规划。扫码加入沟通群
