The New Language Model Stack

红杉美国官网发表了最新一篇题为《Generative AI: A Creative New World》的文章译稿，，原文作者是红杉的两位合伙人：Sonya Huang和Pat Grady，有意思的是在文章作者一栏，赫然还写着GPT-3的大名，并且文章插图也是用Midjourney生成的，这篇文章本身就是AIGC的一个落地表现。以下是原文的翻译，希望可以给大家带来新的发现和思考。

导语

人类擅长分析事物，而机器在这方面甚至做得就更好了。机器可以分析一组数据，并在其中找到许多用例（use case）的模式，无论是欺诈还是垃圾邮件检测，预测你的发货时间或预测该给你看哪个TikTok视频，它们在这些任务中变得越来越聪明。这被称为“分析型AI（Analytical AI）”，或传统AI。
但是人类不仅擅长分析事物，我们也擅长创造。我们写诗，设计产品，制作游戏，编写代码。直到最近，机器还没有机会在创造性工作上与人类竞争——它们被降格为只做分析和机械性的认知工作。但最近，机器开始尝试创造有意义和美丽的东西，这个新类别被称为“生成式AI（Generative AI）”，这意味着机器正在生成新的东西，而不是分析已经存在的东西。
生成式AI正在变得不仅更快、更便宜，而且在某些情况下比人类创造的更好。从社交媒体到游戏，从广告到建筑，从编程到平面设计，从产品设计到法律，从市场营销到销售，每一个原来需要人类创作的行业都等待着被机器重新创造。某些功能可能完全被生成式AI取代，而其他功能则更有可能在人与机器之间紧密迭代的创作周期中蓬勃发展。但生成式AI应该在广泛的终端市场上解锁更好、更快、更便宜的创作。人们期待的梦想是：生成式AI将创造和知识工作的边际成本降至零，产生巨大的劳动生产率和经济价值，以及相应的市值。
生成式AI可以处理的领域包括了知识工作和创造性工作，而这涉及到数十亿的人工劳动力。生成式AI可以使这些人工的效率和创造力至少提高10%，它们不仅变得更快和更高效，而且比以前更有能力。因此，生成式AI有潜力产生数万亿美元的经济价值。

01.为什么是现在？

生成式AI与更广泛的AI有着相同的“为什么是现在（Why now）”的原因：更好的模型，更多的数据，更多的算力。这个类别的变化速度比我们所能捕捉到的要快，但我们有必要在大背景下回顾一下最近的历史。

第1波浪潮：小模型（small models）占主导地位（2015年前），小模型在理解语言方面被认为是“最先进的”。这些小模型擅长于分析任务，可以用于从交货时间预测到欺诈分类等工作。但是，对于通用生成任务，它们的表达能力不够。生成人类级别的写作或代码仍然是一个白日梦。

第2波浪潮：规模竞赛（2015年-至今），Google Research的一篇里程碑式的论文（Attention is All You Need https://arxiv.org/abs/1706.03762）描述了一种用于自然语言理解的新的神经网络架构，称为transformer，它可以生成高质量的语言模型，同时具有更强的并行性，需要的训练时间更少。这些模型是简单的学习者，可以相对容易地针对特定领域进行定制。

果不其然，随着模型越来越大，它们开始可以输出达到人类水平的结果，然后是超人的结果。从2015年到2020年，用于训练这些模型的计算量增加了6个数量级，其结果在书写、语音、图像识别、阅读和语言理解方面超过了人类的表现水平。OpenAI的GPT-3表现尤其突出：该模型的性能比GPT-2有了巨大的飞跃，并且从代码生成到笑话编写的任务中都提供了出色的Twitter demo来证明。

尽管所有的基础研究都取得了进展，但这些模型并不普遍。它们庞大且难以运行(需要特别的GPU配置)，不能被更多人广泛触达使用(不可用或只进行封闭测试)，而且作为云服务使用成本昂贵。尽管存在这些限制，最早的生成式AI应用程序也已经开始进入竞争。

第3波浪潮：更好、更快和更便宜（2022+），算力变得更便宜，新技术，如扩散模型（diffusion models），降低了训练和运行所需的成本。研究人员继续开发更好的算法和更大的模型。开发人员的访问权限从封闭测试扩展到开放测试，或者在某些情况下扩展到开源。
对于那些渴望接触LLMs（Large Language Model 大语言模型）的开发人员来说，探索和应用开发的闸门现在已经打开，应用开始大量涌现。

第4波浪潮：杀手级应用出现（现在），随着平台层的稳固，模型继续变得更好、更快和更便宜，模型的获取趋于免费和开源，应用层的创造力已经成熟。

正如移动设备通过GPS、摄像头和网络连接等新功能释放了新类型的应用程序一样，我们预计这些大型模型将激发生成式AI应用程序的新浪潮。就像十年前移动互联网的拐点被一些杀手级应用打开了市场一样，我们预计生成式AI的杀手级应用程序也会出现，比赛开始了。

02.市场格局
下面是一个示意图，说明了为每个类别提供动力的平台层，以及将在其上构建的潜在应用程序类型。

模型

文本（Text）是最先进的领域，然而，自然语言很难被正确使用并且质量很重要。如今，这些模型在一般的中短篇形式的写作中相当出色(但即便如此，它们通常用于迭代或初稿)。随着时间的推移，模型变得越来越好，我们应该期望看到更高质量的输出、更长形式的内容和更好的垂直领域深度。

代码生成（Code generation）可能会在短期内对开发人员的生产力产生很大的影响，正如GitHub CoPilot所表现的那样。此外，代码生成还将使非开发人员更容易创造性地使用代码。

图片（Images）是最近才出现的现象，但它们已经像病毒一样传播开来。在Twitter上分享生成的图片比文本有趣得多！我们正在看到具有不同美学风格的图像模型和用于编辑和修改生成图像的不同技术在陆续出现。

语音合成（Speech synthesis）已经出现一段时间了，但消费者和企业应用才刚刚起步。对于像电影和播客这样的高端应用程序来说，听起来不机械的，具有人类质量的语音是相当高的门槛。但就像图像一样，今天的模型为进一步优化或实现应用的最终输出提供了一个起点。

视频和3D模型则远远落后，人们对这些模型的潜力感到兴奋，因为它们可以打开电影、游戏、虚拟现实、建筑和实物产品设计等大型创意市场。我们应该期待在未来1-2年内看到基础的3D和视频模型的出现。

还有很多其他领域，比如从音频和音乐到生物和化学等等，都在进行基础模型的研发。下面这张图是基本模型进展和相关应用程序成为可能的时间表，其中2025年及以后的部分只是一个猜测。

应用程序
以下是一些让我们感到兴奋的应用，这仅仅只是一部分，实际上的应用要比我们所捕捉到的多得多，我们被创始人和开发人员所梦想的创造性应用程序所吸引。

文案（Copywriting）：越来越多的人需要个性化的网页和电子邮件内容来推动销售和营销策略以及客户支持，这是语言模型的完美应用。这些文案往往形式简单，并且都有固定的模版，加上这些团队的时间和成本压力，应该会大大推动对自动化和增强解决方案的需求。

垂直行业的写作助手（Vertical specific writing assistants）：现在大多数写作助手都是通用型的，我们相信为特定的终端市场构建更好的生成式应用程序有着巨大机会，比如从法律合同编写到剧本编写。这里的产品差异化体现在针对特定工作流的模型和UX交互的微调。

代码生成（Code generation）：当前的应用程序推动了开发人员的发展，使他们的工作效率大大提高。在安装了Copilot的项目中，它生成了近40%的代码。但更大的机会可能是为C端消费者赋能编程开发能力，学习提示（learning to prompt）可能会成为最终的高级编程语言。

艺术生成（Art generation）：整个艺术史和流行文化的世界现在都被编码进了这些大型模型中，这将允许任何人随意探索在以前可能需要花人一辈子的时间才能掌握的主题和风格。

游戏（Gaming）：在这方面的梦想是使用自然语言创建复杂的场景或可操纵的模型，这个最终状态可能还有很长一段路要走，但在短期内有更直接的选择，如生成纹理和天空盒艺术（skybox art）。

媒体/广告（Media/Advertising）：想象一下自动化代理工作的潜力，为消费者实时优化广告文案和创意。多模态生成的绝佳机会是将销售信息与互补的视觉效果结合起来。

设计（Design）：设计数字和实物产品的原型是一个劳动密集型的迭代过程，AI根据粗略的草图和提示来制作高保真的效果图已经成为现实。随着3D模型的出现，生成设计的过程将从制造和生产延伸到实物，你的下一个iPhone APP或运动鞋可能是由机器设计的。

社交媒体和数字社区（Social media and digital communities）：是否存在使用生成工具表达自我的新方式？随着Midjourney等新应用学会了像人类一样在社交网络上创作，这将创造新的社交体验。

生成式AI应用的解析

生成式AI应用程序会是什么样子？以下是一些预测：

智能和模型微调
生成式AI应用是建立在GPT-3或Stable Diffusion等大型模型之上的，随着这些应用获得更多的用户数据，它们可以对模型进行微调，一方面针对特定的问题空间改进模型质量和性能，另外一方面减少模型的大小和成本。

我们可以把生成式AI应用看作一个UI层和位于大型通用模型“大大脑（big brain）”之上的“小大脑（little brain）”。

形成的因素

如今，生成式AI应用在很大程度上以插件的形式存在于现有的软件生态系统中。比如代码生成在你的IDE中，图像生成在Figma或Photoshop中，甚至Discord机器人也是将生成AI放在数字社交社区里的工具。

还有少量独立的生成式AI Web应用，如在文案方面有Jasper和Copy.ai，在视频剪辑方面有Runway，在做笔记方面有Mem。

插件的形式可能是生成式AI应用在早期比较好的切入点，它可以克服用户数据和模型质量方面面临的“先有鸡还是先有蛋”的问题(这里具体指的是：一方面需要分发来获得足够多的使用数据，从而来改进模型，另外一方面又需要好的模型来吸引用户)。我们已经看到这种策略在其他市场类别中取得了成功，如消费者和社交市场。

交互范式
如今，大多数生成式AI演示都是“一次性”的：你提供一个输入，机器吐出一个输出，你可以保留它或扔掉它，然后再试一次。未来，模型将会支持迭代，你可以使用输出来修改、调整、升级和生成变化。

如今，生成式AI输出被用作原型或初稿。应用程序非常擅长抛出多个不同的想法，以使创作过程继续(比如一个logo或建筑设计的不同选项)，它们也非常擅长给出初稿，但需要用户最终润色来定稿(比如博客帖子或代码自动完成)。随着模型变得越来越智能，同时部分借助于用户数据，我们应该期待这些草稿会变得越来越好，直到它们足够好，可以用作最终产品

持续的行业领导力
最好的生成式AI公司可以通过在用户粘性、数据和模型性能之间形成的飞轮来产生可持续的竞争优势。为了取得胜利，团队必须通过以下方法来实现这个飞轮:

拥有出色的用户粘性→将更多的用户粘性转化为更好的模型性能(及时改进、模型微调、把用户选择作为标记训练数据)→使用出色的模型性能来推动更多的用户增长和留存。

他们可能会专注于特定的领域(如代码、设计和游戏)，而不是试图解决所有人的问题。他们可能首先将深度集成到现有的应用程序中，以便在此基础上利用和分发自己的程序，然后尝试用AI原生工作流替换现有的应用程序。用正确的方式构建这些应用来积累用户和数据是需要时间的，但我们相信最好的应用将会是持久的，并有机会变得庞大。

04.困难和风险

尽管生成式AI具有巨大的潜力，但在商业模式和技术方面仍有许多问题需要解决。比如版权、信任、安全和成本等重要问题还亟待解决。

05.放开视野
生成式AI仍然非常早期。平台层刚刚有起色，而应用层领域才刚刚起步。

需要明确的是，我们不需要利用大型语言模型的生成式AI来编写托尔斯泰小说。这些模型现在已经足够好了，可以用来写博客文章的初稿，以及生成logo和产品界面的原型，这在中短期内将会创造大量的价值。

生成式AI应用的第一波浪潮类似于iPhone刚出现时的移动应用场景——有些噱头但比较单薄，竞争差异化和商业模式不明确。然而，其中一些应用程序提供了一个有趣的视角，让我们可以一窥未来可能会发生什么。一旦你看到了机器可以产生复杂的功能代码或精彩的图片，你就很难想象未来机器在我们的工作和创造中不再发挥作用。

如果我们允许自己梦想几十年后，那么很容易想象一个未来，生成式AI将深深融入我们的工作、创作和娱乐方式：备忘录可以自己写，3D打印任何你能想象的东西，从文字到皮克斯电影，像Roblox类似的游戏体验来快速创造出丰富的世界。虽然这些在今天看起来像是科幻小说，但科技进步的速度是惊人的。从微小（narrow）的语言模型到代码自动生成只用了几年时间，如果我们继续沿着这个变化的速度，并遵循“大模型摩尔定律（Large Model Moore’s Law）”，那么这些遥不可及的场景就会变得触手可及。

参考材料