自ChatGPT面世以来,AI行业再度被引爆,AI大模型作为新一代颠覆性技术同时掀起了一波又一波热潮,头部厂商与创业者纷纷涌入,备受业界瞩目与市场追捧。
在这汹涌的狂欢背后,实则代表着AI发展的阶跃,即AI直接创造了生产力,甚至被视为全新的生产力革命。那么,该如何理解现象级产品ChatGPT背后的技术演进?围绕新一代AI及产业链,又有哪些率先落地的应用场景与投资机遇?
ChatGPT是美国人工智能研究实验室Open AI于2022年11月底推出的一款人工智能聊天机器人程序。上线40天ChatGPT月活破千万,上线60天月活破亿,涨粉速度远超其他同类型产品,史上热度最高。
从技术角度,ChatGPT是逐渐成熟的大模型(Transformer)路线与基于人类反馈的强化学习结合的产品。LLM发展的核心原因正是在于Transformer,使得用大规模的数据训练模型具备了可能性,结合Alignment,实现了模型的社会化。以GPT为代表,AI进入新的发展阶段,这背后技术上的变化突破主要体现在模型技术、参数、训练数据、训练方法的演化融合。
生成式AI与上一代AI的核心区别来自于以下几个维度:
-
Transformer架构的应用使得大参数模型的研发具备了可能性:2017年谷歌提出Transformer模型,其并行化的语言处理方式使得并行计算的效率得到大幅的提升。基于Transformer模型,Open AI于2018年首次提出了GPT模型,能够在无监督的情况下进行训练,在大语料场景下能够显著地改善模型效果,正式将NLP(自然语言处理)带入预训练时代。
-
大规模数据的训练及模型参数上升带来模型涌现:对LLM而言,模型效果在很大程度上取决于参数量和其训练的数据,其中训练数据的数据质量的重要性甚至高于参数。进一步而言,训练数据的清洗,模型参数的调整等不断的尝试,也是呈现出最优效果必不可少的步骤。而真正打开大模型之路的是模型的涌现能力。到2022年1月,思维链(一种提示词的方法,不仅给出结果,也要给出计算过程)的引入,模型性能出现了明显相变,明显超越了小模型精调,大模型的研发路线进入了拐点时刻。
-
训练方法的融合与改进:以ChatGPT为例,RLHF方法的引入,一方面能够尽可能地对齐GPT的输出,让GPT具备更加友好或者说拟人化的语言逻辑,使得其具备与大众沟通的基础,符合监管要求,避免了重蹈上一代聊天机器人-泰依的覆辙;另一方面,人工反馈的引入,帮助模型更好地理解人类思维和意图。总的来说,LLM的演化和进步,不是得益于某一种技术或者训练方法,而是多种模型技术和训练方法不断工程化尝试和融合的结果,是一种需要经历时间的探索。
大模型具备高的算力门槛、创造力门槛、工程化门槛等,使得其必然是高举高打的。从行业终局上看,大模型的终局会类似云,但考虑到不同的技术路线,会比云略分散,预期市场将有4-5家通用大模型公司,其中1-2家可能属于创业公司的机会。
同时,市场会出现几十亿-百亿级参数级别的服务于特定场景的所谓vertical的模型。考虑到更快的落地速度、更低的使用成本以及不亚于大模型的使用效果,叠加更好产品交互体验,vertical的模型会凭借自己在特定场景的深耕而有自己的一方市场。
-
大模型是有边界的:大模型类似于以往操作系统的存在,其发展起来的核心就要铸造自己的生态,生态的繁荣才是其稳固且长期的壁垒。所以我们看到了Open AI与微软的结合是一个双赢,且是对双方都有极大放大效应的组合。为了生态的繁荣,大模型一定有自己的不可为,同时,大模型的能力也是有边界的。其本质是语言模型,对于规模导向、资源导向、产品体验导向的领域,都不是未来迭代和发展的关键,也不是其能力所在。
-
大模型生态下的软件和应用:LLM的发展本质带来的是人与软件的的交互形式发生了根本性的改变,所以从浅层来说,软件公司需要思考的是在这个基础上如何让软件的使用门槛更低,而更深层次需要思考的是,未来工作流会不会发生变革,而带来Best Practice的变革,但基于新一代AI的infra的机会是确定的。
基于此,我们简要梳理了四个基础模型的筛选标准:
- 1、主流benchmark任务表现:包括其在主流的机器学习任务上的表现(与当下特定任务下表现最好的模型做比较);跨多模态/跨多语言的的能力、参数量/训练数据质量等作为参照。
- 2、技术路线:虽然GPT的decoder-only暂时看起来热度最高,但我们依然保持开放度,关注其他transformer变体的模型。
- 3、创始人:有工程化经验的创始团队。大模型本质是摸着石头过河,有实际经历的团队在效率和潜在的成本上会有极大优势。
- 4、综合实力:融资能力强+其选择的战略伙伴。
因为底层大模型兼具数据壁垒和算力壁垒,对资金/算力要求高,且具备优势的公司可建立起用户调用和模型迭代之间的飞轮,预计头部玩家较为集中。而目前国内市场格局仍还较为初期和分散,参与大模型的公司已超过30家,未来市场将面临洗牌。
而应用层的落地,发展路径可能会不太一样。这主要在于应用层可基于行业Know-how及数据对模型进一步优化,新一代AI对人类思维理解能力跃升,而行业知识则可以使AI更具备行业专深的能力。打一个形象的比喻,上一代AI模型如果是中学生,这一代大模型即是一个具备通识教育的本科生,应用层要做的就是专才的研究生。伴随专业知识输入和行业Know-how输入,AI可应对复杂度更高,且专业性也更强的工作任务,并能基于行业知识完成融会贯通。
目前在应用侧,生成式AI在文本领域、图像领域、代码领域的应用已经初步成熟,而视频/3D/游戏领域的成熟应用仍需要一定的发展时间。
以文字生成为例,上一代AI能力以辅助功能为主,如文字纠错、转写等,但核心价值还是由人创造。新一代AIGC自动生成部分专业内容,核心是基于对上下文理解后的结构化写作,类似于由辅助驾驶逐步走向自动驾驶,实现对业内初级专业人员的替代,如其可根据用户需求完成对简单专业材料的书写,如突发新闻、网络自媒体稿件等,乃至标书制作、招股书等各类有结构化规律的文书工作均可部分涉足,从而为文字作者、翻译人员、插画创作者、配音人员、音乐制作人、视频编辑人员等提供增效。
目前,借助大模型在细分场景内完成深耕,海外已有相关独角兽公司,我们看到如Jasper、Midjourney、Stability.AI等公司都在快速发展。而针对现有的各类软件,也均有接入新一代AI能力,如Notion AI、Office Copilot、Github Copilot等,我们预计AI落地将同时对新场景和老场景下的软件带来深远影响。
在应用侧,新一代AI对现有应用层软件也将带来影响。一方面,新一代AI对偏管理属性或行业知识属性的赋能效果更明显:此类软件的核心价值在于提供基于行业Know-how或管理Best Practice的知识凝结,现在借助能力更强的AI功能可使软件功能流转更为智能。新一代大模型公司可完成AI功能的搭建,但无法短期快速积累行业Know-how或管理实践,AI更多作为赋能者提升此类软件的实际使用效果。
我们预期,对于具备行业数据+工作流能力的积累的软件服务场景,在AI模型上完成Fine-Tuning,结合垂直行业知识+模型调优,可进一步在专业场景内使用,新一代AI的加入将大幅加强软件的智能性。
另一方面,新一代AI可能对纯工具类软件具有负面影响。无Know-how或数据沉淀下的工具软件的壁垒在大模型面前相对较低,特别是以上一代NLP技术为核心优势的公司,其技术能力被相对拉齐,后续需尽快拥抱新一代技术。