Llama 3.1 这一最强模型按时降临!扎克伯格最新的访谈表明:Llama 将会成为 AI 领域中的 Linux 。

news2024/11/15 18:42:28

🐱 个人主页:TechCodeAI启航,公众号:TechCodeAI

🙋‍♂️ 作者简介:2020参加工作,专注于前端各领域技术,共同学习共同进步,一起加油呀!

💫 优质专栏:AI相关最新技术分享(目前在向AI方向发展,欢迎大佬交流)

📢 资料领取:前端进阶资料可以找我免费领取

🔥 摸鱼学习交流:我们的宗旨是在「工作中摸鱼,摸鱼中进步」,期待大佬一起来摸鱼!

就在今日,Meta AI 崭新的最强模型——Llama 3.1 依时到来。不但对开源 AI 模型的上限予以了刷新,而且就连闭源的也被顺带超越。然而,信守约定的并非只有 Llama 3.1 ,还有小扎针对本次发布展开的最新访谈。

在将采访的全部内容公布之前,我们首先还是来知晓一下此次的发布具备多么强大的力量,简直就是 Meta AI 研发团队的“全明星”集体出动:

图片

Meta 生成式 AI 的副总裁 Ahmad Al-Dahle 就此次发布给出了若干基础说明:率先映入眼帘的是具备 4050 亿(Llama 3.1 405B)参数的“超级巨无霸”模型,这一模型是迄今发布的规模最为宏大、实力最为强劲的开源模型,早在四月份就有过预展,昨天更是被提前公之于众。然而,实际情况是,这次的 Llama 3.1 还对先前已发布的 80 亿和 700 亿参数的模型实施了升级操作,它们在性能及功能方面都迎来了全新的提升。这三款模型均能够支持多种语言。

其中,405B 模型在推理、工具使用、多语言处置、上下文窗口等方面实现了优化,其基准测试的成果超越了四月份预展时的水平。通过如下图表能够看到,它在最为经典的 MMLU(大规模多语言理解)测评里,以微弱优势战胜了我们所熟知的最强闭源模型——Claude 3.5 Sonnet。

图片

与此同时,此次升级将三款模型的上下文窗口均拓展至了 128K Token,让模型能够应对更为庞大的代码库或者更为详尽的参考资料。这三款模型均拥有工具使用的能力、增强的推理能力以及改进的系统方式。另外,Meta 与合作方紧密携手,当下用户能够在 AWS、Databricks、NVIDIA 以及 Groq 旗下的相应平台部署 Llama 3.1。Meta 深信开源的力量,新推出的模型在更新后的许可证下予以分享,准许开发者借助 Llama 的输出去优化其他模型。从今日开始,Meta AI 的用户就能够使用 Llama 3.1 了,Meta 期望开源 AI 能够成为行业的标准,为生态系统的繁荣以及挑战的解决提供助力,并期盼着开发者社区给出使用后的反馈。

模型下载地址:https://llama.meta.com/

除去官方的介绍之外,Meta 的首席人工智能科学家、被誉为“AI 三大教父之一”且获得图灵奖的杨立昆(Yann LeCun)终于再度活跃起来。此前他一直和埃隆·马斯克“争执不休”,最开始只是两人在对于 AI 的观点上存在分歧,随后逐渐演变成了“互挖黑料”以及人身攻击,近期更是直接就美国大选等政治问题展开激烈争斗,火药味浓烈至极,以至于有关 AI 的相关内容都很少发布了。

针对 Llama 3.1,杨立昆所发布的第一条推文提到,Meta 董事长兼首席执行官马克·扎克伯格发表了一篇长文,针对 Meta 的人工智能生态系统的开放性做出了重大的承诺,文章题目为:“开源 AI 是通往未来的道路”(Open Source AI Is the Path Forward)。

图片

这篇文章的核心要点在于,Llama 3.1 作为一款大语言模型(LLMs),不但免费开放,而且在性能方面能够和顶尖的专有系统不分伯仲。为了达成极致的性能、安全性、可定制性以及效率,AI 平台理应如同互联网的软件基础设施一般走向开放。

开源 AI 对于开发者而言无疑是一大幸事:它支持细微调整,推动模型的精简,增强安全性和效率,保护用户的隐私,赋予灵活性和可移植性,降低成本,还凝聚了众多贡献者的智慧与力量。

对于 Meta 来说,开源 AI 意味着更大规模的社区将会加快创新的进程。

对于整个世界来讲,开源 AI 推动了 AI 助手在语言、文化、价值体系以及兴趣中心等方面的多元化,使更多人能够接触到 AI ,同时防止了控制权过度集中在少数人手中的状况。

然而,有人在底下充满疑惑:立昆呀,你不是曾说 LLM 无法通向 AGI 吗?

杨立昆回应称,尽管自己依旧不看好 LLM ,但不可否认 LLM 确实具有实用性!

图片

杨立昆接二连三地发布了众多推文,同时还大量转发了诸多业界人士的评论,其中涵盖了一些开发的细节内容。比如,本次模型的训练动用了 16,000 块 NVIDIA H100 显卡,另外还涉及到后续将会放出的扎克伯格最新采访(不过在此期间,他还是穿插了若干条与大选相关的推文,依旧不忘对马斯克和特朗普加以嘲讽……)。

其中,HuggingFace(被人们称为“AI 界的 GitHub”)联合创始人托马斯·沃尔夫发布了一条推文,瞬间吸引了众人的目光。他说道:“Llama 3.1 版本最为令人叹为观止的一个方面当属随附的研究论文!近乎 100 页的深度知识分享,满满的都是关于大语言模型的内容,这般程度的分享在近期实属罕见。着实令人感到惊喜万分!”

这篇论文所包含的内容极为丰富多样,从预训练数据的筛选、退火处理、合成数据的运用,到扩展规律的探究、基础设施的构建、并行计算的应用,再到训练策略的拟定、训练后的模型适配、工具的使用、性能的基准测试、推理策略的优化、模型量化的窍门,以及视觉、语音、视频等多模态信息的处理……真可谓是让人目不暇接、大开眼界。

此次 Meta 在开源的力度上可谓是不遗余力,除了这篇长达 100 页的论文,他们更是破天荒地首次准许开发者运用 Llama 模型(包括 Llama 3.1 405B)来改良其他模型。

“或许,这便是你在今日能够寻觅到的唯一一份能够从零起步,引领你直达大语言模型领域最前沿的资料。”

论文链接:https://ai.meta.com/research/publications/the-llama-3-herd-of-models/

在杨立昆所转发的一连串推文中,最为引人注目的无疑是吴恩达(Andrew Ng)对于本次 Llama 3.1 发布的称赞与祝福。吴恩达身为斯坦福大学计算机科学系和电子工程系的副教授、DeepLearning.AI 的创始人,也是传奇 AI 实验室「谷歌大脑」(Google Brain)的创始成员之一。作为在人工智能和机器学习领域国际上极具权威性的学者之一,吴恩达本人的名字实际上比他的头衔或者职业更加声名远扬。

图片

吴恩达宣称:“感激 Meta 以及 Llama 团队在开源方面所做出的非凡贡献!Llama 3.1 拓展了上下文长度并且优化了功能,这对于所有人而言都是一份极为出色的礼物。我期望诸如加州所提出的 SB1047 这般愚蠢的法规不会对这类创新形成阻碍。”

在此处所提及的 SB1047 究竟是什么呢?

SB1047 乃是加利福尼亚州参议院于 2023 年提出的一项法案,其全称为“Safe and Secure Innovation for Frontier Artificial Intelligence Models Act”(前沿人工智能模型安全创新法案)。截至 2024 年 7 月 3 日,此法案仍在推进当中,已经经历了第二次阅读并予以修正,且被重新递交至拨款委员会(Committee on Appropriations)予以审议。

该法案的具体内容包含:

规定开发者在训练覆盖模型之前必须满足多项要求,涵盖实施能够快速完全关闭的能力,以及制定安全和安保协议。

严禁开发者在商业或者公开场合使用可能引发“关键危害”的覆盖模型。

从 2028 年 1 月 1 日起始,要求开发者每年聘请第三方审计师展开独立审计。

要求开发者向新设立的“前沿模型部门”提交合规性证明。

要求技术部门创建一个被称作“CalCompute”的公共云计算集群,以用于研究大规模 AI 模型的安全部署。

吴恩达将其称为“愚蠢”的忧虑,根源在于这些严苛的监管要求或许会增添 AI 开发的复杂性以及成本,进而有可能妨碍像 Llama 3.1 这类开源项目的发展,并且给小型的 AI 初创公司造成了沉重的负担。

过度的监管是否会抑制创新?让我们来聆听一下扎克伯格本人的回应。就在昨天 Llama 3.1 模型提前泄露之时,人工智能每日通讯 The Rundown AI 的创始人 Rowan Cheung 在 X 平台上预告了今日将会放出他与马克·扎克伯格的最新采访,最终也在 Llama 3.1 正式发布的时刻按时发布了出来,极其守诺。

在这场采访当中,扎克伯格火力全开,或许是刚刚发布模型之后的喜悦之情所致,他一改往日的常态,心情格外愉悦,论及了 Llama 3.1 背后的开发历程、对 Meta 以及开源 AI 的期望、将 Llama 塑造为 AI 版 Linux、苹果的封闭生态。话不多讲,咱们这就切入正题(采访全文有做调整):

图片

在开源之路上追随 Linux 的脚步

主持人:马克,衷心感谢您接受此次访谈。显而易见,Meta 今日在 AI 领域有重大发布。能否请您为我们概述一下所有发布的项目及其重要性?

马克·扎克伯格:当然,能参与此次访谈我倍感荣幸。今日的重大发布当属 Llama 3.1 ,我们推出了三个模型。率先登场的是一个拥有 4050 亿参数的模型。这无疑是当下最为繁杂的开源模型。它实际上能够与某些顶尖的闭源模型一较高下,在某些领域甚至更具优势。

我满心期待看到众人如何运用这个模型,特别是如今我们让 Llama 的社区政策许可人们将其作为指导模型来进行微调,基本上能够用于创建他们心之所向的任何其他模型。

此次,Meta 更新了开源策略:他们公布了模型权重,以便公司能够运用自定义数据对其展开训练并依照自身喜好做出调整,允许开发人员使用 Llama 模型(涵盖 405B)的输出来改进其他模型。

除此之外,我们对 4050 亿参数的模型进行了提炼,打造出了全新的、性能在其规模范畴内领先的 700 亿和 80 亿参数模型。它们同样具备卓越的性能,成本效益比也极为出色。我满怀憧憬地期待看到大家利用这些模型缔造出何种成果。

从宏观的视角来讲,我觉得这对于开源 AI 而言是一个具有里程碑意义的时刻。我一直在思索这个问题,我坚信开源 AI 将会成为行业的标准,它将沿着 Linux 曾经走过的道路前行,回溯到 Linux 尚未普及的年代,那时众多公司都持有闭源的 Unix 版本。当时,不存在如此繁杂的开源项目,人们普遍认为唯有闭源开发模式才能够完成这般先进的工作。起初,Linux 因成本低廉以及开发者能够以各种各样的方式进行定制而获得了立足之地。随着时间的缓缓推移,随着生态系统的逐渐成熟,它经历了更多的审视,实际上变成了更为安全的选择、更为先进的选择,拥有了更多的合作伙伴,构建起了更多的功能,比如 Linux 的驱动程序等等,最终使其具备了超越任何闭源 Unix 的能力。

因此,我认为 Llama 3.1 的这一时刻恰似一个转折点,Llama 有机会成为开源 AI 的标准,而开源将成为 AI 的行业标准。即便在性能方面尚未完全占据领先地位的地方,它在成本控制、定制灵活性以及模型的微调能力等方面已然领先。我认为这些都是巨大的优势,我们将会看到开发者们充分地利用这些优势。我们正专注于构建这个合作伙伴生态系统,将会有围绕它构建的各种不同的功能。所以,对此我着实兴奋不已。

主持人:确实,我已经研究过所有的基准测试了,Llama 3.1 的表现堪称惊人。这无疑是首个拥有 4050 亿参数的开源前沿模型。有哪些具体的应用场景让您特别期待,期望能看到人们利用这个模型实现创新?

马克·扎克伯格:我最为兴奋的莫过于见证人们如何利用这一模型来微调他们自己的模型。正如您所提及的,这是第一个开源的前沿级模型,但并非首个达到前沿水平的模型。在此之前,已有一些模型具备了类似的能力。所以,我认为人们将会渴望直接在 4050 亿参数的模型上进行推理,而根据我们的估算,相较于 GPT-4o ,这样做成本能够降低大约 50% 。显然,这将对许多人产生重大的影响。

但我认为,真正的新奇之处在于,由于模型权重的开放性,现在能够将模型精炼至任何您所期望的规模,用于合成数据的生成,或是作为另一个指导模型。我们对于未来的构想,并非局限于某单一模型。OpenAI 、Anthropic 、Google 或许各自有着打造大型 AI 的愿景,但这从来不是我们所追求的。我们所展望的是一个充满多样性的模型世界,每个初创企业、每家公司乃至政府机构,都将拥有各自的定制化模型。

过去,在封闭生态系统的优越性远超开源之时,直接选用现成的封闭解决方案更为明智,尽管开源提供了定制化的可能,但性能差距不容忽视。然而,如今的情况已然不同。随着开源技术几乎与封闭系统并驾齐驱,模型的广泛多样化将势不可挡。人们现在更有动力去定制、构建和训练完全契合自身需求的模型,将自己的数据融入其中。他们将掌握实现这一切所需的工具,这得益于 Amazon 等公司通过 AWS 、Databricks 及其他合作伙伴提供的全方位服务,致力于模型的提炼与微调。我认为,这才是真正的突破所在。真正令人振奋的是,这一趋势能够走多远?这是一项前所未有的能力,因为此前从未有过如此繁杂的开源或开放权重模型问世。

主持人:确实,这标志着一个重大的里程碑。你们是如何引导开发者掌握这些工具的?更广泛地讲,Meta 是否有计划或策略来向全球普及开源的重要意义?

马克·扎克伯格:确实,在 Llama 3.1 之前,我们的策略是——Meta 之所以在这个领域投入资源,根本原因在于我们需要确保能够触及行业领先的模型。鉴于我们在移动领域的过往经历(Facebook),我们不愿陷入依赖竞争对手提供核心技术的境地。因此,我们自主开发了这个模型。

在 Llama 3.1 发布前,我们预见到,如果选择开源,将会激发一个活跃的社区,这个社区不仅会拓展模型的潜力,而且会使其对所有人,包括我们自己,产生更大的价值。毕竟,这不仅仅是技术本身,而是一个正在构建的生态系统。为了使这项技术对我们真正具有价值,同样需要一个广泛的生态系统作为支撑。我认为 Llama-3.1 带来的一项显著变化是,我们不再仅仅局限于为自己开发模型,然后简单地将其推给开发者自用。

这次,我们采取了更为积极主动的态度,即建立合作伙伴关系,确保存在一个完整的生态系统,让各类企业能够利用这个模型创造价值,以我们自身无法覆盖的方式服务于开发者。我们不是公共云服务提供商。我们不是 AWS 、Google 或 Azure 。因此,开发者不会来我们这里搭建他们的项目。但我们期望确保所有主要的公共云服务商都能够胜任这项任务。这涵盖了从模型托管到推理服务等基础功能。

同时,我们还期望确保,借助这个模型,一些新兴的技术,如模型提炼和微调,能够有专门的服务支持。许多这些服务在过去并未得到充分的发展,因为使用封闭模型并不能有效地实现这些功能。为此,我们必须与合作伙伴共同开展特定的工作。与此同时,我相信,像 Groq 这样的公司,他们在超低延迟推理领域有着卓越的表现,将会从中受益匪浅。我非常期待将这项技术交到他们手中。他们正在构建的某些项目将在启动时得以应用。此外,还有众多面向企业市场的公司,如戴尔、Scale.ai 、德勤或埃森哲,它们在全球范围内与企业合作,负责技术部署。我认为,这些公司将扮演关键的角色,帮助大型企业或政府部门构建定制化的模型。

许多公司渴望拥有一个专属于自己的模型,以便能够训练进自己的专属数据。然而,很多公司不愿通过 API 将数据传输给 Google 或 OpenAI 。这并非因为这些公司存在特定的隐私问题,而是出于同样的考量,人们偏好加密通信,如使用 WhatsApp 。人们渴望的是一种从设计之初就注重安全的架构,确保数据始终掌控在自己手中。我认为,围绕这一理念,将会孕育出全新的市场机遇。我对这一切满怀期待。确实,这次我们采取了更为积极的态度,致力于生态系统的建设,因为我认为这是促进技术发展、为所有人创造更大价值的关键路径。

锐评苹果

主持人:接下来,咱们聊聊您的公开信(前文提及的《开源 AI 是通往未来的道路》)。除了 Meta AI 的公告,您还发布了一封信。信中您直接点名批评了苹果及其封闭的开发方式,这让我有些意外。您能进一步展开这个话题吗?苹果在哪些方面阻碍了 Meta ,乃至可能影响了其他公司?

马克·扎克伯格:我的观点更多的是从哲学层面出发,它影响了我个人处理事务的方式,以及在心理上改变了我对构建事物的思考方式。

实际上,我并不清楚苹果将如何对待 AI 。他们既进行开放开发,也涉足封闭开发。顺便说一句,我想指出,我并不自诩为开源的精英人士。我只是认为,在这个案例中,开放模型有望成为主流。我认为这将对世界产生积极的影响。我们既进行开放开发,也进行封闭开发。我对此有所了解。

我并不是说苹果在 AI 方面必然处于不利的地位。但如果回溯过去 10 到 15 年的历程,对我们而言,这是一段具有塑造性的经历,在竞争对手控制的平台上构建我们的服务。出于各种动机,他们的确——从我的视角来看,苹果施加了不同的规则来限制我们的行动。是的,他们征收了各种税费。在某个时刻,我们分析过,如果没有这些随意设定的规则,我们可能会更加盈利。我认为,许多其他企业也有同样的感受。

但说实话,金钱方面的问题,虽然令人烦恼,但并非我最为关切的。我认为,当您倾力打造您认为对社区有益的功能,却被告知无法上线,因为某家公司想要将您置于局限之中,以便更好地与您竞争,这确实让人感到有些挫败。

就 AI 而言,我目前的担忧实际上并不在于苹果。而是更多地关注其他公司,以及未来的演变趋势。在一定程度上,这并不是我在指责他们是坏人。我认为这仅仅反映了系统的物理特性和激励机制。

如果您构建了一个封闭的系统,那么最终会有一系列力量促使您收紧控制。我认为,如果 AI 生态系统能够更像互联网那样发展,但功能更加强大,那将是一个更为健康的状态。由于移动领域的发展路径,封闭模型占据了主导,苹果几乎囊括了所有手机利润,尽管市面上可能有更多 Android 设备。我认为这存在一定的近期偏见,因为这些都是长期的周期。iPhone 在 2007 年首次亮相,如今我们几乎已经踏入这个领域近 20 年。

特别是当您借鉴 Linux 的类比:人们肯定不会认为 Windows 是最开放的,但与苹果将操作系统与设备捆绑在一起的做法相比,Windows 却代表了一种更开放的生态系统,并取得了胜利。

我对下一代平台抱有部分期望,包括 AI 、AR 和 VR ,那就是我希望 AI 应站在构建开放生态系统的一边,这不仅仅是想要构建一个封闭生态系统之外的替代方案,而是希望恢复这个行业至一种状态,即开放生态系统实际上处于领先地位。我认为这是完全可行的。我认为我们在 AI 、AR 和 VR 方面正朝着正确的方向迈出坚实的步伐,但这是我从个人和哲学角度真正关心的事情,鉴于过去 10 - 15 年移动开发的封闭模式对我们的行业所施加的创造力限制。

开源会比闭源还安全

主持人:回到信中的开头部分,您强调了为何开源对开发者有益,这部分内容非常精准。您能否深入探讨一下,开源 AI 对社会整体将产生哪些深远的影响?

马克·扎克伯格:在我看来,开源是构建积极向上的 AI 未来不可或缺的一环。AI 将为人类带来生产力的飞跃、激发无限的创造力,有望在科研领域发挥重要的作用。但我坚信,开源是确保 AI 成果惠及全球、人人皆可触及的关键所在。它不应被少数几家巨头独占。同时,我认为,开源最终将成为构建更安全、更可靠的 AI 途径。

当前,有关开源是否安全的争论此起彼伏,而我的看法却与众不同。我坚定地认为它不仅安全,甚至比封闭开发模式更为可靠。让我们来剖析这个问题,伤害的形式纷繁复杂,不能仅盯着某一种。在此,我着重强调的是无意造成的伤害,即系统以出乎意料的方式失控;还有蓄意为之的伤害,即不法分子妄图利用系统搞破坏。对于无意的伤害,值得一提的是,人们普遍担忧的那种 AI 失控的科幻场景,大多并非有意为之。实际上,我觉得开源在这方面优势明显,因为它会接受更广泛的审视,透明度更高。

我相信,所有使用 Llama 防护措施和内置安全工具的开发者,都会对这些工具进行严格审查、测试和压力测试。我推测,就像传统开源软件一样,任何潜在问题都会比在封闭模型中更快被发现并解决。所以,在无意伤害这方面,开源的安全保障更强,正因如此,围绕开源安全性的讨论主要集中在防范蓄意伤害上。既然它是开放的,如何阻止不法分子利用它作恶就成了关键问题。

我认为,这个问题大致可分为两类:小规模的行动者,比如个人或小团体试图捣乱;以及大规模、更复杂的行动者,比如资源雄厚的大国。

这两类情况各有特点。对于小规模行动者,保持力量平衡至关重要。在管理社交平台时,我们会碰到各种企图破坏平台秩序的不法分子。很多时候,他们借助 AI 系统搞破坏,而我们阻止和识别他们的办法是部署更先进的 AI 系统,利用更强的计算能力揭露他们。我觉得这和政府及执法部门维护社会秩序的方式相似。诚然,总有一小撮可能违法的人,但警察和军队资金充足、资源丰富,在 AI 领域我认为也是如此。

实际上,我认为,应该希望看到开源被广泛运用。如果是封闭的,可能有风险,难以广泛部署。但要是开放的,所有资源雄厚的大机构就有机会以有效制约不法分子的方式部署这些系统。

接着,我们要面对的是大型复杂行动者的问题。在这方面,常被提起的一个疑问是:如果开源了最尖端的模型,怎么保证它不落入他国之手,或者不被用来对付我们?这有时被当作封闭开发的借口。

但我觉得,这种观点忽略了几个要点。要让这一切顺利进行,西方国家首先得有优势。我们的优势在于开放和分散的创新体系,不只是少数大公司或实验室,还有初创企业、高校和在公司里探索创新的个人。这是整体局面中的重要部分,不能扼杀这种活力。我认为,如果这么做,会增加失去领先地位的风险。但随之而来的问题是,任何国家的政府,都存在窃取模型和搞间谍活动的风险。因为很多模型能轻松存进硬盘,方便携带。

我们必须正视这个现实,评估能否长期保护这些模型,这对我们自身和任何科技公司来说,都是艰巨的挑战。这是个极其复杂的任务。我担心的是,如果我们封锁开发,最后可能会出现这样的局面:只有少数几家公司加上能窃取模型的对手有访问权限,而所有初创企业、高校以及致力于创新的个人都被边缘化,无法参与其中。

我的观点是,我们应当设定一个实际的目标,就是利用开源技术构建出世界领先、最稳固的生态系统,并期望我们的企业与政府、盟国政府在国家安全方面紧密合作,确保政府能持续整合最新技术,无论是半年还是八个月,都能对对手保持优势。

我认为,在当前环境下,很难一直领先十年,但持续的领先优势能让我们更安全,尤其是在领先的时候,而不是像别人说的,少数几个封闭实验室垄断开发,我们可能会失去领先地位,而其他国家政府可能已经获取技术。这就是我的立场。实际上,我觉得在促进全球繁荣、推动科技进步以及保证安全方面,我们最终会认识到,随着时间推移,开源会成为主流。当然,问题肯定有,我们需要采取措施应对,严格测试每个环节,和政府在所有相关事务上密切合作,我们也会一直推进这些工作。这就是我基于目前的认识,对最终平衡状态的展望。

主持人:咱们接着深入聊聊开源 AI 的好处。您在信里提到的另一个重点是,开源 AI 能加快创新速度,促进经济增长。这一过程已经有了哪些变化?您对未来有啥期待?

马克·扎克伯格:确实,不管 AI 怎么发展,都会带来一系列重大影响。而且,我认为开源 AI 尤其展现出了独特的价值。在我看来,AI 在当下所有研发的技术里,拥有超越任何单一技术的潜力,能够提高生产力,加快经济增长,让每个人更有创造力,创作出更多精彩的作品。我坚信,这肯定特别好。同时,我希望它能在科学和医学研究领域发挥积极作用。

不过,现在还有很多人没办法微调或者构建前沿的 AI 模型。所以,他们只能依靠大型实验室的成果。就像我之前说的,我觉得,咱们围绕创新文化的一个核心特点,就是不光大企业在创新,还有无数的初创企业、黑客、学者以及大学里的创新者。我认为,应该让所有这些群体都有机会接触前沿的 AI 模型,让他们能在模型的基础上创新,而不只是运行模型,这是他们通过封闭源码的 AI 模型供应商能做到的极限。但现在,他们能在此基础上创新,调整模型,把它变成更小更精的版本,在笔记本电脑、手机或者其他自己搭建的设备上运行。我觉得这能释放出巨大的创新潜力。

另外,从国家层面来看,问题也存在。这不仅是初创企业可能资源不足,或者大学未来可能没能力训练大规模的基础 AI 模型。实际上,很多国家都承担不起这个任务,因为很快,训练这些模型的成本就要达到几十亿美元,简直是天文数字。我认为,让不同国家的企业家和企业能够利用这些模型,更高效地服务民众,推动优质工作,会有一种提升全球整体水平的效果,有很明显的平衡作用。所以,我对此很乐观。我们收到的很多感谢,其实不都是来自科技界,而是来自那些希望获得技术并加以运用的发展中国家和其他国家。他们可能没能力自主研发前沿技术,供本国企业在此基础上创新。但只要他们有了这些模型,自己训练模型就会相对容易。这是开源 AI 领域非常吸引人的一个特点。

对未来、对 AGI 的愿景

主持人:我想深入探讨一下您之前提到的,让行业恢复到开放生态系统领先的状态。显然,现在我们有了 Llama 3.1,而且 4050 亿参数的版本竞争力很强,甚至在关键基准测试中超过了一些顶级的封闭模型,这太让人震撼了。在您的信里,您还提到 Llama 4 有望成为业界最前沿的模型。Llama 4 有哪些特别的地方让您很期待?

马克·扎克伯格:哦,我的意思是,我们现在正在忙 Llama 的 3.1 版本。我觉得现在谈 Llama 4 有点早,但我们已经搭好了计算集群,准备了大量数据,对架构有了初步想法,还做了一系列研究实验,就是为了充分挖掘它的潜力。所以,我相信 Llama 4 会在 Llama 3 的基础上有很大突破。我觉得还有很多进步的空间。

Llama 3.1 是 Llama 的第一个小版本更新。我还有好多计划,包括推出多模态模型,这方面我们碰到过一些不太顺利的情况。但估计接下来几个月,我们会在欧盟以外的几乎所有地区推出这些模型。不过现在谈 Llama 4 确实有点早。但它确实让人期待。在运营公司的过程中,规划计算集群和数据轨迹,不光是为了 Llama 4,还有后面可能的四到五个版本的 Llama,这一直是我工作中的一个亮点。因为这涉及到建数据中心、配套电力设施、芯片架构和网络架构的长期前期投资。所以,这些都得提前规划。所以,我现在的回答可能有点含糊,除了总体很兴奋之外。但我觉得,在展望未来之前,Llama 3.1 至少值得您花一周时间来了解我们已经公布的信息。

主持人:这很合理。我完全同意,接下来几周光是 3.1 版本的发布就会特别忙。但即便这样,听说 Meta 已经开始全面准备 Llama 4 了,还是让人很激动。回到长远的角度,您能多分享一些您对 AI,特别是通用人工智能(AGI)未来发展的重要愿景吗?

马克·扎克伯格:当然,我很愿意从技术和产品两个方面来说。

鉴于咱们到现在主要关注的是模型,那我先从产品角度讲。我们的愿景是,未来应该有很多不同的 AI 和 AI 服务,而不是只有一个单一的 AI。这对我们采用开源的方法影响很大。也决定了我们的产品路线图。

确实,我们有 Meta AI。Meta AI 表现很出色。我的目标是,到今年年底,它能成为全球用得最多的 AI 助手。我觉得我们正在朝着这个目标稳步前进。很可能在年底前几个月就能达成这个里程碑。在这里,我觉得,我们有能力在商业模式里融入全球最先进的模型,还能向所有人免费开放。这绝对是个巨大的优势。在我们所有的应用程序里用起来都特别方便。所以,我对它的进展特别兴奋。我们有基础的 AI 助手。我觉得这会产生深远的影响。

但更重要的是,我们想让每个创作者和每家小微企业都有能力自己创建 AI 智能体,让每个平台上的用户都能创建他们想互动的 AI 智能体。您仔细想想,这里面的空间可大了,对吧?全球有几百万家小微企业。我觉得特别关键的是,通过相对少的努力,一家企业基本上点几下就能给自己搭一个 AI 智能体,用来做客户服务、销售,跟所有员工、所有客户交流。

我觉得,未来每家企业,就像他们现在有电子邮件地址、网站和社交媒体账号一样,每家企业都会有一个 AI 智能体,他们的客户能跟它交流。我们想给所有这些企业提供支持。这就意味着会有几百万甚至几十亿的小微企业智能体。对创作者来说,情况也差不多。在我们的平台上,有超过 2 亿人觉得自己是创作者,他们主要用我们的平台来建社区、发内容,觉得这是他们工作的一部分。他们都有个共同的难题,就是每天时间不够,没法跟社区深入交流。同样,我觉得他们的社区通常也希望能得到更多关注。

时间总是有限。所以,我觉得会有个大的转变,就是每个创作者都能从社交媒体里获取所有信息,可以训练这些系统来反映他们的价值观、商业目标和追求的方向。然后人们就能跟它互动。这几乎就像创作者创作的艺术品,人们能通过各种方式跟它互动。这还没说到我觉得人们能创建不同 AI 智能体的各种方式,用来完成各种任务。

所以我觉得,我们会生活在一个充满无限可能的世界里,会有几百万、几十亿不同的 AI 智能体,最后可能 AI 智能体的数量会超过世界人口总数,人们能通过各种不同方式跟它们互动。这是产品愿景的一部分。显然,这里面有巨大的商业机会。这是我们赚钱的方向。但我们不会靠卖模型访问权限赚钱。因为我们不是公共云公司。我们会通过做出很棒的产品来赚钱。做出很棒产品的一个关键就是要有顶级的模型,而有围绕开源的最好的生态系统能帮我们达成这个目标。所以,对我们来说这是一致的,我觉得,这最后会给我们带来巨大价值,帮我们做出最高质量的产品,通过建立这个开源社区,得到最好的业务成果。

但这在哲学层面上也是一致的,对吧?我们不相信会有一个特别大的 AI,不管是产品还是模型,所有人都用这一个。我们从根本上相信会有广泛的多样性和不同的模型集,每家企业和个人都会想创建很多属于自己的东西。我觉得这会很有意思。这在很大程度上构成了这个领域的魅力所在。

主持人:Meta 把先进的 AI 技术直接放到产品里,还向数十亿用户免费开放,这个做法很有意思。这让我想到一个关于 AI 怀疑论的问题。90 年代的时候,人们对互联网普遍怀疑,但最后反对互联网变得不合逻辑。现在,对 AI 的怀疑好像也在走类似的路。您觉得我们是不是还在早期阶段?以后会不会有个转折点,让反 AI 情绪变得像今天反对互联网一样少见?哪些因素对改变人们的看法最重要?

马克·扎克伯格:人们对新东西的担心表现不一样。从财务角度说,互联网成功之前经历过一次很大的泡沫破裂。那些坚信互联网前景的人最后是对的,但事情的发展往往比预想的慢,关键是要有坚持下去的毅力。

我对 Llama 3 及后面的版本带来的突破特别兴奋,我相信这些进展会变成更好的产品。但我们很难预测什么时候技术能成熟到做出被几十亿人用的产品,或者变成一个大业务。我们正在大量投资训练这些模型,短期内可能会亏,但从长远看前景很好。

关于人们担心 AI 影响生活,我觉得开源很重要。要是有很多个性化的模型给企业、创作者和个人用,而不是只有少数公司受益,那更多人会觉得自己是这个体系的一部分,能从中得到好处。

基于 Web 2.0 的经验,在发展 AI、AR 和 VR 这些下一代技术的时候,我们不光要做出繁荣的产品、提高生产力,还要建立一个更好、更可持续的体系,让更多人参与进来并受益。在社交媒体上我们做得还行,但在 AI 这些新技术上,我们得做得更好,来减轻人们对未来工作和生活的担心。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1950639.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

PyQt5 使用系统托盘

Qt5 中 QSystemTrayIcon 类提供了系统托盘的功能 具体功能 初始化 初始化 QSystemTrayIcon 对象, 需要传递一个父控件作为初始参数 import sys from PyQt5.QtWidgets import QApplication, QSystemTrayIcon, QWidgetapp QApplication(sys.argv) window QWidget() tray Q…

barrier failt to connect to server: timeout

win10做server,mac做client,一直运行失败,观察日志发现timeout。 最后发现是win10的防火墙入站规则里的Barrier Listener里设置的端口,和Barrier中设置的端口不一致。 因为局域网内有其他同事也用这个,所以修改了端口…

API资源对象CRD、认识Operator-理论知识和认识Operator-初次上手(2024-07-17)

一、API资源对象CRD Kubernetes 自定义资源定义(Custom Resource Definition,简称 CRD)是一种强大的 Kubernetes API 扩展机制,允许你定义和创建自己的资源类型,以满足您的应用程序或基础设施需求。 CRD 的核心思想是…

原型图设计指南:从基础到精通

用户体验设计师和原型设计的主要功能 PM、网站开发工程师通过展示产品内容、结构和粗略布局来沟通最初产品设想的重要工具,说明用户将如何与产品互动,而不是视觉设计。在大厂中,岗位分工更加细致明确,大部分原型都是产品经理做的&…

Oracle系统表空间的加解密

实验环境 数据库选择的是orclpdb1,当前系统表空间未加密: SQL> show con_nameCON_NAME ------------------------------ ORCLPDB1SQL> select TABLESPACE_NAME, STATUS, ENCRYPTED from dba_tablespaces;TABLESPACE_NAME STATUS …

【Ubuntu】安装 Snipaste 截图软件

Snipaste 下载安装并使用 Snipastefor more information报错解决方案每次启动软件需要输入的命令如下添加开机自启动 下载 下载地址 安装并使用 Snipaste 进入终端输入命令 # 1、进入到 Snipaste-2.8.9-Beta-x86_64.AppImage 所在目录(根据自己的下载目录而定&…

uniapp安卓plus原生选择系统文件

uniapp安卓plus原生选择系统文件 效果&#xff1a; 组件代码&#xff1a; <template xlang"wxml" minapp"mpvue"><view></view> </template> <script>export default {name: file-manager,props: {},data() {return {is…

qt--做一个拷贝文件器

一、项目要求 使用线程完善文件拷贝器的操作 主窗口不能假死主窗口进度条必须能动改写文件大小的单位&#xff08;自适应&#xff09; 1TB1024GB 1GB1024MB 1MB1024KB 1KB1024字节 二、所需技术 1.QFileDialog 文件对话框 QFileDialog也继承了QDialog类&#xff0c;直接使用静态…

Hi-Fix 介绍

一、HIFIX 定义与功能 HIFIX是连接安装在自动检测装置&#xff08;Tester&#xff09;本体内的功能卡(Resource board)和承载被测设备(Device)探针卡&#xff08;Probe card&#xff09;的媒介&#xff0c;将来自检测装置的大量测试信号统一发送到被测设备(Device)。 HiFIX 能…

Java语言程序设计——篇八(1)

&#x1f33f;&#x1f33f;&#x1f33f;跟随博主脚步&#xff0c;从这里开始→博主主页&#x1f33f;&#x1f33f;&#x1f33f; Java常用核心类 主要内容Object: 终极父类toString( )方法equals( )方法getClass( )方法hashCode( )方法clone( )方法finalize( )方法实战演练 …

CentOS6.0安装telnet-server启用telnet服务

CentOS6.0安装telnet-server启用telnet服务 一步到位 fp"/etc/yum.repos.d" ; cp -a ${fp} ${fp}.$(date %0y%0m%0d%0H%0M%0S).bkup echo [base] nameCentOS-$releasever - Base baseurlhttp://mirrors.163.com/centos-vault/6.0/os/$basearch/http://mirrors.a…

使用echo写入多行文字到文件时换行的处理

目标 想使用echo写入如下内容到文件program.c里 #include<stdio.h> int main(){printf("hello!\n"); } 需要处理 1、如何处理行换 2、代码中的换行如何处理 实际例子 创建文件夹 mkdir test cd test chmod 777 . 创建文件写入内容 查看 cat -n program.c…

SLS 数据加工全面升级,集成 SPL 语法

作者&#xff1a;灵圣 数据加工概述 在系统开发、运维过程中&#xff0c;日志是最重要的信息之一&#xff0c;其最大的优点是简单直接。不过在整个日志的生命周期里有一对很难调和的矛盾&#xff1a;输出和采集日志要求尽可能的简单便捷 vs 日志分析时需要数据格式化并能够按…

【SpringBoot】3 项目配置及部署

配置文件配置 将 application.properties 改为 application.yml &#xff0c;写法不一样&#xff0c;本人比较习惯用 yaml 格式。 配置项目名称和项目端口号。 application.yml server:port: 8888 spring:application:name: system配置外置 Servlet 容器 如果要在 Tomcat 容器…

数据结构·AVL树

1. AVL树的概念 二叉搜索树虽可以缩短查找的效率&#xff0c;但如果存数据时接近有序&#xff0c;二叉搜索将退化为单支树&#xff0c;此时查找元素效率相当于在顺序表中查找&#xff0c;效率低下。因此两位俄罗斯数学家 G.M.Adelson-Velskii 和E.M.Landis 在1962年发明了一种解…

音视频入门基础:WAV专题(1)——使用FFmpeg命令生成WAV音频文件

在文章《音视频入门基础&#xff1a;PCM专题&#xff08;1&#xff09;——使用FFmpeg命令生成PCM音频文件并播放》中讲述了生成PCM文件的方法。通过FFmpeg命令可以把该PCM文件转为WAV格式的音频文件&#xff1a; ./ffmpeg -ar 44100 -ac 2 -f s16le -acodec pcm_s16le -i aud…

「Ant Design」Antd 中卡片如何完全不展示内容区域、按需展示内容区域、不展示标题

前言 下面是默认的 Antd 卡片&#xff0c;由以下区域组成 处理 Antd 的 Card 展示形式大致有下面三种 卡片完全不展示内容区域 const App () > (<Card title"Default size card" extra{<a href"#">More</a>} style{{ width: 300 }}b…

工厂数字化转型,该如何建设数字孪生车间?

在工业4.0的浪潮下&#xff0c;数字化转型已成为工厂升级的必然趋势&#xff0c;而数字孪生技术的引入则为这一转型注入了强大动力。智汇云舟作为数字孪生行业头部企业和视频孪生技术首倡者&#xff0c;以创新的视角和前沿的技术&#xff0c;为数字工业建设助力&#xff0c;给众…

《昇思25天学习打卡营第2天|张量》

张量其实就是矩阵&#xff0c;在python中主要是使用numpy这个库来操作&#xff0c;然后再mindspore中一般使用tensor对象作为张量的载体 张量如果维度只有二维的话可以简单理解为数据库中的表&#xff0c;但是如果是3维4维主要是在列表中增加列表项比如 【 【1&#xff0c;1】…

C++ //练习 15.28 定义一个存放Quote对象的vector,将Bulk_quote对象传入其中。计算vector中所有元素总的net_price。

C Primer&#xff08;第5版&#xff09; 练习 15.28 练习 15.28 定义一个存放Quote对象的vector&#xff0c;将Bulk_quote对象传入其中。计算vector中所有元素总的net_price。 环境&#xff1a;Linux Ubuntu&#xff08;云服务器&#xff09; 工具&#xff1a;vim 代码块&am…