悟道3.0全面开源!LeCun VS Max 智源大会最新演讲

news2025/1/24 11:34:05
夕小瑶科技说 原创
作者 | 小戏

2023 年智源大会如期召开!

这场汇集了 Geoffery Hinton、Yann LeCun、姚期智、Joseph Sifakis、Sam Altman、Russell 等一众几乎是 AI 领域学界业界“半壁江山”的大佬们的学术盛会,聚焦 AI 领域的前沿问题,讨论尤其是大模型出现后 AI 新时代的新风向


纵观整个开幕式的议程设置,在致辞环节结束后,首先由智源研究院院长黄铁军带来了智源研究院近期进展的报告,报告开宗明义,实现所谓真正的人工智能目前有三条进路,分别是当下 GPT 为代表的自监督深度学习到信息模型的进路,以 DQN 为代表的强化学习到具身模型的进路以及基于第一性原理的生命科学脑科学进路

大模型研究测试传送门

GPT-4能力研究传送门(遇浏览器警告点高级/继续访问即可):
https://gpt4test.com

基于这三条进路按图索骥,黄铁军院长介绍了智源近期的开源工作,其中最重要的当属悟道3.0全面开源,其中比较有趣的工作有:

  • 悟道·天鹰(Aquila)”语言大模型系列:首个支持中英双语知识、商用许可,符合国内数据要求的开源大模型;
  • “天秤(FlagEval)”大语言评测体系及开放平台:通过能力-任务-指标三维评价体系,构建了一个 30+ 种能力 x 5 种任务 x 4大类指标超过 600+ 维度的全面测评体系;
  • FlagOpen飞智大模型技术开源体系:集成了一个完整的大模型算法技术仓库,从零开始也能 Follow 大模型的基础工作;
  • 天演-生命模拟工程:通过脑模拟实现生物启发的通用人工智能模型。

当然,整个上午场最吸引眼球的报告,肯定是图灵奖得主,三巨头之一的 Yann LeCun 与未来生命研究所创始人,MIT 教授 Max Tegmark 的演讲,而颇为戏剧性的是两位的观点又恰巧十分之对立,Yann LeCun 教授观点直入主题:“Machine Learning Sucks”,意指当前大模型的技术路径或许根本无法实现对人类有威胁的真正的人工智能,而 Max Tegmark 教授则反复强调“Keep AI Under Control”,如果 AI 失控则会导致“Lights Out for All of Us”,不谈技术进路如果回顾历史,人类的出现导致了智能更低的长毛象的灭绝,面对日新月异发展速度可怕的人工智能体,Keep AI Under Control 异常有必要

人在法国的 Yann LeCun 教授在法国那边凌晨四点与会场嘉宾与观众直播连线,开头就指出了对比人类或动物智能,当前大模型智能基础监督学习与强化学习的主要问题:

  • 有监督学习:要求太多标注数据,人类智能或者动物智能在成长环境中必然不是依赖如此规模的标注工程而形成的智能;
  • 强化学习:强化学习要求太多完全不合理的“试错”,真正的智能似乎学习的更快也更鲁棒;

这就造成了当前大模型的技术架构,即自回归大规模语言模型,往往会出现“脆弱”,“不会计划”,“不合理的输出”等等许多问题,表现在应用中将是“事实错误”,“逻辑错误”,“不一致”……等等问题

而 Yann LeCun 教授指出,大模型为什么会这样?因为它们事实上就根本没有理解现实世界,很精辟的总结在于“ We are easily fooled by their fluency. But they don’t kown how the world works

归根结底, Yann LeCun 教授认为当前 AI 只靠语言模型必然走不远,那么未来是什么呢?

答案就是 Yann LeCun 教授最近反复强调的“世界模型”,教授构想的可以支持推理与规划的真正的“智能体”应该包含以上六个组件,分别是配置器(Configurator)模块,感知模块(Perception module),世界模型(World model),成本模块(Cost module),Actor 模块,短期记忆模块(Short-term memory module)。

而其中最重要的部件,就是世界模型,而如何训练一个不是用于简单分类回归,而是表征多种预测的世界模型呢?Yann LeCun 教授提出了联合嵌入预测架构(Joint-Embedding Predictive Architecture,JEPA),并对架构做出了细致的阐述。这些思想被总结发表在《A path towards autonomous machine intelligence》之中,我们之前也有过报道(传送门:LeCun最新演讲,痛批GPT类模型没前途,称“世界模型”是正途!)

另一边,Max TegMark 教授在 Keep AI Under Control 的大观点下,着重叙述了我们应当如何 Keep AI Under Control,教授认为,核心将在于“Align AI 以及 Multiscale Alignment”,即其核心思想在于,如何使得 AI 与人类的价值观、想法保持一致,并且这种一致不是个体化的一致,而是群体性的、广泛性的一致。那么继续深入,如何“对齐”,如何保持多尺度大规模的“对齐”?答案将是或许也只能是对“可解释性”领域的研究。教授着重介绍了几篇工作:

以 Quanta 为概念基础为大模型 Scale Law 与涌现能力做解释的《The Quantization Model of Neural Scaling

研究 Transformer 中事实知识存储修改与编辑的《Locating and Editing Factual Associations in GPT》,这篇我们做了解读(传送门:MIT发现语言模型内的事实知识可被修改??)

研究模型预测能力本质的《Emergent World Representations: Exploring a Sequence Model Trained on a Synthetic Task》等等一系列真正相关模型黑盒内部构造的论文。

事实上,我们对 AI 可控可靠的要求,可能从低到高分为了 Diagnose Trustworthiness,Improve Trustworthiness 以及 Guarantee Trustworthiness,最开始我们只是确信像脚踩刹车一样踩下去速度就会降低,而不用理解刹车器的原理,而更加 Improved 之后的信任可能来自于部分的理解,理解刹车器的一些操作原理,而真正的 Guarantee Trustworthiness 则在于将那个“黑盒”完全透明化,深度的理解内部全部的知识并且可以复现与移植

总而言之,在当前这样一个真正的智能 AI 还处在混沌期的时间节点,我们必然不应该“Overtrust AI”,而应该将其限制在一个可控的范围内,而要想使得大模型或者 AI 可靠可控,其必要一步与关键一招就是需要将 AI 的黑盒打开,即对 AI 可解释性研究的关注

最后,开幕式后,9 号下午与 10 号全天还有 20 个分论坛百场报告,在各个不同的子领域,都有大咖学者亲临现场,精彩还在继续,感兴趣的大家可以关注2023年智源大会的日程安排!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/632319.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【EasyX】实时时钟

目录 实时时钟1. 绘制静态秒针2. 秒针的转动3. 根据实际时间转动4. 添加时针和分针5. 添加表盘刻度 实时时钟 本博客介绍利用EasyX实现一个实时钟表的小程序,同时学习时间函数的使用。 本文源码可从github获取 1. 绘制静态秒针 第一步定义钟表的中心坐标center&a…

使用Python绘制粽子消消乐,素描图(优化版,正常/漫画/写实风格),词云图,字符画图及提取轮廓

使用Python绘制粽子消消乐,素描图(优化版,正常/漫画/写实风格),词云图,字符画图及提取轮廓 1. 效果图2. 源码2.1 素描图源码2.2 [优化版:制作不同风格的素描图(正常,漫画…

String的理解

1.号 1. 1 号连接符的实现原理 StringBuilder(或者StringBuffer)的apend方法拼接,然后toString方法返回新的字符串 1.2 号的特殊情况 1.2.1 当""两端均为编译期确定的字符串常量时,编译器会进行相应的优化&#xf…

springboot项目外卖管理 day05-新增与删除套餐

文章目录 一、新增菜品1.1、需求分析1.2、数据模型setmealsetmeal_dish 1.3、代码开发-梳理交互过程1.3.1、下拉框展示1.3.2、菜品窗口展示1.3.3、新增套餐 2、套餐分页查询 一、新增菜品 1.1、需求分析 套餐就是菜品的集合。 后台系统中可以管理套餐信息,通过新…

solr快速上手:常用查询语法(八)

0. 引言 solr作为搜索引擎,就像我们使用mysql一样,在日常业务中,更多接触的则是各类操作语法,所以今天,我们再来学习solr的常用查询语法,为大家在工作中最基本的solr查询打下基础。 solr快速上手&#xff…

ia write 自定义 导出模板

https://github.com/yangyang5214/github-plus.iatemplate 使用了点个 star 吧) 在原有的 GitHub 模板基础上,增加了 封面页面和页脚。 封面页面 展示文章标题 作者 时间。高端大气~ 增加页脚,显示 page/pageCount 加载 通过…

做策划有这些特质才能成为行业大咖,看看你符合几个

这个问题确实很重要,策划也不是职业也不是适合所有人的! 首先,从性格方面来说吧。 有些人就是适合说话,有些人就是适合埋头苦干,还有一些人有强大的学习能力和逻辑思维。所以就是适合做创意类、创作类、策划类、统筹…

百度翻译API使用教程(前端+后端)

1.资格获取 首先我们需要登录百度翻译开放平台,获取开发者资格: 访问 百度翻译开放平台 然后进行注册(如果有百度账号的话可以直接登录) 注册成功后点击“产品服务”: 跳转到通用文本API界面: 在页面底…

怎么自学电脑编程

首要之首:不要急于选择一种语言 新手们有一个常见的错误就是犹豫于判断哪种编程语言是做好的、最该先学的。 我们有很多的选择,但你不能说那种语言最好。 我们应该理解:说到底,什么语言并不重要。 重要的是理解数据结构、控制逻辑…

C语言——修改控制台背景色和字体颜色

C语言——修改控制台背景色和字体颜色 方法一&#xff1a;system(“color NUM1NUM2”) system("color NUM1NUM2");可以用库函数system(“color NUM1NUM2”)实现 需要头文件 <stdlib.h> NUM1,NUM2均为16进制数 NUM1控制控制台背景色&#xff0c;NUM2控制前…

大数据驱动的实时文本情感分析系统:构建高效准确的情感洞察【上进小菜猪大数据】

上进小菜猪&#xff0c;沈工大软件工程专业&#xff0c;爱好敲代码&#xff0c;持续输出干货。 随着互联网的快速发展和大数据技术的不断成熟&#xff0c;用户推荐系统在各个应用领域变得越来越重要。本文将介绍如何利用大数据技术构建一个实时用户推荐系统。我们将通过结合Ap…

基本算法温习:打印金字塔

最终结果图如下&#xff1a; 想达到这个结果&#xff0c;通常的做法是通过拼结两个三角型达到&#xff0c;但是实际上还有最右边的第三个三角型没有处理&#xff0c;这个拼结的方法总让人看起来有一点不完美的感觉&#xff0c;于是我自创了一个思路&#xff0c;一气合成&#x…

【数据结构】七大排序算法(超详细)

欢迎来到南方有乔木的博客&#xff01;&#xff01;&#xff01; 博主主页&#xff1a;点击点击&#xff01;戳一戳&#xff01;&#xff01; 博主名:南方有乔木 博主简介&#xff1a; 一名在校大学生&#xff0c;正在努力学习Java语言编程。穷且意坚&#xff0c;不坠青云之志&…

uniapp和springboot微信小程序开发实战:后端架构搭建之封装WEB接口返回对象

文章目录 前言本节所需依赖工具类实现测试代码运行结果总结前言 作为开发者,开发的接口请求返回数据类型有很多种。比如返回字符串,返回对象,返回集合数组等情况,每个人开发者都有自己喜欢的方式或风格。所以在一个项目开发的时候架构师会定义好返回对象,给前端返回数据格…

redis基本数据类型001String

String类型是二进制安全的。意味着Redis的string可以包含任何数据。比如jpg图片或者序列化的对象 一个Redis中字符串value最多可以是512M 应用场景 需要存储常规数据的场景 缓存 session、token、图片地址、序列化后的对象(相比较于 Hash 存储更节省内存)。 需要计数的场景 举…

Singer混沌映射与莱维飞行改进灰狼算法

目录 一、灰狼算法 二、改进策略 2.1 混沌初始化种群 2.2 非线性收敛因子 三、引入莱维飞行 四、运行结果 从改进运行结果来看&#xff0c;效果非常好&#xff0c;在、、等极易陷入局部最优的测试函数上都取到了最优值&#xff0c;收敛速度也得到极大提升。 一、灰狼算法…

数学模型:Python实现整数规划

上篇文章&#xff1a;线性规划 文章摘要&#xff1a;整数规划的Python实现。 参考书籍&#xff1a;数学建模算法与应用(第3版)司守奎 孙玺菁。 PS&#xff1a;只涉及了具体实现并不涉及底层理论。学习底层理论以及底层理论实现&#xff1a;可以参考1.最优化模型与算法——基于P…

谷粒商城学习笔记(三):简介-项目微服务划分图

目录 一、微服务划分图二、前后端分离三、网关四、业务微服务群五、第三方服务六、服务治理七、状态监控八、数据层 一、微服务划分图 二、前后端分离 这个项目是基于前后端分离的开发&#xff0c;需要创建一些前端项目&#xff0c;admin-vue是面向工作人员的后台管理系统&…

论文笔记--SimCSE: Simple Contrastive Learning of Sentence Embeddings

论文笔记--SimCSE: Simple Contrastive Learning of Sentence Embeddings 1. 文章简介2. 文章概括3 文章重点技术3.1 对比学习 Contrastive Learning3.2 Unsupervised SimCSE3.3 Supervised SimCSE3.4 Anisotropy3.5 Alignment and Uniformity 4. 文章亮点5. 原文传送门6. Refe…

Spring中Aop实现日志功能

文章目录 前言1.环境搭建2.设计日志记录表3.aop需要引入aspectj依赖4.日志实体类设计5.自定义日志BusiLog注解6.定义日志切面6.1 此处只使用了环绕通知6.2 Aspect中有5种通知 7.业务中使用注解8.测试8.1 测试查询8.2 测试删除 前言 上篇分享了jdk动态代理以及cglib代理&#x…