(杂文)参加WAIC 2024 所思所感

news2024/10/5 14:40:29

受华为广办的邀请,在领导要求下, 我还是在这个炎热的暑假通过一个接近凌晨两点落地的飞机连夜从北京来到了上海,去“睁眼看世界”。

区别于纯学术会议和CCF类的会议,WAIC 更加的平易近人,有更多的工业界同行,有更多的产品宣传。

自2018年起,来到了第7届,我是第一次来到现场。 第一场论坛,去了昇腾的论坛,第一场演进就有幸听到了郑院士的演讲 《人工智能大模型的计算系统》。 郑老师的演讲 从 大模型生命周期的算力需求展开,以鹏城实验室的算力中心搭建为例,娓娓道来,提出了设计大模型计算机系统需要考虑的五个问题以及国产AI计算系统需要做好的10件事情:
1)多种精度运算性能的平衡。 是啊,我们在标准的FP16算力可观,FP64呢,混合精度,BF16,FP8 和英伟达还有多大的距离呢?
2) 网络平衡设计
3)内存平衡设计
4)IO子系统平衡设计
国产的芯片在追赶国外,但是配套的软件生态,差距可能并不比硬件差。我经历的每一个国产芯片厂家,哪怕是兼容CUDA生态已经非常好的芯片,对于新模型,也需要至少1-2周的调优,而这个调优又通常又没有构成一个良好的开源生态,使得难以快速适应全球大模型本身的高速演进。
5)国产AI计算系统需要做好的事情:
a) 编程框架
b)并行加速
c) 通信库
d) 算子库
e) AI 编译器
f) 编程语言
g) 调度器
h) 内存分配系统
i) 容错系统
j) 存储系统

从系统工程角度去看待大模型的全生命周期,是郑老的核心观点。大模型远远不是发布一个垂类的llama微调模型,而是一套完整的系统。 上述的各个环节,其实国内和美国头部是有差异,这个差异最大的体现是创新和生态上。 以编程框架为例,适配昇腾的时候我们一度因为NLP算子的成熟度问题,用mindspore重构了我们在之前用tensorflow和pytorch下写的CNN、RNN和PLM的一些模型。可以当昇腾过程中,逐步自己就对pytorch生态兼容了起来,然后喜欢乐见,大家愉快的拥抱了pytorch,迅速对接了学术圈和开源社区的成果。 这也反应了一个非常大的问题,国内的开源到底生命力在哪? 激烈的商业竞争,价格战最为底牌的惨烈厮杀,对于开源,对于行业,对于生态 主流厂商的心态到底如何。以为铸就了技术护城河,开源社区国内贡献最好的阿里,被拼多多用商业模式而不是创新技术反超的现象还在不断发生,企业创新就永远落在商业策略之后不止一个身位。 更遑论小厂,不管怎么重视研发,市场 或者 售前从客户那一个随机的想法,就可以让研发头破血流的投入。 专注技术的论证可能连声音都发不出,就被具备市场思维的研发大领导以没有市场观念给毙掉。 各种企业有各种企业的挣扎求生,KPI 或者 OKI 束缚我们的创新和 美团束缚快递小哥其实也没有本质的区别。

希望大模型的发展,我们的创新公司,靠着技术的先进性,不是拼补贴不是拼政策的赢一次。想想都热血沸腾。

讲座之后,我们和昇腾产品线有一个闭门会议,略过内容不谈,双方对对于大规模推理的性价比思考,达成了共识

因为临时决定参加,大部分论坛没法参加,特别遗憾的因果科学的论坛。我看到受邀嘉宾,大神云集,很想去听听Pearl 和 Rubin的演讲,毕竟今年在EMNLP也投了这方面的paper,去沾沾神运

大会的最后一天,我独自去看了展区。整个WAIC的主基调产品也是大模型,基本上各行各业都在讲一个和大模型的故事。从工业界的施耐德电气到金融的蚂蚁、中信到娱乐的B站,算力从云上到国产芯片,琳琅满目。 我的感觉就两点,一 AI时代确实来了,即时人工智能再一次陷入周期性低潮,也改变不了这些技术已经走入生活,而不是像之前一样停留在paper和实验室中。 二,这个时代才开始。 大家同质化而且稚嫩,像极互联网起家时候,门户网站称王的时代,商业模式简单粗暴,满口都是赋能和考虑用户价值,但实际考虑投入产出比,就买铲子和买培训的在赚钱。 哪怕是具身智能,也没法让我兴奋。反倒是一个做XR的现场体验,让我动了去京东购买的念头,尽管他的功能也就是个灵活的投影仪。 比较可惜的是我好不容易看到个web3的,发现展厅的人吃饭去了,场地规模也小,也是币圈链圈口碑不佳。 但是没有看到A/V/XR 以及web3和大模型的精彩结合的产品,让我有点失望,也对未来有一些期待。

露天有个站台,我听了 合合的多模态抽取以及RAG方案,金山的WPSAI,百度的文心编程。但最让我喜欢的其实是rwkv的坚持,这也许就是科研创新最原始的魅力吧。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1901199.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

《QT从基础到进阶·四十三》QPlugin插件多线程问题和只有插件dll没有头文件和lib文件时调用插件中的方法

1、插件和多线程问题: 创建插件对象不能放到多线程执行,不然报错:ASSERT failure in QWidget: "Widgets must be created in the GUlthread. //不能放在多线程执行 QPluginLoader pluginLoader(pluginsDir.absoluteFilePath(fileName))…

单选多选提交问卷,代码示例

element中 需要对接口返回的数据进行分析。多选问题使用checkbox,单选题使用radio。 多选时可以绑定min/ma&am…

Transformer前置知识:Seq2Seq模型

Seq2Seq model Seq2Seq(Sequence to Sequence)模型是一类用于将一个序列转换为另一个序列的深度学习模型,广泛应用于自然语言处理(NLP)任务,如机器翻译、文本摘要、对话生成等。Seq2Seq模型由编码器&#…

搭建互联网医院实战:从源码到在线问诊APP的全流程开发

今天,笔者将讲述在线问诊APP的全流程开发,帮助开发者理解和掌握搭建互联网医院的核心技术和步骤。 一、需求分析与设计 需求分析包括明确目标用户、功能需求、性能需求等。设计阶段则包括系统架构设计、数据库设计和前后端界面设计等。 1.目标用户&…

统计是一门艺术(非参数假设检验)

1.定义 当总体分布未知,那么就需要一种与分布具体数学形式无关的统计推断方法,称为非参数方法 只能利用样本中的一般信息包括位置和次序关系等 稳健性强 2.符号检验 考虑问题: 小样本情况: 以概率为1/2的二项分布是对称的 两…

ASP.NET Core----基础学习01----HelloWorld---创建Blank空项目

文章目录 1. 创建新项目--方式一: blank2. 程序各文件介绍(Project name :ASP.Net_Blank)(1)launchSettings.json 启动方式的配置文件(2)appsettings.json 基础配置file参数的读取&a…

昇思25天学习打卡营第08天 | 模型训练

昇思25天学习打卡营第08天 | 模型训练 文章目录 昇思25天学习打卡营第08天 | 模型训练超参数损失函数优化器优化过程 训练与评估总结打卡 模型训练一般遵循四个步骤: 构建数据集定义神经网络模型定义超参数、损失函数和优化器输入数据集进行训练和评估 构建数据集和…

Git 运用小知识

1.Git添加未完善代码的解决方法 1.1 Git只是提交未推送 把未完善的代码提交到本地仓库 只需点击撤销提交,提交的未完善代码会被撤回 代码显示未提交状态 1.2 Git提交并推送 把未完善的代码提交并推送到远程仓库 点击【未完善提交并推送】的结点选择还原提交&#x…

前端面试题20(防抖函数)

在前端开发中,防抖(debounce)函数是一种常见的优化技术,用于控制函数的执行频率,避免在短时间内重复调用同一函数。这在处理如用户输入、窗口尺寸变化或鼠标移动等高频事件时特别有用,可以显著提升应用程序…

最小权顶点覆盖问题-优先队列分支限界法-C++

问题描述: 给定一个赋权无向图 G(V,E),每个顶点 v∈V 都有一个权值 w(v)。如果 U⊆V,U⊆V,且对任意(u,v)∈E 有 u∈U 或 v∈U,就称 U 为图 G 的一个顶点覆盖。G 的最小权顶点覆盖是指 G 中所含顶点权之和最小的顶点覆盖。对于给定…

AttackGen:一款基于LLM的网络安全事件响应测试工具

关于AttackGen AttackGen是一款功能强大的网络安全事件响应测试工具,该工具利用了大语言模型和MITRE ATT&CK框架的强大功能,并且能够根据研究人员选择的威胁行为组织以及自己组织的详细信息生成定制化的事件响应场景。 功能介绍 1、根据所选的威胁行…

springboot项目多模块工程==1搭建

1、新建父工程 采用springboot工程作为父工程搭建方便依赖选择,在这个基础上进行maven的pom父子模块结构调整。该工程选择mave进行依赖管理 2、springboot 版本及相关依赖选择 3、删除工程目录src,并修改pom 由于该父工程只作为依赖的统一管理,因此将…

Python实战训练(方程与拟合曲线)

1.方程 求e^x-派(3.14)的解 用二分法来求解,先简单算出解所在的区间,然后用迭代法求逼近解,一般不能得到精准的解,所以设置一个能满足自己进度的标准来判断解是否满足 这里打印出解x0是因为在递归过程中…

CentOS 7安装Elasticsearch7.7.0和Kibana

一. 准备安装包 elasticsearch和kibana:官网历史版本找到并下载(https://www.elastic.co/cn/downloads/past-releases#elasticsearch)ik分词器:GitHub下载(https://github.com/infinilabs/analysis-ik/releases/tag/v…

3.js - 裁剪平面(clipIntersection:交集、并集)

看图 代码 // ts-nocheck// 引入three.js import * as THREE from three// 导入轨道控制器 import { OrbitControls } from three/examples/jsm/controls/OrbitControls// 导入lil.gui import { GUI } from three/examples/jsm/libs/lil-gui.module.min.js// 导入tween import …

Interpretability 与 Explainability 机器学习

「AI秘籍」系列课程: 人工智能应用数学基础人工智能Python基础人工智能基础核心知识人工智能BI核心知识人工智能CV核心知识 Interpretability 模型和 Explainability 模型之间的区别以及为什么它可能不那么重要 当你第一次深入可解释机器学习领域时,你会…

WEB编程-了解Tomcat服务器

第⼀章⽹络编程 1.1 概述 计算机⽹络:是指将地理位置不同的具有独⽴功能的多台计算机及其外部设备,通过通信线路连接起来,在⽹络 操作系统、⽹络管理软件及⽹络通信协议的管理和协调下,实现资源共享和信息传递的计算机系统。 …

cs224n作业3 代码及运行结果

代码里要求用pytorch1.0.0版本,其实不用也可以的。 【删掉run.py里的assert(torch.version “1.0.0”)即可】 代码里面也有提示让你实现什么,弄懂代码什么意思基本就可以了,看多了感觉大框架都大差不差。多看多练慢慢来,加油&am…

前端位置布局汇总

1、位置:绝对位置和相对位置 绝对位置 style"position: absolute;left: 218px;top: 0%;" style"position: absolute;bottom:5px;right:5px ;" 相对位置 :margin外边距 padding内边距 style"border:1px solid black;width:200px;text-ali…

vue事件处理v-on或@

事件处理v-on或 我们可以使用v-on指令(简写)来监听DOM事件,并在事件触发时执行对应的Javascript。用法:v-on:click"methodName"或click"hander" 事件处理器的值可以是: 内敛事件处理器&#xff1…