入坑大模型18个月的反思与贩私

news2024/11/13 9:01:19

前几天开完一个有高层参加的会议,会后组里的技术大佬直接就开喷“要规划没规划,整天只知道对着几个糊弄老板的榜使劲刷”。我下意识地赶紧去拉住他,低声对他讲“你声音太小了,老板听不到的,回头我领你去大厦的保安室,你用紧急通报的喇叭讲给全楼的人听”。他仿佛意识到了什么,便回我若要率十余众攻入保安室需要准备什么样的装备以及后勤物资,于是会议的内容就这么愉快的被遗忘了。

做回工位上,暮然回首发现自己已经入了这个坑一年半了,反思起来也收获确实有一些,例如Megatron/DS/TE/FA等等核心实现,例如强化学习的世界观以及其与最优化领域世界观的融合。但是如果要用一个短语来描述我当下的心境,那必然是“跳坑救不了世界”,弃坑从文也救不了,我们这个业界从底层的逻辑上就被运作成了这样:开源社区成就了一批天命人,天命人自发地凝结成草台班子,草台班子又逐渐被开源社区淘汰。而这个循环过程中,这些本该会被淘汰的班子却会试图通过闭源与商业化立起牌坊,这就形成了我们这个业界遍地是坑的奇观。

如果给“坑”这个描述做一个明确定义,那么大致可以讲成“同质化、模式化、低效率、低创新”的竞争系统,颇有当下低端芯片、商业城区、成人教育、新能源汽车、供应链金融这些领域的感觉。只不过大模型比这些事情多了一层窗户纸——黑盒性质,换句话说他不是被设计出来的,而是一种对自然的探索发现,而且又有着极高的资金门槛,所以对一般公众而言,其有着仿佛大型强子对撞机探索宇宙基本原理一般的隔阂感。然而大语言模型本身又具有极强的人文性,类似于经济学,这便又给了草台班子极大的容错率。

我很早以前就察觉,当下基于qkv attention + next token prediction + scaling的路径几乎已经快走到了尽头,并不是说scaling不能继续发挥作用,而是说scaling带来的收益已经远超出对其的投入。而且我的一个暴论是,scale让大模型更像大模型,丰富且平庸

,这就是之所以你会感觉到一个回答是大模型生成的原因。虽然反过来讲,丰富且平庸的回答并非毫无意义,因为它至少可以被用来做为创作的原材料。但是,于智能本身而言这种性质毫无意义,更不要提草台班子们打着要做智能的旗号最后只做出了一堆丰富且平庸的产品。

当然如果说上面这条路死了,或者有些更悲观的观点说联结主义死了,大模型也不是不能继续往下发展,因为显然除了创作类的需求,在提升生产力的过程中我们也有“理解复杂指令并精确输出”的需求。在我的脑海中,这种需求会促进“联结符号主义”的发展,类似于alpha proof中formalizer network、lean与solver network三者之间的协作,而这便是接下来几年大模型发展最大的一个契机。或许草莓跟猎户座也是类似的玩意,但是只可惜这些都是闭源的,草台班子骨子里是不太敢真的去碰这些东西的,因为他们内心中很清楚什么成就了他们。

所以你们看我黑了这么久草台班子,那么我也给草台班子做一个定性:一套低配的体制圈子。其低配体现在以下三个方面:制度不成熟、更加的人治;神权(开源社区)的影响力更大;王国之间来去比较自由、对人的行为缺乏约束。这里面的诸多问题恕我无法展开来讲,一来太招黑,二来也会冲到塔。我唯一能讲的给小朋友们的建议就是不要把自己活成高瀚文,或者尽量一开始就不要跳这个坑,如果你的理想真的是诗、智能与远方。另外其实我觉得国内做开源的几家都挺好的,比如seek(不是软文,因为他们嫌我年龄大直接挂了我的简历),主要原因是一来他们背靠金融系,有自己特定的存在价值,不需要为钱发愁;二来里面真的有些不错的傻孩子在里面为了梦想而奋斗,技术氛围很好。

事到如今,恍惚间感觉自己仿佛被焊死在零式里面的生体智能,最终不知道会以什么方式陪着大模型这个业界殉葬。希望明天会发生一些好事情吧。

如何学习大模型 AI ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴,可以Vx扫描下方二维码免费领取🆓

👉1.大模型入门学习思维导图👈

要学习一门新的技术,作为新手一定要先学习成长路线图,方向不对,努力白费。

对于从来没有接触过AI大模型的同学,我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线,大家跟着这个大的方向学习准没问题。(全套教程文末领取哈)
在这里插入图片描述

👉2.AGI大模型配套视频👈

很多朋友都不喜欢晦涩的文字,我也为大家准备了视频教程,每个章节都是当前板块的精华浓缩。

在这里插入图片描述
在这里插入图片描述

👉3.大模型实际应用报告合集👈

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。(全套教程文末领取哈)

在这里插入图片描述

👉4.大模型落地应用案例PPT👈

光学理论是没用的,要学会跟着一起做,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。(全套教程文末领取哈)

在这里插入图片描述

👉5.大模型经典学习电子书👈

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

在这里插入图片描述

👉6.大模型面试题&答案👈

截至目前大模型已经超过200个,在大模型纵横的时代,不仅大模型技术越来越卷,就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道,我总结了大模型常考的面试题。

在这里插入图片描述

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

😝有需要的小伙伴,可以Vx扫描下方二维码免费领取🆓

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2092935.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Docker容器技术(下)超多好上手的实验,保姆级教程

文章目录 Docker数据卷管理及优化为什么要使用数据卷bind mount数据卷docker managed数据卷Data Volume Container(数据卷容器)bind mount数据卷 VS docker managed数据卷备份与迁移数据卷 Docker的安全优化Docker的资源限制限制CPU的使用限制CPU的使用量…

RAG重磅升级:DSF带来特定领域精准提升的全新方案!

检索增强生成(Retrieval-Augmented Generation, RAG)是一种结合了检索(Retrieval)和生成(Generation)能力的框架,通过从背景数据中检索相关信息来增强模型的生成输出。在当前的大型语言模型&…

Linux 安装mysql 数据库通用教程(rpm傻瓜安装)

通用教程:Centos7.9安装mysql8.0.39(使用rpm 安装) 目录 前言 下载镜像源 删除或查看旧版本 安装mysql 启动mysql mysql授权远程登录 前言 在本篇博客中,我将向您展示如何在CentOS 7.9系统上通过RPM包安装特定版本的MySQL…

神经网络搭建实战与Sequential的使用

一、需要处理的图像 二、对上述图片用代码表示: import torch from torch import nn from torch.nn import Conv2d, MaxPool2d, Flatten, Linearclass SUN(nn.Module):def __init__(self):super(SUN, self).__init__()self.conv1 Conv2d(3, 32, 5, padding2)self…

解决移动端使用Vant van-overlay 遮罩层导致的弹窗不可滚动问题

项目场景 在游戏门户网站需要根据弹出层列举出自己背包的饰品,然后进行选择置换。 问题描述 例如:在PC端的时候能物品过多的时候能正常左右滚动,而且启用Google的开发者工具进行查看的时候也是能正常滚动,但是在手机端访问的时候…

持续集成与持续部署(CI/CD)的深入探讨

在现代软件开发中,持续集成(CI)和持续部署(CD)已成为不可或缺的实践。这些方法旨在加快软件交付的速度,同时提高软件的质量和稳定性。通过CI/CD,开发团队可以频繁地将代码更改集成到主分支&…

Mate 60、Mate X5和Pocket 2新增AI修图功能:AI消除能力效果惊艳

你有没有试过拍照的时候不小心把路人拍进来,或者拍风景的时候有煞风景的事物闯入镜头中?有些美好的画面稍纵即逝、有些景点不复存在,看着略带瑕疵的照片,多少会感觉有点遗憾。 最近Mate 60、Mate X5和Pocket 2三款机型都进行了鸿…

Python sys.path与-m参数的作用

文章目录 Python sys.path与-m参数的作用sys.path作用验证结论 Python sys.path与-m参数的作用 sys.path作用 sys.path‌当试图导入一个模块时,Python解释器会按照sys.path中列出的路径顺序搜索对应的模块文件。 sys.path的组成包括当前目录(即包含你…

二叉树相关练习

二叉树相关oj题: 对称二叉树 解题思路:判断一棵树是否轴对称,先判断左右子树结构是否相同,结构相同的情况下再判断对应的val是否轴对称,判断根节点的左右子树,再判断根节点的左右子树的左右子树是否轴对称…

《潮骚》爱恋的心如海潮般骚动,又如大海般广袤平静

《潮骚》爱恋的心如海潮般骚动,又如大海般广袤平静 三岛由纪夫(1925-1970),日本当代小说家、剧作家、记者、电影制作人和电影演员,右翼分子。主要作品有《金阁寺》《潮骚》《丰饶之海》等。曾3次获诺贝尔文学奖提名,属…

类图的关联关系

类图关联关系分为单向关联关系,双向关联关系,自关联关系 单向关联关系 是一个类的属性或方法被另外一个类引用,二者之间用一个箭头表示 比如顾客类和地址类,每个顾客都有一个地址 单向关联关系在UML图中两个类之间用单向箭头表…

AI绘图提示词/咒语/词缀/关键词使用指南(Stable Diffusion Prompt 最强提示词手册)

一、为什么学习AI绘画关键词 在人工智能技术飞速发展的今天,AI绘画已成为艺术领域的一大热点。学习AI绘画关键词,不仅有助于我们掌握这一新兴技术,还能拓宽我们的创作思路,实现艺术与技术的完美融合。以下是学习AI绘画关键词的几…

基于python的人力资源管理系统/基于django的OA系统的设计与实现

摘 要 随着当今社会的发展,时代的进步,各行各业也在发生着变化,比如人力资源管理这一方面,利用网络已经逐步进入人们的生活。传统的人力资源管理,都是员工去公司查看部门信息、招聘信息,这种传统方式局限性…

C++入门基础知识44——【关于C++ 判断】

成长路上不孤单😊【14后,C爱好者,持续分享所学,如有需要欢迎收藏转发😊😊😊😊😊😊😊!!!!&#xff…

【MYSQL】5 性能优化

1步骤 2查看系统性能参数 在MySQL中,可以使用 SHOW STATUS 语句查询一些MySQL数据库服务器的 性能参数 、 执行频率 。 SHOW STATUS语句语法如下: SHOW [GLOBAL|SESSION] STATUS LIKE ‘参数’; 一些常用的性能参数如下: • Connections&…

认识人工智能(AI,Artificial Intelligence)

人工智能(AI, Artificial Intelligence)是当今科技领域最引人注目的前沿技术之一。它的影响已渗透到各行各业,从日常生活中的虚拟助手到复杂的工业自动化系统,AI 的应用无处不在。本文将详细探讨人工智能的定义与发展历程、学习人工智能的目的、人工智能在实际生活中的应用…

嵌入式全栈开发学习笔记---Linux系统编程(多线程编程)

目录 多线程 线程(thread)理论 进程和线程的区别(面试重点) 线程的优势(面试重点) 多线程编程pthread 线程的创建pthread_create() 主线程等待子线程可以用pthread_join() 线程退出pthread_exit() …

Code Practice Journal | Day59-60_Graph09 最短路径(待更)

1. Dijkstra 1.1 原理与步骤 步骤: 选取距离源点最近且未被访问过的节点标记该节点为已访问更新未访问节点到源点的距离 1.2 代码实现 以KamaCoder47题为例 题目:47. 参加科学大会(第六期模拟笔试) (kamacoder.com) class Progra…

非开发者也能体验纯血鸿蒙了?15款机型开启鸿蒙NEXT测试招募

非开发者也能体验纯血鸿蒙了?这15款机型正式开启鸿蒙NEXT Beta版测试招募 8月26日,华为发起了新一轮的HarmonyOS NEXT Beta版的升级招募,据了解,此次升级招募面向华为Mate 60系列、华为Mate X5(含典藏版)、…

Linux: make指令与Makefile文件

目录 1. 场景介绍 2. make指令与Makefile文件 3. 依赖关系和依赖方法 4. 项目清理 5. 原理 5.1 识别文件是否需要编译 5.2 make原理 6. 扩展 总结 1. 场景介绍 Linux操作系统中,我们每编写一个C/C代码,都要手动使用gcc/g指令,对代码…