紧跟大模型技术趋势,为更大更通用的大模型提供底层支撑!关于智能计算系统:从深度学习到大模型,全新版本,发布!

news2024/11/15 11:58:22

文章目录

  • 📋前言
  • 🎯 关于智能计算系统
  • 🎯 内容简介
  • 🎯 作者简介
  • 🎯 专家推荐
  • 🎯 目录大纲
  • 🔥 参与方式


在这里插入图片描述

📋前言

“只要你想把大模型做得更好、做得更大、做得更快、做得更省电,你就必须要有系统的人才跟思维。我们这个领域变化得特别快,教的内容,教的方式,都要不断地变化。如果我们中国的研究者和教育者做得更好一点如果我们在具身智能的大模型上,或者是说在未来终极的通用人工智能上,能做出原创性的、引领性的贡献,也非常非常好的。”——陈云霁


🎯 关于智能计算系统

2020年3月,“智能计算系统”课程的同名教材《智能计算系统》第1版正式出版,至今已加印 7次,被国内超过百所高校使用,受到了众多读者的认同和好评。

时隔四年,以ChatGPT等大模型为代表的生成式人工智能,引领人工智能领域爆发式发展。如果说四年前,业界都认为通用人工智能还是一件很遥远的事情,那么到了今天,GPT的进展让我们都不得不正视这场由大模型引发的通用人工智能革命。图灵奖获得者、深度学习之父 G. Hinton 也说:“这些东西(大模型)与我们完全不同。有时我认为这就像外星人登陆了,而人们还没有意识到。”

人工智能技术不断突破,逐渐深入地赋能千行百业。过去几年,AI从“小模型+判别式”转向“大模型+生成式”,不管是传统的视觉识别、语音识别、文本分类等等,还是如今的文本生成、3D数字人生成、图像生成、语音生成、视频生成,这些任务最终都是需要运行在智能计算系统上。

当硬件的系统能力不能够提升的时候,算法、模型、应用的能力也是不可能获得提升的。超万亿参数的大模型研发,并不仅仅是算法问题,而是囊括了底层庞大算力、网络、大数据、机器学习等诸多领域的复杂系统性工程,需要有超大规模智能计算系统的支撑。

大模型取得巨大进步的一个关键因素是智能计算系统所提供的巨大算力。例如GPT-4 有 1.76 万亿参数,其训练更是使用 2.5 万颗 A100 GPU 运行率近 100 天,花费超过1亿美元,对智能计算系统算力的需求达到了 GPT-3的 67 倍。未来如果还要训练出人脑规模的大模型(100 万亿参数),对智能计算系统算力的需求还将进一步提升。因此,大模型的发展使我们必须重新审视智能计算系统课程的知识体系。

图片
2024年7月,深度学习处理器芯片研究的开拓者陈云霁领衔,中国科学院计算技术研究所、软件研究所的专家学者倾心写就《智能计算系统:从深度学习到大模型第2版》正式出版上市!

第2版教材凝聚着中国科学院计算技术研究所和中国科学院软件研究所多位老师的心血,以大模型为牵引,在保留原有深度学习计算系统精髓的前提下,全面更新各章节的内容与实验力图从各个层面系统讲解如何持续提升智能计算系统的计算能力,为未来更大更通用的模型提供支撑。

图片

智能计算系统:从深度学习到大模型 第2版
陈云霁 等编著
深度学习处理器研究的开创者陈云霁领衔撰写!
紧跟大模型技术趋势
保留深度学习精髓内容,超过70%的内容更新
为更大更通用的大模型提供底层支撑

🎯 内容简介

  • 全面贯穿人工智能整个软硬件技术栈

  • 以大模型为牵引,形成智能领域的系统思维

  • 前沿研究与技术实践结合,快速提升智能领域的系统能力

第2版的更新内容包括如何构建大模型算法(第2、3章),如何让编程框架支撑海量处理器分布式训练大模型(第4、5章),如何在单个处理器层面实现算力提升(第6、7章),如何面向大模型进行智能计算系统的编程(第8章)。我们还专门增加了第9章,将前面各个章节的串联起来,介绍完整的面向大模型的智能计算系统。
在这里插入图片描述


🎯 作者简介

陈云霁 中国科学院计算技术研究所副所长、研究员、博导,处理器芯片全国重点实验室主任,中国科学院大学岗位教授,中国计算机学会体系结构专委会主任。他带领团队研制了国际上首个深度学习处理器芯片“寒武纪1号”,相关成果两获计算机体系结构顶级国际会议最佳论文奖,并已应用在上亿台智能手机和服务器中。他的学术论文受五大洲、三十个国家、数百个知名机构广泛跟踪引用。因此,他被Science杂志刊文评价为深度学习处理器的“先驱”和“引领者”,并获我国处理器芯片领域历史上唯一的国家自然科学二等奖(第一完成人)。他还曾获国家杰出青年科学基金、全国五一劳动奖章、中国青年五四奖章、全国创新争先奖、何梁何利科技创新奖、教育部“青年长江学者”,并被MIT技术评论评为全球35位杰出青年创新者(2015年度)。

李玲 中国科学院软件研究所研究员、博导,CCF高级会员,IEEE Senior Member。研究方向为智能计算。

赵永威 中国科学院计算技术研究所副研究员。研究方向为智能处理器体系结构。

李威 中国科学院计算技术研究所副研究员。研究方向为高性能智能计算系统设计技术

郭崎 中国科学院计算技术研究所研究员。长期从事计算机体系结构及人工智能相关研究。

文渊博 中国科学院计算技术研究所助理研究员。长期从事智能计算系统相关研究。

张蕊 中国科学院计算技术研究所副研究员,研究方向为深度学习和处理器设计智能化


🎯 专家推荐

来自八位院士专家的评价

“开创了我国第一门讲授当代智能计算系统的课程,编写了我国第一本智能计算系统教材,对我国人工智能人才培养产生了广泛而深远的影响”。
—— 陈国良 中国科学院院士

“智能计算系统是支撑大模型等下一代人工智能技术发展的不可或缺的载体。本书作为我国第一本讲授当代智能计算系统完整技术体系的教材,既有深度也有广度,对于人工智能专业人才培养具有重要价值”。
—— 郑南宁 中国工程院院士

“对智能计算系统的各层软硬件技术栈的奥妙和相互联系进行精确、扼要的介绍,使学生对系统全貌有一个深刻印象,达到举一反三、触类旁通的效果”。
—— 李国杰 中国工程院院士

“深层次、全栈性地解析了AI的关键理论和技术,又通过一个图像风格迁移的实例生动地演示了AI的实践”。
—— 张亚勤 中国工程院外籍院士

“在智能方向打通了系统与算法,再将这些科研优势辐射到教学”。
—— 孙凝晖 中国工程院院士

“非常适合培养学生的系统思维。到目前为止,国内外少有同类书”。

—— 郑纬民 中国工程院院士

“系统性、全面性在国内外都非常难得,值得每位人工智能方向的同学阅读”。
—— 张宏江 美国工程院外籍院士

“是国内第一本关于深度学习计算系统的书籍”。
—— 周志华 欧洲科学院院士


🎯 目录大纲

适合读者对象

本书适合作为高等院校计算机、人工智能等相关专业的教材,也适合人工智能领域的科研人员、从业者参考使用。

第一章:概述
人工智能的发展历史及三类主要研究方法;智能计算系统的发展历程及未来展望;智能应用从智能算法到编程再到芯片上运行的过程

第二章:深度学习基础
机器学习和神经网络的基本原理;神经网络的训练过程;提升神经网络训练精度的手段;神经网络的交叉验证等

第三章:深度学习应用
卷积神经网络的图像分类及目标检测算法;循环神经网络;生成对抗网络;大模型的核心技术;量化技术;利用深度学习实现图像风格迁移

第四章:编程框架使用
深度学习编程框架的概念及作用;PyTorch 的编程模型及基本用法;通过驱动范例来介绍如何基于PyTorch 实现深度学习的推理和训练

第五章:编程框架原理
编程框架的设计原则和整体架构;介绍编程框架中的四大核心模块的原理和相关技术,包括计算图构建、计算图执行、深度学习编译以及分布式训练等模块

第六章:面向深度学习的处理器原理
各类智能处理器的执行过程、总体架构和发展历史,通过对这些处理器进行对比,揭示了深度学习处理器达成更高计算效率的基本原理

第七章:深度学习处理器架构
分别从计算、存储和通信三个方面深入探索深度学习处理器的基本硬件模块设计

第八章:智能编程语言
智能计算系统的抽象架构、编程模型、语言基础、编程接口、功能调试、性能调优以及智能编程语言的应用

第九章:大模型计算系统
以大模型计算系统作为驱动范例,将前面各章介绍的智能算法、编程框架、芯片架构、编程语言等内容串联起来,使读者能真正融会贯通,理解如何根据大模型算法特点进行系统软件的设计优化和硬件平台的构建,以高效支持大模型的训练和推理,从而全面地理解智能计算系统

本书可以帮助读者建立对人工智能软硬件技术栈的整体认识,建立智能计算系统设计及应用的知识体系,掌握构建面向大模型的复杂系统或子系统的能力。
在这里插入图片描述


🔥 参与方式

《智能计算系统:从深度学习到大模型第2版》免费包邮送出 2 本!

抽奖方式:随机抽取 2 位小伙伴免费送出!
参与方式1:关注博主、点赞、收藏、评论区评论 (随机有效留言即可)(切记要点赞+收藏,否则抽奖无效,每个人最多评论三次!)
参与方式2:关注博主公众号,私信然后参与抽奖
活动截止时间:2024-9-2 12:00
京东购买链接:https://item.jd.com/14708844.html
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2075317.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

翻译软件 Fastrans 开发日志 #01

目录 预览前言功能技术待办 预览 Github 仓库链接:https://github.com/YaoqxCN/Fastrans Gitee 仓库链接:https://gitee.com/yaoqx/Fastrans 求求给我点个 star 叭 qaq 现在才是 v1.0.0,给我个 star 鼓励我继续开发下去! 我相信…

AI如何帮助普通人实现自我成长和副业变现

前言 最近有没有发现身边的一切都变得越来越"智能"了?连家里的空调都学会了自己调整温度,害得我每天起床都觉得它比我聪明。这不禁让我想到,既然连空调都在进化,我们这些普通人是不是也该搭上AI的快车,来个华…

找出所有子集异或和的和 全排列2

1863.找出所有子集异或和的和 解释&#xff1a;做本题没思路的话&#xff0c;强烈建议看本专栏上一篇博文 class Solution { public:int sum 0;int path 0;int subsetXORSum(vector<int>& nums) {dfs(nums, 0);return sum;}void dfs(vector<int>& nums,…

大模型分布式训练技术(DP、DDP和FSDP)

目录 数据并行&#xff08;PyTorch DP&#xff09; 分布式数据并行&#xff08;PyTorch DDP&#xff09; DP 与 DDP 的区别 补充说明&#xff1a;DP与DDP数据传输过程 完全分片数据并行(PyTorch FSDP) 补充说明&#xff1a;ZeRO FSDP DDP 与 FSDP 的区别 DP、DDP和FSD…

ADW400环保监测模块,用于各省市环保平台对接

ADW400环保监测模块主要用于计量低压网络的三相有功电能&#xff0c;同时可选择四个回路的电流输入&#xff0c;具有RS485通讯和470MHz无线通讯功能&#xff0c;方便用户进行用电监测、集抄和管理。可灵活安装于配电箱内&#xff0c;实现对不同区域和不同负荷的分项电能计量&am…

构建智慧园区的全方位解决方案:技术、部署与挑战应对

在当今数字化转型的浪潮中,智慧园区作为城市智能化的重要组成部分,正在成为各地政府和企业关注的焦点。本文将围绕一套完整的智慧园区解决方案,详细阐述其技术架构、部署流程以及在实施过程中可能遇到的挑战及应对策略。 1. 智慧园区解决方案概述 智慧园区解决方案旨在通过先…

Qt 一个带数据压缩的加解密实现类,压缩率达到了1/3

一.加解密效果 1-1000字符串,所占大小2890(加密前) 1-1000字符串,所占大小1964(加密后) 二.加解密功能实现类 /* Copyright (c) 2011, Andre Somers All rights reserved.Redistribution and use in…

Windows上安装 nodejs,npm 和 yarn详细教程

1、下载Node.js 访问Node.js 官网下载&#xff0c;下载需要版本版本&#xff0c;具体操作如下 2、安装Node.js 具体安装可参考以下知乎教程 https://www.zhihu.com/question/591831850/answer/3423661990 3、配置淘宝镜像 npm config set registry https://registry.npmmirror…

Codeforces Round 925 (Div. 3) E. Anna and the Valentine‘s Day Gift (博弈论*1400)

根据题目条件&#xff0c;我们知道10的m次方就是1后面跟着m个0&#xff0c;也就是说这是个最小的m1位数。 那么只要是最终得来的数的尾数是m1位数就可以通过。 思考影响数位的因素&#xff1f; 在这道题里&#xff0c;安娜能够对数位进行的操作只有删去后导零&#xff0c;由此…

安卓刷机笔记

前置知识 双清— 清除data 、 cache 四清----清除 data 、 cache 、 dalvik分区 、 system分区 四清的好处&#xff1a;卡刷ZIP格式的刷机包都是使用第三方recovery刷入的&#xff0c;所以我们在刷机之前对上一个系统的数据&#xff0c;包括用户数据、系统残留都需要彻底清除&a…

dolphinscheduler 日志乱码

dolphinscheduler 日志乱码如下图所示&#xff0c;检查服务器编码为zh_CN.UTF-8 修改$dolphinscheduler/bin/env/dolphinscheduler_env.sh 增加 JAVA_OPTS"$JAVA_OPTS -Dfile.encodingUTF-8" 参数 重新安装启动 修改前 修改后

i.MX裸机开发(10):UART——串口通讯

本章参考资料&#xff1a;《IMX6ULRM》&#xff08;参考手册&#xff09;。 学习本章时&#xff0c;配合《IMX6ULRM》Chapter 53 Universal Asynchronous Receiver/Transmitter (UART)一起阅读&#xff0c;效果会更佳&#xff0c;特别是涉及到寄存器说明的部分。 本章主要内容…

一文读懂 LLM 如何进行微调?

​你知道吗&#xff0c;咱们用那些已经训练好的大型语言模型&#xff0c;其实有好多不同的玩法。最常见的有三种&#xff1a;一种是用模型提取的特征来训练新的小模型&#xff1b;另一种是直接给模型看新任务的例子&#xff0c;让它学着怎么回答&#xff0c;这招叫做提示&#…

深度探究|软件主宰世界,我们究竟错过了什么?

这乃是知乎 COO 张宁于近期针对国内过往十年创投环境展开的深度思索。 张宁觉得&#xff0c;在过去的十年当中&#xff0c;美国硅谷专注于 SaaS 领域&#xff0c;凭借软件的标准化来提升企业的效率与经济性&#xff0c;同时倡导开放性与多样性。 中国在过去的十年里&#xff…

Java之线程篇二

目录 Thread的常见构造方法 Thread的常见属性 代码示例1 代码示例2 示例代码3 代码示例4 代码示例5 小结 线程中断 代码示例1 代码示例2 代码示例3 代码示例4 小结 线程等待 获取当前线程的引用 Thread的常见构造方法 举例 Thread t1 new Thread(); Thread t2…

YOLOv8改进 | 融合改进 | C2f融合Faster模块提升检测速度【完整代码 + 主要代码解析】

秋招面试专栏推荐 &#xff1a;深度学习算法工程师面试问题总结【百面算法工程师】——点击即可跳转 &#x1f4a1;&#x1f4a1;&#x1f4a1;本专栏所有程序均经过测试&#xff0c;可成功执行&#x1f4a1;&#x1f4a1;&#x1f4a1; 专栏目录 &#xff1a;《YOLOv8改进有效…

conda环境安装与删除

安装 1.cmd安装 conda create -n xxxxx(名字) python3.8 进入虚拟环境 activate xxxxx(名字) 查看虚拟环境的库 pip list 退出虚拟环境 deactivate 2.pycharm直接创建 对一个项目右下角&#xff1a; 可以使用现有环境&#xff0c;也可以创建新环境 删除 在cmd中输入&…

大模型在安全领域的十大应用场景及实现路径

作为网络安全及AI的双重爱好者&#xff0c;笔者也一直在关注大模型在安全领域的相关应用&#xff0c;从目前市面上看到的产品来说&#xff0c;相关的结合还在一个较为早期的阶段&#xff0c;很多产品能力也是为了大模型而大模型&#xff0c;并未真正发挥其价值。 在去年上一篇相…

lvgl 滚轮roller 选项循环设置

lvgl 中可以通过设置滚轮的属性使所有选项循环出现&#xff0c;对于时间、日期之类的组件非常实用。 lv_roller_set_options(lv_obj_t * obj, const char * options, lv_roller_mode_t mode)&#xff1b; 这个函数的最后一个参数有两个值&#xff1a; LV_ROLLER_MODE_NORMAL…

大模型面经——Langchain总结

本篇介绍Langchain相关面试题。 本次将会分为上下两个部分&#xff0c;本篇章将会介绍前三个问题&#xff0c;下一次在将后三个问题补充完毕。 以下是一个快捷目录&#xff1a; 什么是 LangChain? LangChain 包含哪些部分&#xff1f; LangChain 中 Chat Message History …