哈尔滨工业大学DeepSeek公开课人工智能:大模型原理 技术与应用-从GPT到DeepSeek|附视频下载方法

news2025/3/30 23:21:17

导 读INTRODUCTION

图片

今天继续哈尔滨工业大学车万翔教授带来了一场主题为“DeepSeek 技术前沿与应用”的报告。

本报告深入探讨了大语言模型在自然语言处理(NLP)领域的核心地位及其发展历程,从基础概念出发,延伸至语言模型在机器翻译、拼音输入法、语音识别等任务中的关键作用。强调了语言模型不仅辅助其他NLP任务,本身也蕴含大量知识,如地理信息、语义理解和推理能力。随着技术的发展,尤其是transformer模型的引入,预训练模型时代开启,GPT系列模型成为里程碑,GPT-3通过大规模参数和数据预训练,展现强大的文本生成能力,尽管存在知识准确性问题。ChatGPT的出现通过无监督、有监督和强化学习的融合,显著提高了模型性能和泛化能力,尤其在推理任务上取得突破。DeepSeek的RE模型通过极致的模型架构优化和开源精神,实现了高性价比、高性能的推理能力,接近甚至媲美顶尖模型,引起广泛关注。

此外,讨论了如何有效利用大模型的策略,包括清晰指令、提供丰富参考资料、分解复杂问题等,以及专业领域知识融合的方法,如检索增强和微调。最后,展望了人工智能的未来方向,强调了语言模型作为AI基石的重要地位和持续的研究挑战。

哈尔滨工业大学:《大模型原理 技术与应用-从GPT到DeepSeek

网盘下载:https://pan.quark.cn/s/230cde4fd7c8

以下是部分内容预览:

图片

图片

1.大语言模型原理、技术和应用介绍

介绍主要围绕大语言模型的原理、技术和应用展开,重点讨论从GPT到DeepSeek的发展过程。主讲人陈万祥来自计算学部人工智能学院,专注于社会计算与交互机器人研究中心的研究。他强调了语言作为交流工具和知识载体的重要性,并解释了大语言模型如何通过分析和理解人类历史上的文字,掌握和创造知识。

2.自然语言处理:人工智能的皇冠明珠

自然语言处理专注于人类语言的文本符号处理,涉及理解和生成两个关键方面,被视为认知智能的一部分,是人工智能领域中尤为复杂且重要的部分。该领域的突破被视为推动人工智能更大进展的关键,因此自然语言处理被誉为人工智能皇冠上的明珠。随着语言模型的发展,自然语言处理不仅在其自身领域取得了显著进步,也促进了整个人工智能领域的快速发展。

3.自然语言处理的发展历程及大模型技术

自然语言处理学科历史悠久,自上世纪50年代计算机发明后,机器翻译作为重要研究课题诞生,旨在解决美苏冷战时期的情报需求。尽管最初认为机器翻译任务简单,但历经70年发展,至今仍未彻底解决,尽管现有技术已显著提升。早期尝试通过知识灌输和浅层机器学习解决自然语言处理问题,效果有限。深度学习的出现,尤其是预训练语言模型,为自然语言处理带来了革命性进展,奠定了大模型技术的基础。大模型,或大规模预训练语言模型,已成为当前自然语言处理领域的核心技术。

4.预训练语言模型及其在自然语言处理中的应用

预训练语言模型,以GPT为代表,是一种通过大量文本数据进行训练,以生成和理解自然语言的模型。它通过衡量一个句子在语言中出现的概率,为自然语言处理任务提供支持。预训练语言模型不仅在机器翻译、拼音输入法和语音识别等任务中起到关键作用,还能通过预测下一个词的概率来辅助理解和生成流畅的文本。

5.语言模型的重要性及GPT的创新点

语言模型在预测下一个词的过程中蕴含大量知识,如地理信息、语义信息和推理能力。GPT通过使用transformer模型、预训练和简化下游任务模型的创新,有效提升了语言模型的性能,开启了自然语言处理预训练的时代。这些创新使得GPT能更准确地理解和生成语言,解决了传统技术的不足,从而在多种自然语言处理任务中取得显著成果。

6.预训练模型在自然语言处理中的作用及发展

讨论了预训练模型在自然语言处理领域的应用和优势,对比了预训练和非预训练模型处理数据的方法。通过类比教育过程,阐述了预训练模型如何通过大量未标注数据学习通用任务,随后在特定任务上进行精调以提高效果。特别提到了GPT系列模型的发展,从GPT1到GPT3,模型规模逐渐增大,至GPT3时参数量达到了1750亿,强调了大模型在当前技术下的重要性。

7.大模型在学术界的发展与挑战

在学术界,早在2020年之前就认识到大模型的重要性,特别是GP3模型因其巨大参数量带来的预训练和精调难题,促使研究者探索新范式。Open I提出的方法是让下游任务适应模型,而非模型适应任务,这通过将任务转化为语言模型预测上下文的任务来实现。例如,情感分类任务可以通过给定任务描述和示例让模型识别文本情感。GP3模型展示了强大的文本生成能力,甚至能自动编写代码,引发了通用人工智能是否已到来的讨论。然而,GP3也存在明显不足,如知识不准确和推理能力缺失,导致其在某些任务上的表现不如其他特定工作。因此,后续研究致力于增强模型的鲁棒性、解释性和推理能力。

8.ChatGPT的关键技术及其突破

对话中详细介绍了ChatGPT通过无监督学习和大规模预训练语言模型实现显著效果的关键技术。ChatGPT不仅模型规模大,预训练数据量也巨大,这使其见过的知识更多,参数容量更大。此外,对话指出ChatGPT颠覆了仅预训练的范式,通过将所有任务统一格式进行精调,使其不仅在已见过的任务上表现优异,还能泛化到从未见过的任务上,展现了强大的任务泛化能力。

9. ChatGPT关键技术及其引发的模型竞争

ChatGPT采用无监督学习、有监督学习和强化学习三项关键技术,其中强化学习特别通过人类反馈进行强化对齐,以使生成结果更符合人类期望并减少人工标注难度。这项技术的出现引起了学术界和工业界的广泛关注,激发了众多公司投入到相关领域,导致新模型层出不穷,形成了激烈的竞争态势。

10.Deep Seek模型为何突然走红

Deep Seek(DP sik)模型在一月底发布后迅速引起关注,尤其在国外,其在Nature杂志的报道中被描述为一款高性价比、完全开源的推理模型,性能可媲美顶级的OE模型。这些特点,尤其是其高性能和开源性,使得Deep Seek在众多模型中脱颖而出。

11.DeepSeek的推理模型及其核心技术创新

深入探讨了DeepSeek开发的推理模型及其发展历程,强调了模型从V1到V3、R1 zero再到21的迭代更新。特别提及了GRPO技术,这是一种由DeepSeek在去年二月提出的强化学习方法,其显著特点是无需驾驶网络,降低了对机器性能的要求,提高了学习的稳定性和效率。该模型在复杂推理任务上表现优异,主要贡献在于证明了通过强化学习即可获得推理能力,无需人工标注数据,从而大幅降低了成本。此外,模型架构的极致优化使得训练和推理速度大幅提升,降低了对算力的需求,拓宽了应用范围。DeepSeek坚持开源精神,公开了模型和详细的技术报告,这与某些竞争对手的封闭做法形成鲜明对比。推理被认为是人工智能发展的第六次范式变迁,DeepSeek的成功复现为这一技术路线的可行性提供了信心,激发了更多相关研究和实践。

12.思维链和强化学习在推理能力中的应用

推理技术在解决问题时,模仿人类分步骤思考的过程,而不是一步到位。2022年提出的思维链范式,让模型在输出时不仅给出最终答案,还展示中间解题步骤,增强了模型的推理能力。早期模型如Deep sik RE和OE通过强化学习,使模型自动学习推理能力,而不是依赖模型大小的增加。RE zero模型通过自我博弈和强化学习,让模型探索推理步骤,如果得出正确答案则给予奖励,错误则惩罚,以此训练模型的推理过程。这种技术不仅学习稳定性好,还能节省资源。

13.强化学习在自动推理过程中的显著进展

通过强化学习的方法,模型在AIME(美国数学奥赛)题目的表现从39%显著提升到了71%,接近预览版的open IOE能力。随着模型训练步骤的增加,其推理能力持续增长,显示了模型在算力充足的情况下探索更多路径的可能性。特别的是,模型在学习过程中展现了自我反思的能力,即能够识别错误的推理并进行修正,称为aha moment。同时,推理步骤随学习过程的增加而自然增长,但是否越多越好还需根据问题的复杂性决定。此外,为解决RE zero在推理步骤的可读性问题,阿尔法zero(R one)在冷启动阶段引入少量示例以指导模型学习一种语言和规范的格式,经过四个步骤的改进,模型的推理格式和语言表达更加规范,其能力从71%提升到接近80%,几乎与open I的正式版模型相当。

14.极致模型优化与开放的AI技术

讨论了Dik在模型架构优化方面的重要工作,包括使用算法优化、深度混合专家模型(MOE)、多头隐含注意力机制和多词源预测等技术,提高了模型预测效率和学习效率。此外,还介绍了在模型训练中的混合精度、并行训练架构和跨节点高效通讯等底层创新,以及Dik将这些核心技术和模型参数全面开源,甚至包括底层文件系统的优化,展示了其在AI领域的开放和极致优化策略。

15.Deep Sick模型的优化策略及影响

Deep Sick模型通过集合多种优化策略,显著降低了训练成本至其他模型如LAMA的十分之一,同时提高了性能。这种成本效益使得在有限资源下也能充分利用现有计算能力。Deep Sick的发布对Meta的LAMA项目造成压力,甚至影响了Meta的决策和人员调整。从GPT到Deep Sick的发展历程中,技术路线保持一致,主要通过大规模语言模型预训练并结合transformer架构,而Deep Sick在工程优化上达到了新的高度。

16.大模型应用及prompt设计原则

强调了有效使用大模型的关键原则,主要包括:确保指令清晰具体,使用分隔符提高识别准确性,提供示例以引导模型产生更佳结果,供给丰富参考资料以增强回答的准确性和深度,将复杂问题分解为步骤逐一解决,利用模型内置的外部工具如Python程序和搜索引擎提升问题解决能力,以及给予模型更多思考时间以获得更佳结果。这些策略旨在优化与大模型的互动,提高其在各种任务中的表现。

17.大模型在专业领域应用的挑战与策略

讨论了在特定专业领域中应用大模型时遇到的挑战和解决策略。首先提出通过优化prompt(即prompt工程)来充分利用模型的能力,即使模型可能未充分掌握某一领域的专业知识。如果单纯的知识不足,建议使用检索增强(RAG)技术,即通过检索相关领域的知识库来辅助模型生成更准确的答案。对于风格或格式上的问题,则可以通过微调模型来解决。此外,还介绍了智能体和多智能体技术在解决问题和科学研究中的应用,以及在实际应用中需考虑的模型小型化、个性化、安全性和隐私性等问题。最后,提到了实验室在大模型训练、增强及应用领域的工作,包括发布的开源对话模型“活字”。

18.大模型技术在代码生成与智能医疗等领域的应用

讨论聚焦于利用大模型技术在多个领域的创新应用,包括代码自动生成、智能医疗、以及机器人控制。首先,介绍了一种名为“珠算”的代码大模型,该模型具备轻量化、高效且功能强大的特点,能自动完成代码编写任务,从而提升编程效率并辅助模型进行复杂推理。此外,讨论了大模型在精神健康领域的应用,例如与中小学生聊天以缓解心理压力,以及通过引导式对话分析和疏导心理疾病。在医疗领域,介绍了中国首个医学大模型“本草”,以及基于大模型的多智能体辩论和人机融合医疗会诊平台,用于解决复杂医疗问题。最后,提到了软硬一体的机器脑项目,展示了通用机器人脑在控制多种形态机器人、执行复杂任务(如自动打咖啡)方面的潜力,体现了大模型技术在智能机器人领域的应用前景。

19.人工智能未来发展方向及阶段预测

讨论了人工智能未来的发展方向,强调了从当前推理阶段向多模态、具身能力乃至社会自组织机器人的演进。提到了从非交互式到交互式的转变,并详细介绍了Open I提出的通用人工智能发展的五个阶段:聊天机器人、推理器、代理、创新和组织,每个阶段代表了AI能力的逐步提升。此外,还探讨了实现这些阶段所需的条件,包括互联网级别的数据、多模态和物理控制能力,以及最终的社会自组织能力。

20. 自然语言处理与大模型技术的未来展望

重点介绍了自然语言处理(NLP)作为人工智能的关键领域,被誉为人工智能皇冠上的明珠。大模型,也被称为基础模型(foundation model),已成为人工智能的基石,支撑着其他能力的发展。特别提到了deep seek的R一模型,其三大核心贡献包括仅通过强化学习获得推理能力、极致的模型优化,以及开源和蒸馏技术的应用。报告还探讨了transformer模型的主导地位和未来可能的替代技术,以及自然语言处理从面向自然语言转向基于自然语言的处理,语言模型成为人工智能的基石。最后,提出了创新能力和人工智能学院作为未来研究和教育的方向。

篇幅有限以上只是部分内容概览

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2320897.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Excel处理控件Spire.XLS系列教程:C# 在 Excel 中添加或删除单元格边框

单元格边框是指在单元格或单元格区域周围添加的线条。它们可用于不同的目的,如分隔工作表中的部分、吸引读者注意重要的单元格或使工作表看起来更美观。本文将介绍如何使用 Spire.XLS for .NET 在 C# 中添加或删除 Excel 单元格边框。 安装 Spire.XLS for .NET E-…

Web开发-JS应用NodeJS原型链污染文件系统Express模块数据库通讯

知识点: 1、安全开发-NodeJS-开发环境&功能实现 2、安全开发-NodeJS-安全漏洞&案例分析 3、安全开发-NodeJS-特有漏洞 node.js就是专门运行javascript的一个应用程序,区别于以往用浏览器解析原生js代码,node.js本身就可以解析执行js代…

国产达梦(DM)数据库的安装(Linux系统)

目录 一、安装前的准备工作 1.1 导包 1.2 创建用户和组 1.3 修改文件打开最大数 1.4 目录规划 1.5 修改目录权限 二、安装DM8 2.1 挂载镜像 2.2 命令行安装 2.3 配置环境变量 2.4 启动图形化界面 三、配置实例 四、注册服务 五、启动 停止 查看状态 六、数据库客…

git的底层原理

git的底层原理 三段话总结git, 1. 工作原理:git管理是一个DAG有向无环图,HEAD指针指向branch或直接指向commit,branch指向commit,commit指向tree,tree指向别的tree或直接指向blob。 2. git所管理的一个目录…

MATLAB+Arduino利用板上的按键控制板上Led灯

几年不使用,之前的知识都忘掉了。需要逐步捡起来。 1 熟悉按键的使用 2熟悉灯的控制 1 电路 我们将通过 MATLAB 的 Arduino 支持包与 Arduino 板通信,读取按键状态并控制 LED 灯的亮灭。 按键:连接到 Arduino 的数字引脚(例如…

Cocos Creator Shader入门实战(五):材质的了解、使用和动态构建

引擎:3.8.5 您好,我是鹤九日! 回顾 前面的几篇文章,讲述的主要是Cocos引擎对Shader使用的一些固定规则,这里汇总下: 一、Shader实现基础是OpenGL ES可编程渲染管线,开发者只需关注顶点着色器和…

vue设置自定义logo跟标题

准备 Logo 图片 将自定义的 Logo 图片(如 logo.png)放置在项目的 public文件夹下。 使用环境变量设置 Logo 和标题(可选) 创建或修改 .env 文件 在项目根目录下创建或修改 .env 文件,添加以下内容: VITE_A…

尝试在软考65天前开始成为软件设计师-计算机网络

OSI/RM 七层模型 层次名功能主要协议7应用层实现具体应用功能 FTP(文件传输)、HTTP、Telnet、 POP3(邮件)SMTP(邮件) ------- DHCP、TFTP(小文件)、 SNMP、 DNS(域名) 6表示层数据格式,加密,压缩.....5会话层建立,管理&终止对话4传输层端到端连接TCP,UDP3网络层分组传输&a…

VMware主机换到高配电脑,高版本系统的问题

原来主机是i3 ,windows7系统,vmware 14.0,虚机系统是ubuntu 14.04。目标新机是i7 14700KF,windows11系统。原以为安装虚拟机,将磁盘文件,虚拟机配置文件拷贝过去可以直接用。 新目标主机先安装了vmware 15,运行原理虚机&#xff0…

【Linux内核系列】:动静态库详解

🔥 本文专栏:Linux 🌸作者主页:努力努力再努力wz 💪 今日博客励志语录: 有些鸟儿是注定是关不住的,因为它们的每一片羽翼都沾满了自由的光辉 ★★★ 本文前置知识: 编译与链接的过程…

windows环境下NER Python项目环境配置(内含真的从头安的perl配置)

注意 本文是基于完整项目的环境配置,即本身可运行项目你拿来用 其中有一些其他问题,知道的忽略即可 导入pycharm基本包怎么下就不说了(这个都问?给你一拳o(`ω*)o) 看perl跳转第5条 1.predict报错多个设备…

IDEA批量替换项目下所有文件中的特定内容

文章目录 1. 问题引入2. 批量替换项目下所有文件中的特定内容2.1 右键项目的根目录,点击在文件中替换2.2 输入要替换的内容 3. 解决替换一整行文本后出现空行的问题4. 增加筛选条件提高匹配的精确度 更多 IDEA 的使用技巧可以查看 IDEA 专栏: IDEA 1. 问…

【蓝桥杯】4535勇闯魔堡(多源BFS + 二分)

思路 k有一个范围(0到怪物攻击的最大值),求满足要求的k的最小值。很明显的二分套路。 关键是check函数怎么写,我们需要找到一条从第一行到最后一行的路径,每一次可以从上下左右四个方向前进,那么我么可以用…

HTML图像标签的详细介绍

1. 常用图像格式 格式特点适用场景JPEG有损压缩,文件小,不支持透明适合照片、复杂图像PNG无损压缩,支持透明(Alpha通道)适合图标、需要透明背景的图片GIF支持动画,最多256色简单动画、低色彩图标WebP谷歌开…

Chapter 4-15. Troubleshooting Congestion in Fibre Channel Fabrics

show zone member: Shows the name of the zone to which a device belongs to. This command can be used to find the victims of a culprit device or vice versa. 显示设备所属的区域名称。该命令可用于查找罪魁祸首设备的受害者,反之亦然。 show zone active: Shows the…

QT三 自定义控件

一 自定义控件 现在的需求是这样: 假设我们要在QWidget 上做定制,这个定制包括了关于 一些事件处理,意味着要重写QWidget的一些代码,这是不实际的,因此我们需要自己写一个MyWidget继承QWidget,然后再MyWi…

在 ASP .NET Core 9.0 中使用 Scalar 创建漂亮的 API 文档

示例代码:https://download.csdn.net/download/hefeng_aspnet/90407900 Scalar 是一款可帮助我们为 API 创建精美文档的工具。与感觉有些过时的默认 Swagger 文档不同,Scalar 为 API 文档提供了全新而现代的 UI。其简洁的设计让开发人员可以轻松找到测试…

用于 RGB-D 显著目标检测的点感知交互和 CNN 诱导的细化网络(问题)

摘要 问题一:但在对自模态和跨模态的全局长距离依赖关系进行建模方面仍显不足。什么意思? 自模态(Intra-modal)全局依赖:在同一模态内,长距离像素之间的信息交互对于理解全局背景很重要,但 CN…

python3 -m http.sever 8080加载不了解决办法

解决方法很多,本文设置各种处理方法,逻辑上需要根据你的自身情况选择 我会告诉你遇到这种问题怎么做,根据具体症状处理 如需转载,标记出处 背景: 1。如图 2.。域名访问不了 http://www.meiduo.site:8080/register.ht…

Oracle数据库性能优化全攻略:十大关键方向深度解析与实践指南

文章目录 一、SQL查询优化二、索引优化三、内存管理四、I/O优化五、分区表与分区索引六、并行处理七、统计信息管理八、锁与并发控制九、数据库参数调优十、应用设计优化结论 在当今数据驱动的时代,数据库的性能优化成为了确保企业应用高效运行的关键。Oracle作为业…