大模型技术的发展和迭代2024年已经可以按天来计算了，几乎每天都有新的大模型和技术登场。

从基座模型Mamba2，Jamaba，到Dora，LoftQ，GaLore等最新的微调技术；KTO，IPO，SimPO等微调技术；再到GPTQ，SmoothQuant，AWQ，GGUF等量化技术。大模型全链路的技术的迭代日新月异。

节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。

针对大模型技术趋势、算法项目落地经验分享、新手如何入门算法岗、该如何准备面试攻略、面试常考点等热门话题进行了深入的讨论。

总结链接如下：

《大模型面试宝典》(2024版) 发布！

《AIGC 面试宝典》圈粉无数！

喜欢本文记得收藏、关注、点赞。更多实战和面试交流，也欢迎与我们交流

---

详细内容

模块一：基座模型

1、Transformer架构与机制

• 多头自注意力机制：Query, Key, Value机制

• Multi-query attention

• 位置编码技术

• 层归一化与残差连接

• 案例：剖析LLama3模型结构

2、大模型训练与优化

• 预训练、微调与对齐过程

• SFT与LoRA微调

• 对齐与DPO

• 处理长距离依赖

• 处理更长的上下文

• 梯度下降变体

3、Mamba介绍

• Transformer与Seq2Seq各自有缺点

• Differential Equation基础

• 选择性状态空间模型（SSMs）

• Discretization, Recurrent计算

• The HIPPO矩阵

• 基于Pytorch实现一个基本的Mamba块

4、Mamba核心组建与优化

• 局部卷积宽度及其重要性

• Selective Scan

• 整体模型架构

• Mamba的优化策略

• 与Transformer优化的比较分析

5、Mamba2

• Mamba与Mamba2的区别

• Mamba2中的高级SSMs

• 结构状态空间对偶性

• SSMs和Transformers之间的等价性

• 块分解技术

• 面向硬件的实现

• 高效投影和归一化

• 实践：在Mamba2中实现高维SSMs

6、Mamba的应用

• 文本生成与文本摘要生成

• 机器翻译与情感分析

• 基于Mamba构造大模型

• 基于Mamba构造多模态大模型

• 医疗、金融领域的应用

7、Jamba模型

• 混合架构设计基础

• SSMs与Transformer注意机制的集成

• 结合Mamba和Transformer方法的优点

• Jamba模型剖析

• 多模态注意力和状态空间集成

• 跨模态嵌入对齐

8、KANs

• KANs vs MLPs

• Kolmogorov-Arnold representation theorem

• 基础架构

• Convolutional KANs (CKANs)

• 训练KANs

• 实践：从零实现KANs

模块二：指令微调技术

9、LoRA微调技术

• 必要的数学知识 - 低秩分解

• LoRA的核心原理

• LoRA中的各类参数设置

• 优化并获得LoRA参数

• LoRA源码解读

• 基于开源模型实现LoRA微调

10、DoRA微调技术

• 从LoRA到DoRA

• DoRA解决的核心问题

• 权重分解的低秩适应

• DoRA的梯度分析

• DoRA的源码分析

• 基于开源模型实现DoRA微调

11、LoftQ微调技术

• 量化技术基础

• 不同的量化技术

• 传统方法与基于LoRA的量化

• LoftQ算法的详细介绍

• 背后的理论分析

12、GaLore微调技术

• Weight Gradient的low rank特性

• GaLore模型详解

• 低秩子空间的组成

• 内存高效优化

• 超参数的调整

• 背后的一些理论分析

13、Mixture of LoRAs

• Routing策略设计

• MoA架构设计

• 模型的详解

• 模型源码分析

• 基于开源模型实现模型微调

模块三：对齐技术

14、DPO对齐技术

• 偏好优化基础

• Bradley-Terry model

• 推导DPO的目标

• 详解DPO的训练

• DPO背后的理论分析

• 基于开源模型实现DPO对齐

15、KTO对齐技术

• HALOs介绍

• KTO的推导过程

• KL的估计

• 理解超参数

• KTO与DPO

16、IPO对齐技术

• 序列似然校准

• 算法详解

• online IPO

• 背后的理论分析

• 基于开源模型实现IPO对齐

17、SimPO对齐技术

• DPO与SimPO主要区别

• 推导SimPO的目标

• SimPO的参数设置

• SimPO源码分析

• 对齐技术的未来发展

模块四：模型量化技术

18、GPTQ量化技术

• 量化技术基础

• OBQ介绍

• GPTQ算法详解

• 背后理论分析

• 基于LLama大模型进行GPTQ量化

19、SmoothQuant量化技术

• 数据分布对量化的影响

• SmoothQuant核心思想

• SmoothQuant算法详解

• 算法源码分析

• 基于LLama大模型进行SmoothQuant量化

20、AWQ量化技术

• AWQ核心思想

• 分析量化导致的误差

• 选取最有价值的1%权重

• AWQ算法详解

• 基于LLama大模型进行AWQ量化

21、GGUF量化技术

• 从GPU到CPU使用

• GGUF核心思想

• GGUF算法详解

• 基于LLama大模型+GGUF

模块五：多模态技术

22、MoE-LLaVA

• 视觉大模型基础

• 训练多模态大模型的Scaling挑战

• Hard Routers和Soft Routers

• MoE总体结构

• MoE三阶段训练

• 模型源码解读

• 微调一个MoE-LLaVA模型

23、Mini-Gemini

• 模型背后核心思想

• Dual Vision Encoders

• Patch Info Mining

• 模型详解

• 模型源码解读

24、VideoLLaMA2

• 模型背后核心思想

• 模型总体结构

• 模型算法解析

• 多任务微调

• 微调一个VideoLLaMA2模型

模块六：图与大模型

25、图与大模型基础

• 图、知识图谱基础

• 图和大模型结合三种常见方法

• 利用图来增强大模型推理

• 利用大模型来增强图模型

• 两者的直接结合

• 大模型对图的推理

26、推荐系统与大模型

• 推荐系统设计

• 推荐系统中使用大模型

• Prompt的设计

• 微调推荐大模型思路

• 微调一个推荐领域大模型

27、GraphGPT: Graph的指令微调

• Graph的推理能力分析

• 图结构的编码

• Self- supervised微调

• 基于任务的微调

• CoT蒸馏

• GraphGPT的应用场景

28、知识图谱与LLM的结合

• 知识图谱背景介绍

• 知识图谱与LLM结合的几种方式

• 训练能够理解知识图谱的LLM基座模型

• 知识图谱与LLM对推荐系统的价值

模块七：具身智能

29、具身AI简介

• 历史背景和关键里程碑

• 应用和未来趋势

• 具身智能和大模型的结合

• 具AI的理论

• 具身AI的认知架构

30、大型语言模型、感知器

• LLM在具身AI中的角色

• 将LLM与具身系统集成的技术

• 具身AI中的自然语言理解和生成

• 机器人学简介和机器人类型

• 传感器技术和数据采集

• 执行器和控制系统

• 案例：使用LLM的机器人系统

31、具身AI系统设计

• 具身AI的设计原则

• 人机交互（HRI）

• 多模态界面

• 具身AI中的强化学习

• 实时决策

32、评估与测试

• 评估具身AI系统的指标

• 性能测试和基准测试

• 用户研究和反馈收集

• 迭代设计和改进

用通俗易懂的方式讲解系列

• 重磅来袭！《大模型面试宝典》(2024版) 发布！

• 重磅来袭！《大模型实战宝典》(2024版) 发布！

• 用通俗易懂的方式讲解：不用再找了，这是大模型最全的面试题库

• 用通俗易懂的方式讲解：这是我见过的最适合大模型小白的 PyTorch 中文课程

• 用通俗易懂的方式讲解：一文讲透最热的大模型开发框架 LangChain

• 用通俗易懂的方式讲解：基于 LangChain + ChatGLM搭建知识本地库

• 用通俗易懂的方式讲解：基于大模型的知识问答系统全面总结

• 用通俗易懂的方式讲解：ChatGLM3 基础模型多轮对话微调

• 用通俗易懂的方式讲解：最火的大模型训练框架 DeepSpeed 详解来了

• 用通俗易懂的方式讲解：这应该是最全的大模型训练与微调关键技术梳理

• 用通俗易懂的方式讲解：Stable Diffusion 微调及推理优化实践指南

• 用通俗易懂的方式讲解：大模型训练过程概述

• 用通俗易懂的方式讲解：专补大模型短板的RAG

• 用通俗易懂的方式讲解：大模型LLM Agent在 Text2SQL 应用上的实践

• 用通俗易懂的方式讲解：大模型 LLM RAG在 Text2SQL 上的应用实践

• 用通俗易懂的方式讲解：大模型微调方法总结

• 用通俗易懂的方式讲解：涨知识了，这篇大模型 LangChain 框架与使用示例太棒了

• 用通俗易懂的方式讲解：掌握大模型这些优化技术，优雅地进行大模型的训练和推理！

• 用通俗易懂的方式讲解：九大最热门的开源大模型 Agent 框架来了