去年侧重大模型和GPT的原理，今年就侧重项目实战了。找到的这个合集不仅收集了大模型训练实战，还有微调实战，分布式训练，真的很全。

下面汇总了我在大模型实践中训练相关的所有教程。从6B到65B，从全量微调到高效微调(LORA，QLORA，P-Tuningv2)，再到RLHF(基于人工反馈的强化学习)。

LLM分布式训练并行技术
近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，传统的单机单卡模式已经无法满足超大模型进行训练的要求，因此，我们需要基于单机多卡，甚至是多机多卡进行分布式大模型的训练。

而利用AI集群，使深度学习算法更好地从大量数据中高效地训练出性能优良的大模型是分布式机器学习的首要目标。为了实现该目标，一般需要根据硬件资源与数据/模型规模的匹配情况，考虑对计算任务、训练数据和模型进行划分从而进行分布式训练。因此，分布式训练相关技术值得我们进行深入分析其背后的机理。

下面主要对大模型进行分布式训练的并行技术进行讲解，本系列大体分九篇文章进行讲解。

这份《大模型项目合集》已经上传CSDN，还有完整版的大模型 AI 学习资料，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

PDF书籍： 完整版本链接获取

👉[CSDN大礼包🎁：《大模型项目合集》免费分享（安全链接，放心点击）]👈