AI浪潮席卷全球并发展至今已有近2年的时间了，大模型技术作为AI发展的底座和基石，更是作为AI从业者必须掌握的技能。但是作为非技术人员，相信大家也有一颗想要训练或微调一个大模型的心，但是苦于技术门槛太高，无从下手。今天教大家一个非常快速的方法，5分钟就可以让你快速上手去微调一个大模型。还不赶紧去试试！
什么是模型微调？
大模型微调(Fine-tuning)是指在已经预训练好的大型深度学习模型基础上，使用新的、特定任务相关的数据集对模型进行进一步训练的过程。这里我们用的微调方式选择的是Lora。
首先，我们是要基于一个开源的大模型去微调一个属于我们自己模型，所以我们要先找一个开源的大模型。而开源大模型社区，现在最火的一定是Hugging Face。但是苦于需要魔法上网，所以我们用国内的知名模型库魔搭社区。
网址：
https://www.modelscope.cn/models
比如我们接下来要演示的是近期刚发布的Meta Llama3.1-8B的一个大模型。
模型地址：
https://www.modelscope.cn/models/LLM-Research/Meta-Llama-3.1-8B-Instruct
如何快速微调一个模型呢，下载提供好的训练模型代码后，只需要准备训练数据集和修改你要训练的模型即可，是不是特别快，特别方便。
1、下载训练模型的代码
我已经整理好了，在公众号回复【Ft-models】即可获取。解压后目录如下：
（解压后）
train.py：要训练的脚本。
test.py：训练后用于测试的脚本。
chat.py：基于streamlit的简单web问答交互页面。
requirements.txt：运行时需要的python库文件。
dataset：存放要训练的数据。
models：存放模型（默认为空，启动train.py进行训练时会下载模型到该目录）
2、准备数据集
需要准备要训练的数据集，json格式的，为了训练快速，我只象征性的加了3条。后续大家根据自己需求添加即可。
（准备json格式数据集）
3、修改训练脚本（train.py） & 训练
修改训练脚本中的模型，这里选用的Llama-3.1-8B，想微调其他的模型，在魔搭社区查找完修改即可。
（修改要训练的模型名称）
修改训练的设备，因为我是mac，所以写死了用mps，大家如果用gpu训练的话，改成cuda（在此之前电脑别忘了安装驱动，但先要确认NVIDIA版本是否支持CUDA），否则值设成用cpu进行训练。
总结一下，这里的可选值有三个：mps、cuda、cpu。
（修改要训练的硬件用什么）
到这里就可以执行【train.py】进行训练了，训练的过程第一次会很慢，因为需要在线下载模型和训练代码依赖的python库。后续再次进行训练就很快了，后续的训练速度取决于你训练数据集的大小和电脑硬件的配置，用GPU肯定比CPU快多了。
训练前需要安装python环境，然后执行下面命令进行训练：
python3 train.py
（模型训练）
注意：因为我准备的训练数据只有三条，很少，只用于测试，为了训练结果更精确，所以训练的总轮数（num_train_epochs这个参数）我设定为了30，大家如果后续使用时，这个参数根据需要可以调整。
4、训练后测试
训练后的模型如何加载和使用呢？这里提供了两种方式，第一种是写了一个【test.py】的python脚本去调用。第二种是通过【chat.py】去调用，里面封装了用streamlit写的web页面。
第一种方式【test.py】:
和上面一样，打开【test.py】，需要修改要加载的模型和运行的硬件（可选值有mps、cuda、cpu）不多说了。
（修改要加载的模型名称）
（修改要推理的硬件）
运行下面代码进行第一种方式运行【test.py】进行测试：
python3 test.py
为了能看出来我们微调后模型是否有有效果，所以在训练前，我截了一个训练前的效果图。
微调训练前回答效果：
（微调前回答效果）
当我问：【什么是大模型？】
给我的回答是：【大模型（Large Model）指的是在机器学习和深度学习领域中，训练和应用的模型规模非常庞大和复杂的模型。这些模型通常由大量参数组成，能处理和学习复杂的数据模式和关系】
完全基于之前大模型自身的能力进行回答，解释了什么是大模型。
微调训练后回答效果：
（微调后回答效果）
当我问：【什么是大模型？】
给我的回答是：【LLM（Large Language Model），一般指万万级参数以上的模型，但是这个标准一直在升级，目前万亿参数以上的模型也有了。一般万万级参数以上的模型万亿参数以下的模型也有，但是这个标准一直在升级升级。】
这次回答是基于我们微调后进行回答的**，因为在数据集中我们进行了定义。所以微调是成功的**。（代码中现在把输出的max_new_tokens设定为定值100，所以会输出的结果有重复的情况）
第二种方式【chat.py】:
通过【chat.py】去调用，里面封装了用streamlit写的web页面。
运行下面代码进行第二种方式运行【chat.py】进行测试：
streamlit run chat.py
运行后会打开Web的Chatbot页面，可在页面进行提问和交互。
（基于streamlit的简版Chatbot）
如何系统的去学习大模型LLM ？
大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。
事实上，抢你饭碗的不是AI，而是会利用AI的人。
继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？
与其焦虑……
不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！
但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。
针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓
👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈
一、LLM大模型经典书籍
AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。
二、640套LLM大模型报告合集
这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
三、LLM大模型系列视频教程
四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）
LLM大模型学习路线 ↓
阶段1：AI大模型时代的基础理解
-
目标：了解AI大模型的基本概念、发展历程和核心原理。
-
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
- L1.4.1 知识大模型
- L1.4.2 生产大模型
- L1.4.3 模型工程方法论
- L1.4.4 模型工程实践
- L1.5 GPT应用案例
阶段2：AI大模型API应用开发工程
-
目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
-
内容：
- L2.1 API接口
- L2.1.1 OpenAI API接口
- L2.1.2 Python接口接入
- L2.1.3 BOT工具类框架
- L2.1.4 代码示例
- L2.2 Prompt框架
- L2.3 流水线工程
- L2.4 总结与展望
阶段3：AI大模型应用架构实践
-
目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
-
内容：
- L3.1 Agent模型框架
- L3.2 MetaGPT
- L3.3 ChatGLM
- L3.4 LLAMA
- L3.5 其他大模型介绍
阶段4：AI大模型私有化部署
-
目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
-
内容：
- L4.1 模型私有化部署概述
- L4.2 模型私有化部署的关键技术
- L4.3 模型私有化部署的实施步骤
- L4.4 模型私有化部署的应用场景
这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓
👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈
