视频地址: https://b23.tv/QUhT6ni
课程文档:https://github.com/InternLM/Tutorial/blob/camp2/xtuner/readme.md
作业文档:https://github.com/InternLM/Tutorial/blob/camp2/xtuner/homework.md
1、Finetune 简介
两种Finetune范式
LLM 的下游应用中,增量预训练和指令跟随是经常会用到两种的微调模式
增量预训练微调
使用场景:让基座模型学习到一些新知识,如某个垂类领域的常识训练数据:文章、书籍、代码等;
指令跟随微调
使用场景:让模型学会对话模板,根据人类指令进行对话训练数据:高质量的对话、问答数据;
LoRA:Low-RANK Adaptation of large language models
2、XTuner 介绍
3、8GB显存玩转LLM
http://t.csdnimg.cn/Z2bRl