目标:根据医患对话数据集对 Llama 3 进行微调,创建一个专门针对医疗对话的模型。在合并、转换和量化模型后,它将可以通过 Jan 应用程序供本地私人使用。
在本教程中,我们将学习如何在医学数据集上微调 Llama 3。我们还将通过 Jan 应用程序将模型转换为可供本地使用的格式。
更具体地说,我们将:
- 了解 Llama 3 型号。
- 在医疗数据集上对 Llama 3 模型进行微调。
- 将适配器与基础模型合并,并将完整模型推送至 Hugging Face Hub。
- 将模型文件转换为Llama.cpp GGUF格式。
- 量化GGUF模型并将文件推送至Hugging Face Hub。
- 在 Jan 应用程序本地使用微调模型。
如果你正在寻找学习 AI 的精选课程,请查看有关AI 基础知识的六门课程技能轨迹。
了解 Llama 3
- 微调 Llama 3
- 合并 Llama 3
设置
将基础模型与适配器合并
模型推理
保存并推送合并模型
3.将模型转换为Llama.cpp GGUF
4. 量化GGUF模型
5. 在本地使用微调模型
结论
参考原文:https://www.datacamp.com/tutorial/llama3-fine-tuning-locally