模型越大对显卡的要求越高，目前主流对大模型进行微调方法有三种：Freeze方法、P-Tuning方法和Lora方法。笔者也通过这三种方法，在信息抽取任务上，对ChatGLM-6B大模型进行模型微调。liucongg/ChatGLM-Finetuning: 基于ChatGLM-6B模型，进行下游具体任务微调，涉及Freeze、Lora、P-tuning等 (github.com)
https://github.com/liucongg/ChatGLM-Finetuning
１＞Ｆｒｅｅｚｅ
２＞Ｐ－ｔｕｎｉｎｇ
３＞Ｌｏｒａ
【NLP】LoRA——大模型的低成本微调方法 - 知乎 (zhihu.com)
(311条消息) 什么是LoRA模型，如何使用和训练LoRA模型？你想要的都在这！_yang7711的博客-CSDN博客 (311条消息) 大模型训练——PEFT与LORA介绍_常鸿宇的博客-CSDN博客//讲的特别好
DeepSpeed 是一个深度学习优化库，它可以使分布式训练变得容易、高效和有效。
microsoft/DeepSpeed: DeepSpeed is a deep learning optimization library that makes distributed training and inference easy, efficient, and effective. (github.com)
DeepSpeed超大规模模型训练工具 - 知乎 (zhihu.com)
参考资料：
大模型LLM-微调经验分享&总结 - 知乎 (zhihu.com)
预训练大语言模型的三种微调技术总结：fine-tuning、parameter-efficient fine-tuning和prompt-tuning的介绍和对比 - 知乎 (zhihu.com)
(310条消息) 【prompt】什么是 Soft Prompt 和 Hard Prompt ?_vector<>的博客-CSDN博客
软提示词和硬提示词（soft prompt & hard prompt）_赏月斋的技术博客_51CTO博客
(310条消息) 大模型训练——PEFT与LORA介绍_常鸿宇的博客-CSDN博客//讲的特别好
