9个已开源的GPT4平替分享（附开源代码+论文）

news2024/10/5 14:53:05

资料整理自网络，有误欢迎指正

对于想要研究大模型的同学来说，目前ChatGPT无疑是最好的学习对象，但等它开源估计是不太可能了，所以学姐今天整理了一些开源的类GPT模型，帮助大家更好的理解大模型背后的机理。

PS：有的功能还不错，也可以上手玩耍玩耍。

开源链接都贴上了，不想复制粘贴的同学看文末直接领

1.Colossal AI

“夸父”AI，大规模并行AI训练系统，基于LLaMA预训练模型。作为ChatGPT的平替，开源了完整的RLHF流水线，包括，监督数据收集、监督微调、奖励模型训练和强化学习微调等。

优势：高效、简单、可扩展，功能多，包含AIGC
缺点：不完全支持中文，基于GPT-3
模型能力：集成现有的GPT-3 、GPT-2模型，能够提升模型效率
训练：
- 第一阶段（stage1_sft.py）：SFT监督微调阶段，该开源项目没有实现，这个比较简单，因为ColossalAI无缝支持Huggingface，本人直接用Huggingface的Trainer函数几行代码轻松实现，在这里我用了一个gpt2模型，从其实现上看，其支持GPT2、OPT和BLOOM模型；
- 第二阶段（stage2_rm.py）：奖励模型（RM）训练阶段，即项目Examples里train_reward_model.py部分；
- 第三阶段（stage3_ppo.py）：强化学习（RLHF）阶段，即项目train_prompts.py。

代码中的cores即原始工程中的chatgpt，cores.nn在原始工程中变成了chatgpt.models。

开源地址：https://github.com/hpcaitech/ColossalAI

智谱AI研发，基于千亿参数大模型的支持中英双语的对话机器人。

开源地址：https://github.com/THUDM/ChatGLM-6B

Meta打造的一个650 亿参数的大语言模型，可以在非商业许可下提供给政府、社区和学术界的研究人员和实体工作者。

开源地址：https://github.com/facebookresearch/llama

由于 LLaMA 大模型系列没有使用 RLHF 方法，因此初创公司 Nebuly AI 开源了 RLHF 版 LLaMA（ChatLLaMA）的训练方法。

优势：
- 更便宜，完整的开源实现，允许用户基于预训练的 LLaMA 模型构建 ChatGPT 风格的服务；
- LLaMA 架构更小，使得训练过程和推理速度更快，成本更低；
- 内置了对 DeepSpeed ZERO 的支持，以加速微调过程；
- 支持各种尺寸的 LLaMA 模型架构，用户可以根据自身偏好对模型进行微调
缺点：不支持中文

精通中文，基于斯坦福 Alpaca项目，70 亿参数的中文对话大模型。

优势：
- 数据：参考斯坦福大学的Alpaca项目，针对中文场景进行了优化，利用ChatGPT生了多样化、高质量的数据，包括日常对话、知识问答、文本生成等，有助于模型在各种中文场景中的表现。
- 模型：基于Bloom和LLAMA，训练了出具效果的对话模型，并完全开放了这些模型的参数，大大降低使用和科研的门槛
- 轻量化：开源了对话模型的量化版本，包括8bit, 4bit, 其中4bit版本模型checkpoint大小仅为6.9G，运行仅需8.4G显存。

开源地址：https://github.com/LianjiaTech/BELLE