文章目录
- 从大模型到应用的路径
- 开放体系
- 内容
- 万卷
- 预训练
- 微调
- 部署
- 智能体
从大模型到应用的路径
开放体系
内容
- 数据：书生·万卷
- 预训练：interLM-Train
- 微调：XTuner，全参数、低成本微调
- 部署：LMDeploy
- 评测：OpenCompass
- 应用：Lagent：智能体搭建；AgentLego：给大模型提供工具集合
万卷
文本、视频、图像数据，标注工具。同80TB
预训练
支持8卡到千卡。支持HuggingFace
微调
Xtuner框架，多种生态和硬件（NVIDIA20系以上，8GB可微调7B模型）
部署
挑战：参数多，缓存要求大；请求数不固定，token逐个生成；模型结构简单
LMDeploy
智能体
LLM+Action Executor+Planning & Action
Lagent：支持多种类型：ReAct、ReWoo、AutoGPT。支持计算器、多模态、文生图、代码解释器等
AgentLego：
