大模型实战营第二期——1. 书生·浦语大模型全链路开源开放体系

news2024/9/24 17:18:47

文章目录

1. 实战营介绍
2. 书生·浦语大模型介绍
- 2.1 数据
- 2.2 预训练
- 2.3 微调
- 2.4 评测
- 2.5 部署
- 2.6 智能体(应用)

1. 实战营介绍

github链接：https://github.com/internLM/tutorial
InternLM：https://github.com/InternLM
书生浦语官网：https://intern-ai.org.cn/home

2. 书生·浦语大模型介绍

视频链接：B站-书生·浦语大模型全链路开源体系

在这里插入图片描述

数据：汇聚 5400+ 数据集，涵盖多种模态与任务，更多数据集
预训练：并行训练，极致优化，速度达到 3600 tokens/sec/gpu
微调：全面的微调能力，支持SFT，RLHF和通用工具调用
部署：全链路部署，性能领先，每秒生成 2000+ tokens
评测：全方位评测，性能可复现，50 套评测集，30 万道题目

在这里插入图片描述

2.1 数据

在这里插入图片描述
OpenDataLab的知乎文章：多模态语料库 “书生·万卷” 1.0 详细解读 | 附下载地址

也是来自论文的

在这里插入图片描述
https://opendatalab.com/home

2.2 预训练

在这里插入图片描述

预训练与微调使用教程

2.3 微调

在这里插入图片描述

在这里插入图片描述
SFT(ScalableFine-Tuning) 是一种用于自然语言处理的技术,它通过对预训练的语言模型进行微调,使其适应特定任务

https://github.com/InternLM/xtuner

预训练与微调使用教程

在这里插入图片描述

2.4 评测

在这里插入图片描述

https://crfm.stanford.edu/helm/lite/latest/#/leaderboard
https://github.com/stanford-crfm/helm
https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
https://llm-leaderboard.streamlit.app/
https://github.com/terryyz/llm-benchmark

在这里插入图片描述

https://opencompass.org.cn/

在这里插入图片描述

2.5 部署

在这里插入图片描述

在这里插入图片描述
https://github.com/InternLM/lmdeploy

在这里插入图片描述

2.6 智能体(应用)

在这里插入图片描述

https://github.com/InternLM/lagent

在这里插入图片描述

在这里插入图片描述
https://github.com/InternLM/agentlego

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1353072.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！