书生·浦语大模型全链路开源体系介绍

news2024/11/20 20:28:08

背景介绍

随着人工智能技术的迅猛发展，大模型技术已成为当今人工智能领域的热门话题。2022 年 11 月 30 日，美国 OpenAI 公司发布了 ChatGPT 通用型对话系统 并引发了全球 的极大关注，上线仅 60 天月活用户数便超过 1 亿，成为历史上用户增长最快的互联网 应用产品。2023 年 3 月 14 日，OpenAI 公司再次发布了升级版模型 GPT-4 又展现 出了更高阶的能力，再一次实现了技术飞跃，并在全球范围掀起大模型发展浪潮。不仅国外科技巨头纷纷加码布局，推动大模型产业的快速落地，国内的头部企业也积极追赶步伐，竞相抢滩大模型的新赛道，抢抓认知智能大模型带来的历史机遇，下图为ChatGPT的发布时间线。
[图片]
在OpenAI发布GPT3.5后，各大模型厂商积极跟进，相继推出各类大模型。国内本土已经发布近80款参数量在十亿量级以上的大模型，主要有华为、阿里、百度、腾讯等，亦有清华大学等高校机构。
在这里插入图片描述
专用大模型： 针对特定任务，一个模型解决一个问题，比如适用于围棋比赛的围棋大模型
在这里插入图片描述
通用大模型： 一个模型应对多种任务、多种模态

大模型介绍

书生·浦语大模型开源历程：
在这里插入图片描述
书生·浦语大模型系列：
在这里插入图片描述
以20B开源大模型为例，其性能全面领先相近量级的开源模型（包括Llama-33B、Llama2-13B以及国内主流的7B、13B开源模型），以不足三分之一的参数量，达到Llama2-70B水平。
在这里插入图片描述

大模型开源开放体系

在这里插入图片描述
数据： 开放了书生万卷，具有2TB数据，涵盖多种模态与任务
预训练： 开源了InternLM-Train框架，支持并行训练，进行了极致优化，速度达到3600 tokens/sec/gpu
微调： 开源了XTuner框架，支持 全参数微调，支持LoRA等低成本微调
部署： 开源了LMDeploy框架，支持全链路部署，性能领先，每秒生成2000+ tokens
评测： 开源OpenCompass框架，支持全方位评测，性能可复现，80套评测集，40万道题目
应用： 开源了Lagent、AgentLego项目，支持多种智能体，支持代码解析器多种工具调用

数据-书生万卷

在这里插入图片描述
在这里插入图片描述

预训练

在这里插入图片描述

微调

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

评测

在这里插入图片描述
OpenCompass提供的评测集
在这里插入图片描述
OpenCompass 开源评测平台架构
在这里插入图片描述
OpenCompass的亮点
在这里插入图片描述
OpenCompass支持的模型
在这里插入图片描述

部署

在这里插入图片描述

LMDeploy 提供大模型在GPU上部署的全流程解决方案，包括模型轻量化、推理和服务

在这里插入图片描述

智能体应用

在这里插入图片描述
轻量级智能体框架Lagent
在这里插入图片描述
多模态智能体工具箱 AgentLego
在这里插入图片描述

总结

总之书生浦语是一个大模型全链路开源体系，为开发者提供了从数据集准备到模型训练、部署和应用的全套解决方案。通过该体系，开发者可以自由定制和扩展模型，满足不同场景下的需求。

本文提到的相关框架工具地址：
OpenDataLab: https://opendatalab.com/home
书生万卷：https://opendatalab.com/OpenDataLab/WanJuan1_dot_0
预训练框架：https://github.com/InternLM/InternEvo
微调框架XTuner：https://github.com/InternLM/xtuner
部署框架LMDeploy：https://github.com/InternLM/lmdeploy
Lagent：https://github.com/InternLM/lagent
AgentLego：https://github.com/InternLM/agentlego
评估框架OpenCompass: https://github.com/open-compass/opencompass

作者其他不相干的专栏，也来看看：

  • Prometheus+Grafana 实践派

Prometheus来自CNCF的产品，云原生时代监控产品； Grafana是一款开源的指标可视化工具，拥有大量的插件和图表工具来查询，展示您的指标，本专栏从基础知识开始学习，逐渐进阶，最终实现企业级统一监控目标

  • Loki + Tempo

一步步学习Grafana家族的轻量型聚合日志框架-Loki，链路追踪框架-Tempo

  • Spring Boot 3.x

Spring Boot 具有 Spring 一切优秀特性，Spring 能做的事，Spring Boot 都可以做，本专栏将全面介绍Spring Boot特性，继而对其进行全面的源码分析，不再犀牛望月，Spring Boot 版本：3.x

  • Spring Security

使用Spring Security版本5.7.2

  • Spring Boot Admin2

SBA2 源码解析

  • 阿提小作

作者平时心血来潮开发的小系统，都在运行玩了一段时间后停了

等等，还有其他很多

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1475234.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

租赁系统|租赁软件提供免押金等多种租赁方式

租赁系统|租赁软件提供免押金等多种租赁方式

租赁小程序是一种全新的租赁模式，为用户提供了免押金、多种租赁方式、定制化服务等多项优势，让用户的租赁体验更加美好。让我们来了解一下它的特点和功能。 首先，租赁小程序支持租完即送，无需等待固定租期。它提供了多种租赁方式&…
阅读更多...
Rocky Linux 运维工具 ls

Rocky Linux 运维工具 ls

一、ls 的简介 ​​ls​ 用于列出当前目录下的文件和目录，以及它们的属性信息。通过 ​ls​命令可以查看文件名、文件大小、创建时间等信息，并方便用户浏览和管理文件。 二、ls 的参数说明 序号参数描述1-a显示所有文件，包括以 ​.​开头的…
阅读更多...
辽宁博学优晨教育：视频剪辑培训的领航者

辽宁博学优晨教育：视频剪辑培训的领航者

在当今数字化时代，视频剪辑已经成为一项炙手可热的技能。无论是短视频的火爆，还是影视行业的蓬勃发展，都离不开优秀的视频剪辑人才。辽宁博学优晨教育，作为视频剪辑培训的佼佼者，以其正规、专业的教学态度和高质量的培…
阅读更多...
Biotin-PEG2-Thiol，生物素-PEG2-巯基，应用于抗体标记、蛋白质富集等领域

Biotin-PEG2-Thiol，生物素-PEG2-巯基，应用于抗体标记、蛋白质富集等领域

您好，欢迎来到新研之家 文章关键词：Biotin-PEG2-Thiol，生物素-PEG2-巯基，Biotin PEG2 Thiol，生物素 PEG2 巯基 一、基本信息 【产品简介】：Biotin PEG2 Thiol can bind with antibodies to prepare biot…
阅读更多...
使用docker安装otter

使用docker安装otter

1、使用docker安装otter首先要把docker装好 2、使用docker把镜像拉进去 拉镜像的过程中注意使用docker load -i imagename命令。如果使用docker import imagename命令拉镜像，在安装过程中会报以下错误： 网上查资料说是需要使用docker ps -a --no-trunc…
阅读更多...
MySQL：常用的SQL语句

MySQL：常用的SQL语句

提醒：设定下面的语句是在数据库名为 db_book执行的。 一、创建表 1. 创建t_booktype表 USE db_book; CREATE TABLE t_booktype(id INT AUTO_INCREMENT, bookTypeName VARCHAR(20),bookTypeDesc varchar(200),PRIMARY KEY (id) );2. 创建t_book表 USE db_book; C…
阅读更多...
Linux系统——Nginx拓展

Linux系统——Nginx拓展

目录 一、重写功能——rewrite 1.if 1.1 if 2. return 2.1状态码301和302的区别 301 302 3. set 4. break 5. rewrite 5.1 rewrite flag使用 5.2 flag说明 5.3举例 5.3.1访问 bj 跳转 beijing 5.3.2举例——break 5.3.3 http 转 https 5.3.4 break 与 last …
阅读更多...
OpenSSL 基础及实践探索

OpenSSL 基础及实践探索

前言 SSL是Secure Sockets Layer（安全套接层协议）的缩写，可以在Internet上提供秘密性传输。Netscape公司在推出第一个Web浏览器的同时，提出了SSL协议标准。其目标是保证两个应用间通信的保密性和可靠性,可在服务器端和用户端同时…
阅读更多...
状态空间模型（SSM）

状态空间模型（SSM）

论文：A new approach to linear filtering and prediction problems http://160.78.24.2/Public/Kalman/Kalman1960.pdf 状态空间模型介绍 术语状态空间模型具有非常广泛的含义，它简单地表示任何具有潜在状态的循环过程的概念。 它已被用来指代不同学科…
阅读更多...
Eslint在Vscode中使用技巧的相关技巧

Eslint在Vscode中使用技巧的相关技巧

ps :该文章会详细结论构建一个脚手架遇到的问题，会持续更新，请定时查看 Eslint相关​ 在vscode中使用eslint插件 在vscode中用户配置没有开启eslint.enable 在vscode中工作区配置开启eslint.enable settings.json中没有做eslint相关配置 在编写的vue…
阅读更多...
MSSQL渗透测试

MSSQL渗透测试

目录 mssql数据库连接提权至服务器权限 拿到目标的IP地址，我们先对IP地址进行信息收集，收集信息资产，同时使用nmap对IP地址进行扫描 nmap -sC -sV IP从扫描的结果中，我们能知道目标服务器是windows操作系统，使用的是m…
阅读更多...
nginx 模块 高级配置

nginx 模块 高级配置

目录 一、高级配置 1.1. 网页的状态页 1.2.Nginx 第三方模块 ehco 模块 打印 1.3.变量 1.3.1 内置变量 1.3.2自定义变量 1.4.Nginx压缩功能 1.5.https 功能 1.6.自定义图标 一、高级配置 1.1. 网页的状态页 基于nginx 模块 ngx_http_stub_status_module 实现&…
阅读更多...
协议-http协议-基础概念01-发展历程-http组成-http是什么-相关的应用-相关的协议

协议-http协议-基础概念01-发展历程-http组成-http是什么-相关的应用-相关的协议

发展历程-http组成-http是什么-相关的应用-相关的协议 参考来源： 极客时间-透视HTTP协议(作者：罗剑锋)； 01-HTTP的发展历程 1989 年，任职于欧洲核子研究中心（CERN）的蒂姆伯纳斯 - 李（Tim Ber…
阅读更多...
前端架构: 脚手架命令行交互核心实现之inquirer和readline的应用教程

前端架构: 脚手架命令行交互核心实现之inquirer和readline的应用教程

命令行交互核心实现 核心目标：实现命令行行交互，如List命令行的交互呢比命令行的渲难度要更大，因为它涉及的技术点会会更多它涉及以下技术点 键盘输入的一个监听 (这里通过 readline来实现)计算命令行窗口的尺寸清屏光标的移动输出流的静默 …
阅读更多...
Unity的相机跟随和第三人称视角

Unity的相机跟随和第三人称视角

Unity相机跟随和第三人称视角 介绍镜头视角跟随人物方向进行旋转的镜头视角固定球和人的镜头视角 思路跟随人物方向进行旋转的镜头视角固定球和人的镜头视角 镜头旋转代码人物移动的参考代码注意 介绍 最近足球项目的镜头在做改动，观察了一下实况足球的视角&#x…
阅读更多...
3-1openflow协议原理以及应用（packet包广播风暴）实践

3-1openflow协议原理以及应用（packet包广播风暴）实践

在Mininet中，其自带的控制器是采用是OpenFlow 1.0版本。因此如果在开发中使用mininet内置的控制器（使用端口6653），即使拓扑构建和ovs自定义时声明使用openflow13，但是由于采用的控制器版本受限，ovs与控制器…
阅读更多...
RV32/64 特权架构 - 特权模式与指令

RV32/64 特权架构 - 特权模式与指令

RV32/64 特权架构 - 特权模式与指令 1 特权模式2 特权指令2.1 mret（从机器模式返回到先前的模式）2.2 sret（从监管模式返回到先前的模式）2.3 wfi（等待中断）2.4 sfence.vma（内存屏障） …
阅读更多...
深度学习 精选笔记（5）多层感知机

深度学习 精选笔记（5）多层感知机

学习参考： 动手学深度学习2.0Deep-Learning-with-TensorFlow-bookpytorchlightning ①如有冒犯、请联系侵删。 ②已写完的笔记文章会不定时一直修订修改(删、改、增)，以达到集多方教程的精华于一文的目的。 ③非常推荐上面（学习参考&#x…
阅读更多...
在Ubuntu22.04 LTS上搭建Kubernetes集群

在Ubuntu22.04 LTS上搭建Kubernetes集群

文章目录 准备工作系统准备软件包准备主机和IP地址准备 安装步骤安装前准备关闭防火墙设置服务器时区关闭 swap 分区关闭SELinux配置hosts配置文件转发 IPv4 并让 iptables 看到桥接流量 安装容器运行时安装Kubernetes配置并安装apt包初始化集群 安装calico网络插件部署应用 本…
阅读更多...
iSH使用与优化全网整合教程【持续更新】【精华】

iSH使用与优化全网整合教程【持续更新】【精华】

【最后一次更新:2023.4.​​​​​22】 请勿利用文章内的相关技术从事非法测试，由于传播、利用此文所提供的信息而造成的任何直接或者间接的后果及损失，均由使用者本人负责，作者不为此承担任何责任～ iSH介绍与换源【已安装并已完成…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023