书生第四期实训营基础岛——L1G1000书生大模型全链路开源体系

news2024/11/6 2:24:38

书生·浦语大模型开源开放体系

书生·浦语开源一周年历史

  • 2023.7.6:InternLM-7B开源率先免费商用发布全链条开源工具体系
  • 2023.9.20:InternLM-20B开源,开源工具链全线升级
  • 2024.1.17:InternLM2开源,性能超最新同量级开源模型
  • 2024.7.4:InternLM2.5开源

模型能力比较
在这里插入图片描述

书生·浦语2.5概览

推理能力领先: 综合推理能力领先社区开源模型相对InternLM2性能提升20%
支持100万字上下文: 百万字长文的理解和精确处理性能处于开源模型前列。
自主规划和搜索完成复杂任务: 通过信息搜索和整合,针对复杂问题撰写专业回答,效率提升60倍。

核心技术思路

模型能力飞轮
在这里插入图片描述
高质量合成数据
在这里插入图片描述

领先的推理能力

在这里插入图片描述

100万Token上下文

在这里插入图片描述

基于规划和搜索解决复杂问题

在这里插入图片描述

书生·浦语开源模型谱系

在这里插入图片描述

全链条开源,与社区生态无缝连接

在这里插入图片描述
书生·万卷: 首个精细处理的开源多模态语料库
InternEvo: 性能超过国际主流训练框架DeepSpeed
XTuner: 多种微调和偏好对齐算法,支持千亿参数+百万上下文
LMDeploy: 性能超过国际主流推理框架vllm
OpenCompass: 社区最全面的开源评测体系
MindSearch: 思索式开源搜索应用
Lagent: 首个支持代码解释器的智能体框架
MinerU: 高效文档解析工具
HuixiangDou: 基于专业知识库的群聊助手

全链条开源开放体系 | 数据

在这里插入图片描述

全链条开源开放体系 | 开源数据处理工具箱

在这里插入图片描述

全链条开源开放体系 | 预训练 InternEvo

在这里插入图片描述

全链条开源开放体系 | 微调XTuner

在这里插入图片描述

适配多种生态

  • 多种微调算法
    多种微调 & 偏好对齐算法,覆盖各类应用场景
  • 适配多种开源生态
    支持加载HuggingFace、ModelScope 模型或数据集
  • 自动优化加速
    开发者无需关注复杂的显存优化与计算加速细节
    支持千亿参数 + 百万上下文训练

适配多种硬件

  • 训练方案覆盖 NVIDIA 20 系以上所有显卡
  • 最低只需 8GB 显存即可微调7B模型

XTuner效果对比图
在这里插入图片描述
零显存浪费的偏好对齐训练方案
在这里插入图片描述

全链条开源开放体系 | OpenCompass 评测体系

在这里插入图片描述
构建科学、领先、公平的大模型评测体系,携手行业助力通用人工智能发展
在这里插入图片描述

全链条开源开发体系 | 部署 LMDeploy

在这里插入图片描述
在这里插入图片描述

全链条开源开放体系 | 智能体

大语言模型的局限性

  • 最新信息和知识的获取
  • 回复的可靠性
  • 数学计算
  • 工具使用和交互
    在这里插入图片描述
    在这里插入图片描述

全链条开源开放体系 | 智能体 MindSearch

在这里插入图片描述

HuixiangDou 特性

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2233989.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

单元测试(Junit)

系统—模块—子模块,子模块中不可分割的程序单元的测试,单元的粒度根据实际情况可能是 类或方法等。 面向对象编程中,最小单元就是方法。 单元测试目的是在集成测试和功能测试之前对系统可测试单元进行逐一检查和验证。 单元测试基本原则 …

MySQL表的增删改查(CRUD3约束)

这次我们开始先不复习嗷,等到把数据表的删除说完咱们统一,总结书写 1.数据表的删除: 语法: 1. 使用 DROP TABLE 语句删除单个表 基本语法:DROP TABLE [IF EXISTS] table_name; table_name是要删除的表的名称。IF EXIS…

go中Println和Printf的区别

Don’t worry , just coding! 内耗与overthinking只会削弱你的精力,虚度你的光阴,每天迈出一小步,回头时发现已经走了很远。 go中Println和Printf的区别 package mainimport ( "fmt" )//TIP To run your code, right-click the c…

【系统面试篇】进程和线程类(1)(笔记)——区别、通讯方式、同步、互斥、锁分类

目录 一、问题综述 1. 进程和线程的区别? 2. 进程的状态有哪些? 3. 进程之间的通信方式? (1)管道 (2)消息队列 (3)共享内存 (4)信号量 &#xff08…

编译安装并刷写高通智能机器人SDK

The Qualcomm Intelligent Robotics Product SDK (QIRP SDK) 高通智能机器SDK基于ROS2进行开发,此SDK适用于高通linux发行版本,QIRPSDK中提供以下内容: ROS 包中用于支持机器人应用程序开发的参考代码 用于评估机器人平台的端到端场景示例集…

网页版五子棋—— WebSocket 协议

目录 前言 一、背景介绍 二、原理解析 1.连接过程(握手) 2.报文格式 三、代码示例 1.服务端代码 (1)TestAPI 类 (2)WebSocketConfig 类 2.客户端代码 3.代码演示 结尾 前言 从本篇文章开始&am…

鸿蒙应用开发:下载功能

鸿蒙系统不断发展,有与安卓、iOS 形成三足鼎立之势,且其在智能手机、智能穿戴、车载、家居等行业领域的应用越来越广泛。作为开发者,如何抓住鸿蒙生态崛起的机遇,解决开发挑战,创造更好的应用体验?欢迎您和…

小白直接冲!BiTCN-BiLSTM-Attention双向时间卷积双向长短期记忆神经网络融合注意力机制多变量回归预测

小白直接冲!BiTCN-BiLSTM-Attention双向时间卷积双向长短期记忆神经网络融合注意力机制多变量回归预测 目录 小白直接冲!BiTCN-BiLSTM-Attention双向时间卷积双向长短期记忆神经网络融合注意力机制多变量回归预测效果一览基本介绍程序设计参考资料 效果一…

如何绘制产业链图谱?

绘制产业链图谱是一个系统性的工作,涉及到对产业的深入理解和分析。对于一般产业绘制产业图谱的步骤,我们可以参照以下流程: 1.明确目标产业链:确定要分析的产业链,比如新材料、新能源、智能制造等,这通常…

Pycharm,2024最新专业版下载安装配置详细教程!

先来一段官方介绍,PyCharm是一种PythonIDE,带有一整套可以帮助用户在使用Python语言开发时提高其效率的工具,比如调试、语法高亮、Project管理、代码跳转、智能提示、自动完成、单元测试、版本控制。此外,该IDE提供了一些高级功能…

鸿蒙开发——进程模型与进程通信

1、进程模型 ❓ 什么是进程? 进程是一个正在执行的程序的实例。当我们启动一个程序时,操作系统会创建一个进程,分配给它所需的资源,如内存和CPU时间。每个进程至少有一个线程,即执行线程,负责执行程序的指…

SQL server 中 CROSS APPLY的使用

CROSS APPLY 是 SQL Server 中的一个操作符,用于将一个表表达式(如子查询、函数等)与外部表进行连接。CROSS APPLY 类似于 INNER JOIN,但它允许你在一个查询中多次引用外部表的行,并且可以动态地生成结果集。 基本语法…

xlwings,让excel飞起来!

excel已经成为必不可少的数据处理软件,几乎天天在用。python有很多支持操作excel的第三方库,xlwings是其中一个。 关于xlwings xlwings开源免费,能够非常方便的读写Excel文件中的数据,并且能够进行单元格格式的修改。 xlwings还…

[大模型]Diffusion扩散式生成模型

一、概述 扩散式生成模型相较于GAN网络的对抗式生成模型,有更高的精度,也更符合人类的视觉和审美罗技,且风格化能力更强。现行的所有Diffusion模型都是基于2020年的论文DDPM来实现的。 GAN网络通过使生成器(Generator)生成的模型尽可能的逼近…

十四届蓝桥杯STEMA考试Python真题试卷第二套第五题

来源:十四届蓝桥杯STEMA考试Python真题试卷第二套编程第五题 本题属于迷宫类问题,适合用DFS算法解决,解析中给出了Python中 map() 和列表推导式的应用技巧。最后介绍了DFS算法的两种常见实现方式——递归实现、栈实现,应用场景——迷宫类问题、图的连通性、树的遍历、拓朴排…

keil5的Debug调试时,卡在 LDR R0, =SystemInit,无法往后进行

解决办法:使用STM32Cube生成的工程文件时,勾选Use MicroLIB即可

OpenEuler 使用ffmpeg x11grab捕获屏幕流,rtsp推流,并用vlc播放

环境准备 安装x11grab(用于捕获屏幕流)和libx264(用于编码) # 基础开发环境&x11grab sudo dnf install -y \autoconf \automake \bzip2 \bzip2-devel \cmake \freetype-devel \gcc \gcc-c \git \libtool \make \mercurial \pkgconfig \zlib-devel \libX11-devel \libXext…

ai常见实验

参考链接https://arxiv.org/pdf/2410.19894 对比实验(sota 表格) -辅助信息可以体现 P F 等 可视化结果 (图片形式) 消融实验 超参数实验 (有时候表示 有时候单独表格 看哪个参数好) 部分消融和超参数…

【万字详文介绍】:迭代扩张卷积神经网络(IDCNN)

💗💗💗欢迎来到我的博客,你将找到有关如何使用技术解决问题的文章,也会找到某个技术的学习路线。无论你是何种职业,我都希望我的博客对你有所帮助。最后不要忘记订阅我的博客以获取最新文章,也欢…

Oracle OCP认证考试考点详解082系列12

题记: 本系列主要讲解Oracle OCP认证考试考点(题目),适用于19C/21C,跟着学OCP考试必过。 56. 第56题: 题目 解析及答案: 关于企业管理器(EM)Express,以下哪两个陈述是…