ChatGPT实战与私有化大模型落地

news2024/10/10 8:19:57

文章目录

  • 大模型现状
    • baseline底座选择
    • 数据构造
    • 迁移方法
    • 评价
    • 思考
  • 领域大模型训练技巧
    • Tokenizer
    • 分布式深度学习
      • 数据并行
      • 管道并行
      • 向量并行
      • 分布式框架——Megatron-LM
      • 分布式深度学习框架——Colossal-AI
      • 分布式深度学习框架——DeepSpeed
      • P-tuning 微调
    • 资源消耗
    • 模型推理加速
      • 模型推理加速方法——FastLLM
      • 模型推理加速方法——VLLm
  • 领域大模型产品形态及落地场景
    • ChatGPT用户视角思考
    • ChatGPT企业视角思考
    • 企业级ChatGPT的建设要素
    • 选择优质的应用场景
    • ChatGPT场景设计-工业制造
    • ChatGPT场景设计-文案编写

大模型现状

baseline底座选择

在这里插入图片描述

数据构造

在这里插入图片描述

  • 领域数据
  • 书籍数据
  • 网站数据
  • 新闻内容
  • 指令微调数据

混合数据（公用数据+领域数据，比例1：5 ）避免知识遗忘，导致通用能力下降。

迁移方法

在这里插入图片描述

  • 资源不充足的时候，在chat模型基础上训练
  • 资源充足的时候，在Base模型上训练
    千万级别的数据，在chat模型上不要用全量数据进行训练。

评价

在这里插入图片描述

思考

在这里插入图片描述

领域大模型训练技巧

在这里插入图片描述

  • ChatGPTBook：github.com/liucongg/ChatGPTBook

Tokenizer

在这里插入图片描述

分布式深度学习

在这里插入图片描述

数据并行

在这里插入图片描述

管道并行

在这里插入图片描述

向量并行

在这里插入图片描述
在这里插入图片描述

分布式框架——Megatron-LM

在这里插入图片描述

分布式深度学习框架——Colossal-AI

在这里插入图片描述

分布式深度学习框架——DeepSpeed

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

P-tuning 微调

在这里插入图片描述

资源消耗

在这里插入图片描述
在这里插入图片描述

模型推理加速

模型推理加速方法——FastLLM

在这里插入图片描述

模型推理加速方法——VLLm

在这里插入图片描述

领域大模型产品形态及落地场景

在这里插入图片描述

ChatGPT用户视角思考

在这里插入图片描述

ChatGPT企业视角思考

在这里插入图片描述

企业级ChatGPT的建设要素

在这里插入图片描述

选择优质的应用场景

在这里插入图片描述

ChatGPT场景设计-工业制造

在这里插入图片描述

ChatGPT场景设计-文案编写

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/993795.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

基于SSM的学院实验中心管理系统

基于SSM的学院实验中心管理系统

末尾获取源码 开发语言：Java Java开发工具：JDK1.8 后端框架：SSM 前端：采用JSP技术开发 数据库：MySQL5.7和Navicat管理工具结合 服务器：Tomcat8.5 开发软件：IDEA / Eclipse 是否Maven项目&#x…
阅读更多...
从数据页的角度看 B+Tree

从数据页的角度看 B+Tree

InnoDB 是如何存储数据的？ MySQL支持多种存储引擎，不同的存储引擎，存储数据的方式也不相同，我们最常使用的是 InnoDB 存储引擎。 在数据库中的记录是按照行来存储的，但是数据库的读取并不是按照 [ 行] 为单位&#x…
阅读更多...
MySQL进阶 —— 超详细操作演示！！！（上）

MySQL进阶 —— 超详细操作演示！！！（上）

MySQL进阶 —— 超详细操作演示！！！（上） 一、存储引擎1.1 MySQL 体系结构1.2 存储引擎介绍1.3 存储引擎特点1.4 存储引擎选择 二、索引2.1 索引概述2.2 索引结构2.3 索引分类2.4 索引语法2.5 SQL 性能分析2.6 索引使用2…
阅读更多...
BUUCTF rip 1

BUUCTF rip 1

使用linux的file命令查看基本信息 64位 使用IDA64位进行反编译 看到gets就肯定有栈溢出 能看到有一个 _system函数，改函数能执行系统命令 既然反编译有这个函数说明有地方调用了他 果然在一个fun函数中有调用，执行的命令是 /bin/sh 也就是一个后门函数&…
阅读更多...
【C++ • STL • 力扣】详解string相关OJ

【C++ • STL • 力扣】详解string相关OJ

文章目录 1、仅仅翻转字母2、字符串中的第一个唯一字符3、字符串里最后一个单词的长度4、验证一个字符串是否是回文5、字符串相加总结 ヾ(๑╹◡╹)ﾉ" 人总要为过去的懒惰而付出代价 ヾ(๑╹◡╹)ﾉ" 1、仅仅翻转字母 力扣链接 代码1展示&…
阅读更多...
【Spring Cloud系列】 雪花算法原理及实现

【Spring Cloud系列】 雪花算法原理及实现

【Spring Cloud系列】 雪花算法原理及实现 文章目录 【Spring Cloud系列】 雪花算法原理及实现一、概述二、生成ID规则部分硬性要求三、ID号生成系统可用性要求四、解决分布式ID通用方案4.1 UUID4.2 数据库自增主键4.3 基于Redis生成全局id策略 五、SnowFlake（雪花算…
阅读更多...
数据结构与算法-----顺序表（链表篇）

数据结构与算法-----顺序表（链表篇）

目录 前言 顺序表 链表 概念 与数组的不同 单链表 1. 创建节点 2.插入节点 尾插节点（形成链表结构） 向指定位置插入节点（链表已有） ​编辑 3.遍历链表数据 4.获取链表长度 5.删除节点 删除尾节点 删除指定节点 …
阅读更多...
51单片机项目（10）——基于51单片机的电压计

51单片机项目（10）——基于51单片机的电压计

本次设计的电压计，使用ADC0832芯片，测到电压后，将电压信息发送到串口进行显示。仿真功能正常，能够运行。（工程文件和代码放在最后） 电路图如下： 运行过程如下： ADC0832介绍&#xff…
阅读更多...
linux下检测CPU性能的mpstat命令安装与用法

linux下检测CPU性能的mpstat命令安装与用法

1、安装命令 $ sudo apt-get install sysstat sysstat安装包还包括了检测设备其它状态的命令&#xff0c;查看命令如下&#xff1a; 2、检测CPU命令语法 $ mpstat --h //查看mpstat的语法 Usage: mpstat [ options ] [ <interval> [ <count> ] ] Options are: …
阅读更多...
设计模式之访问器模式（Visitor）的C++实现

设计模式之访问器模式（Visitor）的C++实现

1、访问器模式的提出 在软件开发过程中&#xff0c;早已发布的软件版本&#xff0c;由于需求的变化&#xff0c;需要给某个类层次结构增加新的方法。如果在该基类和子类中都添加新的行为方法&#xff0c;将给代码原有的结构带来破坏&#xff0c;同时&#xff0c;也违反了修改封…
阅读更多...
D. Sorting By Multiplication

D. Sorting By Multiplication

Problem - D - Codeforces 思路&#xff1a;我们首先考虑当只能乘以正数时&#xff0c;那么变为单调增的方法就是找所有w[i]>w[i1]的对数&#xff0c;因为如果存在一个w[i]>w[i1]&#xff0c;那么我们一定至少需要进行一次操作&#xff0c;并且我们还知道我们进行一次操…
阅读更多...
Redis经典问题：缓存穿透

Redis经典问题：缓存穿透

&#xff08;笔记总结自《黑马点评》项目&#xff09; 一、产生原因 用户请求的数据在缓存中和数据库中都不存在&#xff0c;不断发起这样的请求&#xff0c;给数据库带来巨大压力。 常见的解决方式有缓存空对象和布隆过滤器。 二、缓存空对象 思路&#xff1a;当我们客户…
阅读更多...
JP《乡村振兴振兴战略下传统村落文化旅游设计》许少辉书香续，山水长

JP《乡村振兴振兴战略下传统村落文化旅游设计》许少辉书香续，山水长

JP《乡村振兴振兴战略下传统村落文化旅游设计》许少辉书香续&#xff0c;山水长
阅读更多...
MySQL--MySQL表的增删改查（基础）

MySQL--MySQL表的增删改查（基础）

排序&#xff1a;ORDER BY 语法&#xff1a; – ASC 为升序&#xff08;从小到大&#xff09; – DESC 为降序&#xff08;从大到小&#xff09; – 默认为 ASC SELECT … FROM table_name [WHERE …] ORDER BY column [ASC|DESC], […]; *** update
阅读更多...
【数据结构--顺序表】合并两个有序数组

【数据结构--顺序表】合并两个有序数组

题目描述&#xff1a; 代码实现&#xff1a; void merge(int* nums1, int nums1Size, int m, int* nums2, int nums2Size, int n){int x0;if(m0)//如果nums1为空&#xff0c;而nums2不为空&#xff0c;则将nums2拷贝至nums1{while(nums1Size--){nums1[x]nums2[x];x;}}if(n0)//…
阅读更多...
深入学习 GC 算法 - 标记清除算法

深入学习 GC 算法 - 标记清除算法

前言&#xff1a; &#x1f4d5;作者简介&#xff1a;热爱编程的小七&#xff0c;致力于C、Java、Python等多编程语言&#xff0c;热爱编程和长板的运动少年&#xff01; &#x1f4d8;相关专栏Java基础语法&#xff0c;JavaEE初阶&#xff0c;数据库&#xff0c;数据结构和算法…
阅读更多...
【蓝凌表单】如何限制明细表字段1与字段2一致时不允许提交

【蓝凌表单】如何限制明细表字段1与字段2一致时不允许提交

无需开发&#xff0c;表单内置功能快速解决&#xff1b; 有些搞笑&#xff0c;维护蓝凌系统好几年&#xff0c;对系统好多功能也不是很熟悉&#xff0c; 当接到业务需求&#xff0c;不允许某信息跟某信息一致的需求时&#xff0c;第一时间是想到用JS脚本去实现&#xff0c;忽略…
阅读更多...
机器学习实战-系列教程3：手撕线性回归2之单特征线性回归（项目实战、原理解读、源码解读）

机器学习实战-系列教程3：手撕线性回归2之单特征线性回归（项目实战、原理解读、源码解读）

&#x1f308;&#x1f308;&#x1f308;机器学习 实战系列 总目录 本篇文章的代码运行界面均在Pycharm中进行 本篇文章配套的代码资源已经上传 手撕线性回归1之线性回归类的实现 手撕线性回归2之单特征线性回归 手撕线性回归3之多特征线性回归 手撕线性回归4之非线性回归# 5…
阅读更多...
0-1背包-动态规划

0-1背包-动态规划

一、01背包 描述&#xff1a;有 N 件物品和一个容量为 V 的背包&#xff0c;每件物品只能使用一次 第 i 件物品的体积是 Ci&#xff0c;价值是 Wi 求解将哪些物品装入背包&#xff0c;能够在不超过背包容量的情况下使总价值最大 求解&#xff1a;动态规划 使用dp[i][j]表示从…
阅读更多...
zabbix监控H3C设备

zabbix监控H3C设备

背景 常见的服务和主机已经使用Prometheus进行监控了&#xff0c;但是网络设备还未配置监控。使用基于SNMP对网络设备进行监控。 设备概览 主要类型为H3C的路由器和交换机。H3CS5560交换机 路由器MER5200 er8300 步骤 配置网络设备开启telnet远程&#xff1b; 配置启用sn…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023