12.实战私有数据微调ChatGLM3

news2025/2/24 9:23:50

实战私有数据微调ChatGLM3

  • 实战私有数据微调ChatGLM3
    • 实战构造私有的微调数据集
      • 基于 ChatGPT 设计生成训练数据的 Prompt
      • 使用 LangChain + GPT-3.5-Turbo 生成训练数据样例
      • 训练数据解析、数据增强和持久化存储
      • 自动化批量生成训练数据集流水线
      • 提示工程（Prompt Engineering）：强化返回格式，不断测试结果
    • 实战私有数据微调 ChatGLM3
      • 使用 QLoRA 小样本微调 ChatGLM3
      • ChatGLM3 微调前后效果对比

实战私有数据微调ChatGLM3

实战构造私有的微调数据集

典型的训练数据集构造流程
在这里插入图片描述
痛点：流程重复繁杂，效率低

基于 GPT 的训练数据集构造流程
在这里插入图片描述
基于 ChatGPT 设计生成训练数据的 Prompt（以中国哲学领域为例）
在这里插入图片描述

基于 ChatGPT 设计生成训练数据的 Prompt

在这里插入图片描述

使用 LangChain + GPT-3.5-Turbo 生成训练数据样例

在这里插入图片描述

训练数据解析、数据增强和持久化存储

在这里插入图片描述
数据增强：构造多样化的提问方式
在这里插入图片描述
在这里插入图片描述

自动化批量生成训练数据集流水线

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

提示工程（Prompt Engineering）：强化返回格式，不断测试结果

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

实战私有数据微调 ChatGLM3

使用 QLoRA 小样本微调 ChatGLM3

在这里插入图片描述

ChatGLM3 微调前后效果对比

在这里插入图片描述

在这里插入图片描述
fixed

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1821015.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

HTTPS请求阶段图解分析

HTTPS请求阶段图解分析

HTTPS请求阶段分析 请求阶段分析 请求阶段分析 一个完整、无任何缓存、未复用连接的 HTTPS 请求需要经过以下几个阶段： DNS 域名解析、TCP 握手、SSL 握手、服务器处理、内容传输。 一个 HTTPS 请求共需要 5 个 RTT 1 RTT（域名解析） 1 RTT…
阅读更多...
element table 点击某一行中按钮加载

element table 点击某一行中按钮加载

在Element UI中，实现表格（element-table）中的这种功能通常涉及到数据处理和状态管理。当你点击某一行的按钮时，其他行的按钮需要动态地切换为加载状态，这可以通过以下步骤实现： 1.表格组件：使用…
阅读更多...
NodeClub：NodeJS构造开源交流社区

NodeClub：NodeJS构造开源交流社区

NodeClub： 连接每一个想法，NodeClub让社区更生动- 精选真开源，释放新价值。 概览 NodeClub是一个基于Node.js和MongoDB构建的社区系统，专为开发者和社区爱好者设计。它提供了一套完整的社区功能，包括用户管理、内容发…
阅读更多...
基于 Nginx Ingress + 云效 AppStack 实现灰度发布

基于 Nginx Ingress + 云效 AppStack 实现灰度发布

作者：子丑 场景简介 灰度发布是降低生产部署风险，提升线上服务稳定性的重要手段，这在当前快速迭代的软件研发中尤为重要。相对于 K8s 默认的滚动部署或者简单的 Pod 分批，基于流量特征的灰度发布验证更精准，风险更低…
阅读更多...
安鸾学院靶场——安全基础

安鸾学院靶场——安全基础

文章目录 1、Burp抓包2、指纹识别3、压缩包解密4、Nginx整数溢出漏洞5、PHP代码基础6、linux基础命令7、Mysql数据库基础8、目录扫描9、端口扫描10、docker容器基础11、文件类型 1、Burp抓包 抓取http://47.100.220.113:8007/的返回包，可以拿到包含flag的txt文件。…
阅读更多...
buuctf----warmup_csaw_2016

buuctf----warmup_csaw_2016

进来医院先来一套常规检查 啥保护都没,看大佬说基本栈溢出 CT一看 OK cat flag 更喜欢了 40060D 找到地址 get也来了,稳啦! 0x80-0x40 8 根据上道题的exp from pwn import * ghust remote("node5.buuoj.cn",27229) addr 0x40060D payload bA * 0x40 bB*8…
阅读更多...
SpringMVC-基础架构

SpringMVC-基础架构

一、什么是MVC 二、什么是SpringMVC 三、SpringMVC的特点 四、配置SpringMVC 简单流程&#xff1a; 总体框架 1.创建pom.xml依赖 <!--打包方式--><packaging>war</packaging><!--依赖--><dependencies><dependency><groupId>org.s…
阅读更多...
路由器怎么设置局域网？

路由器怎么设置局域网？

局域网&#xff08;Local Area Network&#xff0c;LAN&#xff09;是指在一个相对较小的地理范围内&#xff0c;如家庭、办公室或学校等&#xff0c;通过路由器等设备连接起来的计算机网络。设置局域网可以方便地实现内部资源共享和信息交流。本文将介绍如何设置局域网以及一个…
阅读更多...
C# 设置PDF表单不可编辑、或提取PDF表单数据

C# 设置PDF表单不可编辑、或提取PDF表单数据

PDF表单是PDF中的可编辑区域&#xff0c;允许用户填写指定信息。当表单填写完成后&#xff0c;有时候我们可能需要将其设置为不可编辑&#xff0c;以保护表单内容的完整性和可靠性。或者需要从PDF表单中提取数据以便后续处理或分析。 之前文章详细介绍过如何使用免费Spire.PDF…
阅读更多...
晶振的匹配电容的计算

晶振的匹配电容的计算

晶振 等效电路 C0是晶振的静态电容 L1是晶振的等效电感 C1是晶振的等效电容 R1是晶振的等效串联电阻 芯片内部已有反相器和负载电阻 计算公式 参考1 参考2
阅读更多...
maven 显式依赖包包含隐式依赖包，引起依赖包冲突

maven 显式依赖包包含隐式依赖包，引起依赖包冲突

问题&#xff1a;FlinkCDC 3.0.1 代码 maven依赖包冲突 什么是依赖冲突 依赖冲突是指项目依赖的某一个jar包&#xff0c;有多个不同的版本&#xff0c;因而造成类包版本冲突 依赖冲突的原因 依赖冲突很经常是类包之间的间接依赖引起的。每个显式声明的类包都会依赖于一些其它…
阅读更多...
Mongodb在UPDATE操作中使用$push向数组中插入数据

Mongodb在UPDATE操作中使用$push向数组中插入数据

学习mongodb&#xff0c;体会mongodb的每一个使用细节&#xff0c;欢迎阅读威赞的文章。这是威赞发布的第69篇mongodb技术文章&#xff0c;欢迎浏览本专栏威赞发布的其他文章。如果您认为我的文章对您有帮助或者解决您的问题&#xff0c;欢迎在文章下面点个赞&#xff0c;或者关…
阅读更多...
基数排序O(n)时间复杂度的实现

基数排序O(n)时间复杂度的实现

基数排序O(n)时间复杂度的实现 前言 之前写过一篇文章六种常见排序算法分析与实现&#xff0c;讲了六种常见的排序算法&#xff0c;但是没有了解到桶排序&#xff0c;基数排序这两种排序算法&#xff0c;今天刷LeetCode发现了这两种算法&#xff0c;本文先来聊聊基数排序的思…
阅读更多...
前端 CSS 经典：在 Vue3 中使用渐进式图片

前端 CSS 经典：在 Vue3 中使用渐进式图片

1. 什么是渐进式图片 当我们网站会加载很多图片的时候&#xff0c;有些图片尺寸很大&#xff0c;加载就会很慢&#xff0c;会导致页面长时间陷入白屏状态&#xff0c;用户体验很不好。所以可以使用渐进式图片&#xff0c;先给用户展示模糊图&#xff0c;这些图尺寸小&#xff…
阅读更多...
数据分析-Excel基础函数的使用

数据分析-Excel基础函数的使用

Excel基础函数&#xff1a; sum:求和 sumif:单条件求和 sumifs:多条件求和 subtotal:根据筛选求和 if:逻辑判断 vlookup:连接匹配数据 match:查找数值在区域中的位置 index:根据区域的位置返回数值 match、index:一起使用&#xff1a;自动根据列名查找数据 sumifs、match、ind…
阅读更多...
k8s+RabbitMQ单机部署

k8s+RabbitMQ单机部署

1 k8s 配置文件yaml: apiVersion: apps/v1 kind: Deployment metadata:name: rabbitmq-deploynamespace: rz-dt spec:replicas: 1selector:matchLabels:app: rabbitmqtemplate:metadata:labels:app: rabbitmqspec:containers:- name: rabbitmqimage: "rz-dt-image-server…
阅读更多...
ubtun虚拟机安装

ubtun虚拟机安装

选择镜像后启动 选择第一个回车 加载完成后 &#xff0c;进入Ubuntu安装界面&#xff0c;安装语言选择English&#xff0c;完成后按一下回车&#xff1a; 此时弹出安装器可更新提示&#xff0c;下方选项选择第二个Continue without updating&#xff08;不更新&#xff0c;继续…
阅读更多...
计算机网络 —— 应用层（应用层概述及服务方式）

计算机网络 —— 应用层（应用层概述及服务方式）

计算机网络 —— 应用层&#xff08;应用层概述及服务方式&#xff09; 应用层服务方式C/S&#xff08;客户端-服务器&#xff08;C/S&#xff09;模型&#xff09;基本概念特点B/S&#xff08;Browser/Server&#xff09;基本概念特点应用场景 p2p &#xff08;对等网络&#…
阅读更多...
精彩回顾！安全智能体的前沿技术研究与实践

精彩回顾！安全智能体的前沿技术研究与实践

&#xff08;关注“安全极客”&#xff0c;回复“智能体”下载第一期系列专题PPT&#xff01;&#xff09; 近日&#xff0c;安全极客和Wisemodel社区联合发起并主办了“AISecurity”系列第1期&#xff1a;大模型与网络空间安全前沿探索线下活动。在这次活动中&#xff0c;云起…
阅读更多...
Unity与Js通信交互

Unity与Js通信交互

目录 1.Js给Unity传递消息 2.Unity给Js传递消息 简介: Unity 与 JavaScript 通信交互是指在 Unity 项目中实现与 JavaScript 代码进行数据交换和功能调用的过程。 在 Unity 中&#xff0c;可以通过特定的接口和技术来与外部的 JavaScript 环境进行连接。这使得 Unity 能够利…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023