书生·浦语大模型--第四节课笔记--XTuner大模型单卡低成本微调

news2024/11/18 16:26:20

在这里插入图片描述

文章目录

  • Finetune简介
    • 指令跟随微调
    • 增量预训练微调
    • LoRA QLoRA
  • XTuner介绍
    • 快速上手
  • 8GB显卡玩转LLM
  • 动手实战环节

Finetune简介

增量预训练和指令跟随
在这里插入图片描述
通过指令微调获得instructed LLM
在这里插入图片描述

指令跟随微调

一问一答的方式进行
在这里插入图片描述
对话模板
在这里插入图片描述
计算损失
在这里插入图片描述

增量预训练微调

不需要问题只需要回答，都是陈述句。计算损失时和指令微调一样
在这里插入图片描述

LoRA QLoRA

不需要太大的显存开销。增加旁路分支Adapter。
在这里插入图片描述
比较：

  • 全参数微调：整个模型加载到显存中，所有模型的参数优化器也要加载到显存中
  • LoRA微调：模型也需要加载到显存中，但是参数优化器只需要LoRA部分
  • QLoRA微调：加载模型时就4bit量化加载，参数优化器还可以在CPU和GPU之间调度，显存满了可以在内存里跑
    在这里插入图片描述

XTuner介绍

在这里插入图片描述

快速上手

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

8GB显卡玩转LLM

动手实战环节

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1407080.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

C++高精度问题

C++高精度问题

高精度前言 C中int不能超过2^31-1，最长的long long也不能超过2^63-1,所以我们在题目中如果碰到了很长很长的数，并且需要进行大数运算时，就需要高精度存储。 高精度总体思路 由于int和long long的限制，我们要想存放很长的数就需…
阅读更多...
国标GB28181协议EasyCVR启动失败报错“Local Machine Check Error”的解决方法

国标GB28181协议EasyCVR启动失败报错“Local Machine Check Error”的解决方法

国标GB28181安防监控系统EasyCVR平台采用了开放式的网络结构，可支持4G、5G、WiFi、有线等方式进行视频的接入与传输、处理和分发。安防视频监控平台EasyCVR还能支持GIS电子地图模式，基于监控摄像头的经纬度地理位置信息，将场景中的整体安防布…
阅读更多...
感性负载对电路稳定性有什么影响？

感性负载对电路稳定性有什么影响？

感性负载是指带有电感元件的负载，如电动机、变压器等。在电路中，感性负载对电路稳定性有很大的影响。本文将从以下几个方面来分析感性负载对电路稳定性的影响： 当感性负载接通或断开时，会产生一个瞬时电流，这个瞬时电流…
阅读更多...
大数据开发之Spark（RDD弹性分布式数据集）

大数据开发之Spark（RDD弹性分布式数据集）

第 1 章：rdd概述 1.1 什么是rdd rdd（resilient distributed dataset）叫做弹性分布式数据集，是spark中最基本的数据抽象。 代码中是一个抽象类，它代表一个弹性的、不可变、可分区、里面的元素可并行计算的集合。 1.1…
阅读更多...
安装vcenter7.0问题汇总

安装vcenter7.0问题汇总

1.Windows server 2016安装vcenter7.0出现：无法获取目标服务器证书的 SSL 指纹。 第一个检查点： 防火墙：关闭或者开放443端口 第二个检查点： 检查自己的虚拟网卡是否开启 第三个检查点： 我标记的第一个大框中我这…
阅读更多...
Zabbix分布式监控系统

Zabbix分布式监控系统

实验过程 ps： 阿里云盘Xnode1获取 xnode1 https://www.alipan.com/s/HgLXfoeBWG2 提取码: eb70 1、xnode1克隆两台虚拟机并修改ip zabbix-server192.168.224.3 zabbix-agent192.168.224.4 2、修改主机名 [rootlocalhost ~]# hostnamectl set-hostname zabbix-se…
阅读更多...
Vue3 ref与reactive

Vue3 ref与reactive

✨ 专栏介绍 在当今Web开发领域中，构建交互性强、可复用且易于维护的用户界面是至关重要的。而Vue.js作为一款现代化且流行的JavaScript框架，正是为了满足这些需求而诞生。它采用了MVVM架构模式，并通过数据驱动和组件化的方式，使…
阅读更多...
php比较运算，强相等（===）弱相等（==）表

php比较运算，强相等（===）弱相等（==）表

弱相等（） 符号为： 规则为：只比较值，不比较类型，只要值对就为true 样例：比较整型123和字符串"123"，运行结果给出了true 弱相等表：* 代表在 PHP 8.0.0 之前为…
阅读更多...
【网站项目】新冠疫情隔离人员信息管理系统（有源码）

【网站项目】新冠疫情隔离人员信息管理系统（有源码）

🙊作者简介：多年一线开发工作经验，分享技术代码帮助学生学习，独立完成自己的项目或者毕业设计。 代码可以私聊博主获取。🌹赠送计算机毕业设计600个选题excel文件，帮助大学选题。赠送开题报告模板，帮助书写开题报告。作者完整代码目录供你选择： 《Springboot网站项目…
阅读更多...
S7-1500与多台200SMART之间无线以太网通讯搭建方法

S7-1500与多台200SMART之间无线以太网通讯搭建方法

这是一个不用编程即可瞬间实现S7-200smart与S7-1500的以太网通讯的方法，这种控制方式下最多可以控制128台S7-200SMART。本方案以组态王与S7-1500和2台S7-200smart为例，介绍S7-1500与多台 S7-200smart在Profinet协议下的自组网无线通信实现过程。在本方案…
阅读更多...
大数据平台红蓝对抗 - 磨利刃，淬精兵！

大数据平台红蓝对抗 - 磨利刃，淬精兵！

背景 目前大促备战常见备战工作：专项压测（全链路压测、内部压测）、灾备演练、降级演练、限流、巡检（监控、应用健康度）、混沌演练（红蓝对抗），如下图所示。随着平台业务越来越复杂&a…
阅读更多...
AI一键换衣，阿里Outfit Anyone来了，电商人的福音！

AI一键换衣，阿里Outfit Anyone来了，电商人的福音！

继谷歌推出Tryon Diffusion虚拟试穿后，国内的头部电商阿里也推出的Outfit Anyone虚拟试穿技术。该技术采用双流条件扩散模型，处理模特和服装数据，通过衣物图像实现逼真的虚拟试穿效果，结合Animate Anyone技术，轻松制作…
阅读更多...
5118优惠码vip、svip、专业版和旗舰版使用yhm666

5118优惠码vip、svip、专业版和旗舰版使用yhm666

5118大数据平台会员优惠码【yhm666】，结算时勾选“使用优惠码”，然后在优惠码窗口中输入yhm666，然后点确定即可享受特价会员价格。阿腾云atengyun.com分享如下图： 5118会员优惠码【yhm666】 5118会员价格和使用优惠码之后的价格对…
阅读更多...
Go 复合数据类型

Go 复合数据类型

1. 数组（array）（OK） 数组数组的概念数组是具有固定长度且拥有零个或多个相同数据类型元素的序列 i. 元素的数据类型相同 ii. 长度固定的序列 iii. 零个或多个元素的序列 与 slice 对比 由于数组的长度固定，所以在 G…
阅读更多...
电脑硬盘数据恢复？这3个方法不要错过！

电脑硬盘数据恢复？这3个方法不要错过！

“我在使用电脑办公时，不小心将电脑硬盘里的数据误删了。这些数据对我来说都是比较重要的！有什么比较简单的方可以恢复吗？” 电脑硬盘中一般会保存用户很多重要的资料和数据，如果这些资料误删了，可能会带来各种麻烦和不…
阅读更多...
自定义线程工厂规范【开发手册】

自定义线程工厂规范【开发手册】

一、介绍 最近在看一些编码以及设计的规范，觉得有些还是很有用的，在这分享给大家。主要学习阿里的Java开发规范（黄山版），这篇主要是对日常大家使用线程池或者线程时，为何应该制定有意义的线程名称等。 二…
阅读更多...
Kafka-服务端-副本机制

Kafka-服务端-副本机制

Kafka从0.8版本开始引入副本(Replica)的机制，其目的是为了增加Kafka集群的高可用性。 Kafka实现副本机制之后，每个分区可以有多个副本，并且会从其副本集合(Assigned Replica,AR)中选出一个副本作为Leader副本，所有的读写请求都由…
阅读更多...
快速上手的AI工具-文心一言辅助学习

快速上手的AI工具-文心一言辅助学习

前言 大家好晚上好，现在AI技术的发展，它已经渗透到我们生活的各个层面。对于普通人来说，理解并有效利用AI技术不仅能增强个人竞争力，还能在日常生活中带来便利。无论是提高工作效率，还是优化日常任务，AI工…
阅读更多...
数据管理平台Splunk Enterprise本地部署并结合内网穿透实现远程访问

数据管理平台Splunk Enterprise本地部署并结合内网穿透实现远程访问

文章目录 前言1. 搭建Splunk Enterprise2. windows 安装 cpolar3. 创建Splunk Enterprise公网访问地址4. 远程访问Splunk Enterprise服务5. 固定远程地址 前言 本文主要介绍如何简单几步，结合cpolar内网穿透工具实现随时随地在任意浏览器，远程访问在本地…
阅读更多...
vue3项目中使用vite-plugin-mock

vue3项目中使用vite-plugin-mock

1、安装插件 npm i mockjs vite-plugin-mock --save-dev 2、修改配置文件 vite.config.js import { viteMockServe } from vite-plugin-mock plugins: [vue(), viteMockServe({ supportTs:false, logger: false, mockPath: "/mock/" // 注…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023