微调分为两种，增量预训练和指令跟随。
指令跟随微调：
1.只对答案计算Loss
2.训练时数据为一问一答的形式（input和output）
增量预训练：
只需要output的数据进行训练
xtuner:微调框架
操作部分的笔记参考git上的文档
书生浦语大模型实战营-课程笔记（4）
news2024/11/24 3:22:39
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1452816.html
如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！相关文章
杨中科 ASP.NET DI综合案例
综合案例1
需求说明
1、目的:演示DI的能力; 2、有配置服务、日志服务，然后再开发一个邮件发送器服务。可以通过配置服务来从文件、环境变量、数据库等地方读取配置，可以通过日志服务来将程序运行过程中的日志信息写入文件、控制台、数据库等。 3、说明…
python 基础知识点（蓝桥杯python科目个人复习计划43）
今日复习内容：做点真题和继续复习动态规划
例题1：三国游戏
（用的知识点是贪心和排序）
题目描述：
小蓝正在玩一款游戏，游戏中魏（X），蜀（Y）&…
HAL/LL/STD STM32 U8g2库 +I2C SSD1306/sh1106 WouoUI磁贴案例
HAL/LL/STD STM32 U8g2库 I2C SSD1306/sh1106 WouoUI磁贴案例 📍基于STM32F103C8T6 LL库驱动版本：https://gitee.com/chcsx/platform-test/tree/master/MDK-ARM🎬视频演示： WouoUI移植磁贴案例，新增确认弹窗 …
《剑指Offer》笔记题解思路技巧优化 Java版本——新版leetcode_Part_3
《剑指Offer》笔记&题解&思路&技巧&优化_Part_3 😍😍😍 相知🙌🙌🙌 相识😢😢😢 开始刷题1. LCR 138. 有效数字——表示数值的字符串2. LCR 139. 训练计划…
【数据结构】17 二叉树的建立
二叉树的建立
由于树是非线性结构，创建一颗二叉树必须首先确定树中结点的输入顺序，常用方法是先序创建和层序创建。 层序创建所用的节点输入序列是按数的从上至下从左到右的顺序形成的各层的空结点输入数值0。在构造二叉树过程中需要一个队列暂时存储各…
AI数据中心网络架构需求：400/800G光模块
随着AI技术和相关应用的不断发展，大模型、大数据和AI计算能力在AI发展中的重要性日益凸显。大模型和数据集构成AI研究的软件基础，而AI算力是关键的基础设施。在本文中，我们将探讨AI发展对数据中心网络架构的影响。
Fat-Tree数据中心网络架构…
《白话C++》第10章 STL和boost，Page67~70 std::auto_ptr
std::auto_ptr可以不经意间转移裸指针控制权
std::auto_ptr持有裸指针的控制权，却可以随随便便看似不经意地转移给另一个auto_ptr:
#include <iostream>
#include <memory>using namespace std;struct S
{int a;void SetA(int a){this->a a;}~S()…
跟着pink老师前端入门教程（JavaScript）-day02
三、变量
（一）变量概述
1、什么是变量
白话：变量就是一个装东西的盒子
通俗：变量是用于存放数据的容器，通过变量名获取数据，甚至数据可以修改 2、变量在内存中的存储
本质：变量是程序在内存…
记录：零基础小白初学云计算 第一天
一、认识【rootlocalhost ~】#
root:当前登录用户的用户名
localhost：主机名
~：当前用户的家目录
#：超级用户的命令提示符
基础命令
ifup ens33：启动网卡
ip a：查看IP地址
远程连接端口默认 ：22
二…
WordPress主题YIA移动端文章页的面包屑不显示怎么办？
平时我们一般都会在文章页导航菜单下方显示面包屑，类似于“当前位置：boke112百科 WordPress 正文”。平时用浏览器调试站点的时候，在Edge浏览器的“切换设备仿真”中，不管是选择什么设备都会显示面包屑。具体如下图所示…
C#，整数转为短字符串（Short string）的加解密算法与源代码
1 整数转为短字符串的应用
网站生成的动态 URL 往往以内容序列号id为标识与参数，比如：
http://www.jerry.com/tom.aspx?id1
使用 Web Rewrite，可以实现网页静态化，称为：
http://www.jerry.com/content/1.html
对…
论文阅读-PIM-tree：一种面向内存处理的抗偏移索引
论文名称：PIM-tree: A Skew-resistant Index for Processing-in-Memory
摘要
当今的内存索引性能受到内存延迟/带宽瓶颈的限制。Processing-in-memory (PIM) 是一种新兴的方法，可能通过实现低延迟内存访问，其聚合内存带宽随 PIM 节点数量扩…
【Linux系统化学习】文件重定向
目录
文件内核对象
文件描述符的分配规则
重定向
重定向的概念
dup2系统调用
输出重定向
追加重定向
输入重定向
stderr解析
重定向到同一个文件中
分离常规输出和错输出 文件内核对象
上篇文章中我们介绍到了操作系统中的文件，操作系统为了方…
react使用Map方法遍历列表不显示的问题
问题：
在最开始搭建选项卡的时候，我的js代码是这样的
import React, { Component } from react
import ./css/02-maizuo.css
export default class App extends Component {state {list: [{id: 1,text: 电影},{id: 2,text: 影院}, {id: 3,text: 我的}…
MySQL DQL 基本查询
一.概念 数据查询不应只是简单返回数据库中存储的数据，还应该根据需要对数据进行筛选以及确定数据以什么样的格式显示。
二.语法格式 select 列名 from 表 where 条件 1.查询所有的商品
select * from product;
2.查询商品名和商品价格
select pname,price from…
Quantitative Analysis: PIM Chip Demands for LLAMA-7B inference
1 Architecture
如果将LLAMA-7B模型参数量化为4bit，则存储模型参数需要3.3GB。那么，至少PIM chip 的存储至少要4GB。
AiM单个bank为32MB，单个die 512MB，至少需要8个die的芯片。8个die集成在一个芯片上。 提供816bank级别的访存带…
Docker 第十四章 ： Docker 三剑客之 Machine
第十四章 ： Docker 三剑客之 Machine
本章知识点：
Docker Machine 是 Docker 三剑客之一，它是一个工具，允许用户在本地或远程机器上创建 Docker 主机。它简化了 Docker 环境的设置，特别是在不同的操作系统和云平台上。通过 Docker Machine，用户可以轻松地在虚拟机或物理…
《白话C++》第9章 泛型，Page842~844 9.4.2 AutoPtr
源起：
C编程中，最容易出的问题之一，就是内存泄露，而new一个对象，却忘了delete它，则是造成内存泄露的主要原因之一
例子一：
void foo()
{XXXObject* xo new XXXObject;if(!xo->DoSomethin…
支付交易——跨境交易
摘要
老王兢兢业业经营生意多年，一步步从小杂货店做到现在，成立大型贸易公司。在做大做强的过程中，老王觉得国内市场已经饱和，竞争处处是红海。老王留意海外很多年了，决定走出去，转向海外:将国外的商品引进…
蓝桥杯官网填空题（寻找整数）
问题描述
本题为填空题，只需要算出结果后，在代码中使用输出语句将所填结果输出即可。 有一个不超过 10^17 的正整数 n，知道这个数除以 2 至 49 后的余数如下表所示，求这个正整数最小是多少。 运行限制 最大运行时间：…