【大模型微调训练与实操】微调 Llama 3 并在本地使用

news2024/12/25 22:12:15

目标:根据医患对话数据集对 Llama 3 进行微调,创建一个专门针对医疗对话的模型。在合并、转换和量化模型后,它将可以通过 Jan 应用程序供本地私人使用。
在这里插入图片描述

在本教程中,我们将学习如何在医学数据集上微调 Llama 3。我们还将通过 Jan 应用程序将模型转换为可供本地使用的格式。

更具体地说,我们将:

  • 了解 Llama 3 型号。
  • 在医疗数据集上对 Llama 3 模型进行微调。
  • 将适配器与基础模型合并,并将完整模型推送至 Hugging Face Hub。
  • 将模型文件转换为Llama.cpp GGUF格式。
  • 量化GGUF模型并将文件推送至Hugging Face Hub。
  • 在 Jan 应用程序本地使用微调模型。

如果你正在寻找学习 AI 的精选课程,请查看有关AI 基础知识的六门课程技能轨迹。

了解 Llama 3

  1. 微调 Llama 3
  2. 合并 Llama 3
    设置
    将基础模型与适配器合并
    模型推理
    保存并推送合并模型

3.将模型转换为Llama.cpp GGUF
4. 量化GGUF模型
5. 在本地使用微调模型
结论

参考原文:https://www.datacamp.com/tutorial/llama3-fine-tuning-locally

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2055956.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

后端Java秋招面试中的自我介绍需要说什么?

本文主要面向校招/实习面试中求职后端开发岗位的同学,其他岗位/社招的同学也可以参考,道理都是相通的 1 背景 1.1为什么要认真准备自我介绍? 1. 必要性:在求职面试中,一般来说同学和面试官打过招呼之后第一项就是自…

软件测试学习笔记丨APP通用测试方法

本文转自测试人社区,原文链接:https://ceshiren.com/t/topic/31923 一,App项目测试 1,测试流程 需求分析测试计划编写测试用例设计测试用例评审用例执行回归测试非功能测试走查验收(UI、产品)测试总结报告…

将标注文件统一命名

前言 遇到一个问题,对方给的标注文件都是有包括中文以及特殊字符的命名,这就给数据预处理造成了极大不便,因为深度学习训练时使用的有些库是不支持读除了ascii码以外的字符的。所以需要将这些文件名重新对应命名一下。 代码 这是关键点的标…

AI架构系列:去其形而留其意

这个专栏主要关注围绕着AI运用于实际的业务场景所需的系统架构设计。整体基于云原生技术,结合开源领域的LLMOps或者MLOps技术,充分运用低代码构建高性能、高效率和敏捷响应的AI中台。该专栏需要具备一定的计算机基础。 最近很多的咨询都在问我相同的问题…

基于单片机车载酒精浓度的检测系统

摘 要: 为了有效地防止驾驶员酒后驾车的行为,设计了一种基于单片机车载酒精浓度的检测系统 。 该系统由酒精传感器、 A/D 转换器 、 AT89S52 单片机控制器 、 语音报警 、 LCD 液晶显示 、 LED 指示灯 、 车门锁传感器 、 压力传感器和继电器等构成。 当…

【vue讲解:es6导入导出语法、 vue-router简单使用、登录跳转案例、scoped的使用、elementui使用】

1 es6导入导出语法 # 做项目:肯定要写模块--》导入使用# 默认导出和导入 在某个js中 # 命名导出和导入1.1 默认导出和导入 // #########导出语法########### // export default name // 只导出变量 // export default add // 只导出函数// export default {nam…

地平线旭日X3开发板--USB网卡AX88772B驱动移植

由于使用的激光雷达是网口输出的, 为了不占用X3派已有的网口,接上去了一个绿联的usb网卡, 发现系统没有驱动,所以动手看看能不能自己编译一个 首先lsusb查看一下网卡型号 发现型号是AX88772B,去官网看了一下,发现官方提供驱动 AX88772B - Low-Power USB 2.0 to Fast …

如何使用 OCR 和 GPT-4o mini 轻松提取收据信息

利用 OCR 和强大的 GPT-4o 迷你模型对收据进行信息提取 利用 OCR 和强大的 GPT-4o 迷你模型对收据进行信息提取 欢迎来到雲闪世界。,我将向您展示如何从收据中提取信息,并提供收据的简单图像。首先,我们将利用 OCR 从收据中提取信息。然后&a…

研发项目成本超支?专业研发项目管理软件帮你精细化管理,节省每一分钱!

一、你是否也曾经历过这样的场景? 项目进度一再延期,眼看着预算不断超支,却无计可施?团队成员各自为战,沟通效率低下,项目进度难以掌控?需求变更频繁,导致项目计划混乱,…

11 程序控制语句:顺序控制、分支控制(if-else、switch、嵌套)

目录 1 程序控制语句 2 顺序控制语句 3 分支控制语句 3.1 单向分支 if 3.1.1 基本语法 3.1.2 单向分支流程图 3.1.3 案例 3.2 双向分支 if-else 3.2.1 基本语法 3.2.2 双向分支流程图 3.2.3 案例 3.3 多向分支 else if 3.3.1 基本语法 3.3.2 多向分支流程图 3.3…

光储充能源站微电网及其控制综述入门研究笔记

1. 关于微电网 微电网(Micro-Grid),也译为微网,是一个由分布式电源、储能装置、能量转换装置、负荷、监控和保护装置等组成的小型发配电系统。微电网的提出旨在实现分布式电源的灵活、高效应用,解决数量庞大、形式多样…

巴西服务器租用市场:中国企业出海布局的新热点

近年来,巴西市场以其独特的地理位置、庞大的市场潜力、丰富的资源以及友好的营商环境,吸引了众多中国企业的目光。在众多合作领域中,巴西服务器租用成为了中国企业出海布局的重要一环。本文将深入探讨巴西市场为何受广大中国企业青睐&#xf…

数字孪生技术在交通领域的应用现状和展望

数字孪生仿真建模技术是近年来引起广泛关注的一种创新技术,它通过将物理系统的数字化模型与数字孪生仿真建模现实系统进行实时同步,实现了对系统运行状态的准确模拟和预测。在交通领域, 被广泛应用于交通网络规划、交通流优化、智能交通管理等…

地埋电缆防损坏预警装置的工作原理是什么?

答:Hey,各位贴吧的小伙伴们,今天来给大家揭秘一下我们城市地下安全的守护者——地埋电缆防损坏预警装置TLKS-PMG-AGN的工作原理!智能地钉内置了高精度定位传感器,这些传感器就像是地下世界的“眼睛”和“耳朵”&#x…

基于Springboot + vue + mysql 致远汽车租赁管理系统 设计实现

目录 📚 前言 📑摘要 1.1 研究背景 📑操作流程 📚 系统架构设计 📚 数据库设计 💬 E-R表 4.2.2物理模型设计 系统功能模块 系统首页 用户注册 ​编辑 汽车租赁 个人中心 管理员功能模块 管理…

数据仓库实战:详解维度建模事实表

每个数据仓库都包含一个或者多个事实数据表。其中可能包含业务销售数据,如现金登记事务所产生的数据,通常包含大量的行。事实数据表的主要特点是包含数字数据(事实),并且这些数字信息可以汇总,以提供有关单…

Lumos学习王佩丰Excel第十三讲:邮件合并

一、简单的邮件合并 1、批量生成多个文档 预览效果: 批量生成多个文档: 2、利用word发送邮件 (1)选择收件人并编写邮件内容 (2)发送邮件 3、每页显示多条记录 将表格形式的选择题转换成word格式。 效果展…

公司内网监控软件是什么?有哪些好用的推荐?精准安排!

企业内网作为公司运营和管理的核心载体,其安全性与效率性直接关系到企业的生死存亡。 如何精准地掌握内网动态,确保信息安全,提升工作效率? 公司内网监控软件,正是这一需求的产物,它如同一位无形的守护者&…

HiPER Calc Pro-高效、强大的数学计算工具

在数字化时代,无论是学生、教师还是科研工作者,准确高效的数学计算都是不可或缺的一环。HiPER Calc Pro(原名HiPER Scientific Calculator高级版)是一款收费的方程式图形计算器应用,它以无广告、多功能的特性&#xff…

第六版页面

基本 明确定义 站点网关mqtt服务器 多个柜子使用的是主从模式 下发一个设备组其他的柜子跟着设置 具体的让后端进行详细管理 前端规范 字体规范 弹出框定义什么应该弹出什么不应该弹出 页面 主页 屏幕宽度有的没设置好 平面地图模式有的没重合好 日志改为告警在上面 日志…