【Datawhale X 魔搭 】AI夏令营第四期大模型方向,Task4:源大模型微调实战(持续更新)

news2024/11/24 10:38:05

1.1 大模型微调技术简介

        模型微调也被称为指令微调(Instruction Tuning)或者有监督微调(Supervised Fine-tuning, SFT),该方法利用成对的任务输入与预期输出数据,训练模型学会以问答的形式解答问题,从而解锁其任务解决潜能。经过指令微调后,大语言模型能够展现出较强的指令遵循能力,可以通过零样本学习的方式解决多种下游任务。

        然而,值得注意的是,指令微调并非无中生有地传授新知,而是更多地扮演着催化剂的角色,激活模型内在的潜在能力,而非单纯地灌输信息。

        相较于预训练所需的海量数据,指令微调所需数据量显著减少,从几十万到上百万条不等的数据,均可有效激发模型的通用任务解决能力,甚至有研究表明,少量高质量的指令数据(数千至数万条)亦能实现令人满意的微调效果。这不仅降低了对计算资源的依赖,也提升了微调的灵活性与效率。

1.2 轻量化微调技术简介

        由于大模型的参数量巨大, 进行全量参数微调需要消耗非常多的算力。为了解决这一问题,研究者提出了参数高效微调(Parameter-efficient Fine-tuning),也称为轻量化微调 (Lightweight Fine-tuning),这些方法通过训练极少的模型参数,同时保证微调后的模型表现可以与全量微调相媲美。

        常用的轻量化微调技术有LoRA、Adapter 和 Prompt Tuning。

1.3 LoRA技术简介

        LoRA 是通过低秩矩阵分解,在原始矩阵的基础上增加一个旁路矩阵,然后只更新旁路矩阵的参数。

参考资料

  • LoRA paper

  • 大模型轻量级微调(LoRA):训练速度、显存占用分析

  • 【深度学习】混合精度训练与显存分析

  • 全网最全-混合精度训练原理

1.4 Streamlit技术简介

        Streamlit是一个Python库,允许您创建交互式的数据科学和机器学习Web应用程序。使用Streamlit,您可以快速轻松地创建自定义Web应用程序,让用户与您的数据和模型进行交互。

        Streamlit旨在简单直观,专注于通过几行代码轻松创建美观和功能强大的应用程序。它包括广泛的内置小部件和工具,用于显示数据,处理用户输入和创建自定义可视化。

        

        Streamlit是一个基于tornado框架的快速搭建Web应用的Python库,封装了大量常用组件方法,支持大量数据表、图表等对象的渲染,支持网格化、响应式布局。简单来说,可以让不了解前端的人搭建网页。 相比于同类产品PyWebIO,Streamlit的功能更加全面一些。

        官方文档:https://docs.streamlit.io/

        

        Streamlit提供了多种部署选项,包括使用Docker容器、云服务平台(如AWS、GCP和Azure等)以及本地服务器等。你可以根据自己的需求选择合适的部署方式。

# 安装 streamlit 
pip install streamlit==1.24.0

1.5  源2.0-2B 微调实战

Task 4:源大模型微调实战.ipynb

双击打开Task 4:源大模型微调实战.ipynb

按顺序运行所有单元格

如果提示显存不够,尝试点击重启内核,清空显存。

 环境准备

git lfs install
git clone https://www.modelscope.cn/datasets/Datawhale/AICamp_yuan_baseline.git
cp AICamp_yuan_baseline/Task\ 4:源大模型微调实战/* .

模型下载 

Yuan2-2B-Mars支持通过多个平台进行下载,因为我们的机器就在魔搭,所以这里我们直接选择通过魔搭进行下载。模型在魔搭平台的地址为 IEITYuan/Yuan2-2B-Mars-hf。

数据处理

模型训练

效果验证及测试

Yuan2.0 AI简历助手

控制台运行

streamlit run "Task 4 案例:AI简历助手.py" --server.address 127.0.0.1 --server.port 6006

运行排错,及UI界面修改

OutOfMemoryError: CUDA out of memory. Tried to allocate 32.00 MiB. GPU

碰到这个问题,直接尝试重启

完整效果图

测试数据

关闭PAI实例(很重要)

运行完成后,别忘了回到魔搭,【关闭】实例,否则会一直消耗你的试用额度!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2058519.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

exocad椅旁设计工作流程是指的什么,椅旁设计工作流程对初学者有什么帮助

随着牙科智能技术的不断进步,exocad软件的椅旁设计工作内容越来越受到重视。此项工作不仅代表了牙科数字化的新发展趋向,也为牙科专业人员,尤其是新手提供了方便高效的工作方法。本文将详细分析exocad椅旁设计工作流程是指的什么,…

神经网络算法 - 一文搞懂Transformer

本文将从Transformer的本质、Transformer的原理、Transformer架构改进三个方面,带您一文搞懂Transformer。 Transformer架构:主要由输入部分(输入输出嵌入与位置编码)、多层编码器、多层解码器以及输出部分(输出线性层…

神经网络算法--文搞懂LSTM(长短期记忆网络)

本文将从LSTM的本质、LSTM的原理、LSTM的应用 三个方面,带您一文搞懂长短期记忆网络Long Short Term Memory | LSTM。 RNN 面临问题:RNN(递归神经网络)在处理长序列时面临的主要问题:短时记忆和梯度消失/梯度爆炸。 梯…

智慧导览系统主要在哪些场景有应用

随着信息化和智能化的快速发展,智慧导览系统作为一种新型导览工具,在多个领域展现出其独特的应用价值。该系统通过集合互联网、人工智能、大数据分析等技术,为用户提供更加便捷、高效的导览服务。以下将详细给大家介绍智慧导览系统主要在哪些…

获取阿里云Docker镜像加速器地址

注册并登录阿里云账号:首先,你需要有一个阿里云账号。如果还没有,可以在阿里云官网注册。 访问容器镜像服务:登录后,进入“产品与服务”,找到“容器服务”或“容器镜像服务”。阿里云容器服务 找到镜像加…

Kolmogorov-Arnold Networks——高效、可解释的神经网络的新前沿

引言 神经网络一直处于人工智能发展的前沿,从自然语言处理和计算机视觉到战略游戏、医疗保健、编码、艺术甚至自动驾驶汽车,无所不包。然而,随着这些模型的规模和复杂性不断扩大,它们的局限性正成为重大缺陷。对大量数据和计算能…

gazebo下使用Fast-planner配置(包含mpc局部规划+控制Gazebo小车以及FastPlanner配置)

源码链接: https://github.com/USE-jx/NMPC_CASADI_CPP?tabreadme-ov-file #这是NMPC的 里面有Fast-Planner,但编译可能缺少东西,所以再放一个Fast-Planner的,可以装装缺少的库 https://github.com/HKUST-Aerial-Robotics/Fast-P…

centos7.9系统安装cloudpods

1. 简介: Cloudpods 是一款简单、可靠的企业IaaS资源管理软件。帮助未云化企业全面云化IDC物理资源,提升企业IT管理效率。 Cloudpods 帮助客户在一个地方管理所有云计算资源。统一管理异构IT基础设施资源,极大简化多云架构复杂度和难度&…

1553B总线电缆网络

1553B总线电缆网络 MIL-STD-1553B总线全称为飞行器内部时分命令/响应多路数据总线(Aircraft Internal Time Division Command/Response Multiplex Data Bu),它是由美国SAE的AE-9E委员会在军方和工业界的支持下,我国与之对应的标准…

Ubuntu清除缓存的方法--防止系统崩溃

前情提要:虚拟机出现过好几次的崩溃,终于同事发给了一个可以清除缓存的 1)崩溃1:之前将虚拟机放置在某盘中,该盘后续一直有别的东西存入,导致ubuntu直接打不开,后续就将虚拟机直接放在电脑单独…

洛谷 P1094 [NOIP2007 普及组] 纪念品分组

题目背景 NOIP2007 普及组 T2 题目描述 元旦快到了,校学生会让乐乐负责新年晚会的纪念品发放工作。为使得参加晚会的同学所获得 的纪念品价值相对均衡,他要把购来的纪念品根据价格进行分组,但每组最多只能包括两件纪念品, 并且…

RAG Foundry:一个用于增强大语言模型以实现检索增强生成的框架

一、结论写在前面 论文来自Intel Labs。 论文标题:RAG Foundry: A Framework for Enhancing LLMs for Retrieval Augmented Generation 论文链接:https://arxiv.org/pdf/2408.02545 代码:https://github.com/IntelLabs/RAGFoundry 实现检…

这一定是魔法!5个绝招解决苹果微信照片删除了怎么恢复问题

情景一:更新苹果手机系统后,重新打开微信却发现聊天记录中的照片不见了。 情景二:清理微信缓存数据以释放手机空间,再次打开微信发现聊天中的微信照片找不到了。 …… …… 类似于上述的情景在日常生活中时有发生,但…

【数据分享】1929-2024年全球站点的逐日降水量数据(Shp\Excel格式\1万多个站点)

气象数据是在各项研究中都经常使用的数据,气象指标包括气温、风速、降水、湿度等指标,说到常用的降水数据,最详细的降水数据是具体到气象监测站点的降水数据! 有关气象指标的监测站点数据,之前我们分享过1929-2024年全…

AI时代的价值盈利②:人工智能将如何改变SaaS应用的定价指标

介绍 随着行业和企业走上人工智能之旅,对每个投资者和商业领袖来说,最紧迫的问题之一是这种变革性技术将如何重塑他们的商业模式。GenAI有望释放巨大的价值,并有可能彻底改变消费者与服务或应用程序的交互方式。虽然它可能会带来巨大的成本&…

热门的蓝牙耳机中,哪种类型更受欢迎?四款热度高的开放式耳机

在如今的耳机市场中,开放式耳机异军突起,成为了众多消费者的新宠。如果你还在为传统入耳式耳机带来的不适而烦恼,那么开放式耳机绝对值得你一试。它不仅能让你在享受音乐的同时,依然可以清晰感知周围环境,保障你的安全…

函数与二元关系在编程中的应用

目录 引言 函数的基本概念与编程应用 二元关系与其在编程中的实现 函数与关系的高级编程应用 总结与应用 引言 函数与二元关系是计算机科学中描述元素间相互作用的核心工具。它们在算法设计、数据库管理、图论及各种建模任务中发挥着不可或缺的作用。掌握函数与二元关系的…

【代码】Swan-Transformer 代码详解(待完成)

1. 局部注意力 Window Attention (W-MSA Module) class WindowAttention(nn.Module):r""" Window based multi-head self attention (W-MSA) module with relative position bias.It supports both of shifted and non-shifted window.Args:dim (int): Number…

汽车的UDS诊断01

UDS(Unified Diagnostic Services):ISO14229中定义了汽车通用诊断协议;ISO15765规定了帧的格式; 1)UDS中的四种帧 UDS中的四种帧:单帧、首帧、流空帧、连续帧 图1 …

美团面试题:new Integer(“127“)和Integer.valueOf(“128“)有什么

🍅 作者简介:哪吒,CSDN2021博客之星亚军🏆、新星计划导师✌、博客专家💪 🍅 哪吒多年工作总结:Java学习路线总结,搬砖工逆袭Java架构师 🍅 技术交流:定期更新…