Llama3-Tutorial(Llama 3 超级课堂)-- 笔记

news2024/11/24 22:55:44

第1节—Llama 3 本地 Web Demo 部署

在这里插入图片描述

在这里插入图片描述

[图片]

[图片]

端口转发

vscode里面设置端口转发
https://a-aide-20240416-b4c2755-160476.intern-ai.org.cn/proxy/8501/
[图片]

ssh -CNg -L 8501:127.0.0.1:8501 root@ssh.intern-ai.org.cn -p 43681

参考

  • https://github.com/SmartFlowAI/Llama3-Tutorial/blob/main/docs/hello_world.md

第2节–Llama 3 微调个人小助手认知(XTuner 版)

[图片]

[图片]

[图片]

参考

  • https://github.com/SmartFlowAI/Llama3-Tutorial/blob/main/docs/assistant.md

第3节–Llama 3 图片理解能力微调(XTuner+LLaVA 版)

第4节–Llama 3 高效部署实践(LMDeploy 版)

[图片]

lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct/
nvidia-smi 

[图片]

lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct/ --cache-max-entry-count 0.5

有一点变化,变化不大,从39998MB到37366MB。
[图片]

lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct/ --cache-max-entry-count 0.01
然后与模型对话,可以看到,此时显存占用仅为16213M,代价是会降低模型推理速度。

[图片]

Meta-Llama-3-8B-Instruct_4bit
lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct_4bit --model-format awq --cache-max-entry-count 0.01

[图片]

lmdeploy serve api_server
lmdeploy serve api_server \
    /root/model/Meta-Llama-3-8B-Instruct \
    --model-format hf \
    --quant-policy 0 \
    --server-name 0.0.0.0 \
    --server-port 23333 \
    --tp 1

端口转发

ssh -CNg -L 23333:127.0.0.1:23333 root@ssh.intern-ai.org.cn -p 43681
[图片]

参考

  • https://github.com/SmartFlowAI/Llama3-Tutorial/blob/main/docs/lmdeploy.md

第5节–Llama 3 Agent 能力体验与微调

第6节–Llama 3 能力评测(OpenCompass 版)

课程信息

【结课时间】
我们的结课时间已经延迟到5月12日,同样,我们的算力支持和共学计划的有效期也会延迟到5月12日

【结课福利】

  • 可加入人均大佬的【Llama 3 结课大佬】群,并可参加书生·浦语(InternLM)的特别兴趣小组和后续活动
  • 精美的结课证书(结课后 1 个月内可领取)
  • 24 GB 算力的额外支持(有效期至5月12日)

【结课条件】

  • 完成所有视频的观看
  • 完成 Llama 3 Web Demo 部署
  • 使用 XTuner 完成小助手认知微调
  • 使用 LMDeploy 成功部署 Llama 3 模型

【结课福利领取方式】
通过下方“作业提交问卷”提交基础作业后,即可联系班级助教帮忙拉进【Llama 3 结课大佬】群,结课福利的相关信息会在结课群内通知

📰 作业提交问卷:https://aicarrier.feishu.cn/share/base/form/shrcnjQM61uIwVIZxkoGy6kc0Bh

📰 学习手册:学习手册

📰 课程文档:
https://github.com/SmartFlowAI/Llama3-Tutorial

📺 课程视频:
https://space.bilibili.com/3546636263360696/channel/series

【共学计划】
邀请 3 位同学即可获得 24GB 的算力,24 GB 足够完成所有基础作业了。详见:https://llama3.vansin.top/

【FQA】

  • 出现算力点不足的学员,请来联系我补充
  • 出现显存不足问题(out of memory),一般群聊天记录里会有解决方案(搜索:【oom问题】),或者通过共学计划提升算力支持

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1669812.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

每日一练2024.5.9

题目: 给定一个非负整数数组 nums, nums 中一半整数是 奇数 ,一半整数是 偶数 。 对数组进行排序,以便当 nums[i] 为奇数时,i 也是 奇数 ;当 nums[i] 为偶数时, i 也是 偶数 。 你可以返回 …

防伪溯源一体化管理系统基于FastAdmin+ThinkPHP和Uniapp(源码搭建/上线/运营/售后/维护更新)

一款基于FastAdminThinkPHP和Uniapp进行开发的多平台(微信小程序、H5网页)溯源、防伪、管理一体化独立系统,拥有强大的防伪码和溯源码双码生成功能(内置多种生成规则)、批量大量导出防伪和溯源码码数据、支持代理商管理…

活动预告|“AI+Security”系列第1期:大模型网络空间安全前沿探索活动火热报名中

由Wisemodel社区、安全极客主办的 “AISecurity”系列第1期: 大模型网络空间安全前沿探索 线下活动 将于2024年5月18日下午14:00 在苏州街16号神州数码大厦5层举行 本活动旨在汇聚业界专家和实践者共同探讨和推进AI自身安全、AI赋能安全与AI给安全带来的挑战等关…

产品设计中的“注册”说明

​在使用网站或应用的时候必不可少的就是账号系统,账号系统有些人可能觉得简单,无非就是账号密码。真的是这样吗? 一个完整的账号系统通常大家会分成四部分: 1.注册(手机号、邮箱、用户名/密码限制/验证码)…

项目8-头像的上传

js实现头像上传并且预览图片功能以及提交 - 掘金 (juejin.cn) 我们简单建立一个表 1.前端知识储备 1.1 addClass的使用 1.基本语法 addClass() 方法向被选元素添加一个或多个类。 该方法不会移除已存在的 class 属性,仅仅添加一个或多个 class 属性。 提示&…

隧道建设的数字眼睛:盾构机实时可视化技术

盾构机可视化技术可以展现盾构机在隧道掘进过程中的各项工作状态。这种技术能够将复杂的数据和参数转化为直观的图像和动画,包括盾构机的推进速度、土压力、刀盘转速和位置信息等关键性能指标。 通过 HT 可视化,工程师可以实时监控盾构机的运行状况&…

网站域名SSL证书怎么获取和安装

一、获取SSL证书 1、选择证书颁发机构(CA): 选择一个受信任的SSL证书颁发机构,如JoySSL、Comodo、DigiCert、GlobalSign等。 2、生成证书签名请求(CSR): 在您的服务商的网站上生成CSR。CSR中…

云相册APP

简介 一款用于云存照片的app,支持批量上传和下载照片。 平台技术 Android客户端:Kotlin 协程 Retrofit Server服务后端:Java SpringBoot 部署云服务器:华为云耀云服务器L实例 下载网址 小鲸鱼相册 Ps: 由于网站域名备案审核…

学校能源消耗监测管理系统,打造智能监测系统

学校能源消耗监测管理系统是一款针对,水、电、煤、气、热等能源的在线监测、分析与处理的系统,为学校管理者提供全面的能源使用情况,为学校管理工作提供了有力的支持。 为什么要建设能源管理系统? 用能需求增加 随着学校的快速…

星戈瑞SH-PEG3-OH一种多功能生物相容性PEG小分子

SH-PEG3-OH是一种含有硫基(-SH)、三个乙二醇单元和羟基(-OH)的小分子化合物。其分子结构中的硫基赋予了其独特的化学反应性,能够与其他含有不饱和键的化合物发生点击化学反应,如迈克尔加成反应等。同时&…

idea无法识别加载pom.xml文件

有时idea无法识别加载pom.xml文件,直接打开pom.xml文件,然后添加到maven就行

重塑产业效率:RFID赋能的智能挂衣系统方案

应用背景 服装生产属于劳动密集型行业,服装生产从原料布料开始到裁剪、打样、缝制、包烫等每个岗位都需要很多工人来作业,是流水式作业。尤其是缝制部门,每台缝纫机或其他设备都有一个工人来完成一道工序,比如前身,后…

【Redis】Redis数据类型

目录 Redis五种数据类型 String字符串类型 字符串中最常使用的命令 List列表类型 List命令 Set与Zset集合类型 Redis五种数据类型 String字符串类型 有效的字符串类型不仅可以是字符,还可以是数字,以上都是有效的字符串类型。 String最大容量为51…

局域网内访问vue3项目|Network: use --host to expose

背景 我希望在相同的局域网内,通过手机访问我在Vue 3项目中展示的效果 遇到的问题 使用Vue CLI的–host选项实现局域网内的应用程序测试 当使用Vue CLI在本地提供服务时,通过使用 --host 选项,你可以指定要公开应用程序的主机。默认情况下&a…

IDEA-控制台日志过滤插件 - Grep Console

IDEA-控制台日志过滤插件 - Grep Console 当idea控制台日志较多时,为了方便查找关键字,使用Grep Console插件,指定控制台中关键字高亮显示 1.安装 2.使用 2.1 高亮显示 控制台中指定颜色高亮显示指定字符 效果: 重启项目后还是会高亮显示 取…

线程的休眠与唤醒

在前面几篇文章中,已经讲过了join()方法的使用,我们知道它是用来控制线程的执行顺序的。 本篇文章中要讲到的wait()方法和notify()方法是用来控制线程执行顺序的,相比于join(),它能够更精确地控制线程之间的执行顺序,…

云仓酒庄携手中视中州国际传媒 开启央视广告战略合作新征程

近日,云仓酒庄与中视中州(央视代理机构)隆重举行2024-2025年度央视广告战略签约仪式,云仓酒庄副总裁周玄代表云仓酒庄签约。此次合作标志着云仓酒庄在品牌传播和市场营销方面迈出了坚实的一步,将借助央视及多家卫视的强…

LeetCode题目104: 二叉树的最大深度(递归\迭代\层序遍历\尾递归优化\分治法实现 )

❤️❤️❤️ 欢迎来到我的博客。希望您能在这里找到既有价值又有趣的内容,和我一起探索、学习和成长。欢迎评论区畅所欲言、享受知识的乐趣! 推荐:数据分析螺丝钉的首页 格物致知 终身学习 期待您的关注 导航: LeetCode解锁100…

数据挖掘实战-基于决策树算法构建银行贷款审批预测模型

🤵‍♂️ 个人主页:艾派森的个人主页 ✍🏻作者简介:Python学习者 🐋 希望大家多多支持,我们一起进步!😄 如果文章对你有帮助的话, 欢迎评论 💬点赞&#x1f4…

【系统架构师】-案例篇(一)UML用例图

1、概述 用于表示系统功能需求,以及应用程序与用户或者与其他应用程序之间的交互关系。 2、组成 参与者(Actors):与系统交互的用户或其他系统。用一个人形图标表示。用例(Use Cases):系统需要…