使用Git下载大语言模型

news2024/7/4 22:28:16

在下载Huggingface和ModelScope上面的大语言预训练模型的时候,经常会因为网页无法访问或者文件太大无法下载的情况,是大家常常比较苦恼的事情,下面给出用Git下载模型到本地的方法,可以轻松解决上述问题。

目录

一、下载和安装Git

二、Git的使用

2.1 初始化git 本地仓库

2.2 安装git-lfs

三、下载models文件

3.1 下载HuggingFace文件

3.2 下载魔塔社区模型文件


一、下载和安装Git

下载链接:Git - Downloads (git-scm.com)

 

我本地是win64系统,所以直接选择Windows——64bit

 

下载到本地直接默认下一步一直安装完成。

二、Git的使用

在本地建一个文件夹(我在E盘建了一个新文件夹,命名为Git_data),然后该文件夹右键选择Open Git Bash here

2.1 初始化git 本地仓库

在本地文件自己指定位置,通过执行 git init 命令在本地初始化一个本地仓库,执行该命令后会在本地初始化一个 没有任何文件的空仓库。

输入:

git init

 

注:.git文件(本地仓库)是隐藏需要手动设置才能看到.git文件夹 

2.2 安装git-lfs

git lfs install

如下所示: 

三、下载models文件

3.1 下载HuggingFace文件
 

Huggingface的仓库里除了我想要的pytoch_model_xxxxx.bin,放了一些别的格式的checkpoints,全部下载的话太大了,而且很慢很慢 

(1)首先通过git下载小文件

git lfs install
GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/bigscience/bloom-7b1

需要注意,GIT_LFS_SKIP_SMUDGE=1和后面的git clone必须在同一行才能生效,表示不下载大文件(小文件、大文件的区分依据是有没有使用git lfs)。

此时git会下载所有的小文件,比如tokenizer.json ,但是对于git lfs存储的大文件,只会存储一个文本的pointer file.

(2)手动pull需要的大文件

由于我只需要仓库里的pytorch_model-00001-of-00002.bin和pytorch_model-00002-of-00002.bin ,所以可以这样写:

注意:此处需要进入到下载的文件夹中

cd bloom-7b1
git lfs pull --include="*.bin"


此时*.bin会匹配这两个文件,然后等着他下载完毕就可以了。 

如果你只想要单个文件,写文件名就可以。

(3)另外一种方式:下载HuggingFace全部文件(包括大小文件)
 

git lfs install
git clone https://huggingface.co/bigscience/bloom-7b1


好像使用这个方式下载大文件没有什么进度(但是确实正在下载,只不过要等全部下载下来后,文件才能看到)

另外一种方式命令(大小文件的进度以及下载速度都能看到):

git lfs install
git lfs clone https://huggingface.co/bigscience/bloom-7b1

3.2 下载魔塔社区模型文件

网址链接:模型库首页 · 魔搭社区 (modelscope.cn) 

 

如下载 “通义千问-14B-Chat-Int4”

 在Git中输入以下内容:

注意:要去掉网址链接中的models和尾部的files 

git clone https://www.modelscope.cn/qwen/Qwen-14B-Chat-Int4.git

或者输入:

git lfs clone https://www.modelscope.cn/qwen/Qwen-14B-Chat-Int4.git

出现上述结果则完成下载模型到本地。

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1045477.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

如何使用Etherscan Remix插件验证智能合约

在Moonbeam上验证合约的方式有很多,使用Etherscan Remix插件是最快、最简单的方式。 此示例中,我们展示如何在Remix上激活Etherscan插件并验证简单的增量智能合约。开始之前,请准备以下内容: MetaMask钱包 存有DEV的账户 将验证…

Linux 基础入门

目录 一、计算机 1、组成 2、功能 二、操作系统 1、定义 2、主要工作 3、操作系统内核功能 4、常见的操作系统 三、Linux的组成 四、搭建Linux学习环境 五、安装远程连接Linux的软件 1、安装xshell 2、安装mobaxterm 六、Linux操作系统学习大纲 一、计算机 1、组…

Multisim14.0仿真(二十三)施密特触发器构成的多谐振荡器

一、仿真原理图: 二、仿真效果图:

JVM111

JVM1 字节码与多语言混合编程 字节码 我们平时说的java字节码, 指的是用java语言编译成的字节码。准确的说任何能在jvm平台上执行的字节码格式都是一样的。所以应该统称为:jvm字节码。不同的编译器,可以编译出相同的字节码文件,字节码文件…

外卖订餐系统:数字时代的美食点餐新体验

在数字时代,外卖订餐系统已经成为现代生活的一部分。它不仅改变了我们点餐的方式,还为餐饮业带来了巨大的变革。本文将深入探讨外卖订餐系统的崭新世界,探讨它的发展历程、优势和未来趋势。 从电话点餐到外卖订餐系统 许多人还记得过去打电…

LeetCode 1194.锦标赛优胜者

数据准备 Create table If Not Exists Players (player_id int, group_id int); Create table If Not Exists Matches (match_id int, first_player int, second_player int, first_score int, second_score int); Truncate table Players; insert into Players (player_id, g…

python进制转换

""" 基数:有几个数 0b 2进制: 0、1 基数是:2 0o 8进制: 0、1、2、3、4、5、6、7 基数是:8 0d 10进制: 0到9 基数是:10 0x 16进制: 0、1、2、3、4、5、6、7、8、9、A、B、C、D、E、F 基数是:16十进制转二进制: bin() 十进制转八进…

那么国内比较好用的ai写作助手?

在过去的几年里,人工智能(AI)已经取得了巨大的进步,其中之一就是AI写作助手。这些工具基于先进的自然语言处理技术,可以生成多种类型的文本,包括文章、博客、广告文案、新闻稿等。它们不仅可以提供高质量的…

canvas绘制基本图形——矩形

我们在初识canvas的时候已经用它画过矩形了,今天我们就总结下矩形的绘画方式 rect rect就是简单最基本的矩形绘制方法。它拥有四个参数,第一二两个参数表示他的x,y坐标,注意这是确定矩形左上角的坐标。第三和第四两个参数则表示…

Vue监控路由/路由参数, 刷新当前页面数据的几种方法

目录 Vue监控路由 Vue中watch监控路由 Vue中watch监控路由的某一个参数 Vue中watch同时监控多个路由 刷新当前页面数据 location.reload $router.go(0) this.$router.resolve()与this.$router.resolve() this.$router.resolve() this.$router.push() 场景 往期相关…

对比接口测试工具在自动化测试优缺点:Jmeter、Python、Postman

一、JMeter 总结:适合对代码不敏感的使用人员,不会代码也可以完成接口自动化,设计框架。适合紧急迭代的项目。 JMeter接口测试的优势 小巧轻量级,并且开源免费,社区接受度高,比较容易入门支持多协议&…

混沌学院-亚朵酒店案例-观后随心谈

我在混沌学院翻阅目录时候,选择了亚朵酒店创始人王海军的案例视频作为第一次学习的目标,原因仅仅是因为偶尔一次入住亚朵酒店之后的亲切好感。当时我就想亚朵酒店的经营者一定很厉害。亚朵用一个相对低廉的价格,打造了极度干净和温馨的入住体…

探索互联世界的灯光艺术:FastLED库详细介绍及应用实例

感谢太极创客提供素材 FastLED库-太极创客 太极创客B站视频 文章目录 基础程序为单一灯赋值fill_solid( 目标, 填充数, 颜色) – 将LED光带设置为同一颜色fill_rainbow(目标, 填充数, 开始颜色, 色差)– 将LED光带设置为渐变彩虹色fill_gradient_RGB(目标, 开始位置, 开始颜色…

CSS box-shadow阴影

1、语法 box-shadow: h-shadow v-shadow blur spread color inset; 值描述h-shadow必需的。水平阴影的位置。允许负值v-shadow必需的。垂直阴影的位置。允许负值blur可选。模糊距离spread可选。阴影的大小color可选。阴影的颜色。在CSS颜色值寻找颜色值的完整列表inset可选。…

使用 Sealos 构建低成本、高效能的私有云

这个时候谈论私有云似乎有点反直觉?大部分人认知不是上云是大趋势嘛?我也比较认可上云,不过私有云也是云,今天给大家带来一个新的选择 —— 用云,只需一个 Sealos 就够了。 看看我们怎么做到更低的成本,更…

亚马逊美国站自行车电动自行车儿童自行车的合规认证GCC+UL2849

GCC合规性认证16CFR1512和 UL 2849 随着道路变得更加拥挤,停车位的减少,骑自行车上班已成为一种不错的选择。它不仅为骑手提供体育锻炼,还为骑手提供了更为灵活的通勤,因此更加轻便的电动助力自行车应运而生。需求不断增长&…

信息检索与数据挖掘 | (三)容错式检索

文章目录 📚通配符查询🐇单个通配符查询🐇一般的通配符查询🐇k-gram 索引 📚拼写校正🐇词项独立的校正方法🥕编辑距离方法🥕k-gram重合度法 🐇上下文敏感的校正方法 &…

Excel实现只针对某项字符第一次出现的位置分列

取第一次出现左边数值 B1LEFT(A1,SEARCH(".",A1)-1) 取第一次出现右边数值 C1RIGHT(A1,LEN(A1)-SEARCH(".",A1)) 公式如图:

MySQL(7) Innodb 原理和日志

一、MySQL结构 客户端 server层 查询缓存(5.7) 连接器 分析器 优化器 执行器 引擎层 二、一条update操作mysql的流程 三、MySQL的日志 (1)redo log 保证MySQL 持久性的关键,如果MySQL宕机,buffer pool…

学会这一招,轻松玩转 app 中混合应用自动化测试

♥ 前 言 现在的 app 中越来越多的页面通过 H5 来做了,理由很简单,不需要升级 app 就能让用户使用新的功能。这就苦了我们测试工程师了,混合应用自动化不会玩。今天咱们来聊一聊 app 中混合应用自动化怎么做。 一、环境准备 appium1.21.0…