大语言模型下载,huggingface和modelscope加速

news2024/9/27 7:25:13

huggingface 下载模型

如果服务器翻墙了,不用租机器
如果服务器没翻墙,可以建议使用下面的方式
可以租一台**autodl**不用显卡的机器,一小时只有1毛钱,启动学术加速,然后下载,下载完之后,用scp拷贝到目标机器

autodl学术加速启动
source /etc/network_turbo
在这里插入图片描述

from huggingface_hub import snapshot_download
model_path = "baichuan-inc/Baichuan-13B-Chat"
cache_dir = "model/Baichuan-13B-Chat"

snapshot_download(repo_id=model_path, local_dir=cache_dir, local_dir_use_symlinks=False)

魔塔下载模型

不需要翻墙

pip install modelscope

下载模型代码

from modelscope import snapshot_download
model_path="Qwen/Qwen-14B-Chat"
cache_path="/root/autodl-tmp/Qwen-14B-Chat"
snapshot_download(model_path, cache_dir=cache_path)

huggingface镜像

huggingface镜像不好用,下载特别慢,几十k,而且下载到80%左右就报错,停止,建议用上面的两种方法

huggingface-cli download --resume-download --local-dir-use-symlinks False Qwen/Qwen-14B-Chat --local-dir /root/autodl-tmp/Qwen-14B-Chat

本站域名 hf-mirror.com,用于镜像 huggingface.co 域名。

更多用法(多线程加速等)详见这篇文章。简介:
方法一:使用huggingface 官方提供的 huggingface-cli 命令行工具。
(1) 安装依赖

pip install -U huggingface_hub

(2) 基本命令示例:

export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download --resume-download --local-dir-use-symlinks False bigscience/bloom-560m --local-dir bloom-560m

(3) 下载需要登录的模型(Gated Model)
请添加–token hf_***参数,其中hf_***是 access token,请在huggingface官网这里获取。示例:

huggingface-cli download --token hf_*** --resume-download --local-dir-use-symlinks False meta-llama/Llama-2-7b-hf --local-dir Llama-2-7b-hf

方法二:使用url直接下载时,将 huggingface.co 直接替换为本站域名hf-mirror.com。使用浏览器或者 wget -c、curl -L、aria2c 等命令行方式即可。
下载需登录的模型需命令行添加 --header hf_*** 参数,token 获取具体参见上文。

方法三:(非侵入式,能解决大部分情况)huggingface 提供的包会获取系统变量,所以可以使用通过设置变量来解决。

HF_ENDPOINT=https://hf-mirror.com python your_script.py

不过有些数据集有内置的下载脚本,那就需要手动改一下脚本内的地址来实现了

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1379911.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

AI的力量:微软超越苹果,成为全球最有价值公司

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗?订阅我们的简报,深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同,从行业内部的深度分析和实用指南中受益。不要错过这个机会,成为AI领…

Sectigo的DV通配符https

Sectigo是近些年发展比较快速的CA认证机构,为了提升审核效率,在全国成立了审核机构,亚太审核中心的成立加快了Sectigo旗下的https证书的审核速度。Sectigo的https证书可以为网站安全提供有力支持,从而保护网站信息安全。今天就随S…

每日一题 2182. 构造限制重复的字符串(中等,贪心)

贪心,每次都尽量取大的,除非连续取的次数超出限制,此时取一个下一个字符 class Solution:def repeatLimitedString(self, s: str, repeatLimit: int) -> str:N 26count [0] * Nfor c in s:count[ord(c) - ord(a)] 1ret []i, j, m N …

极智一周 | AI大模型应用、AI发展系列、Animate Anyone、自动驾驶芯片、DRIVE And so on

欢迎关注我的公众号 [极智视界],获取我的更多技术分享 大家好,我是极智视界,带来本周的 [极智一周],关键词:AI大模型应用、AI发展系列、Animate Anyone、自动驾驶芯片、DRIVE And so on。 邀您加入我的知识星球「极智…

电脑连不上网?解决方法看这里

随着互联网的普及,电脑成为我们日常工作不可或缺的一部分。然而,有时我们可能会面临电脑连不上网的问题,这给我们的工作和娱乐带来了一些困扰。本文将介绍解决电脑无法连接网络的三种有效方法,帮助读者迅速恢复网络连接&#xff0…

FreeRtos Queue (一)

本篇主要讲队列的数据结构和初始化 一、队列的数据结构 二、队列初始化完是什么样子的 队列初始化的函数调用关系:xQueueGenericCreate->prvInitialiseNewQueue->xQueueGenericReset 所以,最终初始化完的队列是这样的 假设申请了4个消息体&…

Windows Redis图形客户端 Another Redis Desktop Manager的简单使用教程

1、 Redis官方文档 2、 Redis国内中文版文档 3、 Redis客户端 Another Redis Desktop Manager 4、连接redis服务 我直接使用的是公司搭建好的服务。连接服务需要以下几个信息: HostPortPasswordSSL 5、New Key 5.1 如何创建一个Key? 点击New k…

Java多线程并发篇----第十一篇

系列文章目录 文章目录 系列文章目录前言一、什么是悲观锁二、什么是自旋锁三、Synchronized 同步锁前言 前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家。点击跳转到网站,这篇文章男女通用,看懂了就去分享给你的码吧。 一、什么是悲观…

NVMe over TCP高性能文件存储,让未来照进现实,400us

你真的懂NVMe吗? 在说NVMe之前,我们觉得有必要先聊一聊NVM(Non-Volatile Memory),即非易失性内存。从名字上看就知道,NVM是一种类内存式(访问及寻址方式类似)的设备,它必…

小鼠的滚动疲劳仪-转棒实验|ZL-200C小鼠转棒疲劳仪

转棒实验|ZL-200C小鼠转棒疲劳仪用于检测啮齿类动物的运动功能。通过测量动物在滚筒上行走的持续时间,来评定**神经系统*病或损坏以及药物对运动协调功能和疲劳的影响。 疲劳实验中,让小鼠在不停转动的棒上运动,肌肉会很快进入疲劳状态&#…

办理美国FCC认证的意义是什么?

首先是法律法规的要求; 其次,客户认可,声誉; 最后,办理美国FCC认证的意义主要体现在以下几个方面: 保障公共利益:FCC认证要求产品符合美国联邦通信委员会制定的规定,防止不符合标准…

深度学习烦人的基础知识(2)---Nvidia-smi功率低,util高---nvidia_smi参数详解

文章目录 问题现象解释解决方案 磨刀不误砍柴工--nvidia-smi参数解读 问题 如下图所示,GPU功率很低,Util占用率高。这个训练时不正常的! 现象解释 Pwr是指GPU运行时耗电情况,如图中GPU满载是300W,目前是86W与GPU2的…

为什么不直接public,多此一举用get、set,一文给你说明白

文章目录 1. 封装性(Encapsulation)2. 验证与逻辑处理3. 计算属性(Computed Properties)4. **跟踪变化(Change Tracking)5. 懒加载与延迟初始化(Lazy Initialization)6. 兼容性与未来…

面试算法117:相似的字符串

题目 如果交换字符串X中的两个字符就能得到字符串Y,那么两个字符串X和Y相似。例如,字符串"tars"和"rats"相似(交换下标为0和2的两个字符)、字符串"rats"和"arts"相似(交换下…

服务器管理平台开发(3)- Web后端

Web服务端 整体架构采用前后端分离形式,后端使用Golang实现,参考Gin框架 1、后端服务 1.1、服务端架构 代码可参考Github开源项目:https://github.com/pbrong/hrms 1.2、服务地址 http://x.x.x.x:8000/api/v1/meta/info http://x.x.x.x:800…

72、C++ 代码格式规范的一个工具使用:clang-format

本节与小册内容无关,仅仅是介绍一个C++代码格式规范化的工具,用来将写的杂乱无章,格式不规范的C++代码来统一调整为规范的格式,包括空格、对齐等,使得C++代码美观大方。 因为 C++ 仓库中用到了这个工具,所以介绍下,有平时用C++做开发的同学也可以使用一下。 clang-for…

算法回忆录——排序

文章目录 1. 插入排序2. 选择排序3. 冒泡排序4. 希尔排序5. 归并排序6. 快速排序7. 堆排序8. 计数排序9. 桶排序10. 基数排序 1. 插入排序 分为两个序列,前面一个序列是排好序的,后面一个序列是未排好的。未排好的序列的第一个元素(a&#x…

独立客服系统的消息通知推送

消息通知 当我们在自己网站上嵌入对接了客服代码,我们想要通过微信接收访客的消息提醒通知,可以通过扫描客服后台的微信二维码,即时收消息通知提醒。 客服后台 后台主页面板,就展示了一个微信二维码,扫码关注公众号…

【大数据】Flink 详解(八):SQL 篇 Ⅰ

本系列包含: 【大数据】Flink 详解(一):基础篇【大数据】Flink 详解(二):核心篇 Ⅰ【大数据】Flink 详解(三):核心篇 Ⅱ【大数据】Flink 详解(四…

太阳光模拟器在晶圆硅片均匀加热解决方案

概述 晶圆硅片是半导体行业中使用的一种重要材料。它是由单晶硅经过一系列工艺加工而成的薄型圆片。晶圆在半导体制造过程中起到了基础性的作用,是制作晶体管和集成电路的关键原材料。硅片是一种重要的半导体材料,被广泛应用于电路制造、太阳能电池板等…