hf-mirror 使用

news2024/12/29 10:20:21

文章目录

    • 命令下载
    • 搜索下载
    • gated model


根据这篇文章:
大模型下载使我痛苦

得知 Huggingface 镜像站 https://hf-mirror.com


命令下载

网站首页会介绍下载方法

更多用法(多线程加速等)详见这篇文章。简介:

方法一:使用huggingface 官方提供的 huggingface-cli 命令行工具。

(1) 安装依赖

pip install -U huggingface_hubCopy

(2) 基本命令示例:

export HF_ENDPOINT=https://hf-mirror.comCopy
huggingface-cli download --resume-download --local-dir-use-symlinks False bigscience/bloom-560m \
--local-dir bloom-560mCopy
  • 这里模型名称为 bigscience/bloom-560m
    保存的文件夹为 bloom-560mCopy

(3) 下载需要登录的模型(Gated Model)

请添加 --token hf_*** 参数,其中 hf_*** 是 access token,请在 huggingface官网这里获取。示例:

huggingface-cli download --token hf_*** \
--resume-download --local-dir-use-symlinks False meta-llama/Llama-2-7b-hf \
--local-dir Llama-2-7b-hfCopy

方法二:使用url直接下载时,将 huggingface.co 直接替换为本站域名hf-mirror.com

使用浏览器或者 wget -c、curl -L、aria2c 等命令行方式即可。

下载需登录的模型需命令行添加 --header hf_*** 参数,token 获取具体参见上文。


方法三:(非侵入式,能解决大部分情况)huggingface 提供的包会获取系统变量,所以可以使用通过设置变量来解决。

HF_ENDPOINT=https://hf-mirror.com python your_script.pyCopy

不过有些数据集有内置的下载脚本,那就需要手动改一下脚本内的地址来实现了


搜索下载

你也可以通过搜索,下载 需要的模型,比如
https://hf-mirror.com/NousResearch/Llama-2-13b-hf

在这里插入图片描述


gated model

在这里插入图片描述


在这里插入图片描述


如果已授权,需要在 huggingface 登陆后,拿到 token,然后用命令行从 hf-mirror 下载

HF 获取token:https://huggingface.co/settings/tokens


本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1388820.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Unity | 渡鸦避难所-7 | 攻击碰撞检测

1 前言 英雄的宝剑并非只是装饰物,利剑出鞘时可以对怪物造成伤害。同样,怪物挥出铁拳时也会对英雄造成伤害。当然,都有同样的前提:在武器碰到对方的情况下,才会造成伤害。利用物理引擎,可以轻松的实现碰撞…

网络攻击与检测防御:维护数字安全的关键挑战

随着数字化时代的深入,网络攻击已成为企业和个人面临的严峻挑战之一。本文将深入探讨不同类型的网络攻击,以及有效的检测和防御策略,以确保网络系统的安全性和稳定性。 1. 常见网络攻击类型: DDoS 攻击:分布式拒绝服…

[java数据结构] ArrayList和LinkedList介绍与使用

目录 (一) 线性表 (二) ArrayList 1. ArrayList的介绍 2. ArrayList的常见方法和使用 3. ArrayList的遍历 4. ArrayList的模拟实现 5. ArrayList的优缺点 (三) LinkedList 1. LinkedList的介绍 2. LinkedList的常见方法和使用 3. LinkedList的遍历 4. LinkedList的…

C++多线程学习[四]:多线程的通信和同步、互斥锁、超时锁、共享锁

一、多线程的状态 初始化 (Init):该线程正在被创建。就绪 (Ready):该线程在就绪列表中,等待CPU的调度。运行 (Running):该线程正在运行。阻塞(Bl…

AI智能化办公:巧用ChatGPT高效搞定Excel数据分析

文章目录 1. 自动提取关键信息2. 自动生成分析报告3. 自动回答问题4. 自动生成图表《巧用ChatGPT高效搞定Excel数据分析》关键点内容简介作者简介 《AI智能化办公:ChatGPT使用方法与技巧从入门到精通》图书特色内容简介作者简介 随着人工智能技术的不断发展&#xf…

【服务器数据恢复】服务器迁移数据时lun数据丢失的数据恢复案例

服务器数据恢复环境&服务器故障: 一台安装Windows操作系统的服务器。工作人员在迁移该服务器中数据时突然无法读取数据,服务器管理界面出现报错。经过检查发现服务器中一个lun的数据丢失。 服务器数据恢复过程: 1、将故障服务器中所有磁盘…

Java 10_000 代表什么意思? 数字里面混夹着下划线?

先放一张图 ,这到底是sleep了多久? public static void main(String[] args) {int a 10_000; System.out.println(a); // 10000} java 7 的 特性 :https://docs.oracle.com/javase/7/docs/technotes/guides/language/underscores-literals…

开发需求总结9-el-tree获取选中节点,节点全选时返回被全选子级的父节点,未全选则返回被选中的节点

目录 需求描述 代码实现: 需求描述 需要获取树组件选中的节点,假如父节点被选中(该节点全选),即只返回父节点的数据,如父节点未被全选,则正常返回被选中节点的数据。 示例一: 如上图…

未来科技五年人工智能行业产业发展趋势最新竞争力

人工智能(Artificial Intelligence,AI)是近年来快速发展的热门领域,被广泛应用于各个行业。随着技术的不断创新和突破,人工智能行业的竞争力也在不断提升。本文将分析未来科技五年人工智能行业产业发展趋势&#xff0c…

群发邮件的免费软件?做外贸用什么邮箱好?

群发邮件的免费软件有哪些?好用的邮件群发软件? 在数字时代,邮件已成为人们沟通的主要方式之一。有时候,我们需要给大量的联系人发送信息,这时候,群发邮件就显得格外重要。接下来蜂邮就来探讨一下那些值得…

基于springboot的疫情物资捐赠和分配系统

🍅点赞收藏关注 → 私信领取本源代码、数据库🍅 本人在Java毕业设计领域有多年的经验,陆续会更新更多优质的Java实战项目希望你能有所收获,少走一些弯路。🍅关注我不迷路🍅一 、设计说明 1.1 课题背景 二…

2024年-最强DXF图色纯脚本开源-by剑道书生

1.此项目截止更新2024年1月10日 项目功能 1.未央搬砖 2.未央圆桌 3.白图搬砖 4.自动登录 5.未央拍卖 6.刷畅玩每日 7.洗票 8.魔化 9.换票 10.拍卖辟邪玉和玉荣 11.自动入库 12.自动换号 13.替换玉荣 等一系列功能 代码行数约17000行左右,源码开源出来仅供大家学习研究不可用于…

群晖启动SSH功能【无法执行此操作,可能是因为网络连接不稳定或系统正忙】的解决方案

修改了SSH配置导致SSH服务无法启动或者其它操作导致的SSH服务无法启动 解决方案:控制面板-任务计划-新增任务 附上命令: bash sudo cp /etc.defaults/ssh/sshd_config /etc/ssh这个命令是用默认的ssh配置覆盖掉当前的ssh配置 添加任务后不要勾选前面的启动&#x…

长春数字孪生元宇宙赋能工业智能制造,助力制造业企业数字化转型

长春数字孪生元宇宙赋能工业智能制造,助力制造业企业数字化转型。随着科技的不断发展,数字化转型已经成为制造业企业发展的必然趋势。长春市作为我国重要的工业基地之一,积极探索数字化转型的新路径,将数字孪生元宇宙技术应用于工…

牛客周赛 Round 5 解题报告 | 珂学家 | 思维场

前言 剑,和茶一样,只有细细品味,才能理解它的风雅。 整体评价 挺难的一场比赛,C题差点点错科技树(想着用Dsu On Tree), D题开始上难度,但是只是分析其实就是一个区间求交集的脑筋急转弯,E题盲猜是菊花图。…

如何在企业微信开发者中心使用内网穿透工具回调本地接口服务

文章目录 1. Windows安装Cpolar2. 创建Cpolar域名3. 创建企业微信应用4. 定义回调本地接口5. 回调和可信域名接口校验6. 设置固定Cpolar域名7. 使用固定域名校验 企业微信开发者在应用的开发测试阶段,应用服务通常是部署在开发环境,在有数据回调的开发场…

婴儿洗衣机哪款性价比高?希亦、RUUFFY、觉飞全维度测评对比

当婴儿的到来,确实会给家庭带来许多变化,就好比如对于宝宝相关衣物的清洗需求。对于新生儿及婴幼儿的衣服,一般都要给予特殊的照顾与清洗,以保证不含细菌及过敏原。尤其是刚刚出生的婴儿,这时候宝宝们的皮肤很是幼嫩。…

【Dynamo学习笔记】基础入门

目录 前言1 Dynamo的界面2 节点的操作3 几何形体的创建与编辑3.1 几何形体的创建3.1.1 直线3.1.2 圆形3.1.3 多边形3.1.4 长方体3.1.5 球体 3.2 几何形体的编辑3.2.1 坐标点的平移复制3.2.2 几何形体的平移复制3.2.3 几何形体的镜像复制3.2.4 几何形体的旋转复制3.2.5 几何形体…

YOLOv8改进 | 主干篇 | EfficientViT高效的特征提取网络完爆MobileNet系列(轻量化网络结构)

一、本文介绍 本文给大家带来的改进机制是主干网络,一个名字EfficientViT的特征提取网络(和之前发布的只是同名但不是同一个),其基本原理是提升视觉变换器在高效处理高分辨率视觉任务的能力。它采用了创新的建筑模块设计,包括三明治布局和级联群组注意力模块。其是一种高效率…

如何利用SQL创建RFM用户分析模型

RFM用户分析模型究竟是什么?在之前的博客已经介绍了它的意义以及如何在现有的数据的情况下,利用Pandas创建分析模型,这里不再重复,详细可以参考我博客https://blog.csdn.net/weixin_48591974/article/details/116192534 这一期将详…