OSError: We couldn‘t connect to ‘https://huggingface.co‘ to load this file

news2024/9/21 18:34:52

想折腾bert的同学,应该也遇到这个问题。

一、报错信息分析

完整报错信息:OSError: We couldn't connect to 'https://huggingface.co' to load this file, couldn't find it in the cached files and it looks like google/mt5-small is not the path to a directory containing a file named config.json. Checkout your internet connection or see how to run the library in offline mode at 'https://huggingface.co/docs/transformers/installation#offline-mode'.

OSError 是 Python 中的一个内置异常,在处理文件或目录操作时可能会遇到。OSError 错误通常涉及到文件系统相关的操作,例如创建、读取、写入或删除文件,以及操作目录等。当执行这些操作时,如果出现了错误,就会抛出 OSError 异常。发生这个问题,处理起来就相对麻烦一点,不像ImportError只用下载安装包即可。

We couldn't connect to 'https://huggingface.co' to load this file, couldn't find it in the cached files and it looks like google/mt5-small is not the path to a directory containing a file named config.json.总之huggingface这个网站连不上去不能下载文件,虽然Hugging Face 可以连上,但没什么用,报错也支出不能在缓存文件中找到,这里就有个思路处理这个问题,把模型下载下来,然后通过缓存直接调用

Checkout your internet connection or see how to run the library in offline mode at 'https://huggingface.co/docs/transformers/installation#offline-mode'.报错的提示是,检查你的网络连接,或者如何通过离线模式运行对应库,这两个提示也代表了两种方案,前提都是网络能连上,但连不上就不考虑了。

二、问题处理

根据上述分析给出一种基于镜像网站的解决方案。

步骤一:找到镜像网站:HF-Mirror - Huggingface 镜像站,并搜索模型

步骤二:点开Files and versions查看文件

步骤三:文件分析与下载。先读readme,讲解了"Text-to-Text Transfer Transformer" (T5)的大概,不过没用说对应文件是什么用的,各文件分析:

.gitattributes :git操作相关属性说明。当执行 git 动作时,.gitattributes 文件允许你指定由 git 使用的文件和路径的属性,例如:git commit 等。换句话说,每当有文件保存或者创建时,git 会根据指定的属性来自动地保存。

README.md : 说明文件,一般都得看下。
config.json :定义了architectures等超参数

flax_model.msgpack:标注了LFS(Large File Storage),和其他两个一样,有个_model都是模型文件。Flax库和pytorch、TensorFlow一样,也是个神经网络框架。

generation_config.json:和config.json类似,也是一些超参数信息,不过是训练之后的超参数信息。

pytorch_model.bin:pytorch版本的模型,用bin存储

special_tokens_map.json:记载了特殊字符的映射,比如"unk_token"、"<unk>"都映射为空

spiece.model:包含vocab(词汇表),mt5模型由于vocab词汇表中的词汇过多,采用从spiece.model之中读取的方式处理。

tf_model.h5:TensorFlow版本的模型,用h5存储,H5文件是层次数据格式第5代的版本(Hierarchical Data Format,HDF5),它是用于存储科学数据的一种文件格式和库文件。

tokenizer_config.json:也是一种字符设置,和special_tokens_map.json类似

分析完之后,其实模型下载自己神经网络框架对应版本,其他配置文件全部下载:

步骤四:将下载好的文件放在你需要的目录下,比如我把下载文件放在'D:/download/model/mt5s/'

步骤五:修改缓存路径,并调用就行了。

model_checkpoint = 'D:/download/model/mt5s/'
tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1535934.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

比堆垛机方案省电65% 实施快50% 四向车系统柔性化建设进程异军突起

对物流企业来说&#xff0c;供应链的数智化升级并非“赶时髦”&#xff0c;它需要找到一个既懂物流行业&#xff0c;又有数字化技术作基础的仓储方案提供商。而河北沃克基于AI底层技术、软硬一体化产品体系和技术创新行业经验双轮驱动的业务团队等“技术产品人才”三位一体优势…

杭州克鲁斯机器人控制信号线缆故障维修攻略,快来了解一下!

克鲁斯机器人作为工业自动化的重要组成部分&#xff0c;其稳定运行对于生产效率至关重要。克鲁斯机器人控制信号线缆作为机器人与外部控制设备之间的桥梁&#xff0c;承担着传输指令和反馈信号的重要任务。 一、克鲁斯机器人控制信号线缆故障识别与诊断 故障现象&#xff1a;当…

人工智能时代的引领者:AI提示工程激发大语言模型的无限潜能

文章目录 一、AI提示工程的概念与定义二、AI提示工程的应用领域三、AI提示工程的技术创新与突破四、AI提示工程的未来发展趋势《AI提示工程实战&#xff1a;从零开始利用提示工程学习应用大语言模型》亮点内容简介作者简介目录 一、AI提示工程的概念与定义 在当今日新月异的科…

【Python】为什么能用 tuple 的地方就不用 list

元组(tuple)和列表(list)的区别 相对于 list 而言&#xff0c;tuple 内的元素是不可变的&#xff0c;也就是tuple 不可对元素进行增删tuple是静态的固定大小的&#xff0c;而list是动态分配存储空间&#xff0c;自动扩容的。 内存比较 代码 listtest [1,2,3,4] tupletest …

洛谷_P2678 [NOIP2015 提高组] 跳石头_python写法

P2678 [NOIP2015 提高组] 跳石头 - 洛谷 | 计算机科学教育新生态 (luogu.com.cn) d, n, m map(int,input().split())data [0] for i in range(n):value int(input())data.append(value) data.append(d)def check(mid):now 0cnt 0for i in range(1,n2):if abs(data[now]-da…

十分钟快速入门 Python

本文以 Eric Matthes 的《Python编程&#xff1a;从入门到实践》为基础&#xff0c;以有一定其他语言经验的程序员视角&#xff0c;对书中内容提炼总结&#xff0c;化繁为简&#xff0c;将这本书的精髓融合成一篇10分钟能读完的文章。 读完本篇文章后&#xff0c;可对 Python …

Redis相关操作高阶篇--集群搭建

Redis相关操作大全一篇全搞定-CSDN博客 Redis集群 是一个由多个主从节点群组成的分布式服务器群&#xff0c;它具有复制、高可用和分片特性。Redis集群不需要seninel哨兵也能完成节点移除和故障转移的功能。需要将每个节点 设置成集群模式&#xff0c;这种集群模式没有中心节…

产品经理杂谈

像游戏一样设计联赛 1、通过互联网规模化&#xff0c;然后分析数据&#xff0c;哪里好&#xff0c;哪里不好&#xff0c;大家都喜欢你的产品了&#xff0c;然后反哺更大规模 2、产品分类 toC 工具 内容 游戏 社交 电商 交易 toB 内部办公类 – 提高企业内部效率&#xff0c;…

34 vue 项目默认暴露出去的 public 文件夹 和 CopyWebpackPlugin

前言 这里说一下 vue.config.js 中的一些 public 文件夹是怎么暴露出去的? 我们常见的 CopyWebpackPlugin 是怎么工作的 ? 这个 也是需要 一点一点积累的, 因为 各种插件 有很多, 不过 我们仅仅需要 明白常见的这些事干什么的即可 当然 以下内容会涉及到一部分vue-cli,…

一篇文章带你了解知乎热门话题的撰写技巧

在当今信息高速发展的时代&#xff0c;人们越来越依赖网络获取知识。而知乎作为一个知识分享和知识传播的平台&#xff0c;吸引了大量用户的关注和参与。那么&#xff0c;如何在知乎上撰写一篇引人注目的文章呢&#xff1f;接下来&#xff0c;腾轩科技传媒探讨一下知乎文章的撰…

【测试开发学习历程】MySQL数据类型 + MySQL表创建与操作

前言&#xff1a; 半夜梦到自己没有写今天的博客&#xff0c;结果惊醒起来看一看。 得&#xff0c;真的没写。QWQ 可谓垂死病中惊坐起了。 看看发博的时间6&#xff1a;16&#xff0c;而不是什么整点的&#xff0c;就知道我4点就起来了&#xff0c;不是定时发布&#xff01…

python网络爬虫实战教学——requests的使用(1)

文章目录 专栏导读1、前言2、get请求3、抓取网页4、抓取二进制数据5、请求头 专栏导读 ✍ 作者简介&#xff1a;i阿极&#xff0c;CSDN 数据分析领域优质创作者&#xff0c;专注于分享python数据分析领域知识。 ✍ 本文录入于《python网络爬虫实战教学》&#xff0c;本专栏针对…

11 html 学习/作业

<!DOCTYPE html> <html><head><meta charset"utf-8"><title></title></head><body><a href"./index.html">首页</a><a href"https://www.baidu.com/">百度</a><a h…

asp.net mvc 重新引导视图路径,改变视图路径

asp.net mvc 重新引导视图路径&#xff0c;改变视图路径 使用指定的控制器上下文和母版视图名称来查找指定的视图 通过本文学习&#xff0c;你可以根据该技法&#xff0c;去实现&#xff0c;站点自定义皮肤&#xff0c;手机站和电脑站&#xff0c;其他设备站点&#xff0c;在不…

【复杂网络建模】——建模工具Matlab入门

目录 一、认识MATLAB 二、认识工具箱 三、基本操作和函数 3.1 算术操作符 3.2 数学函数 3.3 矩阵操作 3.4 索引和切片 3.5 逻辑操作 3.6 控制流程 3.7 数据输入输出 四、变量和数据类型 4.1 数值类型 4.2 整型 4.3 复数 4.4 字符串 4.5 逻辑类型 4.6 结构体&a…

【合合TextIn】深度解析智能文档处理技术与应用

目录 一、智能文档处理介绍 二、文档格式解析 三、图像增强技术解析 四、传统文字识别OCR技术解析 五、深度学习OCR技术解析 六、深度学习版面分析技术解析 七、文档分类 八、信息抽取 九、系统集成&#xff1a;将IDP处理后的数据集成到企业系统 结论 一、智能文档处…

Midjourney订阅攻略/Midjourney的基本参数和命令

AI绘画软件Midjourney使用原理 Midjourney是一个由Midjourney研究实验室开发的先进的人工智能程序&#xff0c;它可以根据用户的文本输入生成精美的图像。Midjourney的主要原理是通过收集大量已有的作品数据&#xff0c;对这些数据进行算法解析&#xff0c;它就可以通过关键词生…

#Linux(连接档概念)

&#xff08;一&#xff09;发行版&#xff1a;Ubuntu16.04.7 &#xff08;二&#xff09;记录&#xff1a; &#xff08;1&#xff09;硬链接&#xff08;inode&#xff0c;建立硬链接的文件inode号相同&#xff09; &#xff08;2&#xff09;创建硬链接:ln 文件名1 文件名…

天地一体化5G网络中LNA的辐射效应

Youssouf A S, Habaebi M H, Hasbullah N F. The radiation effect on low noise amplifier implemented in the space-aerial–terrestrial integrated 5G networks[J]. IEEE Access, 2021, 9: 46641-46651. 图2 面向卫星的5G综合网络架构方案 这篇论文《The Radiation Effect…

在线教育资源管理系统|基于JSP技术+ Mysql+Java的在线教育资源管理系统设计与实现(可运行源码+数据库+设计文档)

推荐阅读100套最新项目 最新ssmjava项目文档视频演示可运行源码分享 最新jspjava项目文档视频演示可运行源码分享 最新Spring Boot项目文档视频演示可运行源码分享 2024年56套包含java&#xff0c;ssm&#xff0c;springboot的平台设计与实现项目系统开发资源&#xff08;可…