Bug小能手系列(python)_7: BertTokenizer报错 Connection reset by peer

news2025/2/12 8:02:16

ConnectionResetError: [Errno 104] Connection reset by peer

  • 0. 错误介绍
  • 1. 解决思路
    • 1.1 添加代码 force_download=True
    • 1.2 删除缓存
    • 1.3 科学上网
    • 1.4 线下下载
  • 2. 解决方法
    • 2.1 清除缓存
    • 2.2 线下下载模型(强烈建议)
  • 3. 总结

0. 错误介绍

当使用transformers库的BertTokenizerBertModelfrom_pretrained()函数时出错。(注:linux跟window均可能存在该问题)
代码如下:

from transformers import BertModel, BertTokenizer
model = BertModel.from_pretrained('bert-base-uncased')

报错:
在这里插入图片描述

1. 解决思路

对于该问题网上有很多中解释,接下来分别进行实验看是否有效。
注意:当前所用 transformers==4.15.0

1.1 添加代码 force_download=True

from_pretrained()函数中添加force_download=True,从而可以下载内容。

from transformers import BertModel, BertTokenizer
model = BertModel.from_pretrained('bert-base-uncased',force_download=True)

结果:依旧报错

1.2 删除缓存

删除缓存即删除cookie,对于电脑不是很熟悉的可能不知道如何操作,即操作起来较为麻烦。大家可自行搜索。
其中,对于windows电脑来说,只要重启就行。

结果:windows下成功可以下载模型,但是linux下不起作用(可能跟我删除缓存的方式不对有关)。

1.3 科学上网

有的文章中说是网络问题导致,需要科学上网,有的说不能科学上网。这是一个矛盾!!

结果:科学上网并不能解决问题。

1.4 线下下载

通过线下下载的方式,然后模型无需另外下载。

结果:成功下载,加载模型。

2. 解决方法

上述列举了一系列网上提到的解决方法,这里根据自己的亲身经验给大家进行总结。其中,主要解决方法分为清除缓存线下下载两种。(注意:下载的时候不要科学上网

2.1 清除缓存

一般来说,对于这种预加载模型都是可以直接下载的。如果多次尝试下载不行,可能存在缓存过多的情况。此时,建议清除缓存再尝试
对于Windows来说,就是直接重启就行。(当然,有更好的方法也可以留言告知,后续会加入到文章中!!!)
对于Linux来说,我这边测试了删除缓存,但是仍然没有成功。
所以不建议使用这种方法。

2.2 线下下载模型(强烈建议)

具体思路为:通过直接下载模型,然后加载模型时加载本地文件夹内容即可。
具体操作步骤如下:

  1. 登录 huggingface官网
    网址如下:https://huggingface.co/,可以看到如下界面。
    在这里插入图片描述

  2. 搜索需要下载的模型
    这里需要下载的模型为:bert-base-uncased,得到搜索结果如下
    在这里插入图片描述

  3. 下载文件
    可以直接下载文件,也可以通过git的方法下载。
    直接下载文件需要点击 Files and versions 按钮,然后下载文件即可。
    在这里插入图片描述
    git方式下载需要点击Train 左边的三个小点,然后选择Clone repository,最后使用git命令,别的两个命令不用管。界面如下:
    在这里插入图片描述
    调用的git命令如下:

git clone https://huggingface.co/bert-base-uncased
  1. 最后,调用本地目录的命令
    调用本地目录的代码如下,其中bert-base-uncased为下载下来的模型存放目录:
tokenizer = BertTokenizer.from_pretrained('/bert-base-uncased')

3. 总结

总的而言,预训练模型下载下来还是简单的。但是网上的相关教程不是很清晰,所以根据自己的经验来总结这篇文章,希望大家会喜欢。如果有什么疑问欢迎在评论区提出,对于共性问题可能会后续添加到文章介绍中。

到此,有关TPS的内容就基本讲完了。如果觉得这篇文章对你有用,记得点赞、收藏并分享给你的小伙伴们哦😄。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/639947.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

4.将图神经网络应用于大规模图数据(Cluster-GCN)

到目前为止,我们已经为节点分类任务单独以全批方式训练了图神经网络。特别是,这意味着每个节点的隐藏表示都是并行计算的,并且可以在下一层中重复使用。 然而,一旦我们想在更大的图上操作,由于内存消耗爆炸&#xff0c…

【Python 生成器与迭代器】零基础也能轻松掌握的学习路线与参考资料

一、Python生成器与迭代器概述 Python是一种高级编程语言,其中非常重要的概念就是生成器和迭代器。Python生成器和迭代器联合使用,能够实现高效的迭代操作,避免增加额外的内存消耗,同时提高代码的可读性。Python中常见的生成器和…

单机多节点 elasticsearch 集群安全认证

es 版本:7.6.2 部署环境:CentOS Linux release 7.6.1810 (Core) 一:生成 ca 证书 cd 到 es 的安装目录,并执行下面的命令来生成 ca 证书: ./bin/elasticsearch-certutil ca Elasticsearch碰到第一个直接回车&#xf…

面试专题:Mysql

1.说说自己对于 MySQL 常见的两种存储引擎:MyISAM与InnoDB的理解 关于二者的对比与总结: 1.count运算上的区别:因为MyISAM缓存有表meta-data(行数等),因此在做COUNT(*)时对于一个结构很好的查询是不需要消耗多少资源的…

[CKA]考试之K8s 版本升级

由于最新的CKA考试改版,不允许存储书签,本博客致力怎么一步步从官网把答案找到,如何修改把题做对,下面开始我们的 CKA之旅 题目为: Task 现有的Kubernetes 集群正在运行版本1.22.0。仅将master节点上的所有 Kuberne…

【Python】集合 set ② ( 集合常用操作 | 集合中添加元素 | 集合中移除元素 | 集合中随机取出元素 )

文章目录 一、集合中添加元素二、集合中移除元素三、集合中随机取出元素 在 Python 中 , 集合 set 是无序的 , 因此 集合 数据容器 不支持 使用 下标索引 访问 集合元素 ; 一、集合中添加元素 调用 集合#add(新元素) 函数 , 可以将新元素添加到 集合 数据容器中 ; 集合添加元素…

Vue- ref属性

ref属性 被用来给元素或者子组件注册引用信息(id的替代者) 通过案例来演示_ref属性 1 编写案例 如图:有一个按钮,点击按钮可以输出dom元素 备注:虽然vue不用我们亲自操作dom,但是有的特殊的情况下就要…

【2023华中杯】B题 小学教学应用题 相似性度量及难度评估 29页论文及MATLAB代码

1 题目 B 题 小学数学应用题相似性度量及难度评估 某 MOOC 在线教育平台希望能够进行个性化教学,实现用户自主学习。在用户学习时,系统从题库中随机抽取若干道与例题同步的随堂测试题,记录、分析学生的学习和答题信息,并且课后会自…

【Pytest实战】解决ModuleNotFoundError: No module named ‘pytest’问题

😄作者简介: 小曾同学.com,一个致力于测试开发的博主⛽️,主要职责:测试开发、CI/CD 如果文章知识点有错误的地方,还请大家指正,让我们一起学习,一起进步。😊 座右铭:不想…

JAVA程序的性能优化实践总结

1、 衡量程序性能的指标 可以从常用的性能评估指标入手: 并发:同一时间有多少请求访问TPS:transaction per second(每秒的事物数)QPS:query per second(每秒请求数)耗时:端到端耗时,服务端耗时&#xff…

并行计算——MPI编程

目录 基础知识 进程与线程,并行与并发 奇偶排序 MPI实现 odd-even sort 思路 环境部署 编程实现(C) “若干”的问题 参考链接 一个偶然的机会,我接触到了国立清华大学的MPI编程作业,也就接触到了并行计算。这…

基于Python3接口自动化测试初探

自动化测试是什么? 自动化测试简单来说就是借助工具的方式来辅助手动测试的行为就可以看做是自动化测试。 自动化测试工具有哪些? 现在常用的自动化测试工具包括: QTP:主要用于回归测试和测试同一软件的新版本 Robot Framewor…

大数据ETL工具Kettle

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 前言最近公司在搞大数据数字化,有MES,CIM,WorkFlow等等N多的系统,不同的数据源DB,需要将这些不同的数据源DB里的数据进行整治统一…

【算法】模拟,高精度

高精度加法 P1601 AB Problem(高精) - 洛谷 | 计算机科学教育新生态 (luogu.com.cn) 思路就是模拟,值得注意的就是要用字符串类型输入。存进自己的int数组时要倒着存,因为如果是正着存的话,进位会有点trouble。 时间…

Spread.NET v16.0.20222.0 ASP.NET cRACK

关于 Spread.NET 提供类似 Excel 的电子表格体验。 Spread.NET 可帮助您创建电子表格、网格、仪表板和表单。它包括一个强大的计算引擎,具有450 函数以及导入和导出Excel电子表格的能力。利用广泛的 .NET 电子表格 API 和强大的计算引擎来创建分析、预算、仪表板、…

【C++ 基础篇:24】:【重要模板】C++ 输入输出运算符重载【以 Date 日期类为例】

系列文章说明 本系列 C 相关文章 仅为笔者学习笔记记录,用自己的理解记录学习!C 学习系列将分为三个阶段:基础篇、STL 篇、高阶数据结构与算法篇,相关重点内容如下: 基础篇:类与对象(涉及C的三大…

Mysql Access denied for user ‘root‘@ ‘*.*.*.*‘ (using password: YES)异常处理

目录 一、异常错误二、原因三、解决方法 一、异常错误 PS C:\Users\10568> mysql -u root -p Enter password: **** ERROR 1045 (28000): Access denied for user rootlocalhost (using password: YES)Access denied表示拒绝访问,using password:NO/…

计算机视觉 | 语义分割与Segmentation

前 言 「MMSegmentation」 是一个基于 PyTorch 的语义分割开源工具箱。它是 OpenMMLab 项目的一部分。 MMSegmentation v1.x 在 0.x 版本的基础上有了显著的提升,提供了更加灵活和功能丰富的体验。 主要特性 统一的基准平台 我们将各种各样的语义分割算法集成到了…

Linux权限维持

SSH后门&VIM后门 ssh后门: 创建一个软链接: ln -sf /usr/sbin/sshd /tmp/su 拓展:软链接相当于一个快捷键,硬链接相当于一个指针指向文件地址,也类似于复制 开启后门: /tmp/su -oport12345 开启后…

chatgpt赋能python:Python另存为:如何保存你的程序代码

Python另存为:如何保存你的程序代码 简介 Python是一种高级编程语言,最初由Guido van Rossum于1991年创建。自创建以来,Python已被广泛应用于Web开发、数据分析、人工智能等领域。作为一名有10年Python编程经验的工程师,我发现在…