【transformer】Hugging Face 安装环境（03/10)

news2024/11/25 4:40:56

一、说明

        关于transformer库的安装环境的说明；因为transformer是一个不小的大型软件，安装的时候对环境还是需要一定规划，一般安装在虚拟环境中，以便与常规软件进行隔离。

二、安装

        为您正在使用的任何深度学习库安装 Transformer，设置缓存，并选择性地将 Transformer 配置为离线运行。

         Transformers 在 Python 3.6+、PyTorch 1.1.0+、TensorFlow 2.0+ 和 Flax 上进行了测试。请按照以下您正在使用的深度学习库的安装说明进行操作：

  • PyTorch 安装说明。
  • TensorFlow 2.0 安装说明。
  • 亚麻Flax 安装说明。

三、使用 pip 安装

        您应该在虚拟环境中安装 Transformer。如果您不熟悉 Python 虚拟环境，请查看本指南。虚拟环境可以更轻松地管理不同的项目，并避免依赖项之间的兼容性问题。

首先在项目目录中创建一个虚拟环境：

python -m venv .env

激活虚拟环境。在 Linux 和 MacOS 上：

source .env/bin/activate

在 Windows 上激活虚拟环境

.env/Scripts/activate

现在，您可以使用以下命令安装  Transformers：

pip install transformers

仅对于 CPU 支持，您可以方便地将 Transformer 和深度学习库安装在一行中。例如，使用以下命令安装Transformers 和 PyTorch：

pip install 'transformers[torch]'

 Transformer 和 TensorFlow 2.0：

pip install 'transformers[tf-cpu]'

M1 / ARM 用户

在安装 TensorFLow 2.0 之前，您需要安装以下内容

brew install cmake
brew install pkg-config

 变压器和亚麻：

pip install 'transformers[flax]'

最后，通过运行以下命令检查 Transformer 是否已正确安装。它将下载一个预训练模型：

python -c "from transformers import pipeline; print(pipeline('sentiment-analysis')('we love you'))"

然后打印出标签并打分：

[{'label': 'POSITIVE', 'score': 0.9998704791069031}]

四、从源代码安装

        使用以下命令从源代码安装  Transformers：

pip install git+https://github.com/huggingface/transformers

        此命令安装最前沿版本，而不是最新版本。该版本对于及时了解最新发展非常有用。例如，如果自上次正式发布以来已修复错误，但尚未推出新版本。但是，这意味着版本可能并不总是稳定的。我们努力保持版本的可操作性，大多数问题通常在几个小时或一天内得到解决。如果您遇到问题，请打开一个问题，以便我们更快地解决问题！mainstablemainmainmain

        通过运行以下命令检查 Transformers 是否已正确安装：

python -c "from transformers import pipeline; print(pipeline('sentiment-analysis')('I love you'))"

4.1 可编辑安装

        如果选择可编辑安装，有两种需求假定:

  • 用户要求使用源代码的版本（code.main）。
  • 对 Transformers 有奉献，并需要修改源代码.

        克隆相关代码，并进行安装：

git clone https://github.com/huggingface/transformers.git
cd transformers
pip install -e .

        这些命令将链接您将存储库克隆到的文件夹和您的 Python 库路径。除了正常的库路径之外，Python 现在还会查看您克隆到的文件夹内部。例如，如果您的 Python 包通常安装在，Python 还将搜索您克隆到的文件夹：.~/anaconda3/envs/main/lib/python3.7/site-packages/~/transformers/

        如果要继续使用该库，则必须保留transformers该文件夹。

        现在，您可以使用以下命令轻松地将克隆更新到最新版本的， Transformers：

cd ~/transformers/
git pull

        Python 环境将在下次运行main时找到 Transformer 的版本。

4.2 使用 conda 安装

从 conda 通道安装：conda-forge

conda install conda-forge::transformers

4.3 缓存设置

        预训练模型下载并本地缓存在： 。这是 shell 环境变量 给出的默认目录。在 Windows 上，默认目录由 提供。您可以更改如下所示的 shell 环境变量（按优先级顺序）以指定不同的缓存目录：~/.cache/huggingface/hubTRANSFORMERS_CACHEC:\Users\username\.cache\huggingface\hub

  1. Shell 环境变量（默认）：或 .HUGGINGFACE_HUB_CACHETRANSFORMERS_CACHE
  2. Shell 环境变量：.HF_HOME
  3. Shell 环境变量：+ 。XDG_CACHE_HOME/huggingface

🤗 转换器将使用 shell 环境变量，或者如果您来自此库的早期迭代并设置了这些环境变量，除非您指定 shell 环境变量。PYTORCH_TRANSFORMERS_CACHEPYTORCH_PRETRAINED_BERT_CACHETRANSFORMERS_CACHE

4.4 离线模式

        通过设置环境变量 ，在具有本地缓存文件的防火墙或脱机环境中运行 Transformers。TRANSFORMERS_OFFLINE=1

        使用 environment 变量将数据集添加到，离线训练工作流中。HF_DATASETS_OFFLINE=1

HF_DATASETS_OFFLINE=1 TRANSFORMERS_OFFLINE=1 \
python examples/pytorch/translation/run_translation.py --model_name_or_path t5-small --dataset_name wmt16 --dataset_config ro-en ...

        此脚本应在不挂起或等待超时的情况下运行，因为它不会尝试从 Hub 下载模型。

        您还可以使用参数从每个 from_pretrained（） 调用中绕过从 Hub 加载模型。设置为 时，仅加载本地文件：local_files_onlyTrue

from transformers import T5Model
model = T5Model.from_pretrained("./path/to/local/directory", local_files_only=True)

五、提取模型和分词器以供脱机使用

        离线使用 Transformers 的另一个选项是提前下载文件，然后在需要离线使用🤗它们时指向它们的本地路径。有三种方法可以做到这一点：

  • 通过模型中心的用户界面下载文件，方法是单击 ↓ 图标。​

  • 使用 PreTrainedModel.from_pretrained（） 和 PreTrainedModel.save_pretrained（） 工作流：

    1. 使用 PreTrainedModel.from_pretrained（）提前下载您的文件：

      >>> from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
>>> tokenizer = AutoTokenizer.from_pretrained("bigscience/T0_3B")
>>> model = AutoModelForSeq2SeqLM.from_pretrained("bigscience/T0_3B")

    2. 使用 PreTrainedModel.save_pretrained（）将文件保存到指定目录：

      >>> tokenizer.save_pretrained("./your/path/bigscience_t0")
>>> model.save_pretrained("./your/path/bigscience_t0")

    3. 现在，当您处于离线状态时，使用指定目录中的 PreTrainedModel.from_pretrained（） 重新加载文件：

      >>> tokenizer = AutoTokenizer.from_pretrained("./your/path/bigscience_t0")
>>> model = AutoModel.from_pretrained("./your/path/bigscience_t0")

  • 使用 huggingface_hub 库以编程方式下载文件：

    1. 在虚拟环境中安装库：huggingface_hub

      python -m pip install huggingface_hub

    2. 使用 hf_hub_download 函数将文件下载到特定路径。例如，以下命令将文件从 T0 模型下载到所需路径：config.json

      >>> from huggingface_hub import hf_hub_download

>>> hf_hub_download(repo_id="bigscience/T0_3B", filename="config.json", cache_dir="./your/path/bigscience_t0")

        下载文件并本地缓存后，指定要加载和使用它的本地路径：

from transformers import AutoConfig
config = AutoConfig.from_pretrained("./your/path/bigscience_t0/config.json")

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1433866.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

88.网游逆向分析与插件开发-物品使用-物品使用策略管理UI的设计

88.网游逆向分析与插件开发-物品使用-物品使用策略管理UI的设计

内容参考于：易道云信息技术研究院VIP课 上一个内容：物品交换的逆向分析与C封装-CSDN博客 码云地址（ui显示角色数据 分支）：https://gitee.com/dye_your_fingers/sro_-ex.git 码云版本号：f1b9b1a69ac3e2c3…
阅读更多...
mov转换为mp4，就看这三种转换格式的方法

mov转换为mp4，就看这三种转换格式的方法

在数字视频处理的日常应用中，我们常常需要解决不同视频格式之间的兼容性问题。特别是在移动设备、社交媒体或视频编辑软件中，你可能会发现某些设备或平台更倾向于支持MP4格式，而你手头的视频却是以MOV格式存储的。 为了应对这种情况&#xf…
阅读更多...
2.05作业

2.05作业

1.请编程实现哈希表的创建存储数组{12,24,234,234,23,234,23}&#xff0c;输入key查找的值&#xff0c;实现查找功能。 #include<stdio.h> #include<string.h> #include<stdlib.h> #include<math.h> typedef int datatype; typedef struct Node {datat…
阅读更多...
MySQL操作问题汇总

MySQL操作问题汇总

MySQL操作问题汇总 1.无法远程连接Ubuntu的MySQL2.ubuntu忘记mysql的root密码时的操作 1.无法远程连接Ubuntu的MySQL (1) 需要检查防火墙状态 > sudo ufw status #如果防火墙开启的情况&#xff0c;添加规则&#xff1a;允许3306端口开启 > sudo ufw allow 3306 (2) 需要…
阅读更多...
【从0上手Cornerstone3D】如何使用CornerstoneTools中的工具之工具介绍

【从0上手Cornerstone3D】如何使用CornerstoneTools中的工具之工具介绍

简单介绍一下在Cornerstone中什么是工具&#xff0c;工具是一个未实例化的类&#xff0c;它至少实现了BaseTool接口。 如果我们想要在我们的代码中使用一个工具&#xff0c;则必须实现以下两个步骤&#xff1a; 使用Cornerstone的顶层addTool函数添加未实例化的工具 将工具添…
阅读更多...
Unity中blendtree和state间的过渡

Unity中blendtree和state间的过渡

混合树状态之间的过渡 如果属于此过渡的当前状态或下一状态是混合树状态&#xff0c;则混合树参数将出现在 Inspector 中。通过调整这些值可预览在混合树值设置为不同配置时的过渡表现情况。 如果混合树包含不同长度的剪辑&#xff0c;您应该测试在显示短剪辑和长剪辑时的过渡表…
阅读更多...
ROS从入门到精通4-1：Docker安装与常用命令总结

ROS从入门到精通4-1：Docker安装与常用命令总结

目录 0 专栏介绍1 Docker与机器人应用2 Docker安装步骤3 Docker常用命令3.1 创建与启动容器3.2 暂停与删除容器3.3 容器文件拷贝3.4 构建镜像与上下文 0 专栏介绍 本专栏旨在通过对ROS的系统学习&#xff0c;掌握ROS底层基本分布式原理&#xff0c;并具有机器人建模和应用ROS进…
阅读更多...
不下载任何插件和依赖，在线导出swagger的api接口文档（word）

不下载任何插件和依赖，在线导出swagger的api接口文档（word）

一、前言 swagger是一个非常方便用来生成api的工具集&#xff0c;它提供了可视化的restful风格的web界面&#xff0c;方便查看生成的api。 但是&#xff0c;想要将swagger生成的api直接导出为doc文档&#xff0c; 似乎不太方便实现&#xff0c;解析swagger的json串&#xff0c;…
阅读更多...
python的内置函数-print()、input()、range()

python的内置函数-print()、input()、range()

内置函数 一、print()二、input()三、range()range的定义与特点range()函数的使用使用range()创建数字列表 一、print() print()是一个内置函数&#xff0c;用于将指定的内容打印到控制台。 #基本用法&#xff1a; print(value1, ..., sep , end\n, filesys.stdout, flushFal…
阅读更多...
RK3568平台 设备模型基本框架-kobject 和kset

RK3568平台 设备模型基本框架-kobject 和kset

一.什么是设备模型 字符设备驱动通常适用于相对简单的设备&#xff0c;对于一些更复杂的功能&#xff0c;比如说电源管理和热插拔事件管理&#xff0c;使用字符设备框架可能不够灵活和高效。为了应对更复杂的设备和功能&#xff0c;Linux内核提供了设备模型。设备模型允许开发…
阅读更多...
小白水平理解面试经典题目LeetCode 21. Merge Two Sorted Lists【Linked List类】

小白水平理解面试经典题目LeetCode 21. Merge Two Sorted Lists【Linked List类】

21. 将两个有序列表融合 Linked List 数据结构也在面试中经常出现&#xff0c;作为很好处理客户信息存储的结构很方便&#xff0c;也是重点必会项目之一&#xff0c;看看我们如何教懂白月光&#xff0c;成功邀约看电影吧。 小白渣翻译 你将获得两个排序链表 list1 和 list2 …
阅读更多...
MacOS系统电脑远程桌面控制windows系统电脑【内网穿透】

MacOS系统电脑远程桌面控制windows系统电脑【内网穿透】

最近&#xff0c;我发现了一个超级强大的人工智能学习网站。它以通俗易懂的方式呈现复杂的概念&#xff0c;而且内容风趣幽默。我觉得它对大家可能会有所帮助&#xff0c;所以我在此分享。点击这里跳转到网站。 文章目录 1. 测试本地局域网内远程控制1.1 Windows打开远程桌面1…
阅读更多...
c++阶梯之类与对象（中）

c++阶梯之类与对象（中）

目录 1.类的6个默认成员函数 2. 构造函数 2.1 构造函数概念的引出 2.2 构造函数的特性 3. 析构函数 3.1 析构函数的概念 3.2 特性 未使用构造与析构的版本 使用了构造与析构函数的版本 4. 拷贝构造函数 4.1 拷贝构造函数的概念 4.2 特性 结语 本节我们来认识…
阅读更多...
数据挖掘实战-基于决策树算法构建北京市空气质量预测模型

数据挖掘实战-基于决策树算法构建北京市空气质量预测模型

&#x1f935;‍♂️ 个人主页&#xff1a;艾派森的个人主页 ✍&#x1f3fb;作者简介&#xff1a;Python学习者 &#x1f40b; 希望大家多多支持&#xff0c;我们一起进步&#xff01;&#x1f604; 如果文章对你有帮助的话&#xff0c; 欢迎评论 &#x1f4ac;点赞&#x1f4…
阅读更多...
nginx slice模块的使用和源码分析

nginx slice模块的使用和源码分析

文章目录 1. 为什么需要ngx_http_slice_module2. 配置指令3. 加载模块4. 源码分析4.1 指令分析4.2 模块初始化4.3 slice模块的上下文4.2 $slice_range字段值获取4.3 http header过滤处理4.4 http body过滤处理5 测试和验证 1. 为什么需要ngx_http_slice_module 顾名思义&#…
阅读更多...
云计算市场分析

云计算市场分析

目录 一、云计算市场概述 1.1 概述 二、国外云计算厂商 2.1 亚马逊AWS 2.2 微软AzureAzure 2.3 Apple iCloud 三、国内云计算厂商 3.1 阿里云 3.2 腾讯云 3.3 华为云 3.4 百度智能云 一、云计算市场概述 1.1 概述 云计算从出现以来&#xff0c;其发展就非常迅速。以…
阅读更多...
【SeaArt】免费生成图像——功能和使用方法解析

【SeaArt】免费生成图像——功能和使用方法解析

SeaArt 关于SeaArtSeaArt的特点和功能1. SeaArt每天最多可以免费生成150次2. SeaArt生成的图片可以用于商业用途 如何使用登录创作 总结 关于SeaArt SeaArt&#xff08;海艺&#xff09;是由总部位于新加坡的“STAR CLUSTER PTE. LTD.”运营的图像生成AI工具。 它基于Stable …
阅读更多...
7.Vue面试题

7.Vue面试题

一、Vue面试基础知识 在这一小节中&#xff0c;我们先把一些常见的Vue的基础的面试题&#xff0c;总结出来。这些基础的知识点都是在面试的时候经常会被问到的一些内容。 当然关于基础的一些内容在前面的课程总咱们都已经讲解过来&#xff0c;所以这里我们只是把一些常见的内…
阅读更多...
C++PythonC# 三语言OpenCV从零开发(8):图像平滑处理

C++PythonC# 三语言OpenCV从零开发(8):图像平滑处理

文章目录 相关链接前言图像资源图像平滑处理图像学知识补充(重点)什么是卷积什么是图像滤波什么是方框滤波和均值滤波 代码PythonCCsharp 总结 相关链接 C&Python&Csharp in OpenCV 专栏 【2022B站最好的OpenCV课程推荐】OpenCV从入门到实战 全套课程&#xff08;附带课…
阅读更多...
UE4运用C++和框架开发坦克大战教程笔记（十七）（第51~54集）

UE4运用C++和框架开发坦克大战教程笔记（十七）（第51~54集）

UE4运用C和框架开发坦克大战教程笔记&#xff08;十七&#xff09;&#xff08;第51~54集&#xff09; 51. UI 框架介绍UE4 使用 UI 所面临的问题以及解决思路关于即将编写的 UI 框架的思维导图 52. 管理类与面板类53. 预加载与直接加载54. UI 首次进入界面 51. UI 框架介绍 U…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023