Hugging Face 介绍

news2024/12/24 3:39:39

Hugging Face 是一家在自然语言处理和人工智能领域著名的公司,以开发开源的软件库和工具为主要贡献,其中最受欢迎的是 Transformers 库,广泛应用于诸如语言翻译、情感分析和问答等多种自然语言处理任务。此外,Hugging Face 还开发了一些商业产品,例如 Hugging Face Spaces 和 Hugging Face Datasets,为构建和部署自然语言处理模型提供工具和基础设施。

Hugging Face Hub是一个社区,旨在为机器学习开发者提供各种功能。其中主要包括:

  • 模型仓库(Model Repository):类似于Git仓库,允许用户管理代码版本和开源代码,模型仓库则让用户管理模型版本和开源模型等。使用方式与Github类似。

  • 模型(Models):Hugging Face为不同的机器学习任务提供了许多预训练好的机器学习模型,这些模型存储在模型仓库中。

  • 数据集(Dataset):Hugging Face上有许多公开数据集可供用户使用。

在NLP领域,Hugging Face因其提供基于Transformer的模型而闻名。为了方便用户使用,Hugging Face还提供了以下几个项目:

  • Transformers :Transformers 库是Hugging Face的核心,我们学习Hugging Face其实就是学习怎么使用这个库。这个库提供了API和很多工具及方法,方便我们下载和训练最先进的预训练模型。这些模型支持不同模态下的常见任务,例如自然语言处理,计算机视觉,音频,多模态等。

  • Datasets :使用该框架,只需要少量代码即可轻松下载和预处理常见公开数据集。同时还提供了强大的数据预处理方法,可帮助我们快速准备数据,以用于训练机器学习模型。

  • Space :在这里我们可以在线体验很多有趣的应用,比如根据文字生成图片,根据我们的照片制作合成音视频等。

那究竟如何使用 Transformers进行推理呢?首先我们先要安装Transformers:

pip install transformers

如果任务比较简单,Transformers的pipline()函数本身就提供了很丰富的功能,比如下面的代码,就多一个语句进行了一个简单的情感分析:

from transformers import pipeline
​
classifier = pipeline("text-classification")
classifier("This book is awesome.")

运行上面的代码,会先下载默认的模型,在加载模型的时候,可能会因为缺少库而报错,我们只需要安装对应的库即可,模型下载好以后就会对我们输入的句子进行情感分析,结果如下:

[{'label': 'POSITIVE', 'score': 0.9998772144317627}]

这个结果表明这是一个正向的句子,概率为0.999877。

如果我们希望执行的任务官方并没有对应的默认模型提供,我们可以去官网上按照下面的流程自己寻找合适的模型,然后在代码中明确使用某个模型即可。

首先我们打开 Hugging Face 官网,点击导航栏中的 Models 进入模型页面:

页面主要分为三个部分,左侧是过滤项列表,分不同的维度列出了许多过滤项,点击即可进行过滤;右侧顶部是搜索框,可以根据名字搜索模型;下方是模型列表,不带前缀的是官方模型,例如 gpt2,带前缀的是第三方提供的模型,例如 microsoft/layoutlmv3-base。

我们通过过滤或者搜索找到我们所需模型后,点击进入模型详情页面,如下图:

页面最上方是模型名字,往下一点便是模型的标签,主体部分,靠左的是模型的详细说明,右侧是一些关联信息,如果模型的API托管在 Hugging Face上,就会出现框柱的部分,我们可以在这里进行模型效果的体验。假设我们想试试 distilgpt2 模型生成文本的效果如何,我们可以使用如下代码:

from transformers import pipeline

generator = pipeline("text-generation", model="gpt2")
generator( "The book is awsome and", max_length=30, num_return_sequences=2)

稍等片刻即可获得运行结果,是两句根据我提供句子的开头自动生成的完整话语。

[{'generated_text': 'The book is awsome and beautiful, I love it. I love how this story follows everyone from the protagonist of this book with her family to his'}, {'generated_text': "The book is awsome and fascinating. I'm sure you're already familiar with the way things turn out after reading one of its pages of novels."}]

这只是 Hugging Face 的简单用法,他还有很多很厉害的功能,我们可以通过网站的 Spaces 菜单进入 Space 页面进行体验,也可以按照官方文档进行更深入的研究。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/582031.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

c++ 11标准模板(STL) std::map(七)

定义于头文件<map> template< class Key, class T, class Compare std::less<Key>, class Allocator std::allocator<std::pair<const Key, T> > > class map;(1)namespace pmr { template <class Key, class T, clas…

100种思维模型之顺势而为思维模型-68

“我领悟到&#xff0c;人是不能推着石头往上走的&#xff0c;这样会很累&#xff0c;而且会被山上随时滚落的石头给打下去。要做的是&#xff0c;先爬到山顶&#xff0c;随便踢块石头下去。”——雷军说。 “只要站在风口上&#xff0c;猪也能飞起来“。——雷军。 顺势而为是…

JetBrains的多数据库管理和SQL工具DataGrip 2023版本在Linux系统的下载与安装配置教程

目录 前言一、DataGrip安装二、使用配置总结 前言 DataGrip是一款多数据库管理和SQL工具&#xff0c;适用于不同类型的数据库。它提供了丰富的功能和工具&#xff0c;可以帮助开发人员更高效地管理数据库、编写SQL查询和执行数据操作。注&#xff1a;已在CentOS7.9和Ubuntu20.…

海思sdk快速上手

mpp&#xff1a;视频H.264的编码压缩 1.看linux、uboot的文档 2.移植SDK到ubuntu 2.1、三个脚本 source sdk.unpack解压 2.2、osdrv/Makefile和readme make OSDRV_CROSSarm-hisiv300-linux CHIPhi3518ev200 all报错 参考&#xff1a;ubuntu16.04 编译错误: /bin/sh: 1: pushd…

《写作脑科学:如何用脑科学改善写作能力》

《写作脑科学&#xff1a;如何用脑科学改善写作能力》 前言引言概述评价结论 &#x1f3d8;️&#x1f3d8;️个人简介&#xff1a;以山河作礼。 &#x1f396;️&#x1f396;️:Python领域新星创作者&#xff0c;CSDN实力新星认证&#xff0c;阿里云社区专家博主 前言 &…

【C++】23.C++的IO流(补)

1.C标准IO流 C标准库提供了4个全局流对象cin、cout、cerr、clog&#xff0c;使用cout进行标准输出&#xff0c;即数据 从内存流向控制台(显示器)。使用cin进行标准输入即数据通过键盘输入到程序中&#xff0c;同时C 标准库还提供了cerr用来进行标准错误的输出&#xff0c;以…

chatgpt赋能python:Python中OP怎么用

Python中OP怎么用 Python是一种高级编程语言&#xff0c;可用于快速开发网站、桌面应用程序、网络爬虫和数据科学等各种领域。Python作为一种功能强大的编程语言&#xff0c;其操作符&#xff08;OP&#xff09;是一个必须学习的基本知识点。本文将介绍Python中OP的使用方法。…

DataTables表格库(一)

目录 1、零配置使用 1.2、代码 1.3、步骤 1.4、效果 2、禁用分页&#xff0c;排序等功能的配置 2.1、说明 2.2、代码 2.3、效果 3、默认排序配置 3.1、说明 3.2、代码 3.3、效果 4、多列排序 4.1、说明 4.2、代码示例 4.3、效果 5、多个表格 5.1、说明 5.2、…

【源码解析】SpringBoot使用DeferredResult实现长轮询的原理分析

使用背景 在Nacos配置更新和Apollo的配置更新&#xff0c;我们可以看到长轮询&#xff08;长连接&#xff09;的身影。长连接的实现可以节约系统资源&#xff0c;长连接可以在连接建立后持续通信&#xff0c;避免频繁地建立和断开连接&#xff0c;减少系统开销。使用长连接可以…

LAMP的运用

LAMP的运用 一、LAMP二、编译安装apache http服务三、编译安装mysqld服务四、编译安装PHP解析环境五、安装论坛 一、LAMP LAMP架构是目前成熟的企业网站应用模式之一&#xff0c;指的是协同工作的一整套系统和相关软件&#xff0c;能够提供动态Web站点服务及其应用开发环境。L…

《痞子衡嵌入式半月刊》 第 77 期

痞子衡嵌入式半月刊&#xff1a; 第 77 期 这里分享嵌入式领域有用有趣的项目/工具以及一些热点新闻&#xff0c;农历年分二十四节气&#xff0c;希望在每个交节之日准时发布一期。 本期刊是开源项目(GitHub: JayHeng/pzh-mcu-bi-weekly)&#xff0c;欢迎提交 issue&#xff0c…

【JavaSE】Java基础语法(二十八):HashSet集合

文章目录 1. HashSet集合概述和特点2. HashSet集合的基本应用3. 哈希值4. HashSet集合存储学生对象并遍历【应用】 1. HashSet集合概述和特点 底层数据结构是哈希表存取无序不可以存储重复元素没有索引,不能使用普通for循环遍历 2. HashSet集合的基本应用 存储字符串并遍历 …

Pytorch深度学习之神经网络入门详解

目录 Pytorch 入门 1.将每个图片的label作为txt文件写入另外一个文件夹&#xff08;txt文件名与图片文件名相同&#xff09; 2.tensorboard的summary writer 3.torchvision中的transforms 4.DataLoader 5.神经网络-卷积层Conv2d 6.最大池化层 7.非线性激活函数Relu 9.…

微信的大动作,很多人要颤抖了

4月25日&#xff0c;微信团队发布关于微信公众号营销内容合规规范通知&#xff0c;要求公众号在投放商业广告时需要标注广告字样。 刚开始觉得也没啥&#xff0c;无非就是加个广告的字样&#xff0c;让消费者可以及时识别出来&#xff0c; 但从效果来看&#xff0c;似乎效果并不…

华为OD机试真题B卷 Java 实现【猜密码】

一、题目描述 小杨申请了一个保密柜,但是他忘记了密码。只记得密码都是数字,而且所有数字都是不重复的。 请你根据他记住的数字范围和密码的最小数字数量,帮他算下有哪些可能的组合,规则如下: 输出的组合都是从可选的数字范围中选取的,且不能重复;输出的密码数字要按照…

意外的坚持,意外的收获!

前言&#xff1a; 转眼间&#xff0c;2023就快过了一半&#xff0c;回忆间感觉跟过完年没多久一样&#xff1b;时间是真的过的快...... 简单总结一下最近&#xff1a; 一、锻炼身体&#xff1a; 最近这段时间开始恢复锻炼身体&#xff0c;现在感觉一天下班回来&#xff0c;身体…

Java 21 新特性和改进

Java 21 是 Java 17 之后的下一个 LTS 版本。虚拟线程在 Java 21 中将成为正式功能。可以预期的是&#xff0c;Java 21 会成为一个很流行的 Java 版本。 Java 21 将在 2023 年 9 月 19 日发布。目前 Java 21 包含的内容已经基本确定了。下面来梳理一下 Java 21 中会包含的内容。…

【AI提示】ChatGPT提示工程课程(吴恩达OpenAI)转换文本(中文chatgpt版)

设置 翻译 通用翻译器 语调变换 格式转换 拼写检查/语法检查。 转换 在本笔记中&#xff0c;我们将探索如何使用大型语言模型进行文本转换任务&#xff0c;例如语言翻译、拼写和语法检查、语气调整和格式转换。 设置 import openai import osfrom dotenv import load_dotenv, f…

Maven初级

Maven初级 Maven简介 传统项目管理状态分析 jar包不统一&#xff0c;jar包不兼容工程升级维护过程操作繁琐 Maven是什么 Maven的本质是一个项目管理工具&#xff0c;将项目开发和管理过程抽象成一个项目对象模型&#xff08;POM&#xff09;POM&#xff1a;项目对象模型 Ma…

一图看懂 itsdangerous 模块:将受信任的数据传递到不受信任的环境的帮助工具,资料整理+笔记(大全)

本文由 大侠(AhcaoZhu)原创&#xff0c;转载请声明。 链接: https://blog.csdn.net/Ahcao2008 一图看懂 itsdangerous 模块&#xff1a;将受信任的数据传递到不受信任的环境的帮助工具&#xff0c;资料整理笔记&#xff08;大全&#xff09; &#x1f9ca;摘要&#x1f9ca;模块…