简介
本文主要内容:
- Hugging Face介绍
- 环境搭建
- 敲两个例子
Hugging Face介绍
Hugging Face 是一家法美合资公司,总部位于纽约市,成立于2016年。它由法国企业家Clément Delangue、Julien Chaumond和Thomas Wolf在纽约市创立,最初是一家专注于开发面向青少年的聊天机器人应用的公司。该公司的初始产品是一个能够从用户互动中学习的对话代理。有趣的是,这个聊天机器人的名字来源于“拥抱脸”表情符号.
随着该公司将聊天机器人背后的模型开源,它转变为一个专注于机器学习的平台。Hugging Face 最著名的是其针对自然语言处理应用构建的transformers库,以及允许用户共享机器学习模型和数据集并展示其工作的平台。这个社区充满活力,致力于通过开源和开放的科学方法推动人工智能的发展。
在2021年3月,Hugging Face 在一轮B轮融资中筹集了4000万美元。此外,该公司还与其他研究团队合作,于2021年4月28日推出了BigScience研究研讨会,发布了一个开放的大型语言模型。在2022年,该研讨会宣布了一个具有1760亿参数的多语言大型语言模型——BLOOM .
此外,Hugging Face 还在2022年收购了Gradio,这是一个用于开发Python机器学习应用程序的开源库。该公司还在2022年5月5日宣布了C轮融资,由Coatue和Sequoia领投,估值达到20亿美元。在2022年8月3日,该公司推出了Private Hub,这是其公共Hugging Face Hub的企业版本,支持SaaS或本地部署。此外,该公司还与亚马逊网络服务(AWS)合作,使Hugging Face 的产品可供AWS客户用作构建自定义应用程序的基石。下一代BLOOM 将在AWS创建的专有机器学习芯片Trainium上运行 .
最近,该公司在2023年8月宣布完成了D轮融资,筹集了2.35亿美元,估值达到45亿美元。此次融资由Salesforce领投,谷歌、亚马逊、NVIDIA、AMD、英特尔、IBM和高通等知名公司也参与其中。
总之,Hugging Face 通过其丰富的资源和社区,为机器学习开发者和研究人员提供了强大的工具,推动了自然语言处理和其他领域的创新。.
环境搭建
本次主要学习一下transformers的试用,所以主要需要安装这几个库:
pip install transformers datasets
还要安装机器学习框架
pip install torch
#或者
pip install tensorflow
然后经过解决一系列问题,你可能发现,装了半天各个软件不兼容,所以如果只是打算入门,推荐使用这个:
Colaboratory
附上一个简单介绍:
Google Colab,或称为Colaboratory,允许您在浏览器中编写和执行Python代码,而无需任何配置。它提供了免费的GPU资源,方便共享和协作。
这个交互式环境允许您创建Colab笔记本,将可执行的代码与丰富的文本、图像、HTML、LaTeX等内容结合在一个文档中。您创建的Colab笔记本将存储在您的Google Drive账户中,您可以轻松地与同事或朋友共享,让他们对您的笔记本进行评论甚至编辑。此外,Colab还支持Jupyter笔记本,方便数据科学家使用流行的Python库进行数据分析和可视化.
以下是一些Colab的特点和用途:
- 免费GPU资源:您可以在Colab中免费使用GPU,加速模型训练和数据处理。
- 易于共享:您可以将Colab笔记本与他人共享,方便协作和反馈。
- 代码历史记录:Colab具有修订历史功能,可以查看笔记本文件的历史更改。
- 与Google Drive集成:Colab与Google Drive集成,方便存储和管理笔记本。
总之,Google Colab是一个强大的工具,适用于各种数据科学和机器学习任务。.
开始敲例子
简单介绍
Hugging Face的Transformers库是一个开源的机器学习库,专注于自然语言处理(NLP),它提供了许多预训练模型,用于处理文本、音频、图像和多模态任务。这些模型可以应用于文本分类、信息提取、问答、摘要、翻译和文本生成等任务。Transformers支持多种深度学习框架,包括PyTorch、TensorFlow和JAX¹²。
Transformers库的特点包括:
- 易于使用:提供了简单的API来下载、使用、训练和共享模型。
- 灵活性:每个定义架构的Python模块都是完全独立的,可以快速进行研究实验。
- 多模态能力:除了文本,还可以处理图像和音频任务,甚至是多模态的组合任务。
此外,Hugging Face还提供了一个模型中心,用户可以在那里找到和共享各种模型,以及一个在线演示平台,可以直接在网页上测试大多数模型¹。如果你对NLP领域感兴趣,Hugging Face的Transformers库是一个非常有价值的资源。🤗
第一个例子-情感分析
from transformers import pipeline
# 创建一个情感分析的pipeline
classifier = pipeline('sentiment-analysis')
# 使用pipeline对文本进行情感分析
result = classifier("I've been waiting for a HuggingFace course my whole life.")
# 打印结果
print(result)
第二个例子-文本生成
from transformers import pipeline
generator= pipeline("text-generation",model="distilgpt2")
res=generator(
'We are very happy to show you the 🤗 Transformers library.',
max_length=40,
num_return_sequences=5,
)
print(res)