1. 简介
- 简单来说，就是以前想要实现某一个AI功能，需要自己去网上搜索对应的模型、下载对应的权重才能使用。现在可以把中间的这些个环节都砍了，我们只需要告诉模型我们想要对某段文字或者某张图片进行什么操作，transformer就会自动帮我们分解我们的命令、要求，从Hugging Face上面搜索对应的仓库，下载对应的权重，然后运行推理，非常的梦幻。
2. 安装
首先，安装最新版的transformers
-
目前这个功能还是处于实验阶段，因此只有最新版的transformers才可以访问上面的工具链
-
pip install -U transformers
其他模块的安装
pip install huggingface_hub>=0.14.1 git+https://github.com/huggingface/transformers@$transformers_version -q diffusers accelerate datasets torch soundfile sentencepiece opencv-python openai
3. 配置
3.1. 配置模型库的token
- 输入自己Hugging Face的Token进行登录
3.2. 配置命令解析agent
- 命令解析库主要用于将我们说的自然语言翻译成机器能听懂的机器语言，到底是用哪个模型来执行对应的操作，比如生成图像的用image_generate模型，生成文字的用text_generate模型，相当于中央控制器。
- 可以使用Hugging Face，也可以使用OpenAI，还可以使用OpenAssistant，为了方便，这里我就使用默认的Hugging Face了
4. 各个功能
4.1. 通过描述生成图片
- 一行代码就可以搞定之前需要花费大把时间才能完成的任务
### boat = agent.run("Generate an image of a boat in the water")
-
-
可以看到，等他把权重下载完之后，就可以推理生成我们想要的图片了
-
这是在谷歌云端尝试的，在自己本地的PSE上面也可以实现对应的代码
-
-
本地端很有可能会报网络出错的问题，如果出错的话，那么就多试几次即可。
-
-
官网的代码写的很啰嗦，自己这里直接精简成一段代码
from huggingface_hub import login
from transformers.tools import HfAgent
import matplotlib.pyplot as plt
login('xxxx')
agent = HfAgent("https://api-inference.huggingface.co/models/bigcode/starcoder")
boat = agent.run("Generate an image of a boat in the water")
plt.imshow(boat)
plt.show()
4.2. 给图片加上标题
- 之前我们生成的图片如下
- 通过下面的代码生成这张图片的描述
### caption = agent.run("Can you caption the `boat_image`?", boat_image=boat)
4.2.1. 完整代码
from huggingface_hub import login
from transformers.tools import HfAgent
import matplotlib.pyplot as plt
login('xxxx')
agent = HfAgent("https://api-inference.huggingface.co/models/bigcode/starcoder")
boat = agent.run("Generate an image of a boat in the water")
plt.imshow(boat)
plt.show()
caption = agent.run("Can you caption the `boat_image`?", boat_image=boat)
print("caption:", caption)
- 甚至可以用中文来回复
4.3. 朗读文本
- 我们可以直接给他发命令，让他帮我们朗读一段文字
### audio = agent.run("Read out loud 'I love china' ")
play_audio(audio)
audio = agent.run("Read out loud the summary of https://www.zhihu.com/")
play_audio(audio)
4.4. 进行对话
- 既然已经接入了类似于ChatGPT这样的控制器，那么自然而然可以进行对话了
- 这里的命令是agent.chat()
4.4.1. 问一下他的名字
可能是因为这里之前一直在说的是声音和图像的问题，所以这里突然问他的名字，结合前面的上下文，有点不知所云了
