推荐:用 NSDT编辑器 快速搭建可编程3D场景
我想在我的网络和移动应用程序中使用机器学习模型,但要做到这一点,我必须在某个地方托管我的机器学习应用程序。
托管预先训练的 ML 模型称为推理。 我只想添加一些 Python ML 代码并快速获得 REST API,但事实证明找到一种简单的方法来实现这一点比我预期的要困难。
“我只想添加一些 Python ML 代码并获得 REST API”
有很多托管提供商,包括 Amazon AWS 和 Google GCP 等大型提供商,但使用这些提供商的过程很复杂,并且通常需要构建自己的 Flask REST API。
幸运的是,@prundin 和 @abidlabs 有一个解决方案:Gradio 和 Huggingface Spaces。
1、在 Huggingface 上创建一个新空间
Huggingface 就像 GitHub,但适用于 ML 模型和应用程序。 Huggingface 上的“Space”是一个 ML 应用程序,你可以通过 Git 进行更新。 空间根据CPU类型定价,最简单的一个是免费的!
Gradio 是 ML 应用程序的用户界面组件(例如输入字段)库。
通过以下方式创建新空间:
转到 space并单击创建新空间。
如果不确定,请选择 OpenRAIL 许可证。
选择Gradio作为Space SDK。
2、本地开发设置
转到你的开发文件夹并克隆你的空间:
git clone https://huggingface.co/spaces/USER_NAME/SPACE_NAME
cd SPACE_NAME
设置 Python、Gradio 等:
# Create and activate a “safe” virtual Python environment (exit with command “deactivate”)
python3 -m venv env
source env/bin/activate
# Create a .gitignore file to exclude the packages in `env` folder
echo "env/" >> .gitignore
# Install Gradio
pip3 install gradio
# Update the list of required packages (do this every time you add packages)
pip3 freeze > requirements.txt
3、README 文件中的设置
README.md 包含你的应用程序的一些关键设置。
我在 Huggingface 的实时环境中遇到了一些错误,直到我意识到我必须锁定 Python 版本以使其与我本地使用的版本相同。 通过如下命令查看本地版本号:
python3 --version
然后将版本号添加到 README.md 中,如下所示:
python_version: 3.9.13
4、创建用户界面和 REST API
创建一个空白的 app.py 文件:
touch app.py
编辑app.py:
import gradio
def my_inference_function(name):
return "Hello " + name + "!"
gradio_interface = gradio.Interface(
fn = my_inference_function,
inputs = "text",
outputs = "text"
)
gradio_interface.launch()
使用 Git 将文件上传到 Huggingface:
git add .
git commit -m "Creating app.py"
git push
5、在 Huggingface 上测试应用
不管你是否相信,你现在已经有了一个带有 REST API 的实用应用程序!
在浏览器中打开如下网址:
https://huggingface.co/spaces/USER_NAME/SPACE_NAME
请参阅此处的示例 。
- 用户界面:你可以在名称框中输入内容,然后按提交。
- REST API 接口:在页面底部有一个名为“Use via API”的链接。 单击它以获取说明,但你现在可以使用 REST 调用应用程序:
curl -X POST -H 'Content-type: application/json' --data '{ "data": ["Jill"] }' https://USER_NAME-SPACE_NAME.hf.space/run/predict
REST API将返回如下结果:
{
"data":[
"Hello Jill!"
],
"is_generating":false,
"duration":0.00015354156494140625,
"average_duration":0.00015354156494140625
}
6、在本地测试应用程序
在本地你可以运行:
python3 app.py
现在可以在 http://127.0.0.1:7860/ 上以交互方式测试你的应用程序,并在 http://127.0.0.1:7860/run/predict 上访问 REST API。
修改app.py时需要停止(Ctrl+C)并重新启动应用程序。
7、更进一步
你现在可以探索 Huggingface 上的所有模型,包括 Stable Diffusion 2 和 GPT-Neo,并将它们添加到你的 Spaces 应用程序中。
请参阅完整的 ML 示例,你可以看到调用 ML 模型实际上只需要很少的代码行。
原文链接:Huggingface托管ML API — BimAnt