webassembly009 transformers.js 网页端侧推理

news2024/11/17 8:44:59

之前试用过两个网页端的神经网络框架，一个是 Tensorflow PlayGround，它相当与实现了一个网页端的简单的训练框架，有关节点的数据结构可看这篇。另一个是onnx的网页端(nodejs绿色免安装+try onnx on web(chrome))，需要自己转换onnx模型用于推理。这里的transformers.js相当于在网页端实现了transformer库。Transformers.js 在功能上等同于 Hugging Face 的 transformers python 库，这意味着您可以使用非常相似的 API 运行相同的预训练模型。(但是应该是不能训练的，毕竟训练需要的资源还是很多的。)

这个也是 Hugging Face game jam的项目之一，链接地址： https://itch.io/jam/open-source-ai-game-jam

试用

可在https://xenova.github.io/transformers.js/试用

在这里插入图片描述

可能也是封装了onnx模块，第一次运行需要下载onnx文件：

在这里插入图片描述

运行结果如下：

try one

在这里插入图片描述
感觉这个https://huggingface.co/blog/ml-web-games还挺有意思的。

其中依赖https://sharp.pixelplumbing.com/install 需要 Node.js >= 14.15.0
下载安装最新版本https://nodejs.org/download/release/v20.5.0/
vim ~/.bashrc
export PATH=$PATH:/home/pdd/Documents/node-v20.5.0-linux-x64/bin
restart (source ~/.bashrc)
node --version v20.5.0
clone --recursive https://github.com/xenova/doodle-dash.git
cd doodle-dash
npm install
npm install @xenova/transformers
npm run dev

(base) pdd@pdd-Dell-G15-5511:~/transformerjs/doodle-dash$ npm install @xenova/transformers
changed 1 package, and audited 357 packages in 2s

100 packages are looking for funding
  run `npm fund` for details

1 high severity vulnerability

To address all issues, run:
  npm audit fix

Run `npm audit` for details.

在这里插入图片描述