Debain-12.9使用vllm部署内嵌模型/embedding
- 基础环境准备
- 下载模型
- 部署模型
- 注册dify模型
基础环境准备
基础环境安装
下载模型
modelscope download --model 'BAAI/bge-m3' --local_dir 'BAAI/bge-m3'
部署模型
vllm serve ~/ollama/BAAI/bge-m3 --served-model-name bge-m3 --trust-remote-code --dtype float16 --cpu-offload-gb 4 --max-model-len 8192 --api-key vl-5bgrMOCJ5OSBKQV5XbHz --port 16144
注册dify模型
需要先安装插件OpenAI-API-compatible
