1、环境创建

创建虚拟环境

conda create --name xinference python=3.10.9

激活虚拟环境

conda activate xinference

2、安装文件

官网：https://inference.readthedocs.io/zh-cn/latest/getting_started/installation.html

pip install "xinference[transformers]"

启动服务

xinference-local --host 0.0.0.0 --port 9997

便可在本地进行运行

3、下载本地模型

我们以embedding模型为例测试
下载一个本地的模型，可以在魔塔社区进行下载
https://www.modelscope.cn/models/Jerry0/text2vec-base-chinese

记住下载文件的路径，可以在代码中进行设置自定义的路径

#模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('Jerry0/text2vec-base-chinese',cache_dir='../models')

4、注册

在xinference界面选择注册模型–>embedding模型，根据实际的参数进行填写，主要是路径要写对

如果报错，需要去安装依赖包

 pip install sentence-transformers

安装后重新注册并launch

over