1.创建虚拟环境

conda create -n xinfer pyrhon=3.10

2.使用虚拟环境

 conda activate xinfer

(xinfer) root@home:~$ python -V
Python 3.10.14
 

3.pip安装环境

 pip install "xinference[all]"

4.启动服务

nohup  xinference-local --host 0.0.0.0 --port 9997 &

5.打开ui页面

http://192.168.0.*:9997/ui/#/launch_model

6.模型配置

如果本地有模型，则在“Optional Configurations”最下面的model path处贴上模型的本地地址。

7.点击running models

选择想测试的模型，测试模型效果。