部署xinference有两种方式:
一、本地部署
(略)
二、使用Docker部署(与运行)
其中又包括:
1)使用CPU的方式:(略)
1)使用GPU的方式:
windows下,用docker部署xinference,为什么老是提示localhost无法访问?
使用GPU的方式,需要输入如下命令:
docker run -e XINFERENCE_MODEL_SRC=modelscope -p 9997:9997 --gpus all xprobe/xinference:latest xinference-local -H 0.0.0.0 --log-level debug
注意:
1、必须是:-H 0.0.0.0,不能是其它,否则无法通过http://127.0.0.1:9997来访问,提示“localhost无法访问”。
部署一次过后,打开docker desktop,就可以看到你部署的了,以后直接在这里启动就可以了。