vllm号称利用ray支持多机多卡的方式，链接如下

Distributed Inference and Serving — vLLMhttps://docs.vllm.ai/en/stable/serving/distributed_serving.html但是这种方式只是把非常大的模型如lamma 3.1 ，这个模型有405b，需要用多机多卡的方式进行分布式。

事实上，生产中的分布式推理，是 用k8s等进行管理，每个模型在一个容器中而已，如一个7b的模型占用一个GPU，作为一个node，而不是把模型分布式，是把服务分布式。

常用的有xinference，还有各种k8s的集成