Inferencia distribuida

Algunos modelos de lenguaje, incluyendo DeepSeek V3, DeepSeek R1, entre otros, son demasiado grandes para adaptarse a una GPU en una sola máquina. Xinference admite la ejecución de estos modelos en múltiples máquinas.

Added in version v1.3.0.

Motores compatibles

Ahora, Xinference admite los siguientes motores para ejecutar modelos en varios workers.

• SGLang (soporta en v1.3.0)

• vLLM (compatible desde v1.4.1)

• MLX (soportado desde v1.7.1) actualmente no admite todos los modelos en modo distribuido. Por ahora, se soportan los siguientes tipos de modelos. Si tienes otras necesidades, no dudes en enviar un issue en xorbitsai/inference#issues para solicitar soporte.

  • DeepSeek v3 y R1

  • Qwen2.5-instruct y otros modelos con la misma arquitectura.

  • Qwen3 y otros modelos con la misma arquitectura de modelo.

  • Qwen3-moe y otros modelos con la misma arquitectura de modelo.

Usar

Primero necesita al menos 2 workers para admitir inferencia distribuida. Consulte ejecutar Xinference en clúster para crear un clúster de Xinference que incluya supervisor y workers.

vLLM (v0.11.0+) Nota: A partir de la versión v0.11.0 de vLLM, el despliegue distribuido con vLLM requiere Xinference >= v1.17.1. Además del parámetro existente --n-worker, al iniciar el modelo también es necesario configurar tensor_parallel_size (establecido en el número de GPUs) y pipeline_parallel_size=1.

Luego, si usa la interfaz web, seleccione las máquinas esperadas para worker count en las configuraciones opcionales; si usa la línea de comandos, agregue --n-worker <número de máquina> al iniciar el modelo. El modelo se desplegará en varios workers según corresponda.

GPU count en la interfaz web, o --n-gpu en la línea de comandos, ahora indican el número de GPUs por worker si está usando inferencia distribuida.