入门指南

• 安装
  • Transformers 引擎
  • vLLM 引擎
  • Llama.cpp 引擎
  • SGLang 引擎
  • MLX 引擎
  • 其他平台
• 使用
  • 本地运行 Xinference
  • 集群中部署 Xinference
  • 使用 Docker 部署 Xinference
  • 更多
• 日志
  • 日志等级
  • 日志文件
• Docker 镜像
  • 准备工作
  • Docker 镜像
  • 自定义镜像
  • 使用镜像
  • 挂载模型目录
• 在 Kubernetes 集群中安装 Xinference
  • 基于原生 Helm 的方式
  • 基于第三方 KubeBlocks 的方式
• 故障排除
  • 没有 huggingface 仓库权限
  • 英伟达驱动和 PyTorch 版本不匹配
  • 外部系统无法通过 <IP>:9997 访问 Xinference 服务
  • 启动内置模型需要很长时间，模型有时下载失败
  • 使用官方 Docker 映像时，RayWorkerVllm 因 OOM 而死亡，导致模型无法加载
  • 加载 LLM 模型时提示缺失 model_engine 参数
  • 解决 MKL 线程层冲突
  • 配置 PyPI 镜像以加快软件包安装速度
  • 使用 uv 安装 Xinference 1.12.0 失败（截至 2025 年 11 月）
  • vLLM + Torch + Xinference 兼容性问题（段错误）
• 环境变量
  • XINFERENCE_ENDPOINT
  • XINFERENCE_MODEL_SRC
  • XINFERENCE_HOME
  • XINFERENCE_HEALTH_CHECK_FAILURE_THRESHOLD
  • XINFERENCE_HEALTH_CHECK_INTERVAL
  • XINFERENCE_HEALTH_CHECK_TIMEOUT
  • XINFERENCE_DISABLE_HEALTH_CHECK
  • XINFERENCE_DISABLE_METRICS
  • XINFERENCE_DOWNLOAD_MAX_ATTEMPTS
  • XINFERENCE_TEXT_TO_IMAGE_BATCHING_SIZE
  • XINFERENCE_SSE_PING_ATTEMPTS_SECONDS
  • XINFERENCE_MAX_TOKENS
  • XINFERENCE_ALLOWED_IPS
  • XINFERENCE_BATCH_SIZE
  • XINFERENCE_BATCH_INTERVAL
  • XINFERENCE_ALLOW_MULTI_REPLICA_PER_GPU
  • XINFERENCE_LAUNCH_STRATEGY
  • XINFERENCE_ENABLE_VIRTUAL_ENV
  • XINFERENCE_VIRTUAL_ENV_SKIP_INSTALLED
  • XINFERENCE_CSG_TOKEN
  • XINFERENCE_CSG_ENDPOINT
  • XINFERENCE_QWEN3_RERANK_TEMPLATE
• 版本发布说明