用户指南# 模型使用 模型加载指南 LLM 启动推荐 统一 LLM 上下文长度 其他模型类型的推荐 仅下载模型，不启动 副本 混合分配策略 设置环境变量 配置模型虚拟空间 批处理 / 连续批处理 思考模式 启动配置历史 重配参数而无需重新加载权重 推理引擎 llama.cpp transformers vLLM SGLang MLX 推测解码 客户端 API 副本管理 Xinference 客户端 OpenAI 客户端 缓存命中 token 数 OpenAI 工具调用 OpenAI 客户端 Responses API Anthropic 客户端 Xinference 客户端 OpenAI 客户端 Xinference 客户端 OpenAI 客户端 Xinference 客户端 OpenAI 客户端 说话人嵌入 SD WebUI API 兼容 安装 生成图像 ControlNet 与 ADetailer LoRA 查询与取消 部署 Docker Swarm：部署考量 为什么考虑 Swarm？ 两层调度 GPU 管理 持久化与恢复 延伸阅读 运维与安全 监控指标 Supervisor 指标 Worker 指标 身份验证系统（基于数据库） 启用与禁用 初始管理员账号 重置丢失的管理员密码 密钥与存储位置 权限 使用 管理用户和 API Key Http 状态码 行为说明 反馈 OIDC 单点登录 配置 登录流程 用户创建与权限 审计日志与安全 审计日志 防暴力破解 高级性能 连续批处理 使用方式 中止请求 注意事项 分布式推理 支持的引擎 使用 Xavier: 多VLLM副本间共享KV Cache 使用 限制 PD 分离 启动 SGLang 与 Xavier MLX 与 Xavier 跨引擎 vLLM/SGLang P/D NVIDIA 与 MLX 跨引擎 P/D 原生 NIXL 后端 通过 CLI 启动 配置规则 推理与生命周期 混合注意力与循环注意力的限制 vLLM Xavier 要求与内存用量
