版本发布说明#

尚未发布#

自定义注册 compressed-tensors 检查点(包括 Ling-3.0 和 MiniCPM-V-4.7)的 PyTorch Int4 规格时,现在需要在对应的 model_specs 条目中设置 "quantization_method": "compressed-tensors" 才能选择 vLLM。Web UI 注册表单暂未提供此字段。请将其加入模型 JSON,然后通过下方 CLI 命令或 Python 客户端注册文件;参见 自定义模型。

xinference register --model-type LLM --file model.json --persist

Xinference 4.0 大版本概览#

v4.0.0 社区版增强了缓存复用、异构部署和模型运行时管理。下面归纳本次大版本的主要变化,各个版本的详细说明位于概览之后。

  • 多引擎 Xavier 与 P/D。 SGLang 和 MLX 副本新增前缀 KV 缓存共享能力。P/D 部署可以组合 vLLM、SGLang 和 MLX,包括 NVIDIA 与 Apple Silicon 工作节点。vLLM 和 SGLang 支持原生 NIXL 后端;vLLM Xavier 新增 GPU 直传和分层历史缓存。参见 Xavier:KV 缓存共享 和 PD 分离。

  • 重配参数而无需重新加载权重。 按需启用 GPU 权重缓存后,vLLM 和 SGLang 可以保留权重,以新的受支持参数重建引擎。变更前会等待当前请求完成,模型 UID 保持不变。参见 重新配置和升级运行中的模型。

  • vLLM V1 分布式推理。 支持的模型可以通过 Xinference 的 xoscar 执行器,在多个工作节点间组合张量并行和流水线并行,无需额外部署 Ray 集群。参见 分布式推理。

  • OpenAI 兼容 API 扩展。 新增无状态 Responses API,支持使用 /v1/responses 的客户端。vLLM、SGLang 和 MLX 还会在引擎提供数据时,通过 usage 响应报告复用的提示 token 数。参见 OpenAI 客户端 Responses API 和 客户端 API。

  • 统一日志中心。 Web UI 日志中心提供近期运行日志;配置 Elasticsearch 后,还支持查询历史索引日志。请求 ID 串联 API、审计和运行时事件。参见 日志 和 审计日志与安全。

  • 安装与本地服务管理。 跨平台安装器和服务命令简化了 Linux、macOS 和 Windows 上的安装及本地服务管理。引擎依赖继续在各模型的虚拟环境中按需安装。参见 一键安装 和 模型加载:开关虚拟环境并自定义依赖。

从低于 3.0 的版本升级时,请先阅读 迁移到 Xinference 3.0+,了解身份验证、Web UI 和容器部署方面的变化。各功能的引擎版本与硬件要求,请参阅对应功能指南。

各版本详细说明#

本页面提供 Xinference 各版本的发布说明索引。有关详细更新,请访问对应的链接。


更多历史版本及源代码,请访问 GitHub Releases:xorbitsai/inference