环境变量#
XINFERENCE_ENDPOINT#
Xinference 的服务地址，用来与 Xinference 连接。默认地址是 http://127.0.0.1:9997，可以在日志中获得这个地址。
XINFERENCE_MODEL_SRC#
配置模型下载仓库。默认下载源是 "huggingface"，也可以设置为 "modelscope" 作为下载源。
XINFERENCE_HOME#
Xinference 默认使用 <HOME>/.xinference 作为默认目录来存储模型以及日志等必要的文件。其中 <HOME> 是当前用户的主目录。可以通过配置这个环境变量来修改默认目录。
XINFERENCE_HEALTH_CHECK_FAILURE_THRESHOLD#
Xinference启动时允许的最大健康检查失败次数。默认值为5。
XINFERENCE_HEALTH_CHECK_INTERVAL#
Xinference启动时的健康检查间隔（秒）。默认值为5。
XINFERENCE_HEALTH_CHECK_TIMEOUT#
Xinference启动时的健康检查超时时间（秒）。默认值为10。
XINFERENCE_DISABLE_HEALTH_CHECK#
在满足条件时，Xinference 会自动汇报worker健康状况，设置改环境变量为 1可以禁用健康检查。
XINFERENCE_DISABLE_METRICS#
Xinference 会默认在 supervisor 和 worker 上启用 metrics exporter。设置环境变量为 1可以在 supervisor 上禁用 /metrics 端点，并在 worker 上禁用 HTTP 服务（仅提供 /metrics 端点）
XINFERENCE_DOWNLOAD_MAX_ATTEMPTS#
模型文件的最大下载重试次数。默认值为3。
XINFERENCE_TEXT_TO_IMAGE_BATCHING_SIZE#
通过指定目标图像尺寸（例如 1024*1024 ）为文本转图像模型启用连续批处理。默认未设置。
XINFERENCE_SSE_PING_ATTEMPTS_SECONDS#
服务器发送事件保持活动状态的ping间隔（秒）。默认值为600。
XINFERENCE_MAX_TOKENS#
请求的全局最大tokens限制覆盖。默认值为未设置。
XINFERENCE_ALLOWED_IPS#
限制访问特定IP地址或CIDR地址块。默认未设置（无限制）。
XINFERENCE_BATCH_SIZE#
启用批处理时服务器使用的默认批处理大小。默认值为32。
XINFERENCE_BATCH_INTERVAL#
默认批处理间隔（秒）。默认值为0.003。
XINFERENCE_ALLOW_MULTI_REPLICA_PER_GPU#
是否允许在单个GPU上创建多个副本。默认值为1 (启用)。
XINFERENCE_LAUNCH_STRATEGY#
副本的GPU分配策略。默认值为 IDLE_FIRST_LAUNCH_STRATEGY 。
XINFERENCE_MAX_CONCURRENT_LAUNCHES#
单个 worker 节点上允许并发执行的模型启动数量上限。当启动的副本数超过该限制时，多余的启动任务会进入队列，等待空闲名额后继续执行。这可以避免因资源耗尽（fork 风暴、磁盘 IO 饱和、GPU 显存争用）导致的心跳超时。默认值为 5。
XINFERENCE_ENABLE_VIRTUAL_ENV#
全局启用模型虚拟环境。默认值为1（启用，自v2.0版本生效）
XINFERENCE_VIRTUAL_ENV_SKIP_INSTALLED#
创建虚拟环境时跳过系统site-packages中已存在的包。默认值为1。
XINFERENCE_CSG_TOKEN#
CSGHub模型源的认证令牌。默认值为未设置。
XINFERENCE_CSG_ENDPOINT#
CSGHub 模型源端点。默认值为 https://hub-stg.opencsg.com/ 。
XINFERENCE_QWEN3_RERANK_TEMPLATE#
全局启用 Qwen3 rerank 系列模型（0.6B、4B、8B 等）的模板。默认值为 1。
XINFERENCE_LAUNCH_HISTORY_DB_PATH#
用于存储 Web UI「启动模型」窗口中显示的模型启动配置历史的 SQLite 数据库路径。该存储在所有客户端之间共享，因此可以从任意浏览器或机器访问这些历史记录；它与身份验证数据库相互独立。启用身份验证后，每条记录会保留创建者的用户名（created_by）。默认值为 <XINFERENCE_HOME>/launch_history.db。
XINFERENCE_MODEL_ACTOR_AUTO_RECOVER_LIMIT#
崩溃的模型 actor 自动恢复的最大次数。默认不设置（即无限制）。
XINFERENCE_FRONTEND_DIST_DIR#
用于替代包内自带 Web UI 的静态导出目录路径。默认不设置（使用自带的 Next.js 静态导出）。
在 3.0 版本发生变更: 用于替代已移除的 XINFERENCE_FRONTEND_ENDPOINT 变量；Web UI 现在由 Xinference 服务器本身提供。
XINFERENCE_AUTH_ADVANCED#
启用基于数据库的身份验证系统。默认值为 1（自 v3.0 起默认启用）。设置为 0 / false / no 可让 Xinference 在无任何身份验证的情况下运行。参见 身份验证系统（基于数据库）。
XINFERENCE_AUTH_DB_PATH#
用于存储用户、权限、API Key 和刷新令牌的 SQLite 数据库路径。默认值为 <XINFERENCE_HOME>/auth/auth.db。
XINFERENCE_AUTH_JWT_SECRET_KEY#
身份验证系统使用的 JWT 签名密钥。若未设置，首次运行时会自动生成并持久化到 <XINFERENCE_HOME>/auth/jwt_secret_key。
XINFERENCE_AUTH_ENCRYPTION_KEY#
用于加密静态存储的 API Key 的密钥。若未设置，首次运行时会自动生成并持久化到 <XINFERENCE_HOME>/auth/encryption_key。
XINFERENCE_ACCESS_TOKEN_EXPIRE_MINUTES#
身份验证系统签发的访问令牌的有效期（分钟）。默认值为 30。
XINFERENCE_OIDC_ENABLED#
启用 OIDC 单点登录（例如 Keycloak）。默认值为 0（禁用）。启用后必须同时设置 XINFERENCE_OIDC_ISSUER、 XINFERENCE_OIDC_CLIENT_ID、 XINFERENCE_OIDC_CLIENT_SECRET 和 XINFERENCE_OIDC_REDIRECT_URI。参见 OIDC 单点登录。
XINFERENCE_AUDIT_LOG_RETENTION_DAYS#
审计日志文件的保留天数。默认值为 90。参见 审计日志与安全。