环境变量#
XINFERENCE_ENDPOINT#
Xinference 的服务地址,用来与 Xinference 连接。默认地址是 http://127.0.0.1:9997,可以在日志中获得这个地址。
XINFERENCE_MODEL_SRC#
配置模型下载仓库。默认下载源是 “huggingface”,也可以设置为 “modelscope” 作为下载源。
XINFERENCE_HOME#
Xinference 默认使用 <HOME>/.xinference
作为默认目录来存储模型以及日志等必要的文件。其中 <HOME>
是当前用户的主目录。可以通过配置这个环境变量来修改默认目录。
XINFERENCE_HEALTH_CHECK_ATTEMPTS#
Xinference 启动时健康检查的次数,如果超过这个次数还未成功,启动会报错,默认值为 3。
XINFERENCE_HEALTH_CHECK_INTERVAL#
Xinference 启动时健康检查的时间间隔,如果超过这个时间还未成功,启动会报错,默认值为 3。
XINFERENCE_DISABLE_HEALTH_CHECK#
在满足条件时,Xinference 会自动汇报worker健康状况,设置改环境变量为 1可以禁用健康检查。
XINFERENCE_DISABLE_METRICS#
Xinference 会默认在 supervisor 和 worker 上启用 metrics exporter。设置环境变量为 1可以在 supervisor 上禁用 /metrics 端点,并在 worker 上禁用 HTTP 服务(仅提供 /metrics 端点)