监控指标

Xinference 集群中有两类指标导出器：

• Supervisor 指标导出器位于 <endpoint>/metrics，例如 http://127.0.0.1:9997/metrics。

• 每个 Worker 节点都有一个指标导出器，可通过 xinference-local 或 xinference-worker 命令的 --metrics-exporter-host 和 --metrics-exporter-port 选项设置其监听地址和端口。

Supervisor 指标

• exceptions_total_counter （计数器）：发生异常的请求总数。

• requests_total_counter （计数器）：收到的请求总数。

• responses_total_counter （计数器）：发送的响应总数。

• status_codes_counter （计数器）：各响应状态码的总次数。

Worker 指标

• xinference:generate_tokens_per_s （仪表值）：生成吞吐量，单位为 token/秒。

• xinference:input_tokens_total_counter （计数器）：输入 token 总数。

• xinference:output_tokens_total_counter （计数器）：输出 token 总数。

• xinference:time_to_first_token_ms （仪表值）：首个 token 的延迟，单位为毫秒。