模型来源#

Xinference 支持从不同的来源下载各种模型。

HuggingFace#

Xinference 默认直接从 Hugging Face 官方模型仓库 下载所需的模型。

备注

如果你的网络无法连接到 HuggingFace ,你可以通过环境变量指定 HuggingFace 镜像网站:HF_ENDPOINT=https://hf-mirror.com

ModelScope#

当 Xinference 检测到系统语言设置为“简体中文”时,会将模型下载源设置为 ModelScope

你也可以通过手动设置环境变量 XINFERENCE_MODEL_SRC=modelscope 来实现这一点。

请在模型的详情页面上查看它是否支持从 ModelScope 进行下载。如果一个模型支持从 ModelScope 下载,模型信息中的 Model Hubs 这一项会包含 ModelScope。