模型来源#
Xinference 支持从不同的来源下载各种模型。
HuggingFace#
Xinference 默认直接从 Hugging Face 官方模型仓库 下载所需的模型。
备注
如果你的网络无法连接到 HuggingFace ,你可以通过环境变量指定 HuggingFace 镜像网站:HF_ENDPOINT=https://hf-mirror.com 。
ModelScope#
当 Xinference 检测到系统语言设置为“简体中文”时,会将模型下载源设置为 ModelScope。
你也可以通过手动设置环境变量 XINFERENCE_MODEL_SRC=modelscope 来实现这一点。
请在模型的详情页面上查看它是否支持从 ModelScope 进行下载。如果一个模型支持从 ModelScope 下载,模型信息中的 Model Hubs 这一项会包含 ModelScope。