在昇腾 NPU 上安装

Xinference 能在昇腾 NPU 上运行，使用如下命令安装。

警告

开源版本依赖 Transformers 进行推理，在 310p3 等芯片上会存在运行慢的问题。我们提供了支持 MindIE 引擎，性能更为强大，兼容性更好的企业版本来支持 Ascend NPU。详细参考 Xinference 企业版

安装 PyTorch 和昇腾扩展

安装 PyTorch CPU 版本和相应的昇腾扩展。

以 PyTorch v2.1.0 为例。

pip3 install torch==2.1.0 torchvision==0.16.0 --index-url https://download.pytorch.org/whl/cpu

接着安装 昇腾 PyTorch 扩展.

pip3 install 'numpy<2.0'
pip3 install decorator
pip3 install torch-npu==2.1.0.post3

运行如下命令查看，如果正常运行，会打印昇腾 NPU 的个数。

python -c "import torch; import torch_npu; print(torch.npu.device_count())"

安装 Xinference

pip3 install xinference

现在你可以参考 文档 来使用 Xinference。Transformers 是开源唯一支持的昇腾 NPU 的引擎。

企业支持

如果你在昇腾 NPU 遇到任何性能和其他问题，欢迎垂询 Xinference 企业版，在 这里 联系我们