欢迎来到 Xinference！#

Xorbits Inference (Xinference) 是一个开源平台，用于简化各种 AI 模型的运行和集成。借助 Xinference，您可以使用任何开源 LLM、嵌入模型和多模态模型在云端或本地环境中运行推理，并创建强大的 AI 应用。

使用 Xinference 开发真实场景的 AI 应用#

from xinference.client import Client

client = Client("http://localhost:9997")
model = client.get_model("MODEL_UID")

# Chat to LLM
model.chat(
   messages=[{"role": "system", "content": "You are a helpful assistant"}, {"role": "user", "content": "What is the largest animal?"}],
   generate_config={"max_tokens": 1024}
)

# Chat to VL model
model.chat(
   messages=[
     {
        "role": "user",
        "content": [
           {"type": "text", "text": "What’s in this image?"},
           {
              "type": "image_url",
              "image_url": {
                 "url": "http://i.epochtimes.com/assets/uploads/2020/07/shutterstock_675595789-600x400.jpg",
              },
           },
        ],
     }
  ],
  generate_config={"max_tokens": 1024}
)

from xinference.client import Client

client = Client("http://localhost:9997")
model = client.get_model("MODEL_UID")

model.create_embedding("What is the capital of China?")

from xinference.client import Client

client = Client("http://localhost:9997")
model = client.get_model("MODEL_UID")

model.text_to_image("An astronaut walking on the mars")

from xinference.client import Client

client = Client("http://localhost:9997")
model = client.get_model("MODEL_UID")

with open("speech.mp3", "rb") as audio_file:
    model.transcriptions(audio_file.read())

from xinference.client import Client

client = Client("http://localhost:9997")
model = client.get_model("MODEL_UID")

query = "A man is eating pasta."
corpus = [
  "A man is eating food.",
  "A man is eating a piece of bread.",
  "The girl is carrying a baby.",
  "A man is riding a horse.",
  "A woman is playing violin."
]
print(model.rerank(corpus, query))

from xinference.client import Client

client = Client("http://localhost:9997")
model = client.get_model("MODEL_UID")

model.text_to_video("")

入门指南#

安装 Xinference

在 Linux、Windows 和 macOS 上安装 Xinference。

安装

立即体验！

首先在本地计算机上运行 Xinference。

使用

探索模型

探索 Xinference 支持的各种模型。

内置模型

注册你自己的模型

注册模型权重，并转化为 API

自定义模型

探索 API#

聊天 & 生成

学习如何在 Xinference 中与 LLM聊天。

聊天 & 生成

工具

学习如何将 LLM 与外部工具连接起来。

工具

嵌入

学习如何在 Xinference 中创建文本嵌入。

嵌入

重排序

学习如何在 Xinference 中使用重排序模型。

重排序

图像

学习如何使用Xinference生成图像。

图像

视觉

学习如何使用 LLM 处理图像。

视觉

音频

学习如何使用 Xinference 将音频转换为文本或将文本转换为音频。

音频（实验性质）

视频

学习如何使用Xinference生成视频。

视频（实验性质）

欢迎来到 Xinference！#

使用 Xinference 开发真实场景的 AI 应用#

入门指南#

探索 API#

参与我们#

本页