示例

在这里，你可以找到关于如何使用 Xinference 的示例和学习资源。

示例

使用 Xinference 的端到端应用：

• 在M2 Max上与AI代理进行语音对话的播客

• 与 LLM 模型互动：命令行示例

• 与 LLM 模型互动：Gradio 聊天页面示例

• 使用本地 LLM 和 embedding 模型的 PDF 聊天机器人

• 使用 LangChain 和 Streamlit 进行本地文档对话

如果在你自己的工作流中遇到其他示例，我们鼓励你贡献一个`PR <xorbitsai/inference>`_！

教程

以下教程涵盖了在不同场景中使用 Xinference 的基础知识：

• [Notebook] 使用Xinference、Milvus 和 LangChain 的问答（QA）应用

• 在 LlamaIndex 中使用 Xinference 本地 LLMs

• [Chinese] 如何让 Chatbox 接入开源大模型，实现免费聊天

• [Chinese] 摆脱 OpenAI 依赖，8 分钟教你用开源生态构建全栈 AI 应用

• [Chinese] 使用全套开源工具构建 LLM 应用实战： 在 Dify 调用 Baichuan 开源模型能力

第三方库集成

Xinference 能够无缝集成和部署开源 AI 模型，因此支持 AI 领域主流工具包。Xinference 可以与以下第三方库一起使用：

• LangChain Text Embedding Models and LLMs

• LlamaIndex Xinference LLM