示例：命令行聊天机器人 🤖️#

描述：

演示如何与 Xinference 交互，在命令行中基于 LLM 的聊天功能与 AI 代理互动。💻

涉及技术：

@ ggerganov ggml

@ Xinference 作为平台

由 Xinference 推理 支持的所有 LLaMA 和 Chatglm 模型

关于演示功能的详细说明：

  1. 在终端中接受用户的命令行输入，并获取启动模型所需的参数。

  2. 启动 Xinference 框架，并自动将用户需求的模型部署到集群中。

  3. 初始化一个空的聊天历史，以存储聊天室中的所有上下文。

  4. 递归地请求用户的输入作为提示词，让模型基于提示词和聊天历史生成响应。在终端中显示响应的输出。

  5. 将用户的输入和代理的响应存储到聊天历史中，作为即将到来的对话轮次的上下文。

源代码：