Chatbot Client

本项目为Wozzilla的Chatbot项目的客户端，WebUI基于Gradio搭建，分布式部署与网络通讯基于Flask和Requests实现

在适配自行部署的推理端模型Waltz的同时，本项目也逐步适配公开API。

效果展示

使用方法

• 本项目为客户端，推理端(服务端)既可以自行部署(详见下文)，亦可以选择调用现有的公开API服务
• 请注意，应首先启动推理端服务，再启动前端界面进程，允许前端界面和若干推理端服务在不同服务器中运行，但请确保不同服务器之间可以通过网络通讯。

公开API适配情况

• ASR：
  • Whisper - OpenAI
  • ASR - 百度智能云
• NLG：
  • ChatGPT - OpenAI
  • Gemini - Google

    • [暂时搁置]由于Gemini API的区域限制，无法完成该API的适配。
    • [Suspend development]Due to the regional restrictions of Gemini API, I cannot complete the development of this part.

  • 文心一言 - 百度千帆
  • 通义千问 - 阿里云
  • 星火大模型 - 讯飞
  • ChatGLM - 智谱AI
  • Kimi - Moonshot AI
  • Claude - Anthropic

    • [暂时搁置]由于Gemini API的区域限制，无法完成该API的适配。
    • [Suspend development]Due to the regional restrictions of Gemini API, I cannot complete the development of this part.

• TTS：
  • TTS - OpenAI
  • TTS - 百度智能云

TODO 改进计划

• 继续完善前端界面
• 将NLG服务调整为流式响应
• 多模型同时响应

各项服务的部署

客户端(本项目)

请确保已安装ffplay并配置好环境变量，否则将无法自动播放语音。

1. 克隆仓库：git clone https://github.com/Wozzilla/Chatbot-Client.git
2. 安装依赖：pip install -r requirements.txt
3. 配置相关信息(所有配置文件均在config.json中)
4. 通过python -u gradio-app.py启动客户端。

推理端 ChatGLM3

1. 克隆仓库：git clone https://github.com/Wozzilla/ChatGLM3.git
2. 安装该仓库的依赖：pip install -r requirements.txt
3. 通过python -u nlg_server.py启动服务。

推理端 Whisper

1. 克隆仓库：git clone https://github.com/Wozzilla/Whisper.git
2. 安装该仓库的依赖：pip install -r requirements.txt
3. 通过python -u tts_server.py启动服务。

推理端 Bert-VITS2

1. 克隆仓库：git clone https://github.com/Wozzilla/Bert-VITS2.git
2. 安装该仓库的依赖：pip install -r requirements.txt
3. 通过python -u tts_server.py启动服务。

Co-Authors