Chatbot UI 和 ChatGLM2-6B 的集成
- 0. 背景
- 1. 部署 Chatbot UI
- 2. 部署 ChatGLM2-6B
- 3. 修改 ChatGLM2-6B 项目的 openai_api.py
- 4. 修改 Chatbot UI 的配置
- 5. 访问 Chatbot UI
0. 背景
尝试将 Chatbot UI 和 ChatGLM2-6B 的进行集成， ChatGLM2-6B 提供 API 服务，Chatbot UI 提供模仿 OpenAI 聊天模型的 ChatGPT 界面和功能。
效果展示，
1. 部署 Chatbot UI
请参考文章 本地部署 Chatbot UI。
2. 部署 ChatGLM2-6B
请参考文章 本地部署 ChatGLM2-6B。
3. 修改 ChatGLM2-6B 项目的 openai_api.py
直接启动 openai_api.py 会报发生以下错误，
PydanticDeprecatedSince20: The `json` method is deprecated; use `model_dump_json` instead. Deprecated in Pydantic V2.0 to be removed in V3.0. See Pydantic V2 Migration Guide at https://errors.pydantic.dev/2.0.2/migration/
yield "{}".format(chunk.json(exclude_unset=True, ensure_ascii=False))
略
File "/root/miniconda3/envs/chatglm2/lib/python3.10/site-packages/pydantic/main.py", line 926, in json
raise TypeError('`dumps_kwargs` keyword arguments are no longer supported.')
TypeError: `dumps_kwargs` keyword arguments are no longer supported.
具体错误描述可以参考 https://errors.pydantic.dev/2.0.2/migration/ 的说明。
解决方法如下，
vi openai_api.py
--- 修改内容，有3处
#yield "{}".format(chunk.json(exclude_unset=True, ensure_ascii=False))
yield "{}".format(chunk.model_dump_json(exclude_unset=True))
---
(可选)为了实现更高的适配性，增加非 /v1 开头的 API 端点。
class ChatCompletionResponse(BaseModel):
略
usage: Optional[Dict[str, int]] = {'prompt_tokens': 1, 'completion_tokens': 1, 'total_tokens': 2}
@app.get("/models", response_model=ModelList)
async def list_models():
global model_args
model_card = ModelCard(id="gpt-3.5-turbo")
return ModelList(data=[model_card])
@app.post("/chat/completions", response_model=ChatCompletionResponse)
async def create_v1_chat_completion(request: ChatCompletionRequest):
return RedirectResponse("/v1/chat/completions", status_code=307)
修改完成后，启动 openai_api.py，
python openai_api.py
4. 修改 Chatbot UI 的配置
修改 .env.local 的配置，
vi .env.local
---
OPENAI_API_HOST=http://localhost:8000
OPENAI_API_KEY=none
---
启动 Chatbot UI，
npm run dev
5. 访问 Chatbot UI
使用浏览器打开 http://localhost:3000，
问它一个问它，清华大学在哪？
完结！
