【chatglm3】（2）使用docker运行chatglm3对外的http服务，使用python代码执行函数调用，查询北京天气

news2024/11/25 13:09:23

函数调用的演示视频：

使用docker运行最新chatglm3-6b，对外的http服务，使用python代码执行函数调用，查询北京天气代码演示和说明

1，可以参考官方chatglm3 视频有更新详细内容

https://www.bilibili.com/video/BV1uC4y1J7yA/

【官方教程】ChatGLM3-6B 部署和微调（Function Call、Code Interpreter、Agent）

对话格式：
在这里插入图片描述
工具定义：

对话格式：

2，运行服务

参考上期的环境搭建：
https://yanghuaiyuan.blog.csdn.net/article/details/134130555

直接执行 python3 openai_api.py
同时修改模型路径：

...
if __name__ == "__main__":
    MODEL_PATH = '/data/chatglm3-6b-models'
    tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH, trust_remote_code=True)
    model = AutoModel.from_pretrained(MODEL_PATH, trust_remote_code=True).quantize(8).cuda()
    # 多显卡支持，使用下面两行代替上面一行，将num_gpus改为你实际的显卡数量
...

启动成功：

Loading checkpoint shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 7/7 [00:47<00:00,  6.80s/it]
INFO:     Started server process [480]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO:     Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)

执行curl 命令：

curl https://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
     "model": "chatglm3-6b",
     "messages": [{"role": "user", "content": "北京景点"}],
     "temperature": 0.7
   }'

3，使用python代码调用

cd /data/tool_using
python3 openai_api_demo.py

执行结果：

2023-11-02 13:51:31.924 | INFO     | __main__:main:36 - Function Call Response: {'name': 'get_weather', 'parameters': {'city_name': '北京'}}
2023-11-02 13:51:34.182 | INFO     | __main__:main:39 - Tool Call Response: {'current_condition': {'temp_C': '20', 'FeelsLikeC': '20', 'humidity': '16', 'weatherDesc': [{'value': 'Clear'}], 'observation_time': '11:19 AM'}}
2023-11-02 13:51:46.387 | INFO     | __main__:main:54 - 
 北京当前的天气情况如下：温度为20摄氏度，相对湿度为16%，天气状况为晴朗。这是最新的数据，观测时间为2023年5月30日11点19分。
2023-11-02 13:51:31.924 | INFO     | __main__:main:36 - Function Call Response: {'name': 'get_weather', 'parameters': {'city_name': '北京'}}
2023-11-02 13:51:34.182 | INFO     | __main__:main:39 - Tool Call Response: {'current_condition': {'temp_C': '20', 'FeelsLikeC': '20', 'humidity': '16', 'weatherDesc': [{'value': 'Clear'}], 'observation_time': '11:19 AM'}}
2023-11-02 13:51:46.387 | INFO     | __main__:main:54 - 
 北京当前的天气情况如下：温度为20摄氏度，相对湿度为16%，天气状况为晴朗。这是最新的数据，观测时间为2023年5月30日11点19分。