一、摘要
最近看到 Function Call 比较感兴趣,它的核心是赋予大模型能够调用外部API的能力,能够解决大模型功能扩展性问题,允许模型调用外部数据库或API,提供特定领域的详细信息;解决信息实时性问题,模型可以实时获取最新数据;解决数据局限性问题,大模型训练数据虽多但有限,无法覆盖所有领域,Function Call允许模型调用外部工具进行复杂计算、数据分析等。它能够满足大模型私有化部署的个性定制,就感觉特别好,因此记录在Linux环境下搭建GLM4的openai服务。
二、部署ChatGLM-4-9B
由于我之前的文章已经部署成功,因此如果大家还没部署可以参考以下这篇文章。
【Linux】环境ChatGLM-4-9B 模型部署_chatglm4-9b gguf模型-CSDN博客
三、搭建 openai api 服务
前提:ChatGLM-4-9B的代码、模型及环境依赖已经准备好。
1.环境说明
目前结构如下:
glm4:下载好的依赖环境
openai_api_server.py:启动openai api的脚本(会调用glm_server.py)
glm_ser