FastGPT部署和OneAPI部署

FastGPT模型管理

FastGPT只支持openai 格式的restful 的api接口。就是 chat/completion那个接口。如果不理解可以参考这个文章 https://zhuanlan.zhihu.com/p/656959227 。支持Python 。JAVA 等后端语言或者 http 访问

因此如果想访问大模型，有以下几种方案；

1、openai gpt：翻墙并注册ChatGPT账号，并创建API key （以前有免费5美刀额度，现在不知道有没有了）

2、openai gpt 套壳：用国内的代理服务，一般要收费，比如New API 随充随用，创建令牌（token）就行了，然后填写openai base url 和token （sk开头的）

3、本地模型转openai 格式：用vllm ，transformer ， swift ，ollama等方式启动一个本地模型，也可以变成一个openai的服务。然后进行访问

4、国产大模型api兼容openai格式：注册kimi，kimi完全兼容openai格式。代码如下

from openai import OpenAI
# 注册kimi账号 ，并且充值api调用额度
#https://platform.moonshot.cn/console/api-keys
url = "https://api.moonshot.cn/v1"
MOONSHOT_API_KEY = 'sk-xxxx自己去注册'#os.getenv("MOONSHOT_API_KEY")

 
client = OpenAI(
    api_key= MOONSHOT_API_KEY,
    base_url=url,
)
completion = client.chat.completions.create(
  model="moonshot-v1-8k",
  messages=[
    {"role": "system", "content": "你是 Kimi，由 Moonshot AI 提供的人工智能助手，你更擅长中文和英文的对话。你会为用户提供安全，有帮助，准确的回答。同时，你会拒绝一切涉及恐怖主义，种族歧视，黄色暴力等问题的回答。Moonshot AI 为专有名词，不可翻译成其他语言。"},
    {"role": "user", "content": "你是谁"}
  ],
  temperature=0.3,
)

print(completion.choices[0].message.content)

FastGPT部署脚本

# 数据库的默认账号和密码仅首次运行时设置有效
# 如果修改了账号密码，记得改数据库和项目连接参数，别只改一处~
# 该配置文件只是给快速启动，测试使用。正式使用，记得务必修改账号密码，以及调整合适的知识库参数，共享内存等。
# 如何无法访问 dockerhub 和 git，可以用阿里云（阿里云没有arm包）

version: '3.3'
services:
  # db
  pg:
    # image: pgvector/pgvector:0.7.0-pg15 # docker hub
    image: registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.7.0 # 阿里云
    container_name: pg
    restart: always
    ports: # 生产环境建议不要暴露
      - 5432:5432
    networks:
      - fastgpt
    environment:
      # 这里的配置只有首次运行生效。修改后，重启镜像是不会生效的。需要把持久化数据删除再重启，才有效果
      - POSTGRES_USER=username
      - POSTGRES_PASSWORD=password
      - POSTGRES_DB=postgres
    volumes:
      - ./pg/data:/var/lib/postgresql/data
  mongo:
    # image: mongo:5.0.18 # dockerhub
    image: registry.cn-hangzhou.aliyuncs.com/fastgpt/mongo:5.0.18 # 阿里云
    # image: mongo:4.4.29 # cpu不支持AVX时候使用
    container_name: mongo
    restart: always
    ports:
      - 27017:27017
    networks:
      - fastgpt
    command: mongod --keyFile /data/mongodb.key --replSet rs0
    environment:
      - MONGO_INITDB_ROOT_USERNAME=myusername
      - MONGO_INITDB_ROOT_PASSWORD=mypassword
    volumes:
      - ./mongo/data:/data/db
    entrypoint:
      - bash
      - -c
      - |
        openssl rand -base64 128 > /data/mongodb.key
        chmod 400 /data/mongodb.key
        chown 999:999 /data/mongodb.key
        echo 'const isInited = rs.status().ok === 1
        if(!isInited){
          rs.initiate({
              _id: "rs0",
              members: [
                  { _id: 0, host: "mongo:27017" }
              ]
          })
        }' > /data/initReplicaSet.js
        # 启动MongoDB服务
        exec docker-entrypoint.sh "$$@" &

        # 等待MongoDB服务启动
        until mongo -u myusername -p mypassword --authenticationDatabase admin --eval "print('waited for connection')" > /dev/null 2>&1; do
          echo "Waiting for MongoDB to start..."
          sleep 2
        done

        # 执行初始化副本集的脚本
        mongo -u myusername -p mypassword --authenticationDatabase admin /data/initReplicaSet.js

        # 等待docker-entrypoint.sh脚本执行的MongoDB服务进程
        wait $$!

  # fastgpt
  sandbox:
    container_name: sandbox
    # image: ghcr.io/labring/fastgpt-sandbox:v4.8.4 # git
    image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-sandbox:v4.8.4 # 阿里云
    networks:
      - fastgpt
    restart: always
  fastgpt:
    container_name: fastgpt
    # image: ghcr.io/labring/fastgpt:v4.8.4 # git
    image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.4 # 阿里云
    ports:
      - 3000:3000
    networks:
      - fastgpt
    depends_on:
      - mongo
      - pg
      - sandbox
    restart: always
    environment:
      # root 密码，用户名为: root。如果需要修改 root 密码，直接修改这个环境变量，并重启即可。
      - DEFAULT_ROOT_PSW=1234
      # AI模型的API地址哦。务必加 /v1。这里默认填写了OneApi的访问地址。
      - OPENAI_BASE_URL=https://key.wenwen-ai.com/v1
      # AI模型的API Key。（这里默认填写了OneAPI的快速默认key，测试通后，务必及时修改）
      - CHAT_API_KEY=sk-rqcfk0jpAxF0f962a768aF2456c9252De0f6a1e6cF0
      # 数据库最大连接数
      - DB_MAX_LINK=30
      # 登录凭证密钥
      - TOKEN_KEY=any
      # root的密钥，常用于升级时候的初始化请求
      - ROOT_KEY=root_key
      # 文件阅读加密
      - FILE_TOKEN_KEY=filetoken
      # MongoDB 连接参数. 用户名myusername,密码mypassword。
      - MONGODB_URI=mongodb://myusername:mypassword@mongo:27017/fastgpt?authSource=admin
      # pg 连接参数
      - PG_URL=postgresql://username:password@pg:5432/postgres
      # sandbox 地址
      - SANDBOX_URL=http://sandbox:3000
      # 日志等级: debug, info, warn, error
      - LOG_LEVEL=info
    volumes:
      - ./config.json:/app/data/config.json
  # oneapi
  mysql:
    image: m.daocloud.io/docker.io/deepflowce/mysql:8.0.31
    container_name: mysql
    restart: always
    ports:
      - 3306:3306
    networks:
      - fastgpt
    command: --default-authentication-plugin=mysql_native_password
    environment:
      # 默认root密码，仅首次运行有效
      MYSQL_ROOT_PASSWORD: oneapimmysql
      MYSQL_DATABASE: oneapi
    volumes:
      - ./mysql:/var/lib/mysql
  oneapi:
    container_name: oneapi
    image: ghcr.io/songquanpeng/one-api:latest
    ports:
      - 3001:3000
    depends_on:
      - mysql
    networks:
      - fastgpt
    restart: always
    environment:
      # mysql 连接参数
      - SQL_DSN=root:oneapimmysql@tcp(mysql:3306)/oneapi
      # 登录凭证加密密钥
      - SESSION_SECRET=oneapikey
      # 内存缓存
      - MEMORY_CACHE_ENABLED=true
      # 启动聚合更新，减少数据交互频率
      - BATCH_UPDATE_ENABLED=true
      # 聚合更新时长
      - BATCH_UPDATE_INTERVAL=10
      # 初始化的 root 密钥（建议部署完后更改，否则容易泄露）
      - INITIAL_ROOT_TOKEN=fastgpt
    volumes:
      - ./oneapi:/data
networks:
  fastgpt:

# AI模型的API地址哦。务必加 /v1。我已经改成wenwen的地址
- OPENAI_BASE_URL=https://key.wenwen-ai.com/v1
# AI模型的API Key。（这里默认填写了问问的令牌）你需要创建自己的令牌
- CHAT_API_KEY=sk-rqcfk0jpAxF0f962a768aF2456c9252De0f6a1e6cF0

CHAT_API_KEY 要改成自己的token ， New API 在这里，点击钱包充值，然后新建我的令牌就可以了。

docker 自定义配置

docker yaml 文件和config.json文件要从官方文档手动下载，不能用curl -o 来下载，有bug。

Docker Compose 快速部署 | FastGPT

找到下面的内容，下载config.json和docker-compose.yaml (有三个向量库，随便选一个）

打开docker-compose.yml, yml文件中的oneapi 和mysql docker 可以去掉（如果用wenwen 套壳代理）。

然后输入 docker-compose -d up 启动如果识别不了，可以把后缀改成yaml 。

config.json中默认只有两个模型gpt3.5 和gpt4，可以自己添加到LLM这个key里面

OneAPI 部署

场景

如果用上面的代理中转服务wenwen 就不需要部署OneAPI，如果有一些kimi ， zhipu ， qwen等等的商用api, 建议还是要部署一个oneapi

步骤

创建一个文件夹one-api ，建议是放在/data 下。完整路径为 /data/one-api。

然后用下面的docker 进行部署，不需要安装mysql。详细命令可以参考

GitHub - songquanpeng/one-api: OpenAI 接口管理 & 分发系统，支持 Azure、Anthropic Claude、Google PaLM 2 & Gemini、智谱 ChatGLM、百度文心一言、讯飞星火认知、阿里通义千问、360 智脑以及腾讯混元，可用于二次分发管理 key，仅单可执行文件，已打包好 Docker 镜像，一键部署，开箱即用. OpenAI key management & redistribution system, using a single API for all LLMs, and features an English UI.

docker run --name one-api -d --restart always -p 3002:3000 -e TZ=Asia/Shanghai -v   /data/one-api:/data  ghcr.io/songquanpeng/one-api

-p 3002:3000 表示把服务器的3002 映射到docker内的3000端口， 3000端口就是oneapi的web页面端口。你也可以把3002 改成你想要的其他端口，主要不要跟已经有的docker重复了，重复会启动失败。

-v /data/one-api:/data 表示把服务器的/data/one-api路径映射到容器里面的/data

最后是镜像名ghcr.io/songquanpeng/one-api （代理镜像），原本是justsong/one-api 这个镜像，但是由于需要翻墙所以用代理镜像。

然后没有报错就是启动成功了。

输入docker ps确认是否启动。

然后在浏览器输入http://<ip>:<刚刚的端口号，比如3002> ,就可以打开oneapi的管理界面了。