大模型笔记02--基于fastgpt和oneapi构建大模型应用平台

news2024/11/17 11:23:04

大模型笔记02--基于fastgpt和oneapi构建大模型应用平台

  • 介绍
  • 部署&测试
    • 部署fastgpt+oneapi服务
    • 部署向量模型m3e和nomic-embed-text
    • 测试大模型
  • 注意事项
  • 说明

介绍

随着大模型的快速发展，众多IT科技厂商都开发训练了各自的大模型，并提供了各具特色的AI产品。早期比较常见的做法是提供聊天机器人，如今逐步发展为各类AI智能体，用户可以在平台上选择自己需要能力构建特有的智能体。例如语聚AI,智谱清言,Fastgpt, coze, dify 等平台，它们都具备了较强的智能体定制能力。
如果想快速体验可以直接在平台上注册账号，按需使用即可。若想为自己的团队或者公司提供智能体，那么就可以基于开源产品搭建相关平台，或者二开。
本文基于开源的FastGPT, Ollama, Oneapi搭建一个基于LLM大语言模型的知识库问答平台， 实现知识管理和检索能力。

部署&测试

前提条件需要部署ollama，具体步骤可以参考文档 大模型笔记01–基于ollama和open-webui快速部署chatgpt。
其次需要部署FastGPT和Oneapi, 它们的主要用途如下:
FastGPT 是一个基于 LLM 大语言模型的知识库问答系统，提供开箱即用的数据处理、模型调用等能力。同时可以通过 Flow 可视化进行工作流编排，从而实现复杂的问答场景。
Oneapi一个开源的OpenAI 接口管理 & 分发系统，它支持 Azure,Anthropic Claude,Google PaLM 2 & Gemini, Ollama、智谱 ChatGLM、百度文心一言、讯飞星火认知、阿里通义千问、360 智脑以及腾讯混元等大模型，可用于二次分发管理 key.

部署fastgpt+oneapi服务

fastgpt提供了基于docker compose的快速部署方式，此处直接使用docker compose来部署:

mkdir fastgpt
cd fastgpt
curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json
# pgvector 版本(测试推荐，简单快捷)
curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-pgvector.yml
docker compose up -d
# milvus 版本
# curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-milvus.yml
# zilliz 版本
# curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-zilliz.yml

服务正常拉起来后，可以通过docker compose ps 开到如下6个运行的容器:
在这里插入图片描述
通过 http://127.0.0.1:3000 访问fastgpt, 默认账号/密码： root / 1234
在这里插入图片描述
通过 http://127.0.0.1:3001/ 访问oneapi, 默认账号/密码： root / 123456
在这里插入图片描述
在oneapi中按需配置ollama渠道，使用Ollama自己部署模型的时候秘钥可以随意写，使用其它大模型厂商的话要按需填写提供的秘钥
在这里插入图片描述
渠道添加完成后记得测试一下，确保可以正常访问ollama
在这里插入图片描述
在fastgpt的confg.json中加上对应的模型，按需更改model和name字段，然后重启fastgpt服务即可
vim config.json

 "llmModels": [
   {
      "model": "gemma2:9b", // 模型名(对应OneAPI中渠道的模型名)
      "name": "ollama-gemma2-9b", // 模型别名
      "avatar": "/imgs/model/openai.svg", // 模型的logo
      "maxContext": 125000, // 最大上下文
      "maxResponse": 16000, // 最大回复
      "quoteMaxToken": 120000, // 最大引用内容
      "maxTemperature": 1.2, // 最大温度
      "charsPointsPrice": 0, // n积分/1k token（商业版）
      "censor": false, // 是否开启敏感校验（商业版）
      "vision": true, // 是否支持图片输入
      "datasetProcess": true, // 是否设置为知识库处理模型（QA），务必保证至少有一个为true，否则知识库会报错
      "usedInClassify": true, // 是否用于问题分类（务必保证至少有一个为true）
      "usedInExtractFields": true, // 是否用于内容提取（务必保证至少有一个为true）
      "usedInToolCall": true, // 是否用于工具调用（务必保证至少有一个为true）
      "usedInQueryExtension": true, // 是否用于问题优化（务必保证至少有一个为true）
      "toolChoice": true, // 是否支持工具选择（分类，内容提取，工具调用会用到。目前只有gpt支持）
      "functionCall": false, // 是否支持函数调用（分类，内容提取，工具调用会用到。会优先使用 toolChoice，如果为false，则使用 functionCall，如果仍为 false，则使用提示词模式）
      "customCQPrompt": "", // 自定义文本分类提示词（不支持工具和函数调用的模型
      "customExtractPrompt": "", // 自定义内容提取提示词
      "defaultSystemChatPrompt": "", // 对话默认携带的系统提示词
      "defaultConfig": {} // 请求API时，挟带一些默认配置（比如 GLM4 的 top_p）
    },
    {
      "model": "qwen2:7b", // 模型名(对应OneAPI中渠道的模型名)
      "name": "ollama-qwen2-7b", // 模型别名
      ......
      "defaultConfig": {} // 请求API时，挟带一些默认配置（比如 GLM4 的 top_p）
    },
    {
      "model": "llama3.1:8b", // 模型名(对应OneAPI中渠道的模型名)
      "name": "ollama-llama3.1-8b", // 模型别名
      ......
    }

docker restart fastgpt
在这里插入图片描述

部署向量模型m3e和nomic-embed-text

可以通过docker的形式部署m3e， 也可以通过ollama的形式部署

docker：
docker run -d --net=host --name m3e -p 6008:6008 --gpus all -e sk-key=111111admin  registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api
测试方法
$ curl --location --request POST 'http://0.0.0.0:6008/v1/embeddings' \
--header 'Authorization: Bearer 111111admin' \
--header 'Content-Type: application/json' \
--data-raw '{
  "model": "m3e",
  "input": ["laf是什么"]
}'

ollama:
ollama pull nomic-embed-text:v1.5 
ollama pull milkey/m3e:large-f16
测试方法
curl http://localhost:11434/api/embeddings -d '{
  "model": "nomic-embed-text:v1.5",
  "prompt": "The sky is blue because of Rayleigh scattering"
}'

m3e-large-api测试输出：
在这里插入图片描述
nomic-embed-text:v1.5 测试输出：
在这里插入图片描述
测试成功后在oneapi中配置上述向量模型。
若使用m3e，其代理填写 http://192.xx.xx.1:6008（按需填写实际m3e服务的ip和端口），秘钥填写上述sk-key对应的内容；
若通过ollama访问向量模型，其代理需要配置为 http://192.x.x.1:11435(前面ip根据实际填写即可，此处使用代理的端口11435)，ollama默认使用/api/embeddings提供向量访问，因此我们需要使用代理将/v1/embeddings转发到该接口，具体配置见 注意事项->问题4中的 /etc/nginx/conf.d/ollama.conf ;
配置完成后需要测试可用性， 然后在 config.json 中加上自己的向量模型，具体配置如下：
vim config.json

  "vectorModels": [
   {
      "model": "nomic-embed-text:v1.5", // 模型名（与OneAPI对应）
      "name": "nomic-embed-text-v1.5", // 模型展示名
      "avatar": "/imgs/model/openai.svg", // logo
      "charsPointsPrice": 0, // n积分/1k token
      "defaultToken": 500, // 默认文本分割时候的 token
      "maxToken": 2000, // 最大 token
      "weight": 100, // 优先训练权重
      "defaultConfig": {}, // 自定义额外参数。例如，如果希望使用 embedding3-large 的话，可以传入 dimensions:1024，来返回1024维度的向量。（目前必须小于1536维度）
      "dbConfig": {}, // 存储时的额外参数（非对称向量模型时候需要用到）
      "queryConfig": {} // 参训时的额外参数
    },
    {
      "model": "text-embedding-3-small",
      "name": "text-embedding-3-small",
      "avatar": "/imgs/model/openai.svg",
      "charsPointsPrice": 0,
      "defaultToken": 512,
      "maxToken": 3000,
      "weight": 100
    },
    {
      "model": "m3e",
      "name": "m3e",
      "avatar": "/imgs/model/openai.svg",
      "charsPointsPrice": 0,
      "defaultToken": 512,
      "maxToken": 3000,
      "weight": 100
    }
   ]

测试大模型

  1. 新建数据集
    如下图，我们直接新建数据集 nomic-embed-text-v1.5 ，使用nomic-embed-text:v1.5 和 qwen2:7b 两个模型。
    在这里插入图片描述
    在skills目录提前准备好的文档，并按照步骤导入，数据导入到Ready需要大模型发一些时间处理(GPU一般的话就比较慢，笔者P2200 5G显存就有点慢)，耐心等待处理完成即可
    在这里插入图片描述
  2. 新建大模型应用
    参考官方文档在工作台新建一个大模型应用，此处新建agent-qwen2-7b，使用qwen2-7b大模型，关联上知识库 nomic-embed-text-v1.5(搜索模式使用混合检索), 配置完成后测试一下结果，可以发现它有从5个目标参考文档中检索知识，结合检索的目标知识回答我们的问题。
    在这里插入图片描述
    测试完成，点击发布，发布成功后可以直接通过聊天界面进入到agent-qwen2-7b应用了，如下图:
    在这里插入图片描述
    至此，一个具备知识库能力的智能体应用已经完成了; 若需要让其更加智能，我们可以按需补充合适的文档和提示词，让其按照我们的方式检索、回答问题。

注意事项

  1. ollama需要配置 OLLAMA_HOST=0.0.0.0 , 否则oneapi容器无法正常访问ollama服务。

  2. 配置渠道的时候最好每个渠道配置唯一的一个模型，这样使用的时候容易区分。

  3. 新增知识库导入数据时候报错"当前分组 default 下对于模型 text-embedding-ada-002 无可用渠道"
    在这里插入图片描述
    如果有openai的token的话可以在oneapi配置text-embedding-ada-002这个渠道，没有的话自行部署向量模型，并在oneapi新建对应的渠道，新建知识库的时使用自己新建的渠道即可。
    当前分组 default 下对于模型 text-embedding-ada-002 无可用渠道

  4. 在使用知识库的时候，发现数据一直处于索引中，机器CPU长期处于高负荷状态
    在这里插入图片描述
    发现fastgpt报错503, upstream_error, 如下图所示:
    在这里插入图片描述
    oneapi报错：
    在这里插入图片描述
    因为 ollama向量接口为 /api/embeddings， 而fastgpt调用onepai默认接口为/v1/embeddings， 因此会报错，此时可以在本地通过nginx代理ollama，将oneapi的/v1/embeddings转发到ollama的 /api/embeddings中。
    代理配置如下:

    vim /etc/nginx/conf.d/ollama.conf
server {
    listen 11435;
    server_name ollama-server;

    location / {
        proxy_pass http://127.0.0.1:11434;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;
    }

    location /v1/embeddings {
        rewrite ^/v1/embeddings$ /api/embeddings break;
    }

    location /api/embeddings {
        proxy_pass http://127.0.0.1:11434;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;
    }
}

    转发成功后可以看到nginx日志请求正常：
    在这里插入图片描述
    oneapi中/v1/embeddings接口也恢复正常：
    在这里插入图片描述
    过一段时间后数据集准备就绪，节点CPU慢慢降下来恢复正常
    在这里插入图片描述
    ollama向量模型知识库上传数据一直卡在索引，docker日志报404 中提到配置host.docker.internal， 笔者测试过几次不行，最后通过nginx代理解决该问题。

  5. fastgpt 通过oneapi调用ollama qwen2:2b报错 error unmarshalling stream response

    fastgpt提示：
LLM api response empty
oneapi报错:
[SYS] 2024/09/08 - 11:18:57 | error unmarshalling stream response: invalid character '}' after top-level value 
解决方法：
将渠道设置为自定义，暂时不用配置为ollama, 调整后重启oneapi就没有继续报错了
参考 [ollama部署qwen2:7b api调用报错](https://github.com/songquanpeng/one-api/issues/1646)

说明

软件:
ubuntu2404 Desktop
oneapi v0.6.8
fastgpt v4.8.10
ollama 0.3.6
参考文档:
fastgpt官方文档
one-api github
ollama + fastgpt搭建本地私有AI大模型智能体工作流（AI Agent Flow）-- windows环境
Fastgpt配合chatglm+m3e或ollama+m3e搭建个人知识库
大模型必备 - 中文最佳向量模型 acge_text_embedding
Ollama 中文文档
奔跑的蜗牛-人工智能案例合集

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2116659.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

专题二_滑动窗口_算法专题详细总结

专题二_滑动窗口_算法专题详细总结

目录 滑动窗口，引入： 滑动窗口，本质：就是同向双指针； 1.⻓度最⼩的⼦数组（medium） 1.解析：给我们一个数组nums，要我们找出最小子数组的和target，首先想到的…
阅读更多...
arduino ide安装详细步骤

arduino ide安装详细步骤

​ 大家好，我是程序员小羊！ 前言： Arduino IDE 是一个专为编程 Arduino 微控制器设计的集成开发环境，使用起来非常方便。下面将介绍如何在不同平台上安装 Arduino IDE 的详细步骤，包括 Windows、Mac 和 Linux 系统。 …
阅读更多...
计算机毕业设计选题推荐-乐器推荐系统-乐器商城-Java/Python项目实战

计算机毕业设计选题推荐-乐器推荐系统-乐器商城-Java/Python项目实战

✨作者主页：IT毕设梦工厂✨ 个人简介：曾从事计算机专业培训教学，擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。 ☑文末获取源码☑ 精彩专栏推荐⬇⬇⬇ Java项目 Py…
阅读更多...
《Cloud Native Data Center Networking》（云原生数据中心网络设计）读书笔记 -- 11部署BGP

《Cloud Native Data Center Networking》（云原生数据中心网络设计）读书笔记 -- 11部署BGP

本章应有助于回答以下问题: 核心的配置概念是什么?如何为 Clos 网络配置 BGP ?无编号的 BGP 如何工作?如何配置 BGP 与主机上的 BGP 发言者 (例如 Kube-router) 建立对等关系?如何配置 BGP 以对网络进行计划维护? 核心的 BGP 配置概念 全局BGP 配置，包含: r…
阅读更多...
了解开源消息代理RabbitMQ

了解开源消息代理RabbitMQ

1.RabbitMQ 是什么？ RabbitMQ是一个消息代理:它接受并转发消息。你可以把它想象成邮局:当你把要寄的邮件放进邮箱时，你可以确定邮递员最终会把邮件送到收件人那里。在这个比喻中，RabbitMQ是一个邮筒、一个邮局和一个邮递员。RabbitMQ和邮局之…
阅读更多...
JavaScript 循环分支语句-for循环

JavaScript 循环分支语句-for循环

先n1,判断n是否<10,满足条件&#xff0c;n1&#xff0c;输出n&#xff0c;再次判断n是否<10&#xff0c;循环.......... <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta http-equiv"X-UA-Comp…
阅读更多...
SQL进阶技巧：截止当前批次前的批次量与订单量 | 移动窗口问题

SQL进阶技巧：截止当前批次前的批次量与订单量 | 移动窗口问题

目录 0 场景描述 1 数据准备 2 问题分析 3 小结 0 场景描述 表A有如下字段，user id(用户ID),batch id(批次ID),order id(订单ID),create time(创建时间),同一个用户ID下有多个批次,同一个批次下有多个订单ID,相同批次ID的创建时间是相同的，创建时间精确到了秒。 统计，截…
阅读更多...
如何通过ip命令修改网卡名？(ip link set en1p0f0 name eth0)

如何通过ip命令修改网卡名？(ip link set en1p0f0 name eth0)

快速提取 ip link set enp1s0f0 down ip link set enp1s0f0 name eth0 ip link set enp1s0f0 up ifconfig eth0背景 ifconfig命令不支持修改网卡名字。可以使用ip link进行修改。 从Linux 4.9版本开始&#xff0c;ip link 命令支持一个 set 子命令&#xff0c;可以用来修改接…
阅读更多...
iPhone16全系采用A18处理器，不再区别对待，市场压力所致

iPhone16全系采用A18处理器，不再区别对待，市场压力所致

iPhone16即将在3天后发布&#xff0c;外媒基本确定今年的iPhone16将全系采用A18处理器&#xff0c;与此前的基本款采用上一代处理器有很大的差异&#xff0c;这对于苹果用户来说无疑是一大利好&#xff0c;也将有助于推动iPhone16的销售。 此前的iPhone14和iPhone15&#xff0c…
阅读更多...
[Redis] Redis基本命令与数据类型+单线程模型

[Redis] Redis基本命令与数据类型+单线程模型

&#x1f338;个人主页:https://blog.csdn.net/2301_80050796?spm1000.2115.3001.5343 &#x1f3f5;️热门专栏: &#x1f9ca; Java基本语法(97平均质量分)https://blog.csdn.net/2301_80050796/category_12615970.html?spm1001.2014.3001.5482 &#x1f355; Collection与…
阅读更多...
【springboot】使用AOP

【springboot】使用AOP

目录 1. 添加依赖2. 创建切面类1. 创建切面类2. 切点表达式3. 增强方法 3. 开启AOP4. 创建控制类5. 测试 1. 添加依赖 <!-- AOP依赖--><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-aop<…
阅读更多...
【iOS】MVC入门

【iOS】MVC入门

【iOS】MVC模式的学习 文章目录 【iOS】MVC模式的学习前言MVC模式概念MVC的交流模式MVC的一个简单实践Model层View层Controller层 MVC的优点与缺点总结 前言 笔者在暑假的学习中完成了一些小项目&#xff0c;这些小项目中间有时候出现了一个小bug都要寻找很久&#xff0c;而且会…
阅读更多...
前端学习笔记-Web APls篇-05

前端学习笔记-Web APls篇-05

Bom操作 1.Window对象 1.1BOM(浏览器对象模型&#xff09; BOM(Browser Object Model ) 是浏览器对象模型 window对象是一个全局对象&#xff0c;也可以说是JavaScript中的顶级对象像document、alert()、console.log()这些都是window的属性&#xff0c;基本BOM的属性和方法都…
阅读更多...
SAM2POINT：以zero-shot且快速的方式将任何 3D 视频分割为视频

SAM2POINT：以zero-shot且快速的方式将任何 3D 视频分割为视频

摘要 我们介绍 SAM2POINT&#xff0c;这是一种采用 Segment Anything Model 2 (SAM 2) 进行零样本和快速 3D 分割的初步探索。 SAM2POINT 将任何 3D 数据解释为一系列多向视频&#xff0c;并利用 SAM 2 进行 3D 空间分割&#xff0c;无需进一步训练或 2D-3D 投影。 我们的框架…
阅读更多...
ML19_GMM高斯混合模型详解

ML19_GMM高斯混合模型详解

1. 中心极限定理 中心极限定理&#xff08;Central Limit Theorem, CLT&#xff09;是概率论中的一个重要定理&#xff0c;它描述了在一定条件下&#xff0c;独立同分布的随机变量序列的标准化和的分布趋向于正态分布的性质。这个定理在统计学中有着广泛的应用&#xff0c;尤其…
阅读更多...
算法篇_C语言实现霍夫曼编码算法

算法篇_C语言实现霍夫曼编码算法

一、前言 霍夫曼编码&#xff08;Huffman Coding&#xff09;是一种广泛使用的数据压缩算法&#xff0c;特别适用于无损数据压缩。它是由David A. Huffman在1952年提出的&#xff0c;并且通常用于文件压缩和传输中减少数据量。霍夫曼编码的核心思想是使用变长编码表对源数据进…
阅读更多...
提升效率必备！学习awk命令，轻松搞定数据

提升效率必备！学习awk命令，轻松搞定数据

在日常的工作中&#xff0c;无论是数据处理、日志分析&#xff0c;还是格式化输出&#xff0c;AWK命令都是不可或缺的利器。AWK是一种强大的文本处理工具&#xff0c;能让你轻松处理复杂的数据&#xff0c;提升工作效率。本文将为你介绍AWK的基本功能及一些实用场景&#xff0c…
阅读更多...
树 --- 二叉树

树 --- 二叉树

树的物理结构和逻辑结构上都是树形结构。 树形结构&#xff1a;由一个根和若干个子节点组成的集合。 最外围的为叶子节点&#xff1a;只有前驱而没有后继。 &#xff08;一&#xff09;树的性质 • ⼦树是不相交的 • 除了根结点外&#xff0c;每个结点有且仅有⼀个⽗结点 •…
阅读更多...
每天五分钟玩转深度学习框架PyTorch：将nn的神经网络层连接起来

每天五分钟玩转深度学习框架PyTorch：将nn的神经网络层连接起来

本文重点 前面我们学习pytorch中已经封装好的神经网络层，有全连接层，激活层，卷积层等等，我们可以直接使用。 如代码所示我们直接使用了两个nn.Linear（），这两个linear之间并没有组合在一起，所以forward的之后，分别调用了，在实际使用中我们常常将几个神经层组合在一起…
阅读更多...
【EI会议征稿通知】第十一届机械工程、材料和自动化技术国际会议（MMEAT 2025）

【EI会议征稿通知】第十一届机械工程、材料和自动化技术国际会议（MMEAT 2025）

第十一届机械工程、材料和自动化技术国际会议&#xff08;MMEAT 2025&#xff09; 2025 11th International Conference on Mechanical Engineering, Materials and Automation Technology 本次大会旨在汇聚全球机械工程、材料科学及自动化技术的创新学者和行业专家&#xff0…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023