DB-GPT开源项目文档入门

news2024/11/16 7:51:16

DB-GPT开源项目文档入门 (qq.com)

场景:服务中小金融机构、服务业小微商家

DB-GPT项目集成了多模型管理、多数据源管理、Text2SQL、增强检索RAG、生成式BI、多智能体,一个大而全的开源框架

项目基本信息

简介:一个原生数据应用开发框架

技术能力:

服务化多模型管理框架(SMMF,Service-oriented Multi-model Management Framework)

Text2SQL效果优化

RAG框架以及优化(RAG,Retrieval-Augmented Generation)

Multi-Agents框架协作

AWEL(Agentic Workflow Expression Language,智能体工作流编排)

分层架构:可视化层(GBT-Vis:md、图表、flow编排)、应用层(DB-GPT:生成式BI、DB对话、Excel对话)、服务层(LLMServer、APIServer等)、模块层(SMMF、RAGs、Agents)、协议层(AWEL)、训练层(DB-GPT-Hub)

核心能力:RAG、GBI(生成式BI)、微调框架、数据驱动的Multi-Agents框架、数据工厂(可信知识、数据的清洗加工)、数据源

大模型常规发展方向:

RAG(通过附加知识库,减少输出幻觉)

智能体(多智能体协调,自动完成复杂任务)

微调(添加私有数据训练,修改原大模型权重,增强大模型某领域能力)

RAG生产落地实践架构

可信知识收集(行情、行研百科知识、专业内容、专家认知)->知识加工(知识块处理、抽取实体关系图、知识评分、向量化)->RAG(查询处理、相似召回、Ranking)->大语言模型->chat(知识问答、阅读助手)

子模块

DB-GPT-Hub:通过微调来持续提升Text2SQL效果

DB-GPT-Plugins:插件仓库,兼容Auto-GPT

GPT-Vis:可视化协议

dbgpts:官方提供的数据应用仓库,构建在DB-GPT上的应用,含智能体应用、智能体编排流程模板、通用算子,

落地产品:数据库专家智能体Kevin、报表分析智能助手

官方文档解读

网址:https://www.yuque.com/eosphoros/dbgpt-docs

环境准备:下载minconda,创建虚拟环境python=3.10

模型部署:openai代理、GLM-4-9b本地部署

智能体编排语言AWEL

分层设计:算子层、AgentFrame层以及DSL层

算子层:LLM应用开发过程中最基本的操作原子,如RAG应用开发时,检索、向量化、模型交互、Prompt处理

AgentFrame层:对算子进一步封装,可以基于算子做链式计算,支持如filter、join、map、reduce等一套链式计算操作

DSL层:提供一套标准的结构化表示语言,写DSL语句完成AgentFrame与算子的操作

源码部署:部署模型、配置元数据库、配置测试数据、运行服务(python dbgpt/app/degpt_server.py)

其他部署方式:docker、docker-compose、AutoDL、小程序云

模型服务部署:多模型服务,单机部署、集群部署

进阶:vLLM推理(提高推理速度)、元数据初始化与更新、OpenAI SDK调用本地多模型

操作手册

智能体工作流使用

通过智能体表达式语言AWEL编排智能体形成工作流,现仓库有三个工作流可用,通过dbgp安装。

示例:搜索对话应用,通过搜索引擎搜索相关知识,总结回答。创建时配置工作模式:awel_layout、flows:awel_flow_info_search

APP创建使用

源码位置:开源的dbgpts项目中,eosphoros-ai/dbgpts: Intelligent data apps and assets with LLMs (github.com)

dpgts项目的其他资源:workflows、agents、opeators

教程:应用面板中创建应用,工作模式设置auto_plan,依赖两个agent,DataScientist和Reporter,都依赖database

六大场景入门教程

六大场景:知识库、数据对话、Excel对话、数据库对话、报表分析、Agents

原生对话:即大模型提供的原生对话能力

知识库

简介:私域知识问答,RAG知识检索增强

操作步骤:创建知识空间、上传文档、等待文档切片+向量化、对话

支持的文档类型:纯文本、URL抓取、PDF、Word、md等

数据对话

简介:与结构化或半结构化数据对话,辅助数据分析与洞察

操作步骤:添加数据源、选择对话场景:数据对话、选择数据库、对话

Excel对话:选择对话场景(char Excel)、上传Excel、对话

数据库对话:选择对话场景(chat DB)、添加数据源、选择基础模型与数据库、对话

报表分析

简介:Dashboard场景,通过自然语言进行智能的报表生成与分析。是生成式BI(GBI)的基本能力之一

步骤:数据准备、添加数据源、选择对话场景(Dashboard)、对话

Agents

简介:数据驱动Multi-Agents智能体框架

插件:内置搜索插件(不能用)

插件使用步骤:进入插件市场->查看github仓库中插件列表->下载插件->选择场景(Agent chat)->配置cookie->插入元数据->对话

github插件仓库:eosphoros-ai/DB-GPT-Plugins: Multi-Agents & Plugins repo for DB-GPT, Can complete various tasks around databases. (github.com)

数据分析Agents

简介:典型的GBI应用场景

操作步骤:数据准备->添加数据源->插入元数据->选择对话场景(Agent chat-数据分析助手)->对话

数据爬取Agents

简介:自动编写程序抓取互联网数据并分析的Agents

操作步骤:编写智能体(已写好代码编写助手CodeAssistantAgent,源码dbgpt/agent/agents/expand/code_assistant_agent.py)、插入元数据、选择对话场景(互联网数据分析助手)、对话

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2068104.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

<数据集>流水线纸箱识别数据集<目标检测>

数据集格式:VOCYOLO格式 图片数量:1395张 标注数量(xml文件个数):1395 标注数量(txt文件个数):1395 标注类别数:2 标注类别名称:[GreenCarton,RedCarton] 序号类别名称图片数框数1GreenBox131728482R…

《计算机操作系统》(第4版)第9章 操作系统接口 复习笔记

第9章 操作系统接口 一、用户接口 1. 字符显示式联机用户接口 (1)命令行方式 该方式是以行为单位,输入和显示不同的命令。每行长度一般不超过256个字符,一般情况下,以回车符作 为一个命令的结束标记。通常,命令的执行采用的是间断…

抖音收回“作品代发布”能力?短视频矩阵工具未来何去何从?

相信不少朋友都看到过抖音开放平台的公示,从2024年7月20日开始,官方将要收回“代替用户发布内容到抖音”能力,如果你还在用原有抖音开放平台接口的矩阵系统,那可要注意及时调整了。 那未来的短视频矩阵工具还能用吗?矩…

数学建模~~描述性分析---RFM用户分层模型聚类

目录 1.RFM用户分层模型介绍 2.获取数据,标准化处理 2.1获取数据 2.2时间类型转换 2.3计算时间间隔 3.对于R,F,M的描述性分析 3.1代码分析 3.2分析结果说明 3.3对于F的描述性分析 3.4对于M的描述性分析 4.数据分箱--等级划分 4.1分箱概念 4.3分箱特点 …

区间合并+并查集

前言&#xff1a;写完这个题目的时候没意识到这个和区间合并是等价的&#xff0c;现在看起来确实是一个区间合并的题目 &#xff08;注意这个多米诺骨牌是可以连续推倒的&#xff09; #include<bits/stdc.h> using namespace std;#define int long long int t; int n,m; …

转发和重定向的区别

转发和重定向的区别 转发是一次请求。因此浏览器地址栏上的地址不会发生变化。 重定向是两次请求。因此浏览器地址栏上的地址会发生变化 转发的代码实现&#xff1a;request.getRequestDispatcher(“/index”).forward(request,response); 重定向的代码实现&#xff1a;resp…

学习 Java 和数据库:从前端到全栈的进阶之路

作为一名前端开发者&#xff0c;掌握 Java 和数据库知识不仅能提升你的技术水平&#xff0c;还能让你在全栈开发的道路上走得更远&#xff08;主要是涨薪&#xff09;。本文将为你提供一个详尽的学习大纲&#xff0c;帮助你从零开始学习 Java 和数据库&#xff0c;并解释为什么…

Windows离线安装openSSH服务实现远程访问

1、问题概述? 在企业的实际的开发环境中,我们的计算机可能是没有网络的,这种时候我们安装openSSH就需要通过离线的方式安装。 1.1、下载openSSH离线包 离线下载地址:https://github.com/PowerShell/Win32-OpenSSH/releases msi格式可以在windows中直接安装 下载之后直接…

机器人拾取系统关节机械臂通过NY-PN-EIPZ进行命令控制

关节机械臂是一种精密的机器&#xff0c;旨在模拟人类手臂在订单拣选操作中的运动。这些多功能机器人由多个关节组成&#xff0c;通常有 4 到 7 个轴&#xff0c;使它们能够高度自由地移动&#xff0c;并在仓库内以各种方向和位置接触物品。 制造工厂智能仓库系统中的关节机械臂…

centos7.9系统安装cloudpods(一)

1. 简介&#xff1a; Cloudpods 是一款简单、可靠的企业IaaS资源管理软件。帮助未云化企业全面云化IDC物理资源&#xff0c;提升企业IT管理效率。 Cloudpods 帮助客户在一个地方管理所有云计算资源。统一管理异构IT基础设施资源&#xff0c;极大简化多云架构复杂度和难度&…

Datawhale X 李宏毅苹果书 AI夏令营(深度学习进阶)taks1

深度学习的基础 常见的临界点的种类为局部最小值和鞍点 1.局部最小值 对于任何目标函数f(x)&#xff0c;如果在x处对应的f(x)值小于在x附近任意其他点的f(x)值&#xff0c;那么f(x)可能是局部最小值。如果f(x)在x处的值是整个域中目标函数的最小值&#xff0c;那么f(x)是全局…

如何将LaTeX数学公式嵌入到PowerPoint中

如何将LaTeX数学公式嵌入到PowerPoint中 简介 在学术演示或技术报告中&#xff0c;清晰且专业地展示数学公式是至关重要的。PowerPoint虽然提供了一些基本的公式编辑功能&#xff0c;但如果你需要更复杂或格式严格的公式&#xff0c;使用LaTeX生成公式并嵌入到PPT中是一个极佳…

huggingface下载model

0x00 背景 服务器的普通用户&#xff0c;不具有root权限服务器网络不稳定 0x01 解决办法 使用镜像【HF-Mirror】提供的工具hfd 方法三&#xff1a;使用 hfd hfd 是本站开发的 huggingface 专用下载工具&#xff0c;基于成熟工具 gitaria2&#xff0c;可以做到稳定下载不断…

安卓中 onClick(View v) 方法在主线程还是子线程运行

在Android开发中&#xff0c;onClick(View v) 方法通常是在主线程&#xff08;也称为UI线程&#xff09;中运行的。这个方法是在用户与界面元素&#xff08;如按钮&#xff09;进行交互时&#xff0c;由系统框架自动调用的。由于Android的UI操作必须是线程安全的&#xff0c;并…

MySQL 数据库深度解析:安装、语法与高级查询实战

一、引言 在现代软件开发和数据管理领域中&#xff0c;MySQL 数据库凭借其高效性、稳定性、开源性以及广泛的适用性&#xff0c;成为了众多开发者和企业的首选。无论是小型项目还是大型企业级应用&#xff0c;MySQL 都能提供可靠的数据存储和管理解决方案。本文将深入探讨 MyS…

QT Creator UI中文输入跳出英文

笔者用的是QQ拼音输入&#xff0c;发现只要在UI中加入了QTableWidget&#xff0c;输入多几次中文&#xff0c;就会跳入英文。 后面改用搜狗拼音稍微好一些&#xff0c;但是偶尔还是插入了空格。

JavaScript静态方法

介绍 在 JavaScript 中&#xff0c;static 方法是与类本身关联的方法&#xff0c;而不是与类的实例关联。也就是说&#xff0c;static 方法可以通过类直接调用&#xff0c;而不需要创建类的实例。 class PersonCl {constructor(fullName, birthYear) {this.fullName fullNam…

2024湖南自考报考详细流程建议收藏!!

&#x1f4e2;湖南自考报考时间 &#x1f449;新考生入籍时间&#xff1a;8月19日9:00 至 8月28日 12:00 &#x1f449;考生理论课程报考时间&#xff1a;8 月 27日 9:00 至 9月4 日 17:00 &#x1f4e2;湖南自考报考流程 &#x1f449;登录“湖南省高等教育自学考试综合管理平…

《机器学习》 AUC性能测试、回归树、随机森林

目录 一、AUC性能测试 1、什么是AUC 2、什么是AUC-ROC曲线 1&#xff09;TPR、FPR • TPR&#xff1a;真实值为1&#xff0c;预测值为1的概率 • FPR&#xff1a;真实值为0&#xff0c;预测值为1的概率 2&#xff09;如何绘制图示曲线 3、最理想的AUC-ROC曲线图 4、案…

C语言占领游戏

目录 开头程序程序的流程图程序的效果结尾 开头 大家好&#xff0c;我叫这是我58。 程序 #define _CRT_SECURE_NO_WARNINGS 1 #include <stdio.h> #include <stdlib.h> #include <string.h> #include <time.h> #include <Windows.h> void pri…