ChatGPT落地场景探索-数据库与大模型

news2024/11/25 8:08:43

目录

openGauss介绍

openGauss介绍        

数据库与大模型

openGauss介绍

大模型与数据库

大模型为数据库带来的机遇

大模型解决数据库问题的挑战

数据库为大模型带来的价值

大模型+大模型的发展趋势

趋势产品:Chat2DB

简介

特性

生产应用:基于AI+数据驱动的慢查询索引推荐

模型训练

模型部署


openGauss介绍

openGauss介绍        

        本人有幸被CSDN、InfoQ邀请参加2023年“可信数据库发展大会”。本年度的分享聚焦“自主、创新、引领”,7月4号是主会场分享。本次大会由中国通信研究院牵头、中国通信标准化协会、大数据技术标准推进委员会、InfoQ极传媒牵头,清华大学、华为、阿里云、腾旭云、浪潮等等国内顶尖学术研究院企业共同参与分享的顶级学术盛宴。参与了大会也深切的感受到了国内顶级学府、研究院对于理论基础研究的深度和广度,以及国内顶级企业应用研究的成果,总之受益匪浅。

        下面是李国良教授关于数据库与大模型的分享,因为涉及到AIGC所以我当时就截图了,希望可以分享给更多的同学,大家一起知识共享。也感受一下国内顶级院校的独到知识熏陶。

清华大学计算机科学与技术系教授。主要研究方向为数据库,群体计算,数据挖掘、分析与检索。在数据库、数据挖掘、信息检索领域顶级会议和期刊上发表论文50余篇。获得了IEEE TCDE Early Career Award(IEEE 数据工程领域杰出新人奖)。

数据库与大模型

openGauss介绍

        openGauss是一个开源关系型数据库管理系统,随Mulan PSL v2一起发布。内核基于华为多年数据库领域经验打造,持续提供针对企业级场景的有竞争力的特性。下面是openGauss的官网。

openGauss,主打就是一个高性能、高可用、高安全、高智能,比我们平时说的软件的三高还多一个,最最主要的我觉得还是自主研发。教授也提到,Gauss已经获得海外很多企业的关注和使用。

大模型与数据库

        教授带来的大模型与数据的分享涵盖一下四个方面,PPT里都有描述我就不做文字翻译了,大家可以清晰的看到。

大模型为数据库带来的机遇

        LLM(大模型)为数据库带来的机遇有五点:索引推荐、物化视图推荐、智能负载管理、参数调优、基数优化。

大模型解决数据库问题的挑战

数据库为大模型带来的价值

大模型+大模型的发展趋势

趋势产品:Chat2DB

Chat2DB/README_CN.md at main · chat2db/Chat2DB · GitHub

简介

        Chat2DB 是一款有开源免费的多数据库客户端工具,支持windows、mac本地安装,也支持服务器端部署,web网页访问。和传统的数据库客户端软件Navicat、DBeaver 相比Chat2DB集成了AIGC的能力,能够将自然语言转换为SQL,也可以将SQL转换为自然语言,可以给出研发人员SQL的优化建议,极大的提升人员的效率,是AI时代数据库研发人员的利器,未来即使不懂SQL的运营业务也可以使用快速查询业务数据、生成报表能力。

特性

  1. AI智能助手,支持自然语言转SQL、SQL转自然语言、SQL优化建议
  2. SQL查询、AI查询和数据报表完美集成的一体化解决方案设计与实现
  3. 支持团队协作,研发无需知道线上数据库密码,解决企业数据库账号安全问题
  4. 强大的数据管理能力,支持数据表、视图、存储过程、函数、触发器、索引、序列、用户、角色、授权等管理
  5. 强大的扩展能力,目前已经支持MySQL、PostgreSQL、Oracle、SQLServer、ClickHouse、OceanBase、H2、SQLite等等,未来会支持更多的数据库
  6. 前端使用 Electron 开发,提供 Windows、Mac、Linux 客户端、网页版本一体化的解决方案
  7. 支持环境隔离、线上、日常数据权限分离

生产应用:基于AI+数据驱动的慢查询索引推荐

        前段时间美团也发表一篇文章,描述的是基于AI做的DB索引推荐,但是不是给予GPT是基于自己的算法所做的,思路也是比较好的,并且效果也挺好,在代价方法推荐索引的基础上,AI模型有额外12.16%的推荐索引被用户所采纳 。并且做了相关测试:这些额外补充的索引对于查询的改善情况如上图所示:上半部分展示了优化的查询执行次数,下半部分展示了查询在使用推荐的索引之后的执行时间以及减少的执行时间,这些索引总计约优化了52亿次的查询执行,减少了4632小时的执行时间。下面是文章地址,我这里就简单提一下关注的同学可以通过文章末尾的参考资料详细阅读原理。

        基于AI+数据驱动的索引推荐的整体架构如下图所示,主要分为两个部分:模型训练和模型部署。

模型训练

  1. 慢查询和被验证有效的推荐索引作为训练数据。我们生成每条查询的单列、两列和三列候选索引。
  2. 通过特征工程来为每个候选索引构建特征向量,使用索引数据来为特征向量打标签。
  3. 单列、两列和三列特征向量将分别用于训练单列、两列和三列索引推荐模型。

模型部署

  1. 针对需要推荐索引的慢查询,同样生成候选索引并构建特征向量。
  2. 我们使用分类模型来预测特征向量的标签,即预测出候选索引中的有效索引。
  3. 我们在采样库上创建模型预测出的有效索引,并通过实际执行查询来观察建立索引前后查询性能是否得到改善。只有当查询性能真正得到改善时,我们才会将索引推荐给用户。

参考资料:

基于AI+数据驱动的慢查询索引推荐 - 美团技术团队

Chat2DB/README_CN.md at main · chat2db/Chat2DB · GitHub

openGauss

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/725907.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

运输层:TCP超时重传时间的选择

1.运输层&#xff1a;TCP超时重传时间的选择 笔记来源&#xff1a; 湖科大教书匠&#xff1a;TCP超时重传时间的选择 声明&#xff1a;该学习笔记来自湖科大教书匠&#xff0c;笔记仅做学习参考 若将超时重传时间RTO < \lt < 报文段0的往返时间RTT0&#xff0c;则会出现…

ArcGIS、ENVI、InVEST、FRAGSTATS等多技术融合提升环境、生态、水文、农业、大气等领域数据分析

查看原文>>> ArcGIS、ENVI、InVEST、FRAGSTATS等多技术融合提升环境、生态、水文、农业、大气等领域数据分析 【内容简述】&#xff1a; 注&#xff1a;请提前自行配置上课环境 【其它相关推荐】&#xff1a; GEE遥感云大数据林业应用典型案例实践及GPT模型应用 基…

【Ubuntu】apt 更换阿里源

Ubuntu apt 更换阿里源 1.Ubuntu apt 更换阿里源1.1 找到阿里官方相关镜像1.2 找到apt的源管理文件1.3 使用命令替换其源地址1.4 刷新源信息1.5 Failed to fetch http://xxxxxxx Temporary failure resolving ‘mirrors.aliyun.com‘ 1.Ubuntu apt 更换阿里源 1.1 找到阿里官方…

Java 设计模式 随笔1 监听器/观察者

0. 不由自主&#xff0c;恍恍惚惚&#xff0c;又走回头路&#xff0c;再看一眼有过的幸福… 太棒了流沙!!! 0.1 引用 https://blog.csdn.net/majunzhu/article/details/100869562 ApplicationEvent事件机制源码分析 单机环境下优雅地使用事件驱动进行代码解耦 1. JDK 1.1 …

LAXCUS分布式操作系统总体概述

本文回答用户问的一些情况&#xff0c;因为问题主要集中LAXCUS分布式操作系统的产品、市场、发展层面&#xff0c;技术问题倒是不多&#xff0c;我在这里做个总体概述的回答吧。 LAXCUS分布式操作系统是基于分布式运行环境构建的【数存算管】超融合一体化平台&#xff0c;处理…

Excel 合并单元格筛选时只出现首行

一、问题描述 如果对合并单元格直接筛选&#xff0c;只能筛选出第一个单元格的值 二、原因分析&#xff1a; Excel筛选单元格时&#xff0c;遇到不连续区域&#xff08;即中间有空白单元格&#xff09;会识别不到后续内容&#xff1b; 合并单元格后&#xff0c; 除首行外&…

测试中那些悲桑的。。。

今天不讲“锅”&#xff0c;也不讲知识&#xff0c;只聊聊我们在测试中那些悲桑的故事。鉴于过于真实&#xff0c;请新人慎看。 - 1 - 实验室环境中测试顺利进行&#xff0c; 一到发版时刻&#xff0c; 哦豁&#xff0c;出现了一个惊天大bug&#xff01; 通宵走起~ - 2 - 辛…

【机器学习核心总结】什么是RNN(循环神经网络)

什么是RNN(循环神经网络) 循环神经网络(Recurrent Neural Network)&#xff0c;在识别图像时&#xff0c;输入的每张图片都是孤立的&#xff0c;认出这张图片是苹果&#xff0c;并不会对认出下一张图片是梨造成影响。 但对语言来说&#xff0c;顺序是十分重要的&#xff0c;“…

六、计算机视觉相关内容

文章目录 前言一、图像增广1.1 常用的图像增广1.1.1 翻转和裁剪1.1.2 变换颜色1.1.3 结合多种图像增广方法 二、微调2.1 微调的步骤2.2 具体案例 三、 目标检测和边界框3.1 边界框 四、锚框五、多尺度目标检测六、目标检测数据集七、单发多框检测(SSD)八、区域卷积神经网络(R-C…

【NLP】分步图解transformer 数学示例

一、说明 我知道transformer 架构可能看起来很可怕&#xff0c;你可能在网上或博客上遇到了各种解释。但是&#xff0c;在我的博客中&#xff0c;我将通过提供一个全面的数值示例来努力澄清它。通过这样做&#xff0c;我希望简化对变压器架构的理解。 二、输入和位置编码 让我…

网络编程-day3

UDP服务器&#xff1a; UDP客户端&#xff1a;

go-redis的基本使用

Golang操作Redis 安装go-redis //redis 6 go get github.com/go-redis/redis/v8 //redis 7 go get github.com/go-redis/redis/v9golang连接redis import "github.com/go-redis/redis/v8" var rdb *redis.Clientfunc init() {rdb : redis.NewClient(&redis.Opt…

云原生之深入解析Prometheus AlertManager的实战操作

一、概述 Prometheus 包含一个报警模块&#xff0c;就是 AlertManager&#xff0c;Alertmanager 主要用于接收 Prometheus 发送的告警信息&#xff0c;它支持丰富的告警通知渠道&#xff0c;而且很容易做到告警信息进行去重、降噪、分组等&#xff0c;是一款前卫的告警通知系统…

Android Studio实现内容丰富的安卓校园二手交易平台

如需源码可以添加q-------3290510686&#xff0c;也有演示视频演示具体功能&#xff0c;源码不免费&#xff0c;尊重创作&#xff0c;尊重劳动。 项目编号038 1.开发环境 android stuido jdk1.8 eclipse mysql tomcat 2.功能介绍 安卓端&#xff1a; 1.注册登录 2.查看二手商品…

[学习笔记] 扩散模型 Diffusion

前置知识-从深度生成模型、隐变量、VAE开始 机器学习是人工智能的一种&#xff0c;它是一种通过利用数据&#xff0c;训练出模型&#xff0c;然后使用模型预测的一种方法。 机器学习分为监督学习、无监督学习和强化学习&#xff0c;这是根据数据训练方式分类的&#xff0c;通俗…

leetcode 100. 相同的树

2023.7.6 这题类似于树的对称性这道题&#xff0c;下面给出递归和迭代两种解法&#xff1a; 递归法&#xff1a; class Solution { public:bool isSameTree(TreeNode* p, TreeNode* q) {if(pnullptr && qnullptr) return true;if(pnullptr && q!nullptr || p…

python实现文本转语音音频

文章目录 文本转语音音频第一步&#xff1a;讯飞平台的注册第二步&#xff1a;导入程序所需要的依赖库第二步&#xff1a;websocket对象类的初始化第三步&#xff1a;websocket建立连接后的函数第四步&#xff1a;websocket数据返回结果的处理函数第五步&#xff1a;pcm音频转换…

VALSE 20200415 | 机器学习 vs 压缩感知:核磁共振成像与重建

【Talk】VALSE 20200415 | 机器学习 vs 压缩感知&#xff1a;核磁共振成像与重建 文章目录 【Talk】VALSE 20200415 | 机器学习 vs 压缩感知&#xff1a;核磁共振成像与重建Deep learning for MR imaging and analysis - Shanshan WangMachine Learning for CS MRI: From Model…

Spring Boot 中的视图解析器是什么,如何使用

Spring Boot 中的视图解析器是什么&#xff0c;如何使用 在 Spring Boot 中&#xff0c;视图解析器是将视图名称解析为具体视图对象的组件。视图对象可以是 JSP、FreeMarker、Thymeleaf 等模板引擎生成的 HTML 页面&#xff0c;也可以是 JSON、XML 等格式的数据响应。Spring B…

基于Javaweb实现ATM机系统开发实战(三)用户查询功能实现

首先通过我们查看前端界面发现&#xff0c;先要实现前端用户查询功能&#xff0c;主要就是要把list1和list2所需的数据传递给前端&#xff0c;由前端进行展示。 首先我们需要写一个servlet处理收到的请求&#xff1a; ps&#xff1a;Servlet是什么&#xff1f; Java Servlet 是…