Gen-AI 的知识图和分析(无需图数据库)

news2024/9/28 1:24:56

如今,图表比以往任何时候都更加相关和有用。由于目前正在发生的人工智能革命,工程师们正在考虑围绕 Gen-AI 的机会,利用具有动态提示、数据基础和屏蔽功能的开放 Gen-AI 解决方案,这进一步促使他们思考知识图谱等有效的解决方案。

工程师 Mary 正在研究数据基础问题,并正在考虑 为人工智能解决方案构建知识图,以在工作中提供个性化产品推荐,并开始想知道

  • 如何构建这些图表,
  • 将它们存放在哪里,
  • 如何与我们从数据库、仓库和湖房等广泛来源获得的大量数据集成?

Mary 的担忧似乎很合理,如果她现在必须编写应用程序逻辑来生成图,连接到新的图数据库来存储它们,这会带来集成、安全性、成本、可靠性和技术学习等挑战。

Mary 可以通过简单而强大的本机图形分析引擎应用程序来克服这些繁琐的问题。

是的,今天可以实现对现有数据的图形查询,而无需具体化图形或使用图形数据库。

想知道如何在数据库、仓库和湖泊中的现有数据上本地实现图形分析和图形查询!让我们先睹为快。

让我退一步解释什么是图以及图分析相对于传统数据分析有何优势。

在软件工程中,图是用于建模和表示实体之间关系的数据结构。它们由顶点(节点)和连接这些顶点的边(关系)组成,可以是有向的或无向的、加权的或不加权的。

图分析是基于图的数据的一种强大的新兴数据分析形式,可帮助企业理解各种数据实体之间的复杂关系。它有助于理解、可视化复杂的关系并从中得出有意义的见解。

使用图数据库进行图分析比关系存储上的传统 SQL 分析如何更好?

图与传统分析的表格比较

                                             图与传统分析的表格比较

我们可以看到图形分析更加高效、灵活、可扩展、可伸缩,并且与智能|人工智能分析相关。

当今如何实现图分析

当今大多数利用图分析的企业都会生成图并将其存储在图数据库中。Neo4j、TigerGraph、Amazon Neptune 和 OrientDB 被业界广泛采用作为图数据库。

企业边界

                                                        来源:作者

新范式

原生图形分析引擎是一种新范例,我们可以直接实现图形查询以及现有关系/SQL 数据的可视化,而无需在中间使用图形数据库,并且仍然可以利用我们从图形和传统分析方法中获得的所有优势。

这似乎是一个非常强大的工具,在图形分析方面有很多机会,并且似乎完全可以放弃使用冗余图形数据库并转向这种新的本机图形分析范例。

从流程中删除图形数据库

                                                 从流程中删除图形数据库

最终用户流程图

                                                     最终用户流程图

一枪三鸟!

如果我们可以将图查询应用于现有的传统数据存储(例如关系数据库、仓库、湖泊或湖屋),我们可以一次性实现三件事:

  1. 零 ETL:无需从存储的现有数据中复制、迁移或 ETL 数据来构建和存储图形。此外,无需将基本关系数据从一个湖复制到另一个湖。您可以拥有一个可以动态查询的虚拟层。
  2. 不需要新的图形数据库:不需要以图形格式具体化和存储数据,它们可以在运行时动态完成,不需要引入新的图形数据库,也不需要担心集成、成本和安全性限制。
  3. 高性能:还可以实现图形查询对关系数据具有的所有性能优势。

业界正在快速跟上这种新方法,并且在这方面已经有一些参与者。

用于开发的开源库

Apache Spark GraphX: GraphX是 Spark 中用于图形和图形并行计算的新组件,其中包括越来越多的图形算法和构建器,以简化图形分析任务。

Apache Flink Gelly:Gelly是 Apache Flink 的图形处理 API 和库。Flink 对迭代的原生支持使其成为大规模图分析的合适平台。

用于本机支持的现成播放器/引擎

PuppyGraph: 使用PuppyGraph,您现在可以通过无缝的无 ETL 集成,以以下任意开放表格式对仓库、湖泊和湖屋中的现有数据进行图形查询。

  • 阿帕奇冰山
  • 阿帕奇胡迪
  • 阿帕奇蜂巢
  • 三角洲湖

以及来自以下数据库的关系数据

  • MySQL
  • PostgreSQL

Timbr.ai:Timbr 的语义图平台是一个 SQL 原生知识图,可将您的数据库转变为推理机,以便我们可以应用优化图,例如对数据进行 SQL 查询。它支持与任何符合 SQL / ANSI SQL 标准或可以在 SQL 中查询的关系数据库进行完整的后端集成。连接可以通过 JDBC 或 ODBC 连接器建立,无需 ETL。

  • 关系数据库(MySQL、MariaDb、SqlServer、PostgreSQL、SAP Hana、Aurora Oracle)
  • NoSQL 数据库 (MongoDB)
  • 数据湖(S3、GCS、Microsoft ADLS)
  • 仓库(RedShift、BigQuery、Snowflake、Databricks、Synapse、Athena)
  • 引擎(Apache Spark、Presto、Trino)
  • 数据格式(Parquet/JSON/CSV)

总而言之,值得探索我们现有的这些选项,以在不使用图形数据库和物化图形的情况下实现图形分析。祝你尝试成功!!


作者:Sudheer Kandula

更多技术干货请关注公号【云原生数据库

squids.cn,云数据库RDS,迁移工具DBMotion,云备份DBTwin等数据库生态工具。

irds.cn,多数据库管理平台(私有云)。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1363965.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【动态规划】【滑动窗口】C++算法:100154 执行操作后的最大分割数量

作者推荐 【动态规划】【字符串】扰乱字符串 本文涉及的基础知识点 C算法:滑动窗口总结 动态规划 LeetCode100154 执行操作后的最大分割数量 给你一个下标从 0 开始的字符串 s 和一个整数 k。 你需要执行以下分割操作,直到字符串 s 变为 空&#xf…

【SpringCloud】之配置中心(进阶使用)

🎉🎉欢迎来到我的CSDN主页!🎉🎉 🏅我是君易--鑨,一个在CSDN分享笔记的博主。📚📚 🌟推荐给大家我的博客专栏《SpringCloud开发之远程消费》。🎯&a…

C++ queue

目录 一、介绍 二、queue使用 三、模拟实现 四、优先级队列 五、priority_queue使用 OJ题:215. 数组中的第K个最大元素 快速排序 优先级队列 TOPK 六、模拟实现priority_queue 1、仿函数 2、优先级队列类 3、测试函数 一、介绍 1、队列是一种容器适配器…

阿里云服务器固定带宽实际下载速度表,不只是3M固定带宽

阿里云服务器公网带宽上传和下载速度对照表,1M带宽下载速度是128KB/秒,为什么不是1M/秒?阿里云服务器网aliyunfuwuqi.com分享阿里云服务器带宽1M、2M、3M、5M、6M、10M、20M、30M、50M、100M及200M等公网带宽下载速度对照表,附带宽…

VMware Workstation——修改虚拟机配置和设置网络

目录 一、修改配置 1、点击需要修改配置的虚拟机,然后点击编辑虚拟机配置 2、修改内存、CPU、硬盘配置 二、设置网络 1、从虚拟机配置中进入到网络适配器设置 2、选择网络连接模式 一、修改配置 1、点击需要修改配置的虚拟机,然后点击编辑虚拟机配…

Linux进程间通讯 -- 管道

Linux进程间通讯 – 管道 文章目录 Linux进程间通讯 -- 管道1. 原理2. 进程间通讯2.1 管道2.1.1 匿名管道 pipe2.2.2 有名管道 FIFO 2.2 信号2.3 共享内存2.4 本地套接字 1. 原理 Linux 进程间通讯,也称为IPC(InterProcess Communication) 在 Linux 中每个进程都具…

C++实现网站内搜索功能

文章目录 搜索结果的结构下载我们需要的数据分析html结构数据处理去标签之标题去标签之正文内容构造url把上述的数据清理操作对每一个文件都做一遍把处理好的数据都保存到一个.bin文件 构建正排索引构建倒排索引使用cpp-jieba分词计算每个文档中的每个词的权重对所有文档都进行…

格密码基础:光滑参数

目录 一. 铺垫高斯函数 二. 光滑参数图形理解 三. 光滑参数与格基本区 3.1 高斯与均匀分布的统计距离 3.2 光滑参数理解 四. 光滑参数与最短向量 五. 光滑参数与连续最小值 六. 光滑参数与对偶格的上界 七. 光滑参数与格的上界 八. 小结 一. 铺垫高斯函数 定义高斯密…

Django 9 常用通用视图分析

View 提供基于不同http方法执行不同逻辑的功能。 1. 创建 terminal输入 django-admin startapp the_13回车 2.tutorial子文件夹 settings.py注册一下 INSTALLED_APPS [django.contrib.admin,django.contrib.auth,django.contrib.contenttypes,django.contrib.sessions,dja…

九州金榜|孩子步入叛逆期,常常离家出走怎么办?

孩子在拥有了独立意识后,就开始试图挑战父母的权威。他们会主动去质疑父母,主动去证明自己的成熟和独立,还会主动试图逃离父母的控制范围。 近日就收到了家长求助孩子离家出走问题的私信,在得到家长同意,接下来我们就…

Docker-Compose部署Redis(v7.2)分片集群(含主从)

文章目录 一、前提准备1. 文件夹结构 二、配置文件1. redis.conf2. docker-compose文件 三、构建集群1. 自动分配主从关系2.1 构建3 master集群2.2 手动配置从节点 四、测试1. 集群结构2. 分片测试 环境 docker desktop for windows 4.23.0redis 7.2 目标 搭建如下图分片主从…

利用ArcGIS探究环境与生态因子对水体、土壤、大气污染物等影响的实践技术

如何利用ArcGIS实现电子地图可视化表达?如何利用ArcGIS分析空间数据?如何利用ArcGIS提升SCI论文的层次?制图是地理数据展现的直观形式,也是地理数据应用的必要基础。本次课程从ArcGIS的基本操作、ArcGIS 的空间数据分析及ArcGIS 的…

算法基础之货仓选址

货仓选址 核心思想: 贪心 绝对值不等式 : ∣ x – a ∣ ∣ x – b ∣ ≥ ∣ a – b ∣ |x – a| |x – b| ≥ |a – b| ∣x–a∣∣x–b∣≥∣a–b∣ 将n个数两两分组 1~~ n-1 (奇数会剩一个) 分别用绝对值不等式 即可推出来 货仓位置应该在中位数上(奇数) 或在中…

鸿蒙应用开发 闹钟实现

后台代理提醒简介 随着生活节奏的加快,我们有时会忘记一些重要的事情或日子,所以提醒功能必不可少。应用可能需要在指定的时刻,向用户发送一些业务提醒通知。例如购物类应用,希望在指定时间点提醒用户有优惠活动。为满足此类业务…

C# Unity将地形(Terrain)导出成obj文件

C# Unity将地形(Terrain)导出成obj文件 从其他地方搬运过来的,只能到出obj模型,不能导出贴图 using System.IO; using System.Text; using UnityEditor; using UnityEngine; using System;enum SaveFormat { Triangles, Quads } enum SaveResolution {…

Landsat8的辐射定标与大气校正

目录 打开影像辐射定标大气校正计算区域高程计算研究区高程大气校正查看处理结果 打开影像 在文件夹中找到xxx_MTL.txt文件,拖到ENVI中 此处可能会出现无法打开的问题,参考该文章(ENVI无法打开Landsat8的头文件问题和解决) 辐…

Iceberg从入门到精通系列之十九:分区

Iceberg从入门到精通系列之十九:分区 一、认识分区二、Iceberg的分区三、Hive 中的分区四、Hive 分区问题五、Iceberg的隐藏分区六、分区变换七、分区变换 一、认识分区 分区是一种通过在写入时将相似的行分组在一起来加快查询速度的方法。 例如,从日志…

C#,冒泡排序算法(Bubble Sort)的源代码与数据可视化

排序算法是编程的基础。 常见的四种排序算法是:简单选择排序、冒泡排序、插入排序和快速排序。其中的快速排序的优势明显,一般使用递归方式实现,但遇到数据量大的情况则无法适用。实际工程中一般使用“非递归”方式实现。本文搜集发布四种算法…

【WPF】使用 WriteableBitmap 提升 Image 性能

【WPF】使用 WriteableBitmap 提升 Image 性能 前言WriteableBitmap 背景WriteableBitmap 渲染原理WriteableBitmap 使用技巧案例核心源码测试结果 前言 由于中所周不知的原因,WPF 中想要快速的更新图像的显示速率一直以来都是一大难题。在本文中,我将分…

leetcode“位运算”——只出现一次的数字

只出现一次的数字i&#xff1a; https://leetcode.cn/problems/single-number/ 给你一个非空整数数组 nums&#xff0c;除了某个元素只出现一次以外&#xff0c;其余每个元素均出现两次。找出那个只出现一次的元素。 class Solution { public:int singleNumber(vector<i…