使用 mongo2neo4j 和 SemSpect 通过各种方式进行图探索

news2024/12/23 10:45:13

用于可视化和探索每个 MEAN 堆栈背后的数据图的 ETL

您是否正在努力回答有关 MEANS Web 服务数据的紧急问题?哪里有 BI 可以快速回答“上个季度哪些亚洲的artisan.plus 用户触发了订单?”这个问题,而无需编写查询?使用 mongo2neo4j 、 Neo4j 和 SemSpect ,可以根据需要以可视化方式免费回答此类问题。这篇文章介绍了如何将 MongoDB 数据和对象模型转移到 Neo4j,以及如何使用 SemSpect 深入了解您的业务数据。

MEAN 堆栈

MEAN 堆栈 (MEANS) 是基于 MongoDB 、 Express.js 、 AngularJS 和 Node.js 构建的流行技术组合,适用于 Netflix、PayPal、Gmail、LinkedIn、YouTube 等云应用程序。在前端方面,此堆栈有多种变体,例如 MERN(使用 React 而不是 Angular)或 MEVN(使用 Vue.js )。无论如何,MongoDB 始终充当数据后端,作为管理集合中嵌套 JSON 对象的数据库。集合包含 JSON 对象,在 MongoDB 中称为文档,具有类似的结构(例如,一个用于用户的集合,一个用于产品的集合,一个用于订单的集合等)。

此堆栈通常会辅以对象数据建模 (ODM) 框架,例如MongoDB 上的 mongoose 。通过整合 mongoose,您可以无缝定义和实施数据模式,从而在集合之间或跨集合建立 JSON 对象之间的链接。这可以增强数据完整性并降低不一致的风险。

集合中隐藏的宝贵知识

MEAN 堆栈很棒,但它无法轻松洞察底层数据,甚至无法回答简单的业务问题。这是因为 JSON 数据集合不易探索。MongoDB 有一个 查询 API ,包括聚合和投影,但结果始终是 JSON。此外,该 API 有点麻烦,需要编程知识,有时您从一开始就不知道在数据中寻找什么。

这就是 mongo2neo4j 发挥作用的地方。通过自动转换为 Neo4j 的标记属性图 (LPG),可以使用 SemSpect 轻松可视化、探索和分析生成的图表。

alt

mongo2neo4j 构建了从 MEAN 堆栈到图和图分析世界的桥梁

例如,在为咖啡库存管理应用程序 artisan.plus 规划新功能时,出现了一个问题:其 PRO 用户中是否有人只烘焙来自巴西的纯阿拉比卡咖啡混合物?调查这个问题后,只需在 SemSpect 中单击几下并加载相关的 artisan.plus 数据(约 120 万个节点和 360 万个关系),就会发现 59 位 PRO 用户进行了约 24,000 次此类混合烘焙。

alt

SemSpect 使用来自 artisan.plus 的样本数据:有多少 PRO 用户将纯阿拉比卡咖啡与仅来自巴西的咖啡混合烘焙?

将您的平均值变成图表并进行探索

Mongo2neo4j、Neo4j 和 SemSpect 图形可视化和探索工具有效地解决了这种缺乏数据洞察力的问题。

mongo2neo4j 是将 MEANS 数据传输到本机图形的最快、最方便的方法,同时考虑到对象关系数据模型。但是,我们为什么要将数据映射到图形中呢?图形模型是处理对象和关系时最自然的数据模型——正是您在应用 mongoose 或任何其他 ODM 框架时在 MongoDB 中编码的内容。生成的图形接近对象关系数据模型。与分布在各个集合中的原始 JSON 表示相比,以对象和关系网络形式显示的图形更易于查询和理解。

简单来说:使用 mongo2neo4j,所有顶级 JSON 对象都将成为图节点。每个 JSON 对象的字段都会产生相应图节点的属性。默认情况下,嵌套数组元素也会成为节点,并通过关系链接到其原始节点。

对于 ODM 框架引入的每个对象引用(通过对象 ID),mongo2neo4j 都会与图形模型中对象的相应节点建立关系。正如我们稍后看到的,某些配置允许我们在必要时调整 JSON 对象到 Neo4j 节点的映射。

一旦我们的 JSON 集合可以作为数据图使用,就可以更轻松地查看节点之间的链接、掌握间接连接,并通过使用 SemSpect 等工具以交互方式探索图表来开发查询。

MEANS 示例

例如,让我们采用一个基于 MEAN 堆栈的简单商店应用程序,其中来自不同国家的用户可以订购各种产品。

我们使用随机生成的样本数据,其数据生成器由mongo2neo4j 示例目录 提供。当使用 Robo 3T 等 UI 检查 MongoDB 中的示例数据时,我们会看到四个集合,这是 在 mongoose 框架的帮助下在 models.js 中定义的 ODM 的结果。

代表订单的对象具有对用户(订购者)和产品(购买)的对象引用,如下图所示,一个订单的红色箭头所示。

alt

生成的示例数据的集合

使用 MongoDB 查询语言通过 project 的级联可以找出法国用户订购了哪些产品 。但是,它过于复杂,绝对不适合临时数据分析。

因此,让我们使用 mongo2neo4j 提取数据集合并将其加载到 Neo4j 中,以查看数据如何显示在图形数据库中。我们只需安装 Python 包 mongo2neo4j 并运行数据转换:

Shell
> pip3 install mongo2neo4j
> mongo2neo4j --neo4j_password=<your-neo4j-password> <your-mongodb-database>

为了成功执行,必须设置一个 Neo4j 数据库并接受远程 Cypher 命令(后者是本地连接的默认设置)。

从开头的 person 示例来看,我们期望每个集合中的任何顶级对象都成为结果图中的节点。嵌套对象也应成为节点。

查看上面显示集合拼贴的图像时,商店数据中唯一的嵌套是“订单”集合对象中的“产品”字段。此类字段的相应值是一个对象数组,其中每个数组对象包含对“产品”对象的引用以及带有订购数量的整数值。如何通过节点和边以及节点/边属性将此结构转换为 LPG 模型?

最简单的方法是将订单节点通过某种产品订单关系链接到产品节点,其中产品数量由相应关系的相应属性表示,如下所示。

alt

但是,如果每个数组元素都包含另一个对象引用,这种映射类型将导致问题。Neo4j 背后的 LPG 模型仅允许两个对象之间的关系。因此,在 LPG 中建模此类构造的更通用方法是借助专用的新节点。

alt

在数据建模的背景下,这种模式称为 具体化, 因为它通过引入明确表示这种关系的节点来具体化这种关系。原始关系的节点链接结果节点,并且还可以与多个其他节点相关或存储金额等属性。

mongo2neo4j 将源自嵌套对象的所有关系具体化,以支持任何类型的 n 元关系。

微调 ETL 流程

mongo2neo4j 中实现的默认映射将 MongoDB 中的所有对象引用转换为 Neo4j 中生成的图形模型的关系,如前所述。有配置选项可以将 ODM 的隐式编码链接转换为关系或为节点分配特定标签,具体取决于原始对象的字段值。

例如,我们可以看到“countries”是一个与给定 ODM 设计中的其他集合无关的集合。但是,此集合中的“isoname”对象字段的值(即法国)似乎与用户的“country”字段的值相匹配。

为了建立从用户到其国家/地区的联系,我们可以配置 mongo2neo4j 来创建这种关系,通过提供一对 . 对作为匹配条件:

Shell
--relations "users.country,countries.isoname"

要根据原始 MongoDB 对象的字段值为节点分配附加标签,我们可以使用“sublabel”选项。在我们的示例中,这对于根据用户的订阅计划对其进行分类非常有用。用户的订阅在“subscription”字段中编码为字符串值。要将这些值转换为 Neo4j 标签,我们指定哪些字段值应被视为标签(此处为“user.subscription”),标签是否应获得后缀(“_user”),以及如果没有值(“无订阅”)应使用什么标签:

Shell
--sublabels "users.subscription._user,`no subscription`"

此外,还有更多映射选项,例如从映射过程中排除集合或字段,以及指定 MongoDB 和 Neo4j 连接详细信息的选项。 有关配置选项的详尽描述,请参阅 脚本参数。

上面集合中显示的 MongoDB 数据摘录最终如下所示。

alt

之前提出的有关法国用户的所有产品的分析问题现在对应于来自节点法国(蓝色圆圈)的图形遍历请求,该请求遍历所有相关用户及其产品订单。这可以通过 Neo4j Cypher 查询语言轻松完成:

Shell
match (:countries {isoname:’France’})<--(:users)<--(:orders)-->
(:orders_products)-->(p:products)
return count(distinct p)

编写这样的查询需要 Cypher 知识,但至少比 MongoDB 查询对应部分容易得多,因为 Cypher 使用基于文本的视觉描述来声明性地描述节点(写在圆括号中)和关系(写为“->”或“-[:relation-type]->”)查询模式。

然而,还有一种更简单的方法来编写此类查询 - 不需要任何查询语言技能或底层图形模型的知识:SemSpect。

SemSpect 和 MEANS

SemSpect 是一款无代码图形探索和可视化工具。它适用于 Neo4j 以及 RDF 图形数据。SemSpect 有一个免费版本,即 Neo4j Desktop 的 GraphApp,它有一些限制,但功能强大,足以认真探索大型 MongoDB 数据集 — — 至少对于我们的小示例而言。

注意请确保您使用的是 Neo4j Desktop 1.5.9,您可以 下载 。最新版本 (1.6.0) 将 Neo4j Desktop 置于维护模式,不再允许安装图形应用程序。

如果我们 MEANS 示例中的数据已经使用 Neo4j Desktop 存储在 Neo4j DBMS 中(说明位于 GitHub 上的 mongo2neo4j 示例 中),那么 SemSpect 就近在咫尺。只需直接从 Neo4j 开发人员图形应用程序库 安装 SemSpect 图形应用程序即可。

安装和设置 SemSpect 后,您将在左侧列表中看到 mongo2neo4j 导入的标签,如下图所示,以红色框突出显示。为不同订阅计划生成的附加标签按用户标签排序。SemSpect 会自动推断标签之间的子标签包含情况。在这里,其中一个订阅标签的所有用户也始终带有用户标签。

alt

现在,您只需将其中一个标签拖放到 SemSpect UI 中间画布中的探索窗格上即可。为了回答我们的查询,我们从“国家”标签开始。放置在探索窗格中后,我们会看到组(蓝色圆圈)内的 10 个国家节点(灰色圆点)。在搜索框中搜索“法国”并按 Enter 时,我们会看到代表法国的节点,并用显示其名称的旗帜突出显示。

alt

要探索从此节点到法国用户订购产品的路径,我们可以选择该节点并使用上下文菜单“探索节点的连接”。由于此节点仅通过传出国家关系连接到用户节点,因此我们只能选择此关系进行探索。

alt

通过反复扩展“订单”组,然后扩展“订单_产品”组,如下所示,我们最终到达“产品”组。来自法国的订单的 134 种产品节点中的数字显示了该产品链接到左侧组中节点的频率。换句话说,这些数字显示了这些产品的订购频率。

我们找到了两件被订购三次的产品。其中一件是饮料 Celestial Brew。选择此节点会在右侧的详细信息档案中显示其属性。

alt

我们还可以详细检查对象详细信息,并根据特定节点属性值对其进行分类。让我们从产品对象开始。在探索窗格中选择产品组后,我们可以打开一个表格视图,其中逐行列出了组对象的所有属性。

alt

我们可以借助字符串、数字或日期时间限制按任何属性过滤节点。例如,让我们过滤“饮料”类别的产品。表格显示了结果的预览,使用 应用过滤器 ,我们可以限制探索图中的组。

alt

现在,该产品组最终由 1,000 种产品中的 213 种饮料组成。

SemSpect 的一个独特功能允许我们在探索图表时从组中定义新标签。新定义的标签“饮料”在标签树中被组织为一种特殊的产品,随时可以作为新探索或过滤的起点。

alt

我们还能发现什么?

让我们看看我们能用 SemSpect 解决哪些其他分析任务。假设我们要回答以下问题:

2022 年 8 月免费订阅用户订购的最突出的产品是什么?

有没有尚未订购商品的用户?

第一个问题的答案是,从“free_user”开始探索,然后扩展到“订单”,最后扩展到“产品”。由于我们对特定时间范围内的订单感兴趣,因此我们必须打开“订单”的表格视图,并通过日期过滤器选择器将“订单日期”限制为 9 月之前和 7 月之后。

alt

这将订单限制在 2022 年 8 月。由于过滤限制会立即传播到探索图中,因此我们看到 2022 年 8 月有三款产品被免费订阅用户订购了两次。选择产品组时,右侧的档案选项卡还提供了描述组节点的自然语言描述。您还可以将这组结果节点下载为 CSV 文件。

alt

最后,要找到没有订购任何商品的用户,我们必须从所有“用户”开始,然后扩展到“订单”。 “用户”组中的浅灰色用户节点是未连接到右侧“订单”组中的任何节点的用户节点。 我们可以使用“用户”组的上下文菜单并选择“未连接到右侧任何组的节点”,轻松地为它们添加标记。

alt

总结

很难对基于 MongoDB 数据库构建的服务的数据进行概览和洞察。这适用于所有使用 MongoDB 数据存储的应用程序,尤其是如果使用对象关系模型在集合之间建立对象引用,就像采用 MEAN 堆栈的情况一样。

我们提供了一个方便的工具包,其中包含 mongo2neo4j 数据转换器、Neo4j 数据库以及图形探索和查询应用程序 SemSpect,它建立了一个可配置的工作流程,可以真正连接隐藏在 MEAN 堆栈的 MongoDB 数据库中的点。这是查找数据或应用程序中的数据缺陷以及回答相关 BI 问题的关键。

好消息是,这里介绍的工作流程是免费的。mongo2neo4j和 Neo4j 社区都是 GPL 3.0, SemSpect 附带免费模型。但是,当您的数据增长到一定规模以上时,或者您希望使工作流程专业化,或者如果您想享受完整的性能和功能,您可以切换到 Neo4j 和 SemSpect 的企业版。

原文链接:https://medium.com/neo4j/graph-exploration-by-all-means-with-mongo2neo4j-and-semspect-382e55c14c4c

原文作者:

本文由 mdnice 多平台发布

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1898919.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

通过 Parallels Desktop 虚拟机安装运行 macOS 15 Sequoia

在 Apple 的 WWDC 24 大会上&#xff0c;macOS Sequoia 15 成为全场热议的焦点。 作为科技爱好者和开发者&#xff0c;我们都迫不及待想要体验这些最新功能。但如果直接把整个 Mac 升级到测试版&#xff0c;可能不太现实&#xff0c;特别是当你需要保持主系统稳定的时候。 幸…

速刷edurank(1)

python安全开发 python安全开发 python安全开发前言一、平台edu二、使用步骤1.引入库2.功能**完整代码**完整代码 总结 前言 目的&#xff1a;想快速的搜集edu的域名 一、平台edu https://src.sjtu.edu.cn/rank/firm/0/?page2 二、使用步骤 1.引入库 代码如下&#xff08…

序列化Serializable

一、传输对象的方式 将对象从内存传输到磁盘进行保存&#xff0c;或者进行网络传输&#xff0c;有两种方式&#xff1a; 实现Serializable接口&#xff0c;直接传输对象转成json字符串后&#xff0c;进行字符串传输 二、直接传输对象 implements Serializable Data Equal…

50岁单身女人的中等生活标准是什么?

对女人来说&#xff0c;50岁正是更年期&#xff0c;可以说是已经进入老龄行列&#xff0c;情绪难免不稳定。面对社会上对中老年人的看法&#xff0c;心中难免会有些失落。那么50岁以后的女人&#xff0c;一般希望拥有一个什么样的生活呢&#xff1f; 首先是财务独立&#xff0c…

Day44:LeedCode 188.买卖股票的最佳时机IV 309.最佳买卖股票时机含冷冻期 714.买卖股票的最佳时机含手续费

188. 买卖股票的最佳时机 IV 给你一个整数数组 prices 和一个整数 k &#xff0c;其中 prices[i] 是某支给定的股票在第 i 天的价格。 设计一个算法来计算你所能获取的最大利润。你最多可以完成 k 笔交易。也就是说&#xff0c;你最多可以买 k 次&#xff0c;卖 k 次。 注意&…

【数据分享】2002-2020年全球逐日地表土壤水分栅格数据(免费获取)

土壤水分是陆地水循环中的重要状态变量&#xff0c;在陆-气相互作用研究、区域水文过程及水资源管理等研究领域具有重要作用&#xff0c;该数据被广泛应用于各项研究。 本次我们分享的是2002-2020年全球范围的36km分辨率逐日地表土壤水分栅格数据&#xff01;数据来源于国家青…

c++习题05-斐波那契数列

目录 一&#xff0c;问题 二&#xff0c;思路 三&#xff0c;代码 一&#xff0c;问题 二&#xff0c;思路 根据题目&#xff0c;可以自己列出斐波那契数列&#xff08;前四个&#xff09;如下&#xff1a; 通过列出来的值&#xff0c;可以发现&#xff0c;前两个都是1&…

信创-系统架构师认证

随着国家对信息技术自主创新的战略重视程度不断提升&#xff0c;信创产业迎来前所未有的发展机遇。未来几年内&#xff0c;信创产业将呈现市场规模扩大、技术创新加速、产业链完善和国产化替代加速的趋势。信创人才培养对于推动产业发展具有重要意义。应加强高校教育、建立人才…

功能测试常用的测试方法

在软件测试过程中&#xff0c;功能测试是最基础、最核心&#xff0c;也是最主要的&#xff0c;那么功能测试中常用的测试方法你了解吗&#xff1f; 第一、什么是功能测试 功能测试&#xff08;Functional Testing&#xff09;&#xff0c;又称黑盒测试&#xff08;Black-box Te…

中国软件评测中心最新报告:文心大模型技术、产品、应用全面领跑

近日&#xff0c;工业和信息化部直属国家一级科研事业单位中国软件评测中心发布《人工智能大语言模型技术发展研究报告&#xff08;2024年&#xff09;》&#xff0c;总结梳理大语言模型技术能力进展和应用情况&#xff0c;肯定国产大模型的发展成果&#xff0c;为产业界选用大…

ingress-nginx控制器证书不会自动更新问题

好久没更新了&#xff0c;正好今天遇到了一个很有意思的问题&#xff0c;在这里给大家分享下&#xff0c;同时也做下记录。 背景 最近想做个实验&#xff0c;当k8s集群中secret更新后&#xff0c;ingress-nginx控制器会不会自动加载新的证书。我用通义千问搜了下&#xff0c;…

对SRS媒体服务器进行漏洞扫描时,SRS的API模块会出现漏洞,如何修补这些漏洞的简单方法

目录 一、引言 1、srs介绍 2、媒体流介绍 3、应用场景 二、SRS的http_api介绍、及漏洞 1、概述 2、http_api模块的作用 &#xff08;1&#xff09;提供HTTP API服务 &#xff08;2&#xff09;管理和监控SRS服务器 &#xff08;3&#xff09;自定义开发 三、漏洞扫描…

Java语言+后端+前端Vue,ElementUI 数字化产科管理平台 产科电子病历系统源码

Java语言后端前端Vue,ElementUI 数字化产科管理平台 产科电子病历系统源码 Java开发的数字化产科管理系统&#xff0c;已在多家医院实施&#xff0c;支持直接部署。系统涵盖孕产全程&#xff0c;包括门诊、住院、统计和移动服务&#xff0c;整合高危管理、智能提醒、档案追踪等…

【T+】畅捷通T+产品,将原财务报表中的模板转换到财务报表菜单下。

【问题描述】 畅捷通T3产品中账套使用行业性质是【新会计准测制度】升级到畅捷通T产品&#xff0c; 行业性质默认为【2001年企业会计制度】&#xff0c; 但是升级成功后&#xff0c;账套的财务报表下没有对应报表模板&#xff0c;需要手工编辑&#xff0c;太费劲了。 并且在T产…

mysql 字符集(character set)和排序规则(collation)

文章目录 概念1、字符集1.1、举例1.2、常见字符集 utf8 和 utf8mb4 区别1.3、字符集 使用 2、排序规则2.1、举例2.2、常见的排序规则 utf8mb4_bin 、utf8mb4_general_ci、utf8mb4_unicode_ci2.3、使用 概念 在 MySQL 中&#xff0c;字符集&#xff08;character set&#xff0…

STM32基础知识

一.STM32概述 第一款STM32单片机发布的时间为2007年6月11日。由意法半导体&#xff08;ST&#xff09;公司推出&#xff0c;是STM32系列中的首款产品&#xff0c;具体型号为STM32F1&#xff0c;它是一款基于Cortex-M内核的32位微控制器&#xff08;MCU&#xff09;。 STM32F1…

广东这家非标自动化公司居然2台工作站20个设计同时用?

在当今快速发展的制造业中&#xff0c;非标自动化公司凭借其独特的定制化服务&#xff0c;正在逐步改变着传统的生产方式。在日益复杂和高度专业化的非标自动化设计领域&#xff0c;图形工作站的重要性不言而喻。设计师们需要强大的计算能力和高效的运行环境来支持他们的创意工…

短视频文案提取神器怎么提取抖音视频文案!

很多编导以及视频内容创作者为了提高自己的工作效率还会使用视频转文字提取神器&#xff0c;我们都清楚短视频领域每个平台人群熟悉都有所不同&#xff0c;在分发内容的时候也会调整内容已符合平台属性。 短视频文案提取神器怎么提取抖音视频文案 短视频常见的平台有抖音、西瓜…

分享超级实用的3款AI工具,让工作效率轻松翻倍

Hey&#xff0c;职场小伙伴们&#xff01;每天被堆积如山的工作压得喘不过气&#xff1f;加班成了日常&#xff0c;效率却不见提高&#xff1f;别急&#xff0c;今天就让我来给你们揭秘3款AI神器&#xff0c;它们将是你职场上的得力助手&#xff0c;让你的工作效率轻松翻倍&…

Web3 ETF的主要功能

Web3 ETF的主要功能可以概括为以下几点&#xff0c;Web3 ETF仍是一项新兴投资产品&#xff0c;其长期表现仍存在不确定性。投资者在投资Web3 ETF之前应仔细研究相关风险&#xff0c;并做好充分的风险评估。北京木奇移动技术有限公司&#xff0c;专业的软件外包开发公司&#xf…