使用Neo4j做技术血缘管理

news2024/11/22 16:40:50

目录

一、neo4j介绍

二、windows安装启动neo4j

2.1下载neo4j

2.2 解压文件

2.3 启动neo4j

三、neo4j基础操作

3.1 创建结点和关系

3.2 查询

3.3 更改

3.4 删除

四、技术血缘Demo实现

4.1 构建节点对象

4.2 构建存储对象

4.3 创建有属性关联关系

4.4 最后是图结果

五、总结

前言：对于大公司或大部门，团队之间相互合作、中间件的共同使用，技术之间细节是不透明的，遇到异常问题时，定位排查困难；如何清晰管理技术团队、中间件、数据之间的血缘关系，这成为技术、产品、数据开发等人员的一个需求。

一、neo4j介绍

       Neo4j 是一种开源的图数据库管理系统，专注于存储和处理图结构数据。图数据库是一种专为处理图形和网络结构而设计的数据库，其中的数据以节点和边（或称关系）的形式组成。Neo4j 提供了一种直观而高效的方式来表示和查询复杂的关系数据，使得它特别适用于需要处理强关联和复杂网络结构的场景。

以下是 Neo4j 的主要特点和功能：

  1. 图数据库模型： Neo4j 使用图数据库模型，其中的数据被组织成节点和关系的网络。节点表示实体，关系表示实体之间的关联，而节点和关系都可以包含属性。
  2. Cypher 查询语言： Neo4j 使用 Cypher 查询语言，这是一种专门用于图数据库的查询语言。Cypher 提供了一种直观且强大的方式来查询和修改图数据，支持模式匹配、路径查询、聚合等操作。
  3. 性能优化： Neo4j 通过采用类似索引结构的存储引擎，可以快速地执行复杂的图查询。它还支持深度优先和广度优先的图遍历，以及通过索引快速查找节点和关系。
  4. ACID 事务支持：Neo4j 提供 ACID（原子性、一致性、隔离性、持久性）事务支持，确保数据库的数据一致性和可靠性。
  5. 灵活的数据模型： Neo4j 的数据模型非常灵活，可以轻松地表示多对多、多对一、一对多等各种关系。这使得它在处理复杂网络结构和强关联数据时非常强大。
  6. 支持图算法： Neo4j 提供了一系列内置的图算法，如最短路径、广度优先搜索、社交网络中的社区发现等，帮助用户进行更复杂的图分析。
  7. 可视化工具： Neo4j 提供了直观的可视化工具，使用户能够直观地查看和理解图数据的结构。这有助于开发人员和分析师更好地理解数据和关系。
  8. 社区和生态系统：Neo4j 拥有一个活跃的开源社区，提供了大量的文档、示例和插件。此外，它还有丰富的生态系统，包括各种工具和驱动程序，与其他数据存储和处理系统集成。

       Neo4j 在许多应用领域中得到广泛应用，包括社交网络分析、推荐系统、生物信息学、网络安全分析等。其图数据库的模型和查询语言使其成为处理复杂关系数据的强大工具。

二、windows安装启动neo4j

2.1下载neo4j

1.从官网下载：https://neo4j.com/download/

2.直接获取资源包（上手推荐）：https://dist.neo4j.org/neo4j-community-3.5.30-windows.zip

2.2 解压文件

点击解压：

2.3 启动neo4j

在neo4j的bin目录下运行：CMD

启动服务：neo4j.bat console

在页面登录链接：http://localhost:7474/

默认账号密码：一般默认的是:用户:neo4j, 密码:neo4j;登陆后重新设置密码，如：123456

UI页面：

三、neo4j基础操作

有四个基础概念：

  • 节点
  • 标签
  • 属性
  • 关系

3.1 创建结点和关系

创建结点：

3.1.1创建只有一个标签没有属性的节点：

语法：CREATE (node-name:label-name)

示例：CREATE (m:sdk)

注解："()"里”:“前第一个”m“是结点别名，":"后第二个"sdk"是结点标签；别名可以随意写，标签固定。

3.1.2创建一个有属性的节点：

语法：CREATE ( node-name:label-name { key:Value })

示例：create (mobile:sdk {name:"name1"})

注解："{}"里是属性，以json格式展示。

3.1.3创建多个标签到节点：

语法：CREATE (node-name:label-name1:label-name2.....:label-namen)

示例：CREATE (m:sdk:usercode {name:"name1"})

注解：以上创建了一个，当前别名为m,标签为sdk和usercode,属性name="name1"的结点；

创建关系：

3.1.4各两个新结点创建无属性关系

create(m:sdk{type:'SDK'})-[r:write]->(n:api{name:'lxApi'})

return m,r,n

3.1.5给两个存在节点创建有属性关系

match(m:sdk{type:'SDK'})

match(n:api{name:'lxApi'})

create(m)-[r:upZip]->(n)

return n,m,r

3.2 查询

  • 从数据库获取有关节点和属性的数据
  • 从数据库获取有关节点，关系和属性的数据

MATCH检索，Return返回信息；

通过标签查询：

语法：MATCH(node-name:label-name)

示例：示例：MATCH (m:sdk) return m

通过标签属性查询：

语法：MATCH(node-name:label-name{filed:'value1'})

示例：示例：MATCH (n:sdk{name:'name1'}) eturn n

3.3 更改

添加标签：

match (m:sdk{name:'name1'})

SET m:sdk:user

RETURN m;

添加属性：

match (m:sdk{name:'name1'})

set m.userName='user1'

return m

3.4 删除

通过id来删除

match(n) where id(n)=86

delete n

通过属性来删除

match(n:sdk{name:'name1'})

delete n

通过标签来删除

match(n:sdk)

delete n

删除节点关系再删除节点

match(n) where id(n)=34

match(m) where id(m)=30

match(n)-[r:write]-(m)

delete r

删除结点属性

MATCH (n:sdk{name:'lxApi'})

remove n.name

return n

删除结点标签

match(n:sdk{name:'name1'})

remove n:userName

return n

删除节点和节点关联关系

MATCH (s:sdk{name:'name1'})

DETACH DELETE s;

删除所有节点

MATCH (n)

DETACH DELETE n

删除所有关系

start r=relationship(*) delete r;

四、技术血缘Demo实现

本次技术血缘demo涉及三个团队,三个中间件，用neo4j图数据库构建技术血缘关系。

通过SDK采集移动端APP的数据，内部API用于管理采集服务，最后依次存储到HDFS、Kafka、ES。

4.1 构建节点对象

1.业务服务对象创建

构建采集节点（SDK）：

create(m:sdk:mobile{name:'yzSdk',type:'SDK',message:'驿站SDK，app消息采集'} )

create(m:sdk:mobile{name:'jscSdk',type:'SDK',message:'驾驶舱SDK，app消息采集'})

create(m:sdk:mobile{name:'xcSdk',type:'SDK',message:'星辰SDK，app消息采集'})

create(m:sdk:mobile{name:'xzSdk',type:'SDK',message:'行者SDK，app消息采集'})

查询sdk节点： MATCH (e:sdk) RETURN e

2.构建采集API管理对象数据节点：

create(n:api:xlp{name:'lxApi',type:'api',message:'离线API，提交zip包，存储元数据到kafka'})

create(n:api:xlp{name:'ssApi',type:'api',message:'实时API，上传实时数据到kafka'})

2.1构建配置索引接口节点

create(n:api:xlp{name:'configApi',type:'api',message:'配置索引，将消息写入不同索引库'})

查询Api节点：MATCH (n:api) RETURN n

4.2 构建存储对象节点

构建hdfs存储对象：

create(s:hdfs:xlp{name:'hdfs_file',hosts:'ipList',type:'hdfs',message:'移动端离线上传zip包，hdfs存储地址'})

构建Kafka元数据存储Topic：

create(s:kafka:xlp{topic:'id_metadata_info',hosts:'ipList',type:'kafka',message:'移动端离线上传zip包，元数据信息'})

构建kafka存储Topic：

create(s:kafka:xlp{topic:'XLP_MOBILE_LOG',hosts:'ipList',type:'kafka',message:'星洲kafka集群Topic,存储移动端解压数据'})

create(s:kafka:xlp{topic:'xlp-log-body',hosts:'ipList',type:'kafka',message:'星洲kafka集群Topic,存储移动端实时上传数据'})

create(s:kafka:xlp{topic:'id_m_crash',hosts:'ipList',type:'kafka',message:'星洲kafka集群Topic,存储移动端实时上传崩溃数据'})

查询Kafka存储节点：MATCH (s:kafka) RETURN s

构建ES存储索引：

create(s:es:xlp{index:'id_m_1000*',hosts:'ipList',type:'es',message:'星洲ES集群索引,存储移动端详情数据'})

create(s:es:xlp{index:'xlp_dev_appid_version_brand_record',hosts:'ipList',type:'es',message:'星洲ES集群索引,存储app指标分析结果'})

create(s:es:xlp{index:'id_m_user_device_*',hosts:'ipList',type:'es',message:'星洲ES集群索引,存储用户分析指标结果'})

create(s:es:xlp{index:'id_m_crash_*',hosts:'ipList',type:'es',message:'星洲ES集群索引,存储移动端崩溃日志'})

create(s:es:xlp{index:'xlp_mobile_message_id_*',hosts:'ipList',type:'es',message:'星洲ES集群索引,存储移动端崩溃message大字段信息'})

create(s:es:xlp{index:'id_network_*',hosts:'ipList',type:'es',message:'移动端上传网络详细'})

create(s:es:xlp{index:'id_m_1000*',hosts:'ipList',type:'es',message:'移动端上传，用户登录时长详情，增加UsedTime字段'})

create(s:es:xlp{index:'id_m_crash*',hosts:'ipList',type:'es',message:'移动端上传，崩溃详情索引'})

ES存储对象：MATCH (e:es) RETURN e

构建处理对象(Flink)：

create(f:flink:xlp{name:'UnZipTask',type:'flink',message:'解压zip，读kafka,从HDFS获取zip解压，存入Kafka'})

create(f:flink:xlp{name:'MobileToEs',type:'flink',message:'读kafka,分发数据到不同索引'})

create(f:flink:xlp{name:'UserAnalToEs',type:'flink',message:'读topic,计算用户指标，结果存入es'})

create(f:flink:xlp{name:'fDevAnalToEs',type:'flink',message:'读topic,计算app指标j，结果存入es'})

create(f:flink:xlp{name:'ssMobileToES',type:'flink',message:'读实时topic，分发结果到es'})

查询Flink任务节点：MATCH (f:flink) RETURN f

4.3 创建有属性关联关系

4.3.1离线上传对象关联

match(m:sdk{type:'SDK'})

match(n:api{name:'lxApi'})

create(m)-[r:upZip]->(n)

return n,m,r

4.3.2实时上传数据关联

match(m:sdk{type:'SDK'})

match(n:api{name:'ssApi'})

create(m)-[r:toLineData]->(n)

return n,m,r

4.3.3 离线上传处理关联

记录元数据

match(n:api{name:'lxApi'})

match(h:kafka{topic:'id_metadata_info'})

create(n)-[r:mark]->(h)

return n,h,r

上传zip包

match(n:api{name:'lxApi'})

match(h:hdfs{name:'hdfs_file_name'})

create(n)-[r:mark]->(h)

return n,h,r

match(k:kafka{topic:'id_metadata_info'})

match(h:hdfs{name:'hdfs_file_name'})

create(k)-[r:relation]->(h)

return k,h,r

match(k:kafka{topic:'id_metadata_info'})

match(h:hdfs{name:'hdfs_file_name'})

create(k)elation]-(h)

return k,h,r

4.3.4 flink解压关联

match(k:kafka{topic:'id_metadata_info'})

match(f:flink{name:'UnZipTask'})

create(k)-[r:read]->(f)

return k,f,r

match(h:hdfs{name:'hdfs_file_name'})

match(f:flink{name:'UnZipTask'})

create(f)-[r:read]->(h)

return h,f,r

4.3.5 存储kafka关联

match(f:flink{name:'UnZipTask'})

match(k:kafka{topic:'XLP_MOBILE_LOG'})

create(f)-[r:read]->(k)

return k,f,r

4.3.6任务解析关联

UserAnalToEs 、fDevAnalToEs

match(k:kafka{topic:'XLP_MOBILE_LOG'})

match(f:flink{name:'UserAnalToEs'})

create(k)-[r:read]->(f)

return k,f,r

match(k:kafka{topic:'XLP_MOBILE_LOG'})

match(f:flink{name:'fDevAnalToEs'})

create(k)-[r:read]->(f)

return k,f,r

match(k:kafka{topic:'XLP_MOBILE_LOG'})

match(f:flink{name:'MobileToEs'})

create(k)-[r:read]->(f)

return k,f,r

4.3.7 ES任务存储关联

match(f:flink{name:'MobileToEs'})

match(e:es{index:'id_m_1000*'})

create(f)-[r:wirte]->(e)

return e,f,r

match(f:flink{name:'UserAnalToEs'})

match(e:es{index:'id_m_user_device_*'})

create(f)-[r:wirte]->(e)

return e,f,r

match(f:flink{name:'fDevAnalToEs'})

match(e:es{index:'xlp_dev_appid_version_brand_record'})

create(f)-[r:wirte]->(e)

return e,f,r

4.3.8 配置索引关联

match(a:api{name:'configApi'})

match(b:api{name:'lxApi'})

create(a)-[r:wirte]->(b)

return a,b,r

match(a:api{name:'configApi'})

match(b:api{name:'ssApi'})

create(a)-[r:wirte]->(b)

return a,b,r

match(a:api{name:'configApi'})

match(b:es{index:'id_m_1000*'})

create(a)-[r:wirte]->(b)

return a,b,r

4.3.9 实时任务存储关系

match(a:api{name:'ssApi'})

match(t:kafka{topic:'xlp-log-body'})

create(a)-[r:wirte]->(t)

return a,t,r

4.3.10 分发存储关系

match(t:kafka{topic:'xlp-log-body'})

match(e:es{index:'id_network_*'})

create(t)-[r:wirte]->(e)

return e,t,r

match(t:kafka{topic:'xlp-log-body'})

match(e:es{index:'id_m_1000*'})

create(t)-[r:wirte]->(e)

return e,t,r

4.3.11 崩溃日志关系

match(a:api{name:'ssApi'})

match(k:kafka{topic:'id_m_crash'})

create(a)-[r:uoData]->(k)

return a,k,r

match(k:kafka{topic:'id_m_crash'})

match(f:flink{name:'ssMobileToES'})

create(k)-[r:uoData]->(f)

return f,k,r

match(f:flink{name:'ssMobileToES'})

match(e:es{index:'id_m_crash*'})

create(f)-[r:wirte]->(e)

return e,f,r

4.4 最后是图结果

五、总结

       技术血缘建立在数据血缘之上，除了可以在节点构建数据详情，映射管理数据血缘；还可以将数据整个数据生命周期过程的使用的技术细节，管理到血缘关系中。对数据管理人员、技术人员和产品经理等各方，都可以做到技术和数据的透明管理。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1422374.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

工业物联网接入网关在制造企业的实际应用-天拓四方

工业物联网接入网关在制造企业的实际应用-天拓四方

随着工业4.0和智能制造的兴起，工业物联网（IIoT）已成为工厂自动化的关键驱动力。在这个转变中，工业物联网网关扮演着至关重要的角色。它们充当了设备与企业系统之间的桥梁，实现了数据采集、分析和设备控制等功能。 案例…
阅读更多...
微信开放平台第三方开发，实现代小程序认证申请

微信开放平台第三方开发，实现代小程序认证申请

大家好，我是小悟 微信小程序认证整体流程总共分为五个环节：认证信息填写、平台初审、管理员验证、供应商审核和认证成功。 服务商可以代小程序发起认证申请。平台将对认证基础信息进行初步校验。通过后，平台将向管理员微信下发模板消息&…
阅读更多...
实习日志8

实习日志8

1.捷通打印机 1.1.驱动问题（不支持RFID设置） 换一个驱动，报另一个错 找技术人员对接，换了个新驱动 查看端口 安装驱动（选择USB002） 1.2.rfid校验不准问题（纸张有空白） rfid未校验没…
阅读更多...
数据库MySQL查询设计||给定四个关联表，其定义和数据加载如下：-- 学生表 Student-- 选课表 SC

数据库MySQL查询设计||给定四个关联表，其定义和数据加载如下：-- 学生表 Student-- 选课表 SC

SQL查询设计 给定四个关联表，其定义和数据加载如下： -- 学生表 Student create table Student(Sno varchar(6), Sname varchar(10), Sdate datetime, Ssex varchar(10)); insert into Student values(01 , 赵雷 , 1999-01-01 , 男); insert into St…
阅读更多...
解决Could not transfer artifact org.springframework.boot的问题

解决Could not transfer artifact org.springframework.boot的问题

进行maven更新的时候，发现报错了 Could not transfer artifact org.springframework.boot，提示网络错误，搜了一下，应该是要忽略https 在maven设置中添加如下语句 -Dmaven.wagon.http.ssl.insecuretrue -Dmaven.wagon.http.ssl.a…
阅读更多...
微信投票小程序源码系统：无限多开，吸粉利器， 礼物道具，功能强大 带完整的安装代码包以及搭建教程

微信投票小程序源码系统：无限多开，吸粉利器， 礼物道具，功能强大 带完整的安装代码包以及搭建教程

随着互联网的不断发展，社交媒体已成为人们生活中不可或缺的一部分。而微信作为中国最大的社交软件之一，拥有着庞大的用户群体和广泛的影响力。在这样的背景下，微信投票小程序应运而生。今天小编要向大家介绍的是一个功能强大的微信投票小程序…
阅读更多...
STL标准模版在VS2019中的使用方法

STL标准模版在VS2019中的使用方法

STL标准模版在VS2019中的使用方法 1.STL在VS2019中的位置 1.STL在VS2019中的位置 1.1找到程序安装位置： D:\visual_studio\IDE\VC\Tools\MSVC\14.29.30133\include
阅读更多...
塔罗牌+起名算命+占卜小程序源码系统 带完整的搭建教程

塔罗牌+起名算命+占卜小程序源码系统 带完整的搭建教程

随着科技的发展，人们越来越依赖于技术来解决生活中的问题。塔罗牌、起名算命和占卜等传统服务也正在被数字化，以满足现代人的需求。塔罗牌起名算命占卜小程序源码系统应运而生，它不仅集合了传统服务的精髓，还结合了现代技术&#…
阅读更多...
python-分享篇-贪吃蛇

python-分享篇-贪吃蛇

文章目录 代码效果 代码 """贪吃蛇"""import random import sys import time import pygame from pygame.locals import * from collections import dequeSCREEN_WIDTH 600 # 屏幕宽度 SCREEN_HEIGHT 480 # 屏幕高度 SIZE 20 …
阅读更多...
深入理解二叉树：遍历、构建与性质探索的代码实现

深入理解二叉树：遍历、构建与性质探索的代码实现

📷 江池俊： 个人主页 🔥个人专栏： ✅数据结构冒险记 ✅C语言进阶之路 🌅 有航道的人，再渺小也不会迷途。 文章目录 前言一、二叉树的存储结构二、二叉树链式结构的实现三、二叉树的前、中、后续遍历&…
阅读更多...
新书速览|Docker与Kubernetes容器运维实战

新书速览|Docker与Kubernetes容器运维实战

帮助读者用最短的时间掌握Docker与K8s运维技能 内容简介 随着云计算和容器技术的发展，Docker与Kubernetes已经成为各个企业首选的部署工具，使用它们可以提高系统的部署效率和运维能力，降低运维成本。本书是一本为初学者量身定制的Docker与Kub…
阅读更多...
植物病害检测YOLOV8，OPENCV调用

植物病害检测YOLOV8，OPENCV调用

【免费】植物病害检测，10种类型，YOLOV8训练，转换成ONNX，OPENCV调用资源-CSDN文库 植物病害检测，YOLOV8NANO，训练得到PT模型，然后转换成ONNX，OPENCV的DNN调用，支持C,PYTH…
阅读更多...
java常量和kotlin常量

java常量和kotlin常量

在java中使用final声明常量在kotlin中使用const val声明常量 常量在编译为字节码后会直接把调用常量的地方直接替换为常量值，示例如下： public class ConstDemo {public static final String NAME "Even";private static final int ID 100…
阅读更多...
让MySQL和Redis数据保持一致的4种策略

让MySQL和Redis数据保持一致的4种策略

1 前言 先阐明一下 MySQL 和 Redis 的关系：MySQL 是数据库，用来持久化数据，一定程度上保证数据的可靠性；Redis 是用来当缓存，用来提升数据访问的性能。 关于如何保证 MySQL 和 Redis 中的数据一致（即缓存…
阅读更多...
leetcode常见错误

leetcode常见错误

1 runtime error: load of null pointer of type ‘std::_Bit_type‘ (aka ‘unsigned long‘) (stl_bvector） 力扣：runtime error: load of null pointer of type ‘std::_Bit_type‘ (aka ‘unsigned long‘) (stl_bvector）_runtime error…
阅读更多...
Threejs API——获得场景中的所有对象

Threejs API——获得场景中的所有对象

文章目录 获取的对象加载模型1. 网格模型 Mesh2. 基本对象容器 Group3. 基类 Object3D获取的对象 加载模型 //加载gltf模型loadgltf() {let loader = new
阅读更多...
VUE3+elementPlus 之 Form表单校验器 之 字符长度校验

VUE3+elementPlus 之 Form表单校验器 之 字符长度校验

需求：校验字符长度，超过后仍可输入，error提示录入字符数与限制字符数 校验字符长度： /*** 检验文字输入区的长度* param {*} rule 输入框的rule 对象，field：字段名称* param {*} value …
阅读更多...
Python爬虫：XPath基本语法

Python爬虫：XPath基本语法

XPath（XML Path Language）是一种用于在XML文档中定位元素的语言。它使用路径表达式来选择节点或节点集，类似于文件系统中的路径表达式。 不啰嗦，讲究使用，直接上案例。 导入 pip3 install lxmlfrom lxml import etr…
阅读更多...
如何有效避免市场恐慌性抛售？

如何有效避免市场恐慌性抛售？

布雷特斯坦伯格是一位备受尊敬的交易心理导师，曾担任华尔街多家顶级培训机构的心理导师，指导交易员们如何应对心理挑战。作为一名心理学教授和资深交易员，他对交易心理的理解远超常人。人们普遍认为，要想在交易领域取得成功&#…
阅读更多...
年底特殊时期外贸装柜多花点心思

年底特殊时期外贸装柜多花点心思

如果可以，尽量不要在工厂快要放假的时候安排装柜了，一个是人手不够，一个是容易漏货，还有就是柜子不好定。 看到有人说自己客户收到货的时候比预期晚了两个星期，一直延误，已经比原来要计划开业的时间推迟&a…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023