【源码交付】一站式自助数据分析解决方案(JVS-BI):系统架构蓝图

news2024/9/20 17:00:06

1.引言

JVS-BI是一体化、自助式的数据分析平台,它采用的高度集成化的思路,针对企业级用户,提供集中仓库+便捷分析的企业级数据开发套件,解决企业各种需要数据分析的场景,多种数据库、多种业务系统、跨库关联、离线数据分析等等。

2.系统架构概览

1).系统架构:JVS-BI系统的整体架构图如下所示:

整体架构包含四层:

  • 基础框架层:基础框架层采用 JVS 的统一数字化底座,包括基础的用户体系、基础的消息能力、统一认证、微服务框架等基础组件,实现BI 运行的基础环境。
  • 数据接入层:数据接入层 采用 JDBC数据连接模式,实现各种数据库、数据文件的统一接入,屏蔽底层数据来源的异常差异,向上层数据存储、数据加工提供统一的基础服务能力。
  • 数据加工层:采用界面化配置的ELT,实现数据的抽取、数据集中存储、数据的界面化加工、效果预览、任务调度等数据编排的能力,为数据引用提供分析结果。
  • 数据应用层:系统提供图表(可嵌入业务系统中使用的数据可视化)、报表(明细数据统计)、大屏(数据可视化展示)、数据服务(API),实现配置与结果预览与调用。

2).使用流程,如下图所示,由数据准备,数据集加工(抽取+编排)生成标准数据集,然后再配置数据的应用结果

3).架构特点

  • 私有化部署与技术开放性
  • JVS-BI侧重于私有化部署,对数据安全性、敏感性高的客户
  • JVS-BI可提供全源码开放的技术服务,主要向合作伙伴提供技术服务
  • 可视化配置与低技术门槛
  • JVS-BI采用多个配置化引擎,实现“0”代码的配置
  • 数据源配置、数据集配置、大屏配置、报表配置、图表配置、API配置、门户配置
  • 多数据源的集成接入
  • 关系型数据库接入
  • 分析型数据库的接入
  • 离线数据文件(excel)的接入
  • 独立的分布式数仓存储
  • 采用独立数据仓库集中存储分析数据,不影响业务系统
  • 采用doris 分部署数据仓库,支持海量的数据存储与加工
  • 数据加工界面化配置
  • 采用界面化、任务节点流程化 连接配置的方式,无需编写SQL脚本
  • 采用抽取数据+模拟建模的方式,所见即所得,更加形象进行数据加工配置
  • 采用完善的任务调度机制,前置、后置、定时调度等,支持多种数据加工场景
  • 采用自动化的生成数据血缘关系,清晰的展示数据的来源与数据的最终用途
  • 数据引用的界面化配置
  • 图表的界面配置引擎
  • 报表的界面配置引擎
  • 大屏的界面配置引擎
  • API数据服务的配置

3.技术栈说明

  • 前端:Vue3+ElementPlus+Vite+Pinia
  • 后端:Spring_cloud_alibaba、Spring boot、Mybatis plus、Nacos、RabbitMq、Xxl-job、Datax
  • 数据:Doris、Mysql、Redis
  • 运维:K8S+docker

4.核心组件详解

  1. 多数据源:该功能支持接入多种不同类型的数据源,包括但不限于关系型数据库(如MySQL, PostgreSQL等)、NoSQL数据库(如MongoDB)、大数据存储系统(如Hadoop)以及API接口等。用户可以根据需要灵活选择和配置所需的数据源,从而实现在一个平台上集中管理和分析来自不同来源的数据。
  2. ELT数据集:ELT(Extract, Load, Transform)数据集功能允许用户从各种数据源中提取(Extract)数据,将其加载(Load)到数据仓库中,并在加载后进行必要的转换(Transform)的界面配置操作。
  3. 图表配置器:图表配置器提供了一个直观的界面配置引擎,允许用户根据自己的需求选择和配置各种类型的图表(如柱状图、折线图、饼图等)。用户可以关联不同数据来源,自定义图表的数据源、颜色、轴标签、图例等多种属性,以满足不同的数据可视化需求。
  4. 报表配置器:报表配置器使用户能够轻松设计和生成数据报表,支持明细报表、分组报表、交叉报表等
  5. 大屏配置器:大屏配置器专为创建大型数据可视化展示而设计。用户可以通过拖拽和配置各种图表、指标和动态元素,构建出专业且吸引人的数据大屏。这些大屏可以用于实时监控、业务展示或会议演示等多种场景。
  6. API配置:API配置功能允许用户轻松集成和管理外部API服务。用户可以通过配置API请求参数、认证方式等,实现向其他系统提供加工后数据的API
  7. 任务执行监控:对任务执行提供界面化的监控界面。

在线免费使用:http://bi.bctools.cn

gitee地址:https://gitee.com/software-minister/jvs-bi

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1931578.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

新版网页无插件H.265播放器EasyPlayer.js如何测试demo视频?

H5无插件流媒体播放器EasyPlayer属于一款高效、精炼、稳定且免费的流媒体播放器,可支持多种流媒体协议播放,支持H.264与H.265编码格式,性能稳定、播放流畅;支持WebSocket-FLV、HTTP-FLV,HLS(m3u8&#xff0…

【病毒分析】Babyk加密器分析-NAS篇

1.前情提要 继上篇分析了关于Babyk加密器在Windows环境的行为特征,本篇是针对NAS系统的相关分析。 2.总体行为 3.密钥下发(Builder.exe) 这里可以通过VS生成了Builder.exe来实现对其Builder过程进行分析,可以看到主要是对这部分文件的处理…

Excel 学习手册 - 精进版(包括各类复杂函数及其嵌套使用)

作为程序员从未想过要去精进一下 Excel 办公软件的使用方法,以前用到某功能都是直接百度,最近这两天跟着哔哩哔哩上的戴戴戴师兄把 Excel 由里到外学了一遍,收获良多。程序员要想掌握这些内容可以说是手拿把掐,对后续 Excel 的运用…

Elastic 线下 Meetup 将于 2024 年 7 月 27 号在深圳举办

2024 Elastic Meetup 深圳站活动,由 Elastic、腾讯、新智锦绣联合举办,现诚邀广大技术爱好者及开发者参加。 时间地点 2024年 7 月 27 日 13:30-18:00 活动地点 中国深圳 南山区海天二路 33 号腾讯滨海大厦 北塔 3 楼多功能厅 ​ 活动流程 14:00-15…

如何轻松统管虚拟化和容器环境?一文了解 SmartX 虚拟化容器融合基础设施

随着越来越多的企业完成应用容器化改造,应用负载的运行环境也变得越来越复杂——近 60% 的企业正在或计划同时采用虚拟化环境和容器环境运行应用系统*,以满足不同业务在性能和敏捷性等方面的不同需求。不过,虚拟化和容器平台通常由不同的厂商…

基于单片机STC89C52和GSM实现的远程拨号开锁设计(含文档、源码与proteus仿真,以及系统详细介绍)

本篇文章论述的是基于单片机STC89C52和GSM实现的远程拨号开锁设计的详情介绍,如果对您有帮助的话,还请关注一下哦,如果有资源方面的需要可以联系我。 目录 摘要 仿真图 单片机系统流程图 实物图 代码 系统论文 资源下载 摘要 本文介…

汇编教程1

本教程主要教大家如何使用vscode插件编写汇编语言,这样更方便,不用在32位虚拟机中编写汇编语言,后续的汇编实验代码都是使用vscode编写,话不多说,开始教学 安装vscode 如果已经安装过vscode,可以跳过这一…

Spring事务原理、Spring事务传播机制

Spring的EnableTransactionManagement 和Transactional原理 Configuration EnableTransactionManagement public class AppConfig { // 配置类内容 } Service public class MyService { Transactional public void processPayment(Payment payment) { // 这里是业…

聚焦 Navicat 17 新特性 | 数据字典提升数据结构清晰度

随着 Navicat 17 的发布,在业界引起了广泛的共鸣与热议。我们曾深入剖析其众多革新特性,包括模型设计创新与优化、高效的查询与配置、用户界面交互体验再升级,以及它如何原生适配国产 Linux ARM 平台和麒麟操作系统等,这些新特性实…

Maven学习——Maven的下载、安装与配置(详细攻略!)

目录 前言 1.下载与安装 2.配置Maven的环境变量 3.配置Maven的本地仓库 4. 配置Maven的镜像远程仓库 前言 我在之前写了一篇博客,是介绍Maven的基本概念和下载安装,但是由于篇幅过长,Maven的下载与安装写的并不详细🐶&#x…

redis删除策略和淘汰策略

1、redis的删除策略 Redis 是一种内存级数据库,数据都存在内存中,但是针对于已经过期的数据,reids 不 会立刻删除只是会存储在 expires 中,当执行删除策略的时候,才会从 expires 中寻找对应的数据存储的地址&#xff…

React@16.x(60)Redux@4.x(9)- 实现 applyMiddleware

目录 1,applyMiddleware 原理2,实现2.1,applyMiddleware2.1.1,compose 方法2.1.2,applyMiddleware 2.2,修改 createStore 接上篇文章:Redux中间件介绍。 1,applyMiddleware 原理 R…

二、GD32F407VET6使用定时器点灯

零、所需文件及环境: 1、第一章建立好的LED灯闪烁程序 2、编译环境MDK5(KEIL5) 3、一个GD32F407VET6硬件 4、一个下载器j-link 或 st-link等 5.代码编辑器 Notepad (可以不要 用记事本也能编译 都是习惯的问题) 壹、复制LED灯闪烁程序…

Spark的动态资源分配算法

文章目录 前言基于任务需求进行资源请求的整体过程资源申请的生成过程详解资源申请的生成过程的简单例子资源调度算法的代码解析 申请资源以后的处理:Executor的启动或者结束对于新启动的Container的处理对于结束的Container的处理 基于资源分配结果进行任务调度Pen…

【事件排查】网络问题排查H3C无线优化方案

目录 背景 问题一 排查思路 解决方法 问题二 排查思路 解决方法 背景 公司进行搬迁,网络进行了调整 基于上篇文章《H3C Intelligent Management Center无线认证新增设备如何配置》 来做了一些网络配置,公司后续出现以下2个问题: …

【大型实战】企业网络实验(华为核心交换、ESXI7.0vmware虚拟机、DHCP中继、服务端网络及用户端网络配置)

需求 实验 vmware网络配置(企业内部一般为ESXI) 这样服务器虚拟机使用192.168.200.X网段才能与用户侧互通 vmware虚拟机配置(DHCP服务器网络配置) 打开网络管理页面 nmtui重置一下网络连接(重启网卡) …

VUE3实现两张图片滑动对比效果实现

封装组件 <template><div id"bottomImg" class"bottomImg" :style"{ height: imgHeigth, width: imgWidth, backgroundImage: url( props.bottomImg ) }"><span class"imgLabel">{{ props.bottomLabel }}</sp…

Dify v0.6.14源码部署

一.前置条件 1.安装和配置poetry 通过Windows PowerShell安装poetry&#xff1a; (Invoke-WebRequest -Uri https://install.python-poetry.org -UseBasicParsing).Content | python -关于poetry相关配置参考文献[1]。 2.下载dify和启动中间件容器 克隆Dify v0.6.14代码&am…

Ubuntu/Kali简洁高效安装最新版的docker-compose

基于docker已安装的情况下&#xff0c;通过执行一下代码完成docker-compose的安装 sudo curl -L "https://github.com/docker/compose/releases/download/$(curl -s https://api.github.com/repos/docker/compose/releases/latest | grep \"tag_name\": | sed …

Unity不用脚本实现点击按钮让另外一个物体隐藏

1.首先在场景中创建一个按钮和一个其他随便什么东西 2.点击按钮中的这个加号 3.然后将刚刚你创建的物体拖到这里来 4.然后依次点击下面这些给按钮绑定事件 5.运行游戏并点击按钮&#xff0c;就会发现拖进来的物体消失了 总结&#xff1a;如果按钮的功能单一&#xff0c;可以使用…