JVS智能BI的ETL数据集实践:数据自动化分析的秘诀

news2024/11/29 2:51:15

数据集是JVS-智能BI中承载数据、使用数据、管理数据的基础,同样也是构建数据分析的基础。可以通俗地将其理解为数据库中的普通的表,它来源于智能的ETL数据加工工具,可以将数据集进行分析图表、统计报表、数字大屏、数据服务等制作。

数据集管理与界面介绍

在整体的数仓架构中,数据集是在线加工的标准数据形态,数据集配置的过程就似对数据进行加工、清晰、关联、建模的过程,建模完成后,可通过手动数据执行或者周期性的数据执行,形成标准的数据集(通用),如下图所示

实现从业务数据抽取到数据统计分析库中,在界面上完成数据加工的过程。

数据集的创建

选中对应要添加数据集的目录,点击“+”新增目录菜单、数据集,这里直接选择数据集时,需要选择新建在哪个目录下,如下图所示,当然也可以直接在目录菜单上点击“+”按钮,直接创建数据集

系统进入新增数据集的界面,需要填写数据集基本的信息,对数据集进行设计

数据集的状态管理

数据集的状态是用于控制在数据应用中的可见性,状态为启用时数据集为可用状态。

在启用状态下,数据设计不可修改,通过点击禁用/启用按钮修改状态

数据集信息预览

数据信息预览包括数据加工的过程输出的结果等等,如下图所示:

数据集的设计

点击数据集设计按钮(在禁用的状态下,数据集才能进入设计状态)

进入到数据集的设计界面,其中包括基本信息配置、界面化的数据设计、周期性执行设置等具体对数据集的配置管理

设计器界面介绍

  • 基本信息页

  • 数据设计页

左上角可以设置数据集名称,左侧是系统提供的多种数据处理节点,主界面为数据配置画布,左侧的数据处理节点可以拖拽至画布,点击节点,下侧弹出对应的节点配置界面,后续章节将详细介绍设计器的具体操作使用方式

①:输入输出的基础算子,用户数据引入数据加工流程和完成后输出标准的数据结果

②:各种数据加工算子(后续章节将详细介绍)

③:数据加工流程配置的画布,支持拖拽式的算子链接配置

④:算子,点击画布中的算子时,系统将展示算子的配置与预览结果(建模结果)的界面

⑤:建模状态标志,绿色标志表示本节点完成模型构建,红色警示标志表示本环节还未完成建模,需要触发自动建模

⑥:在点击算子后会弹出本界面,界面上包括配置与预览建模结果数据

  • 执行设置界面

本界面是提供对本数据集完成建模后,周期性或者定时触发完成数据分析结果的构建,如下图所示:

①:点击执行设置页面

②:开启定时开关后,系统按照后续的配置可以实现定制周期性的配置

③:录入负责人信息

④:录入负责人邮箱信息

⑤:设置定时任务开始时间

⑥:可以设置自定义的corn表达式

⑦:可以快速的设置周期性执行的方式,包括按照小时、天...... 等多种方式周期化执行

  • 血缘视图

血缘视图用于本数据集的上下游数据关联引用具体情况,如下图所示

  • 执行日志

执行日志会记录本数据集执行的历史记录,执行具体的情况,如下图所示

点击详细日志时,系统会把当时执行的具体过程都展示出来

  • 权限配置

主要用于对本数据集所涉及的人员进行授权配置,如下图所示,具体的配置介绍查看相关章节

在线demo:http://bi.bctools.cn

gitee地址:https://gitee.com/software-minister/jvs-bi

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1455869.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

C++中对变量进行初始化的3种方法

1.用"":copy initialization,这种初始化形式是从C继承的。此种方式(拷贝初始化)的初始化在现代C中已不再受欢迎,因为对于某些复杂类型来说,此种方式初始化的效率低于其它形式的初始化。 每当隐式拷贝或转换值时&a…

【c语言】c语言转义字符详解

🎈个人主页:豌豆射手^ 🎉欢迎 👍点赞✍评论⭐收藏 🤗收录专栏:c语言 🤝希望本文对您有所裨益,如有不足之处,欢迎在评论区提出指正,让我们共同学习、交流进步&…

如何将OpenAI Sora生成的普通AI视频转化为Vision Pro的空间视频,沉浸式体验

【基于AI的Vision Pro空间视频】工作流:这个工作流程用于将2D视频转换为适用于 Vision Pro的Spatial视频: 1、使用Deep3D将2D视频转换为3D SBS: 使用Deep3D工具将2D视频转换为3D SBS格式: 转换例子:Prediction– lucataco/deep3d – Replicatehttps://replicate.com/…

文件上传之大文件分块上传之断点续传操作

断点续传概念: 断点续传是一种网络的传输机制,用于在文件传输过程中出现中断或错误时,能够恢复传输而不必重新开始,它解决了网络不稳定连续中断或大文件传输时时间过长等问题。提高了文件传输时可靠和效率性。 断点续传需求&…

浅谈js事件机制

事件是什么?事件模型? 原始事件模型(DOM0级) HTML代码中指定属性值:在js代码中指定属性值:优点:缺点: IE 事件模型DOM2事件模型 对事件循环的理解 宏任务(Macrotasks&…

【Linux】软件包管理器 yum | vim编辑器

前言: 软件包管理器 yum和vim编辑器讲解 文章目录 软件包管理器 yum编辑器-vim四种模式普通模式批量化注释和批量化去注释末行模式临时文件 软件包管理器 yum yum(Yellowdog Updater, Modified)是一个在基于 RPM(管理软件包的格式和工具集合&…

电影《社交网络》带来的深层次的思考

《社交网络》是由大卫芬奇执导,杰西艾森伯格、安德鲁加菲尔德、贾斯汀汀布莱克等主演的剧情片,于2010年10月8日在美国上映。该片讲述了马克扎克伯格和埃德华多萨瓦林两人如何建立和发展Facebook的故事。 学习关键点: 创业精神:电…

C++opencv图像算数操作-加减乘除

quick_opencv.h #include<opencv2\opencv.hpp> using namespace cv; class QuickDemo{public:void operators_demo(Mat &image);//图像算数操作 };QuickDemo.cpp #include<quick_opencv.h>//图像算数操作 void QuickDemo::operators_demo(Mat &image) {M…

八、计算机视觉-边界填充

文章目录 前言一、原理二、具体的实现 前言 在Python中使用OpenCV进行边界填充&#xff08;也称为zero padding&#xff09;是一种常见的图像处理操作&#xff0c;通常用于在图像周围添加额外的像素以便进行卷积或其他操作。下面是使用OpenCV进行边界填充的基本原理和方法 一…

解决elementUI固定列后,下方多了一条横线的问题

最近遇到一个bug,如下图,el-table的操作列使用fixed属性固定后,下方多了一条横线: 我们将样式设置高优先,以覆盖内联样式,如下是less里使用穿透样式解决的办法: <style lang="less" scoped> /deep/ .el-table__fixed-right {height: 100

vulvhub-----Hacker-KID靶机

打靶详细教程 1.网段探测2.端口服务扫描3.目录扫描4.收集信息burp suite抓包 5.dig命令6.XXE漏洞读取.bashrc文件 7.SSTI漏洞8.提权1.查看python是否具备这个能力2.使用python执行exp.py脚本&#xff0c;如果提权成功&#xff0c;靶机则会开放5600端口 1.网段探测 ┌──(root…

用户中心 -- 快捷键使用

一、后端&#xff0c;软件 idea 1.1 代码如何写出 网址&#xff1a;用户管理 --汇总 -- 明细-CSDN博客 1.2 一键调整代码格式的快捷键 网址&#xff1a; 用户管理第2节课 -- idea 2023.2 创建表--【本人】-CSDN博客

OpenCV DNN 活体检测项目环境配置等各阶段tips

date: 2020-09-22 14:53 资料来源《OpenCV深度学习应用与性能优化实践》第八章。 在复现这个项目的时候发现一些可以调整的小tips。 环境配置阶段 使用conda 创建python 工作环境时&#xff0c;注释掉requirems.txt 里的opencv-python-inference-engine4.1.2.1&#xff0c;安…

php美女写真视频管理源码 PHPCMS视频写真管理系统源码

国内首家CMS视频写真管理系统&#xff01; 三大模块&#xff0c;视频模块&#xff0c;图片模块&#xff0c;资讯模块。 全方面解决了多元素运营方案。采用CI框架核心开发&#xff0c;体积小、运行快&#xff0c;强大缓存处理。 视频采用了云转码服务将不同的视频来源、不同的…

强化学习(TD3)

TD3——Twin Delayed Deep Deterministic policy gradient 双延迟深度确定性策略梯度 TD3是DDPG的一个优化版本&#xff0c;旨在解决DDPG算法的高估问题 优化点&#xff1a; ①双重收集&#xff1a;采取两套critic收集&#xff0c;计算两者中较小的值&#xff0c;从而克制收…

KMS密钥管理有哪些安全功能

KMS(Key Management Service)密钥管理服务是一种专门用于管理和保护加密密钥的系统。在现代的信息安全领域中&#xff0c;密钥的重要性不言而喻&#xff0c;它是确保数据加密、解密以及身份验证等安全操作的核心要素。KMS的出现&#xff0c;极大地提高了密钥管理的效率和安全性…

跨境云手机如何简化tiktok运营流程

如今&#xff0c;tiktok已经成为世界范围内都非常流行的社交媒体平台。然而在大多数情况下&#xff0c;由于网络原因&#xff0c;tiktok无法在国内使用&#xff0c;但依然有越来越多的人注册tiktok号码、建立tiktok矩阵。原因是tiktok仍然有大量的流量可供商业使用&#xff0c;…

CSP-201812-1-小明上学

CSP-201812-1-小明上学 解题思路 #include <iostream> using namespace std; int main() {int red, yellow, green, n, timeSum 0;cin >> red >> yellow >> green;cin >> n;for (int i 0; i < n; i){int flag, time;cin >> flag &g…

Spark---环境搭建---入门概念

目录 环境搭建 测试 Apache Spark是用于大规模数据处理的统一分析引擎&#xff1b; spark 仅仅替代了hadoop的mapraduce&#xff1b; spark比hadoop快一百倍&#xff1b; 环境搭建 1&#xff1a;解压&#xff1b; 2&#xff1a;配置spark环境变量&#xff1a; vim /etc/pro…

WouoUI-PageVersion 一个用于快速构建具有丝滑OLED_UI动画的项目

WouoUI-PageVersion 写在前面 简介&致谢 Air001的TestUI例子的b站的演示视频 Air001的LittleClock例子的b站演示视频: https://www.bilibili.com/video/BV1J6421g7H1/ Stm32的TestUI例子的b站演示视频: https://www.bilibili.com/video/BV1mS421P7CZ/ 所有演示的工程文…