现今的数字化、智能化时代,数据被誉为企业的新型资产,企业面临的数据量日益庞大,如何对这些数据进行高效、准确的管理和应用,直接决定了企业的运营效率和决策水平。
在这样的背景下,仅仅收集数据并不足够,企业还需要掌握先进的数据管理技术,确保数据的准确性、一致性和实时性。而且,数据的应用也至关重要,通过对数据的深入分析,企业能够洞察市场趋势,精准把握客户需求,从而实现业务的创新和优化。
JVS-智能BI作为一套先进的数据分析工具,提供了从数据抽取到数据分析的完整解决方案。其中,数据集作为其核心组件,承载着数据的存储、处理和应用的重任。它如同一座桥梁,连接着原始数据与最终的分析结果,其重要性不言而喻。
数据集管理
数据集,是JVS-智能BI中承载数据、使用数据、管理数据的基础,同样也是构建数据分析的基础。您可以通俗地将其理解为数据库中的普通的表,他来源于智能的ETL数据加工工具,您可以将数据集进行分析图表、统计报表、数字大屏、数据服务等制作。
在整体的数仓架构中,数据集是在线加工的标准数据形态,数据集配置的过程就似对数据进行加工、清晰、关联、建模的过程,建模完成后,可通过手动数据执行或者周期性的数据执行,形成标准的数据集(通用),如下图所示
实现从业务数据抽取到数据统计分析库中,在界面上完成数据加工的过程。
数据集的创建
选中对应要添加数据集的目录,点击“+”新增目录菜单、数据集,这里直接选择数据集时,需要选择新建在哪个目录下,如下图所示,当然也可以直接在目录菜单上点击“+”按钮,直接创建数据集
系统进入新增数据集的界面,需要填写数据集基本的信息,对数据集进行设计
数据集的状态管理
数据集的状态是用于控制在数据应用中的可见性,状态为启用时数据集为可用状态。
在启用状态下,数据设计不可修改,通过点击禁用/启用按钮修改状态
数据集信息预览
数据信息预览包括数据加工的过程输出的结果等等,如下图所示:
数据集的设计
点击数据集设计按钮(在禁用的状态下,数据集才能进入设计状态)
进入到数据集的设计界面,其中包括基本信息配置、界面化的数据设计、周期性执行设置等具体对数据集的配置管理
设计器界面介绍
- 基本信息页,主要包含数据集的
- 数据设计页
左上角可以设置数据集名称,左侧是系统提供的多种数据处理节点,主界面为数据配置画布,左侧的数据处理节点可以拖拽至画布,点击节点,下侧弹出对应的节点配置界面,后续章节将详细介绍设计器的具体操作使用方式
①:输入输出的基础算子,用户数据引入数据加工流程和完成后输出标准的数据结果;
②:各种数据加工算子(后续章节将详细介绍)
③:数据加工流程配置的画布,支持拖拽式的算子链接配置
④:算子,点击画布中的算子时,系统将展示算子的配置与预览结果(建模结果)的界面
⑤:建模状态标志,绿色标志标识本节点完成模型构建,红色警示标志表示本环节还未完成建模,需要触发自动建模
⑥:在点击算子后会弹出本界面,界面上包括配置与预览建模结果数据
- 执行设置界面
本界面是提供对本数据集完成建模后,周期性或者定时触发 完成数据分析结果的构建,如下图所示:
①:点击执行设置页面
②:开启定时开关后,系统按照后续的配置可以实现定制周期性的配置
③:录入负责人信息
④:录入负责人邮箱信息
⑤:设置定时任务开始时间
⑥:可以设置自定义的corn表达式
⑦:可以快速的设置周期性执行的方式,包括按照小时、天...... 等多种方式周期化执行
- 血缘视图
血缘视图用于本数据集的上下游数据关联引用具体情况,如下图所示
- 执行日志
执行日志会记录本数据集执行的历史记录,执行具体的情况,如下图所示
点击详细日志时,系统会把当时执行的具体过程都展示出来
- 权限配置
主要用于对本数据集所涉及的人员进行授权配置,如下图所示,具体的配置介绍查看相关章节。
在线demo:http://bi.bctools.cn
gitee地址:https://gitee.com/software-minister/jvs-bi