阿里云-数据仓库-全链路大数据开发治理平台-DataWorks的数字世界

news2025/1/21 16:42:38

一、前言

上文我讲到 阿里云-数据仓库-数据分析开发神器-ODPS ,今天我带领大家一起走进神器的成长环境及它的数据世界。

二、 DataWorks是什么

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎,为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。
它是数据工场,集成提供对ODPS数据进行加工处理,主要提供了:数据集成、数据开发、数据管理、数据治理、数据分享等功能。

三、产品架构

通过智能数据建模、全域数据集成、高效数据生产、主动数据治理、全面数据安全、数据分析服务六大全链路数据治理的能力,帮助企业治理内部不断上涨的“数据悬河”,释放企业的数据生产力。
image.png

3.1 、智能数据建模

智能数据建模 是 依托阿里巴巴十多年来数仓建模方法论的最佳实践凝聚形成 ,里面包含数仓规划、数据标准、维度建模及数据指标四大模块,可以帮助企业在搭建数据中台、数据集市建设过程中提升建模及逆向建模的能力,并通过数据建模快速构建企业数据资产。

在这里插入图片描述
DataWorks智能建模 引入后带来的好处:
1、海量数据的标准化管理;
2、业务数据互联互通,打破信息壁垒;
可以打破 公司内部各业务、各部门之间信息孤岛,快速地了解公司各类数据情况,动态及时的数据为 企业决策层 做业务决策提供数据参考。
3、数据统一标准化整合,统一灵活对接;
4、 在最大程度上用好企业各类数据,使企业数据价值最大化,为企业提供更高效的数据服务。

3.2 全域数据集成

DataWorks数据集成提供稳定高效、弹性伸缩的数据同步平台,实现数据自由离线或实时流动,致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。
1、丰富的异构数据源
支持关系型数据库、文件存储、大数据存储、消息队列等50种数据源
不限制链路,读写插件都支持
2、离线、实时同步全场景覆盖
全增量一体化实时同步,全量增量数据自动合并
支持分库分表离线实时同步
3、齐备的网络解决方案
提供所有网络场景下的同步解决方案
支持跨产品、跨账号、跨云、数据同步

在这里插
入图片描述

3.3、 高效数据开发

DataWorks数据开发(DataStudio)与运维中心面向各引擎(MaxCompute/Hologres/EMR/CDP等)提供可视化开发的主界面,赋予用户智能代码开发、多引擎混编工作流、规范化任务发布的强大能力,让用户轻松构建离线数仓、实时数仓与即席分析系统,保证数据生产的高效与稳定。

1、DataStudio支持MaxCompute、EMR、CDH、Hologres、AnalyticDB、Clickhouse等多种计算引擎,支持在统一的平台上进行各类引擎任务的开发、测试、发布和运维等操作。
2、DataStudio支持智能编辑器、可视化依赖编排,调度能力经过阿里集团内调度任务、复杂业务依赖的反复验证。
3、DataStudio提供隔离的开发和生产环境,结合版本管理、代码评审、冒烟测试、发布管控、操作审计等配套功能,帮助企业规范地完成数据开发。
4、运维中心支持数据时效性保障、任务诊断、影响分析、自动运维、移动运维等功能。在这里插入图片描述

3.4 、 主动数据治理

DataWorks数据治理包含数据治理中心、数据质量、数据地图等多个产品,覆盖事前、事中、事后的数据生命周期,通过数据治理健康分、质量规则、数据大血缘等能力,将书面的数据治理规范落地成平台化的产品能力,让数据治理不再一个 “阶段性项目”,而是一个“可持续的运营项目”。
在这里插入图片描述

3.5 、快速分析服务

DataWorks数据分析与服务旨在为企业提供全面的数据分析与服务共享能力。
数据分析基于“人人都是数据分析师”的产品目标,旨在为更多非专业数据开发人员,如数据分析、产品、运营等工作人员提供更加简洁高效的取数、用数工具,提升大家日常取数分析效率。

1、简单快速的数据分析
支持MaxCompute、Hologres、EMR等多种数据源自助SQL查询,支持电子表格直接进行快速预览,数据的上传与下载。
2、零代码快速构建API数据服务
支持通过可视化的向导模式生成API,也支持通过SQL脚本模式编写复杂查询逻辑生成API
3、高效的服务编排
提供拖拽式的工作流编排能力,以串、并行和分支等结构编排多个API及函数服务为工作流,创建复杂API
在这里插入图片描述

四、DataWorks开发模式及其它功能区说明

DataWorks 目前提供简单模式标准模式二种。
二种 工作空间模式中 简单模式可以升级标准模式,但标准模式无法升级简单模式,具体原因 阅读完下面内容大家自会明白。

简单模式
简单模式不区分开发与生产环境,开发的代码可以直接进入运维中心上线调度自动运行。
在这里插入图片描述
标准模式
标准模式工作空间,可隔离开发环境与生产环境,
采用二套计算引擎(项目、实例或数据库)隔离分开,开发的代码任务需要先提交至开发环境,再执行发布操作,将任务发布至生产环境,才可以自动调度运行任务。

在这里插入图片描述

新建调度资源

一般进行简单的数据分析只需要默认的调度资源就满足业务需求(目前的模式就是按量付费)
需要进行特殊操作或引用第三方组件、程序时 数据集成、数据操作时会用到自定义资源。
在这里插入图片描述

新增数据源

DataWorks空间:选择项目 -> 选择数据集成 -> 同步资源管理 -> 数据源
在这里插入图片描述

批量数据上云入库

DataWorks空间:-> 选择数据集成 -> 同步资源管理 -> 数据源 -> 整库数据迁移

也可针对指定表进行同步:
1111-1.png

可视化的开发界面

image.png
支持通过拖拉拽的方式构建任务流程,在统一的界面进行数据开发和调度配置。
该界面为数据分析日常开发最重要界面。

运维中心

运维中心支持数据时效性保障、任务诊断、影响分析、自动运维、移动运维等功能。
1111-2.png

数据地图

DataWorks空间:单击左上角的图标,选择全部产品 > 数据地图。
默认进入数据地图首页,我们可以在该页面输入关键字搜索需要的表,并可以查看近期浏览和近期读取的表,以及基于您的访问记录推荐的热门浏览和热门读取。

在这里插入图片描述
我们可以根据项目找到自己需要的表,单击全部数据。
在左侧项目下拉框中选择相应的项目,即可查看该项目下的表和EMR表。也可以对相应的表进行收藏、申请权限、查看血缘和查看SQL等操作。

如果查看工作空间的整体情况,请单击数据总览。
如果需要修改拥有的表等,请单击我的数据。
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/105709.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

大数据-压缩与打包

一、gzip命令 1、选项参数 参数作用-c(compress)将压缩的数据输出到标准输出(stdout)上-d(decompress)解压缩-t(test)可以用来检验一个压缩文件的一致性,看看文件有无错…

艾美捷甘油比色测定试剂盒-简单,敏感,高效

艾美捷甘油比色测定试剂盒,利用双酶联反应系统来检测血清和血浆中的甘油的含量.最后用酶标仪在540nm处测吸光度值即可. 甘油是甘油三酯的骨架,是参与氧化和合成过程的能量代谢的重要中间体。甘油和游离脂肪酸循环水平的测量被认为反映了脂肪分解&#xf…

快应用的优势与劣势对比

2018年,“快应用”标准正式推出。快应用是九大手机厂商基于硬件平台共同推出的新型应用生态。用户无需下载安装,即点即用,享受原生应用的性能体验。 快应用框架深度集成进各厂商手机系统中,可以在操作系统层面实现用户需求与应用…

艾美捷甘油比色测定试剂盒基本参数和相关文献说明

背景: 哺乳动物中,甘油三脂主要储存在脂肪组织中,作为主要的能量储存仓库.当禁食阶段,存储在肝脏和脂肪组织中的甘油三酯被脂肪酶分解形成脂肪酸和甘油. 艾美捷甘油比色测定试剂盒基本参数: 中文名称:甘油…

dpdk中的librte_malloc库

dpdk中的librte_malloc库提供了能够分配任意大小内存的API。 该库的目标是提供类似malloc的函数从hugepage中分配内存,以及帮助应用程序移植。 通常情况下,这种类型的分配不应该在数据平面处理,因为其比基于内存池的分配更慢, …

网站被反诈中心DNS劫持解决教程

如果你的网站部分地区用户访问反馈访问不了,测试域名DNS被劫持到了127.0.0.1 或 0.0.0.0 可能是域名被墙了,或则被反诈中心拦截了,如果遇到该问题,需要检测单单被运营商拦截还是也有被反诈中心拦截。 排查过程: 可以把问题域名通过…

H5 雪碧图 移动的机器猫

精灵图(英语:Sprite),又被称为雪碧图或拼合图。在计算机图形学中,当一张二维图像 集成进场景中,成为整个显示图像的一部分时,这张图就称为精灵图。 本文中用的就是这张,来自爱给网。…

Python:Flask简介与实践

文章目录简介一、简单使用二、调试模式三、路由四、路径变量五、构造URL六、HTTP方法七、静态文件八、模板生成九、日志输出十、处理请求1. Request 对象十一、文件上传十二、Cookies十三、重定向和错误十四、响应处理十五、Sessions十六、模板简介1. 模板标签2. 继承3. 控制流…

超高精度PID控制器的特殊功能(2)——远程操作软件及其安装使用

摘要:远程控制软件是高级PID调节器随机配备的一种计算机软件,可在计算机上远程进行调节器的所有操作,并还具有过程曲线显示和存储功能。本文主要针对VPC 2021系列超高精度PID控制器,介绍了随机配备的控制软件的安装和一些最基本的…

2022-12-21 Buildroot创建自己的软件包,把一个c应用编译到系统里面去运行

一、Buildroot 编译完成后&#xff0c;会在 /buildroot/output/xxxx/host/ 目录下&#xff0c;生成交叉编译工具&#xff0c;我们可以用来编译目标程序。 1、比如我现在要编译下面的c文件 #include <stdio.h> #include <stdlib.h> int main(int argc,char *argv[…

分布式是大数据处理的万能药?

前言&#xff1a;分布式是大数据处理的万能药&#xff1f;今天叶秋学长跟大家一起探讨这个问题~ 使用分布式集群来处理大数据是当前的主流&#xff0c;将一个大任务拆分成多个子任务分布到多个节点进行处理通常能获得显著的性能提升。因此&#xff0c;只要发现处理能力不足就可…

人数超员识别系统 yolov5

人数超员识别系统基于计算机视觉分析技术yolov5网络架构对现场画面实时分析&#xff0c;如监测到区域超员时&#xff0c;立刻抓拍存档并告警提示。YOLOv5是一种单阶段目标检测算法&#xff0c;该算法在YOLOv4的基础上添加了一些新的改进思路&#xff0c;使其速度与精度都得到了…

Java日志技术是什么

文章目录日志技术日志技术介绍日志技术体系日志技术 日志技术介绍 想清楚的知道一个系统运行的过程和详情就需要日志记录 日志介绍: 生活中的日志&#xff1a; 生活中的日志就好比日记&#xff0c;可以记录你生活的点点滴滴。 程序中的日志&#xff1a; 程序中的日志可以用来记…

04---springboot实现增删改查

1、配置文件 application.yml server:port: 8081 spring:mvc:path match:matching-strategy: ant_path_matcherdatasource:driver-class-name: com.mysql.cj.jdbc.Driverusername: rootpassword: 123456url: jdbc:mysql://localhost:3306/management?useUnicodetrue&use…

C++ STL 之关联容器 map 详解

文章目录Part.I AttentionChap.I 注意事项Chap.II 操作技巧Part.II FuncitonPart.III CodeChap.I mapChap.II unordered_mapChap.III multimapPart.I Attention C 中 map 提供的是一种键值对容器&#xff0c;里面的数据都是成对出现的&#xff0c;每一对中的第一个值称之为关键…

博苑股份冲刺创业板上市:上半年净利润约1亿元,李成林为董事长

近日&#xff0c;山东博苑医药化学股份有限公司&#xff08;下称“博苑股份”或“博苑医药”&#xff09;在深圳证券交易所创业板更新招股书。据贝多财经了解&#xff0c;博苑股份于2022年6月17日递交招股书&#xff0c;准备在创业板上市。 本次冲刺创业板上市&#xff0c;博苑…

服务的消费方式和服务熔断

目录 1. 服务消费方式 1.1 RestTemplate 1.2 feign 2. 服务熔断&#xff08;降级&#xff09; 2.1 在微服务架构中服务熔断的必要性 健康的微服务集群&#xff1a; ​编辑 出现故障&#xff1a; ​编辑 系统雪崩&#xff1a; ​编辑 2.2 hystrix 2.3 hystrix的使用…

[Linux]多线程的同步和互斥(线程安全 | 互斥锁 | 死锁 | 条件变量)

文章目录Linux线程互斥进程线程间的互斥相关背景概念互斥量mutex互斥量的接口初始化互斥量销毁互斥量互斥量的加锁和解锁互斥量实现原理可重入vs线程安全常见线程不安全情况常见线程安全的情况常见不可重入的情况常见可重入的情况可重入与线程安全的联系可重入与线程安全的区别…

你易忽略的三极管电路问题1:下拉电阻

如下这个三极管共射极驱动电路中&#xff0c;B、E极之间的下拉电阻的作用&#xff1f;是否可以将其去除&#xff1f;该电阻有两个重要的作用&#xff1a;在驱动信号关闭时给三极管基极一个固定的电平。当驱动信号&#xff08;SIGNAL&#xff09;关闭时&#xff0c;若没有下拉电…

搭建Python环境(~保姆级别服务~)

文章目录前言一、搭建 Python 环境安装Python1. 找到官方网站2. 找到下载页面3. 双击安装包4. 运行 hello world安装PyCharm1. 找到官方网站2. 找到下载页面3. 双击安装包4. 运行 hello world创建一个项目选择项目所在的位置, 并选择使用的 Python 解释器.创建文件4. 编写代码5…