AnalyticDB for PostgreSQL 实时数据仓库上手指南

news2024/11/15 21:26:23

AnalyticDB for PostgreSQL 实时数据仓库上手指南

2019-04-016601

版权

本文涉及的产品

云原生数据仓库 ADB PostgreSQL,4核16G 50GB 1个月

推荐场景:

构建的企业专属Chatbot

立即试用

简介: AnalyticDB for PostgreSQL 提供企业级数据仓库云服务,基于开源Greenplum构建,采用MPP架构,支持1000+节点PB级数据的实时分析。

云数据库AnalyticDB for PostgreSQL是一种在线MPP大规模并行处理数据仓库服务,基于Greenplum 开源数据库项目,由阿里云深度扩展。其简单易用、海量扩展、兼容部分Oracle 语法生态、支持PL/SQL,标准事务隔离级别,支持行存储和列存储、即满足高性能在线交互分析需要,也可以进行离线数据处理清晰,主要特点有:

adbpg

主要场景

scen

1.实时数仓场景
通过数据传输服务 DTS 、数据集成工具DataX、开源同步工具 rds_dbsync 、 Kettle 等,同步交易库数据 到 ADBPG,构建实时数仓。
MySQL/PG ->DTS/DataX->ADBPG

2.大数据计算分析
批量同步MaxCompute/Hadoop/Spark/SLS 数据到ADB for PG,支撑在线交互分析
大数据平台/日志->DataX/OSS -> ADBPG

3.数据湖分析场景
数据按冷热分析,支持在线查询OSS分布式云存储上的格式化数据

架构介绍:

arch

开通实例:
如何在AnalyticDBPostgreSQL版控制台上创建实例_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心

客户端:
客户端如何连接云原生数据仓库AnalyticDBPostgreSQL版_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心

产品文档:
ADB for PG 产品文档:快速掌握AnalyticDBPostgreSQL实例的创建,连接,开发和运维_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心

常用操作
实例规格选型指导:如何选择云原生数据仓库AnalyticDBPostgreSQL版实例规格_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心
表规划和设计指导:如何创建和约束数据库中的表_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心
性能调优指导:不同操作场景下使用AnalyticDBPostgreSQL的性能优化指导_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心
建表语法:VMware Greenplum Documentation
列存压缩(压缩比3到10倍):如何使用AnalyticDBforPostgreSQL列存和压缩功能_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心
分区键选择:AnalyticDBPostgreSQL版如何选择表分布策略_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心
表分区(支持数字和日期类型上的多级分区):
如何定义分区表_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心
VMware Greenplum Documentation

数据写入方式总结:
数据可以采用 INSERT/COPY/OSS外表/Client SDK 写入实例:AnalyticDBPostgreSQL版支持哪些数据写入方式_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心

数据导入与同步:
数据同步和迁移方法总结:数据迁移及同步方案综述_云原生数据仓库 AnalyticDB PostgreSQL版-阿里云帮助中心
数据传输 DTS 准实时同步 RDS MySQL 数据到 ADB for PG:如何将数据从RDSMySQL版同步至AnalyticDBPostgreSQL版_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心
数据集成DataX 按小时/天同步数据到 ADB for PG:如何通过DataWorks完成表级数据迁移_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心
ADB for PG OSS 外部表文档:如何使用OSS外表高速导入数据至AnalyticDBPostgreSQL_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心

ETL作业调度:
通过Dataworks 进行ADB for PG作业调度:使用 Dataworks 实现 AnalyticDB PostgreSQL版上的 ETL 作业调度-阿里云开发者社区

PostGIS 进行地理信息分析
使用PostGIS进行时空分析及典型使用场景_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心

社区文档:
ADB for PG 社区官方手册:VMware Greenplum Documentation
MADlib SQL机器学习库:Apache MADlib

最佳实践:
数据倾斜的监测和实践:https://github.com/digoal/blog/blob/master/201708/20170821_02.md
负载管理(资源队列管理):https://github.com/digoal/blog/blob/master/201708/20170821_01.md

社群:
AnalyticDB for PG 在线技术支持钉钉群,包括 在线技术专家支持,新特性发布,优惠活动发布。【强烈推荐!】

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1246709.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

常用数据存储格式介绍:Excel、CSV、JSON、XML

在现代数字时代,数据经过提炼后可以推动创新、简化运营并支持决策流程。然而,在提取数据之后,并将其加载到数据库或数据仓库之前,需要将数据转化为可用的数据存储格式。本文将介绍开发者常用的4种数据存储格式,包括 Ex…

关于鸿蒙网络请求的问题

https://developer.huawei.com/consumer/cn/forum/topic/0204136145853212268?fid0102683795438680754 鸿蒙OS 代码 import http from ohos.net.http;export const httpUtils (url: string, data: any) > {return new Promise((resolve, reject) > {let httpRequest …

Re53:读论文 How Can We Know What Language Models Know?

诸神缄默不语-个人CSDN博文目录 诸神缄默不语的论文阅读笔记和分类 论文名称:How Can We Know What Language Models Know? ArXiv网址:https://arxiv.org/abs/1911.12543 官方GitHub项目(prompt之类的都有):https:…

问卷调查平台选择指南:哪个好用与如何选择的实用指南

问卷调查由于其成本低、数据可量化的特点,常被用于工作和学习中。网络的发展使得问卷调查的形式也越累越多样化,不少人在做问卷调查的时候可能都会提出这样一个问题——问卷调查平台哪个好用?怎么选择? 选择问卷调查平台&#xf…

【开源】基于JAVA的衣物搭配系统

项目编号: S 016 ,文末获取源码。 \color{red}{项目编号:S016,文末获取源码。} 项目编号:S016,文末获取源码。 目录 一、摘要1.1 项目介绍1.2 项目录屏 二、研究内容2.1 衣物档案模块2.2 衣物搭配模块2.3 衣…

IIS 基线安全加固操作

目录 账号管理、认证授权 ELK-IIS-01-01-01 ELK-IIS-01-01-02 ELK-IIS-01-01-03 ELK-IIS-01-01-04 日志配置 ELK-IIS-02-01-01 ELK-IIS-02-01-02 ​​​​​​​ ELK-IIS-02-01-03 通信协议 ELK-IIS-03-01-01 设备其他安全要求 ELK-IIS-04-01-01 ​​​​​​​ ELK-I…

App Inventor 2 数字转文本

App Inventor 2 是弱语言类型,文本和数字之间不用刻意去转换,之间赋值就可以了。 案例:数字转文本 App Inventor 2 是弱语言类型,同理数字也能直接赋值给文本变量: 更多请参考:App Inventor 2 文本代码块…

表格视图,支持数据直接编辑丨三叠云

表格视图 路径 表单设置 >> 视图设置 功能简介 新增用户可以直接表格视图中直接点击编辑数据。管理员开启「列表编辑」后,用户无需再点击进入数据详情,可直接在列表中编辑数据,节约用户修改数据的时间。 使用场景: 通…

Win10系统Steam错误代码118的解决教程

在Win10系统中,用户可以打开Steam平台搜索喜欢的游戏,点击开始畅玩。但是,有用户反映自己在Steam平台上操作的时候,收到了错误代码118的提示,导致自己没有办法正常进行操作。接下来小编给大家详细介绍关于解决Win10系统…

详解Rust编程中的生命周期

1.摘要 生命周期在Rust编程中是一个重要概念, 它能确保引用像预期的那样一直有效。在Rust语言中, 每一个引用都有其生命周期, 通俗讲就是每个引用在程序执行的过程中都有其自身的作用域, 一旦离开其作用域, 其生命周期也宣告结束, 值不再有效。幸运的是, 在绝大多数时间里, 生…

Dockerfile-CentOS7.9+Python3.11.2

本文为CentOS7.9下安装Python3.11.2环境的Dockerfile # CentOS with Python3.11.2 # Author xxmail.com# build a new image with basic centos FROM centos:centos7.9.2009 # who is the author MAINTAINER xxmail.comRUN ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/…

Stable Video Diffusion(SVD)安装和测试

Stable Video Diffusion(SVD)安装和测试 官网 github | https://github.com/Stability-AI/generative-modelsHugging Face | https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xtPaper | https://stability.ai/research/stable-vid…

可以ping通IP但是无法远程连接-‘telnet‘ 不是内部或外部命令,也不是可运行的程序或批处理文件

起因 一开始远程连接IP,报错,怀疑是自己网络原因,但是同事依旧无法连接 怀疑是自己防火墙的原因,查看关闭依旧无法连接 问题 两个地址可以ping通排除防火墙缘故 怀疑端口,测试端口 然 解决方案 winR 输入control…

关于数据库,JetBrains 最新的开发者报告里说了些什么

最近 JetBrains 也发布了一年一度的开发者生态报告。 这次是从全球 196 个国家的 35000 问卷中,选取了 26348 份(工程师就是严谨,有零有整)。 相比于领域内的另两大报告,Google 的 DORA 和 Stack Overflow Developer…

Vue基础入门(二):Vue3的创建与分析

Vue3的创建 ​ vue3 是基于 es6 的一些新特性的支持而从 vue2 升级上来的版本&#xff0c;但是 vue3 是兼容 vue2 的。 一、Vue的使用 1.1 通过CDN使用Vue ​ 你可以借助 script 标签直接通过 CDN 来使用 Vue&#xff1a; <script src"https://unpkg.com/vue3/dist…

详解Java中的异常体系机构(throw,throws,try catch,finally)

目录 一.异常的概念 二.异常的体系结构 三.异常的处理 异常处理思路 LBYL&#xff1a;Look Before You Leap EAFP: Its Easier to Ask Forgiveness than Permission 异常抛出throw 异常的捕获 提醒声明throws try-catch捕获处理 finally的作用 四.自定义异常类 一.异…

关于 Google AMP 和 SEO

Google 于 2015 年首次推出 AMP&#xff0c;即加速移动页面。借助开源 AMP 框架&#xff0c;网页设计师可以制作快速加载的移动网页。该框架的创建是为了应对使用移动设备访问互联网的个人数量的增加。从那时起&#xff0c;谷歌一直在推动使用 AMP 来增强移动设备上的 SEO 和用…

视频服务网关的三大部署(二)

视频网关是软硬一体的一款产品&#xff0c;可提供多协议&#xff08;RTSP/ONVIF/GB28181/海康ISUP/EHOME/大华、海康SDK等&#xff09;的设备视频接入、采集、处理、存储和分发等服务&#xff0c; 配合视频网关云管理平台&#xff0c;可广泛应用于安防监控、智能检测、智慧园区…

2016年10月4日 Go生态洞察:HTTP追踪介绍

&#x1f337;&#x1f341; 博主猫头虎&#xff08;&#x1f405;&#x1f43e;&#xff09;带您 Go to New World✨&#x1f341; &#x1f984; 博客首页——&#x1f405;&#x1f43e;猫头虎的博客&#x1f390; &#x1f433; 《面试题大全专栏》 &#x1f995; 文章图文…

精益生产中的周转箱优势:提升效率与质量的得力利器

在当今竞争激烈的制造业中&#xff0c;企业追求高效生产和卓越质量是至关重要的。精益生产理念提供了一套有效的工具和方法&#xff0c;其中周转箱作为一个关键的组成部分&#xff0c;在优化生产流程、提高效率和质量方面发挥着重要作用。下面谈谈精益生产中的周转箱优势&#…