【presto权威指南】presto介绍

news2024/11/27 18:28:42

需求:如何从众多数据源中快速处理数据

在这里插入图片描述

现实生产架构多源异构,需要一个强有力的工具(抽象)统一数据查询/分析
这也是presto/trino从诞生之初便贴数据湖查询工具 tag的原因,presto生来为此

生产环境的困境
1.数据源众多,没有一个统一的视角来处理/生产数据
2.很多系统查询/计算性能堪忧

presto的能力
1.不同系统联邦查询,众多插件支持多种数据源
2.并行计算,横向扩展集群

presto优势
Presto 是一个开源的分布式 SQL 查询引擎,它是为了高效查询不同系统和各种规模(从 GB 级到 PB 级)的数据源而从头开始设计和编写的一套系统。
在这里插入图片描述

性能和规模
Presto相比于hive能快速查询TB甚至PB级数据。而用户只要写标准SQL即可使用这一能力(OLAP分析)。

​Presto 内存并行处理、跨集群节点管线执行、多线程执行模型(以充分利用所有 CPU 核心)、高效的扁平内存数据结构(以最小化 Java 的垃圾回收)和 Java 字节码生成等技术来提升性能。

Presto本身结构决定他能快速,轻易实现水平扩展。

sql-on-anything
prsto使用原地查询,可以直接查询生产系统中的存储系统,且支持大量数据源。
用户只要使用一套sql即可查询海量存储系统,甚至可以跨存储系统查询。

​对象存储系统包括 Amazon Web Services(AWS)提供的 Simple Storage Service(S3)、Microsoft Azure Blob Storage、Google Cloud Storage 和 S3 兼容的存储系统(如 MinIO 和 Ceph)。Presto 可以查询传统的 RDBMS,如 Microsoft SQL Server、PostgreSQL、MySQL、Oracle、Teradata 和 Amazon Redshift,还可以查询 NoSQL 数据库系统,如 Apache Cassandra、Apache Kafka、MongoDB 和 Elasticsearch。Presto 几乎可以查询任何东西,是一个真正的 SQL-on-Anything 系统。

存算分离
presto不存储数据,只进行计算。使用presto构成的系统可以独立扩展存储的数据存储层和presto计算层。
presto集群支持动态扩缩容。

Presto使用场景

  • 区别于生产系统的快速查询
  • 单一sql语法的访问节点
  • 联邦查询
  • 成为任何上游工具的数据入口

在这里插入图片描述

基础概念
Presto 使你可以使用 SQL 访问外部数据源,如关系数据库、键值存储和对象存储等。理解以下 Presto 概念非常重要。

​connector
使 Presto 适配一个数据源。每一个 catalog 对应于一个特定的连接器。

catalog
定义连接到一个数据源的细节。它包含了 schema 并配置了一个连接器来使用。

schema
组织表的一种方式。catalog 和 schema 一起定义了一个集合的表,这些表可以查询。类似于"库"


表是无序的行的集合。这些行内容被组织成带有数据类型的有名称的列。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1456358.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

CrossOver 24.0 让Mac可以运行Windows程序的工具

CrossOver 24.0最新版重点添加了对 DirectX 12 支持,从而在 Mac 上更好地模拟运行 Windows 游戏,开发者在 CrossOver 23 中可以调用 DirectX 12,在模拟游戏的过程中同时调用所有 GPU 核心,从而实现更优秀的渲染效果。 目前CrossOv…

c++入门学习⑥——友元和运算符重载

目录 简介: 友元: 全局函数做友元 类做友元 成员函数做友元 运算符重载 加号运算符重载 代码示例: 输入输出运算符重载 ⭐cin ⭐cout 代码示例: 分析: 自增运算符重载 代码示例(成员函数实现…

苹果电脑深度清理工具CleanMyMac X2025中文版

苹果电脑用户们,你们是否经常感到你们的Mac变得不再像刚拆封时那样迅速、流畅?可能是时候对你的苹果电脑进行一次深度清理了。在这个时刻,拥有一些高效的深度清理工具就显得尤为重要。今天,我将介绍几款优秀的苹果电脑深度清理工具…

建立流行病预警指数体系并优化传染病模型:对公共卫生突发事件监测数据的分析

应对紧急情况造成的损害的能力是紧急能力现代化的重要象征。 在应对紧急情况时,政府机构和决策者需要更多信息来源,以更有效地估计灾难可能的演变。 这篇论文提出了一个预测COVID-19动态演变的优化模型,该模型将系统动力学的传播算法与预警指…

Windows如何打开投影到此电脑

1.首先点开设置 找到系统 点击投影到此电脑,如果这3行都显示灰色说明没有开启。 2.如何开启投影到此电脑 ①回到设置,点击应用 ②点击可选应用 ③ 安装无线显示器 投影设置可以和我一样

IP地址证书

IP地址证书,顾名思义,是一种用于验证互联网协议(IP)地址所有权的数字证书。它类似于网站的安全套接字层(SSL)证书,但专门用于确认和保障IP地址的所有者身份。这种证书由权威的证书颁发机构&…

【Jvm】性能调优(拓展)Jprofiler如何监控和解决死锁、内存泄露问题

文章目录 Jprofiler简介1.安装及IDEA集成Jprofiler2.如何监控并解决死锁3.如何监控及解决内存泄露(重点)4.总结5.后话 Jprofiler简介 Jprofilers是针对Java开发的性能分析工具(免费试用10天), 可以对Java程序的内存,CPU,线程,GC,锁等进行监控和分析, 1.安装及IDEA集成Jprofil…

proteus8.15图文安装教程

proteus8.15版本可以用STM32系列单片机来进行仿真设计,比7.8版本方便多了,有需要的朋友们可以在公众号后台回复 proteus8.15 获取软件包。 1、下载好软件包,解压如下,右键proteus8.15.sp1以管理员身份运行。 2、第一次安装&#x…

YOLOv6 学习笔记

概况 yolov6 出来的时候 yolov7 已经出了。 YOLOv6设计主要包含以下几个方面: 网络架构设计:对于Backbone和Neck,延续了YOLOv4和YOLOv5的PAN架构思想并使用了重参思想进行了改进;关于Head部分,作者对Decoupled Hea…

【Oracle】玩转Oracle数据库(二):体系结构、存储结构与各类参数

前言 嘿伙计们!准备好了吗?今天我要和你们探讨一个酷炫的话题——Oracle数据库!🎉 在这篇博文【Oracle】玩转Oracle数据库(二):体系结构、存储结构与各类参数,我们要揭开Oracle数据库…

IDEA中创建web项目(配置tomcat,tomcat启动报程序包javax.servlet.http不存在,tomcat控制台乱码问题)

文章目录 一、新建动态web项目1、新建项目2、选择创建动态web项目3、项目命名4、编辑index.jsp 二、配置Tomcat1、新增tomcat服务器配置2、选择服务器类型3、配置服务器参数4、部署项目5、完成配置6、启动运行7、访问web项目 三、tomcat启动报程序包javax.servlet.http不存在四…

基于ESP32+Platformio的物联网RTOS_SDK-CC_Device

本项目基于ESP32以及Platformio平台开发,请自行查阅如何配置这个环境 开源gitee地址:cc_smart_device 如果愿意贡献项目or提出疑问和修改的,请在gitee上提issue 项目里的mqtt服务器是公共的 请大家最好换成私有的 否则容易收到其他用户的错误…

Tomcat版本号泄露

1.问题描述 Tomcat报错页面泄漏Apache Tomcat/7.0.92相关版本号信息,是攻击者攻击的途径之一。因此实际当中建议去掉版本号信息。 2.测试过程 随便访问一个tomcat不存在的界面 http://127.0.0.1:8080/examples/mytest.jsp 3.解决办法 1.进入到tomcat/lib目录下&a…

C# 12 中新增的八大功能你都知道吗?

一、主构造函数 在 Visual Studio 2022 版本 17.6 预览版 2 中引入。 从 C# 12 开始,可以在类和结构中声明主构造函数。主构造函数参数都在类的整个主体的范围内。为了确保显式分配所有主构造函数参数,所有显式声明的构造函数都必须使用 this() 语法调用…

Docker部署开源白板工具Excalidraw并结合内网穿透远程访问

最近,我发现了一个超级强大的人工智能学习网站。它以通俗易懂的方式呈现复杂的概念,而且内容风趣幽默。我觉得它对大家可能会有所帮助,所以我在此分享。点击这里跳转到网站。 文章目录 1. 安装Docker2. 使用Docker拉取Excalidraw镜像3. 创建…

【Web】CTFSHOW java反序列化刷题记录(部分)

目录 web846 web847 web848 web849 web850 web856 web857 web858 web846 直接拿URLDNS链子打就行 import java.io.ByteArrayOutputStream; import java.io.IOException; import java.io.ObjectOutput; import java.io.ObjectOutputStream; import java.lang.reflect.F…

Postgresql 怎么实现在局域网中访问

安装PostgreSQL后,默认情况下只能在本机进行连接访问,如果需要在其他主机上访问PostgreSQL数据库服务器,需要进行配置。 安装连接PostgresSQL数据库可以参考博文:安装连接PostgresSQL数据库教程 一. 整体步骤 主要包括下面几个步…

Unity3D Shader 素描风格渲染管线实现详解

前言 在游戏开发中,渲染效果是非常重要的一部分,它可以直接影响游戏的视觉效果和玩家的体验。而素描风格的渲染效果是一种非常独特和有趣的风格,可以为游戏增添一种艺术氛围。在Unity3D中,可以通过编写Shader来实现素描风格的渲染…

家中R4S软路由iStoreOS配置内网穿透服务实现远程访问公司电脑桌面

文章目录 简介一、配置远程桌面公网地址二、家中使用永久固定地址 访问公司电脑**具体操作方法是:** 简介 软路由是PC的硬件加上路由系统来实现路由器的功能,也可以说是使用软件达成路由功能的路由器。 使用软路由控制局域网内计算机的好处&#xff1a…

Deepin基本环境查看(十一)[补齐碎片之旅(中)-基本附件(输入法、记事本、写字板、计算器、画图、播放器、浏览器、远程桌面)

Deepin基本环境查看(十一)[补齐碎片之旅(中)-基本附件(输入法、记事本、写字板、计算器、画图、播放器、浏览器、远程桌面)] - 相关文章目录1、概述2、基础附件1)输入法2)记事本3&am…