Presto从入门到精通以及案例实操系列

news2024/11/26 8:22:44

1、简介

1.1、Presto的由来

Presto最初由Facebook公司开发，旨在解决Facebook内部大规模数据处理和数据分析的问题。在传统的Hadoop生态圈中，MapReduce作为数据处理框架，虽然能够处理海量数据，但是其查询性能却比较低下，尤其是对于需要进行交互式查询（如数据探索、数据挖掘等）的应用场景，更是不够灵活。

为了解决这一问题，Facebook团队在2012年开始开发Presto，其目标是建立一个高性能、可扩展、支持SQL查询语言的跨平台数据处理引擎，以适应Facebook内部不断增长的数据规模和业务需求。在Presto出现之前，Facebook使用Hive来处理数据，但随着数据量和查询复杂度的增加，Hive的查询性能已经不能满足需求，因此Facebook决定开发Presto替代Hive。

Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。

1.2、Presto的特点

Presto是一个高性能、可扩展、支持多数据源的分布式SQL查询引擎，其作用主要有以下几个方面：

  • 查询大规模数据集：Presto可以查询PB级别的数据，并且可以对数据进行分布式处理。因此，Presto非常适用于需要查询大规模数据集的场景，比如数据分析、数据仓库等。

  • 提供高性能查询：Presto利用内存计算技术，将计算结果放在内存中进行实时查询，相比于Hadoop MapReduce的磁盘IO，其性能更快，可以实现秒级响应。因此，Presto非常适用于对查询性能要求较高的场景，比如数据探索、数据挖掘等。

  • 支持多数据源查询：Presto提供了对多种数据源的支持，包括传统的关系型数据库和同类系统，还有一些NoSQL数据库和分布式存储系统。因此，Presto非常适用于需要对多种数据源进行查询和集成分析的场景。

  • 易用性：Presto提供了一个CLI（Command-Line Interface）工具和Web界面，使用户可以轻松地提交查询语句、查看执行状态和结果。因此，Presto非常适用于需要方便易用的数据处理场景。

1.3、Presto的架构

Presto 集群中一共有两种服务器进程: Coordinator服务进程，Worker服务进程。

  • Coordinator进程： 接受查询请求，解析查询语句，生成查询执行计划，任务调度，Worker管理。
  • Worker进程： 执行被分解后端而查询执行任务–>Task

在这里插入图片描述

执行流程如下图所示：

  • Connector Presto访问不同数据源的驱动程序。每种Connector都实现Presto中标准SPI接口。当年需要使用某种Connector访问特定的数据源时，需要在$PRESTO_HOME/etc/catalog中配置文件：example.properties,并在配置文件中设置一个属性：connector.name,Presto中Connector Manager就是通过该配置属性来决定使用哪一个Connector去访问数据。
  • Catalog 对应某一类数据源，例如hive的数据，或mysql的数据。当你访问Catalog中某个表时，该表的全名总是以Catalog的名字开始。例如 名字为example.schema1.table1的表，指的是表table1位于名schema1下的schema中，而schema1又位于example的Catalog中。
  • Schema 对应mysql中的数据库
  • Table 对应mysql中的表

在这里插入图片描述
Presto查询步骤

  1. 客户端通过Http协议发送一个查询语句给Presto集群的Coordinator
  2. Coordinator接到客户端传递过来的查询语句，会对该查询语句进行解析，生成查询执行计划，Coordinator会根据数据本地行生成对应的HttpRemoteTask。
  3. Coordiantor将每一个Task都分发到其所需要处理的数据所在的Worker上进行执行。这个过程是通过HttpRemoteTask中的HttpClient将创建或者更新Task请求发送给数据所在节点上TaskResource所提供的RestFul接口，TaskResource接收到请求之后最终会在对应的Worker上启动一个SqlTaskExecution对象或者更新对应的SqlTaskExecution对象需要处理的Split。
  4. 执行处于上游的Source Stage中的Task,这些Task通过各种Connector从相应的数据源中读取所需要的数据。
  5. 处于下游的会读取上游Stage产生的输出结果，并在该Stage每隔Task所在Worker的内存中进行后续的计算和处理。
  6. Coordinator从分发的Task之后，就会一直持续不断的从Single Stage中的Task获取计算结果，并将计算结果缓存到Buffer中，直到所有的计算结束。
  7. Client从提交查询语句之后，就会不断地从Coordinator中获取本次查询的计算结果，直到获得了所有的计算记过。并不是等到所有的查询结果都产生完毕之后一次全部显示出来，而是每产生一部分，就会显示一部分，直到所有的查询结果都显示完毕。

1.4、Presto的优缺点

在这里插入图片描述

1.4.1、优点

  • Presto是基于内存运算，减少没必要的硬盘IO，所以更快。
  • 能够连接多个数据源，跨数据源连表查，如从Hive查询大量网站访问记录，然后从Mysql中匹配出设备信息。

1.4.2、缺点

  • 虽然能够处理PB级别的海量数据分析，但不是代表Presto把PB级别都放在内存中计算的。而是根据场景，如count，avg等聚合运算，是边读数据边计算，再清内存，再读数据再计算，这种耗的内存并不高。但是连表查，就可能产生大量的临时数据，因此速度会变慢，反而hive此时会更擅长。

  • 为了达到实时查询，可能会想到用它直连MySql来操作查询，这效率并不会提升，瓶颈依然在MySql，此时还引入网络瓶颈，所以会比原本直接操作数据库要慢。

  • 虽然Presto可以解析SQL，但它不是一个标准的数据库。不是MySQL、PostgreSQL或者Oracle的代替品，也不能用来处理在线事务（OLTP）。

2、Presto的安装

2.1、Presto Server安装

  1. 官网地址

  2. 下载地址

https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.196/presto-server-0.196.tar.gz
  1. 将presto-server-0.196.tar.gz导入hadoop102的/opt/software目录下，并解压到/opt/model目录
[song@hadoop102 software]$ tar -zxvf presto-server-0.196.tar.gz -C /opt/model/
  1. 修改名称为presto
[song@hadoop102 model]$ mv presto-server-0.196/ presto
  1. 进入到/opt/model/presto目录，并创建存储数据文件夹
[song@hadoop102 presto]$ mkdir data
  1. 进入到/opt/model/presto目录，并创建存储配置文件文件夹
[song@hadoop102 presto]$ mkdir etc
  1. 配置在/opt/model/presto/etc目录下添加jvm.config配置文件
[song@hadoop102 etc]$ vim jvm.config

添加如下内容

-server
-Xmx16G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:+ExitOnOutOfMemoryError
  1. Presto可以支持多个数据源，在Presto里面被叫做catalog，这里我们配置支持Hive的数据源，配置一个Hive的catalog
[song@hadoop102 etc]$ mkdir catalog
[song@hadoop102 catalog]$ vim hive.properties

添加如下内容

connector.name=hive-hadoop2
hive.metastore.uri=thrift://hadoop102:9083
  1. 将hadoop102上的presto分发到hadoop103、hadoop104
[song@hadoop102 module]$ xsync presto
  1. 分发之后，分别进入hadoop102、hadoop103、hadoop104三台主机的/opt/model/presto/etc的路径。配置node属性，node id每个节点都不一样。
[song@hadoop102 etc]$vim node.properties
node.environment=production
node.id=ffffffff-ffff-ffff-ffff-ffffffffffff
node.data-dir=/opt/module/presto/data

[song@hadoop103 etc]$vim node.properties
node.environment=production
node.id=ffffffff-ffff-ffff-ffff-fffffffffffe
node.data-dir=/opt/module/presto/data

[song@hadoop104 etc]$vim node.properties
node.environment=production
node.id=ffffffff-ffff-ffff-ffff-fffffffffffd
node.data-dir=/opt/module/presto/data

  1. Presto是由一个coordinator节点和多个worker节点组成。在hadoop102上配置成coordinator，在hadoop103、hadoop104上配置为worker。

    • hadoop102上配置coordinator节点
    [song@hadoop102 etc]$ vim config.properties

    添加内容如下

    coordinator=true
node-scheduler.include-coordinator=false
http-server.http.port=8881
query.max-memory=50GB
discovery-server.enabled=true
discovery.uri=http://hadoop102:8881
    • hadoop103、hadoop104上配置worker节点
    [song@hadoop103 etc]$ vim config.properties

    添加内容如下

    coordinator=false
http-server.http.port=8881
query.max-memory=50GB
discovery.uri=http://hadoop102:8881

    [song@hadoop104 etc]$ vim config.properties

    添加内容如下

    coordinator=false
http-server.http.port=8881
query.max-memory=50GB
discovery.uri=http://hadoop102:8881

  2. 在hadoop102的/opt/model/hive目录下，启动Hive Metastore，用song角色

[song@hadoop102 hive]$
nohup bin/hive --service metastore >/dev/null 2>&1 &
  1. 分别在hadoop102、hadoop103、hadoop104上启动Presto Server
  • 前台启动Presto，控制台显示日志
[song@hadoop102 presto]$ bin/launcher run
[song@hadoop103 presto]$ bin/launcher run
[song@hadoop104 presto]$ bin/launcher run
  • 后台启动Presto
[song@hadoop102 presto]$ bin/launcher start
[song@hadoop103 presto]$ bin/launcher start
[song@hadoop104 presto]$ bin/launcher start
  1. 日志查看路径/opt/model/presto/data/var/log

2.2、Presto命令行Client安装

  1. 下载Presto的客户端
https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.196/presto-cli-0.196-executable.jar
  1. 将presto-cli-0.196-executable.jar上传到hadoop102的/opt/model/presto文件夹下
  2. 修改文件名称
[song@hadoop102 presto]$ mv presto-cli-0.196-executable.jar  prestocli
  1. 增加执行权限
[song@hadoop102 presto]$ chmod +x prestocli
  1. 启动prestocli
[song@hadoop102 presto]$ ./prestocli --server hadoop102:8881 --catalog hive --schema default
  1. Presto命令行操作
    Presto的命令行操作，相当于Hive命令行操作。每个表必须要加上schema。例如：select * from schema.table limit 100

2.3、Presto可视化Client安装

  1. 将yanagishima-18.0.zip上传到hadoop102的/opt/model目录
  2. 解压缩yanagishima
[song@hadoop102 module]$ unzip yanagishima-18.0.zip
[song@hadoop102 module]$ cd yanagishima-18.0
  1. 进入到/opt/model/yanagishima-18.0/conf文件夹，编写yanagishima.properties配置
[song@hadoop102 conf]$ vim yanagishima.properties

添加如下内容

jetty.port=7080
presto.datasources=atguigu-presto
presto.coordinator.server.atguigu-presto=http://hadoop102:8881
catalog.atguigu-presto=hive
schema.atguigu-presto=default
sql.query.engines=presto
  1. 在/opt/model/yanagishima-18.0路径下启动yanagishima
[song@hadoop102 yanagishima-18.0]$ nohup bin/yanagishima-start.sh >y.log 2>&1 &

  1. 启动web页面http://hadoop102:7080

  2. 查看表结构

在这里插入图片描述
这里有个Tree View，可以查看所有表的结构，包括Schema、表、字段等。

比如执行select * from hive.dw_weather.tmp_news_click limit 10，这个句子里Hive这个词可以删掉，是上面配置的Catalog

在这里插入图片描述
每个表后面都有个复制键，点一下会复制完整的表名，然后再上面框里面输入sql语句，ctrl+enter键执行显示结果

在这里插入图片描述

3、Presto的优化

3.1、Presto优化之数据存储

3.1.1、合理设置分区

与Hive类似，Presto会根据元数据信息读取分区数据，合理的分区能减少Presto数据读取量，提升查询性能。

3.1.2、使用列式存储

Presto对ORC文件读取做了特定优化，因此在Hive中创建Presto使用的表时，建议采用ORC格式存储。相对于Parquet，Presto对ORC支持更好。

3.1.3、使用压缩

数据压缩可以减少节点间数据传输对IO带宽压力，对于即席查询需要快速解压，建议采用Snappy压缩。

3.2、Presto优化之查询SQL

3.2.1、只选择使用的字段

由于采用列式存储，选择需要的字段可加快字段的读取、减少数据量。避免采用*读取所有字段。
[GOOD]: SELECT time, user, host FROM tbl

[BAD]: SELECT * FROM tbl

3.2.2、过滤条件最好加上分区字段

对于有分区的表，where语句中优先使用分区字段进行过滤。acct_day是分区字段，visit_time是具体访问时间。

[GOOD]: SELECT time, user, host FROM tbl where acct_day=20171101

[BAD]:  SELECT * FROM tbl where visit_time=20171101

3.2.3、Group By语句优化

合理安排Group by语句中字段顺序对性能有一定提升。将Group By语句中字段按照每个字段distinct数据多少进行降序排列。

[GOOD]: SELECT GROUP BY uid, gender

[BAD]:  SELECT GROUP BY gender, uid

3.2.4、Order by时最好使用Limit

Order by需要扫描数据到单个worker节点进行排序，导致单个worker需要大量内存。如果是查询Top N或者Bottom N，使用limit可减少排序计算和内存压力。

[GOOD]: SELECT * FROM tbl ORDER BY time LIMIT 100

[BAD]:  SELECT * FROM tbl ORDER BY time

3.2.5、使用Join语句时将大表放在左边

Presto中join的默认算法是broadcast join，即将join左边的表分割到多个worker，然后将join右边的表数据整个复制一份发送到每个worker进行计算。如果右边的表数据量太大，则可能会报内存溢出错误。

[GOOD] SELECT ... FROM large_table l join small_table s on l.id = s.id

[BAD] SELECT ... FROM small_table s join large_table l on l.id = s.id

3.3、注意事项

3.3.1、字段名引用

避免和关键字冲突：MySQL对字段加反引号、Presto对字段加双引号分割
当然，如果字段名称不是关键字，可以不加这个双引号。

3.3.2、时间函数

对于Timestamp，需要进行比较的时候，需要添加Timestamp关键字，而MySQL中对Timestamp可以直接进行比较。

/*MySQL的写法*/
SELECT t FROM a WHERE t > '2017-01-01 00:00:00'; 

/*Presto中的写法*/
SELECT t FROM a WHERE t > timestamp '2017-01-01 00:00:00';

3.3.3、不支持INSERT OVERWRITE语法

Presto中不支持insert overwrite语法，只能先delete，然后insert into。

3.3.4、PARQUET格式

Presto目前支持Parquet格式，支持查询，但不支持insert。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/585866.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

《面试1v1》CountDownLatch和CyclicBarrier

《面试1v1》CountDownLatch和CyclicBarrier

我是 javapub，一名 Markdown 程序员从👨‍💻，八股文种子选手。 面试官： 你用过 CountDownLatch 和 CyclicBarrier 吗？ 候选人： 当然可以。CountDownLatch 和 CyclicBarrier 都是 Java 中用于多…
阅读更多...
通过 docker-compose 快速部署 MySQL保姆级教程

通过 docker-compose 快速部署 MySQL保姆级教程

文章目录 一、概述二、前期准备1）部署 docker2）部署 docker-compose 三、创建网络四、MySQL 编排部署1）构建镜像 Dockerfile2）配置文件2）编排 docker-compose.yaml3）开始部署 五、简单测试验证六、常用的 M…
阅读更多...
在线排查内存泄漏的步骤

在线排查内存泄漏的步骤

一、在线排查内存泄漏的步骤 想到内存泄漏问题的排查，很多开发会想到使用 Valgrind。使用 Valgrind 有几个局限： 需要安装 Valgrind 需要启停服务进程 影响服务进程性能 依赖于测试用例覆盖到 BUG 分支 由于这些原因，线上内存泄露问题并…
阅读更多...
位图、布隆过滤器、海量数据处理

位图、布隆过滤器、海量数据处理

提示： 本文介绍了，位图、布隆过滤器、以及海量数据处理问题。 本节有很多关于大数处理的案例（已解答）。 ——细雨斜风作晓寒，淡烟疏柳媚晴滩。（苏轼） 文章目录 一、位图1.1 位图概念1.2 位图实…
阅读更多...
深度学习12—VGG19实现

深度学习12—VGG19实现

目录 VGG19实现 1.为数据打标签的generate_txt.py 2.对图像进行预处理的data_process.py 3.VGG19的网络构建代码net_VGG19.py 4.训练得到pth模型参数文件的get_pth_file.py 5.预测代码predict.py 6.预测VGG16与VGG19结果对比 VGG19实现 1.为数据打标签的generate_txt.p…
阅读更多...
【git教程】

【git教程】

这里写目录标题 git是什么集中式版本控制系统和分布式版本控制系统git的优势git能做什么(常用)基础教程流程图介绍小节 常用Git命令速查表详解1、HEAD2、add3、commit4、branch5、merge6、rebasemerge和rebase区别7、reset8、revertrevert与reset的区别 git是什么 git是目前世…
阅读更多...
【Java算法题】剑指offer_数据结构之02树

【Java算法题】剑指offer_数据结构之02树

前言 刷题链接： https://www.nowcoder.com/exam/oj/ta?page2&tpId13&type265 2. 树 JZ55 二叉树的深度 思路：dep max_deepth(left,right)1，二叉树的深度为根节点到叶子节点，使用递归访问根节点的左孩子和右孩子&…
阅读更多...
想要让数据更生动？试试这5种图表工具

想要让数据更生动？试试这5种图表工具

在当今大数据时代，数据的利用和分析在各个领域的工作中起着重要的作用。因此，数据可视化图形工具已经成为数据分析的好帮手。事实上，数据可视化的本质是视觉对话。它通过图形手段清晰直观地表达信息，从数据中获得价值。然而&#…
阅读更多...
Netty实战（九）

Netty实战（九）

单元测试 一、什么是单元测试二、EmbeddedChannel 概述三、 使用 EmbeddedChannel 测试 ChannelHandler3.1 测试入站消息3.2 测试出站消息 一、什么是单元测试 单元测试的基本思想是：以尽可能小的区块测试代码，并且尽可能地和其他的代码模块以及运行时的…
阅读更多...
Java: IO流

Java: IO流

1.定义 IO流:存储和读取数据的解决方案 用于读写文件中的数据（可以读写文件，或网络中的数据...) 2.IO流的分类 1.按着流的方向 1.输入流：读取 2.输出流：写出 2.按照操作文件类型 1.字节流：所有类型文件 体系&…
阅读更多...
Redis：缓存击穿、缓存穿透与缓存雪崩的区别、解决方案

Redis：缓存击穿、缓存穿透与缓存雪崩的区别、解决方案

0、前言 近期学习redis相关原理，记录一下开发过程中Redis的一些常见问题及应对方法。 1、缓存穿透 一句话总结：先查redis发现没数据，再去数据库查发现还是没数据。 这种情况下缓存永远不会生效，数据库将承担巨大压力。 我们知道&…
阅读更多...
前端食堂技术周刊第 84 期：第 96 届 TC39 会议、Deno 五周年、JavaScript 安全最佳实践、2023 Node.js 性能现状

前端食堂技术周刊第 84 期：第 96 届 TC39 会议、Deno 五周年、JavaScript 安全最佳实践、2023 Node.js 性能现状

By Midjournery 美味值：🌟🌟🌟🌟🌟 口味：葡萄冰萃美式 食堂技术周刊仓库地址：https://github.com/Geekhyt/weekly 本期摘要 第 96 届 TC39 会议Deno 五周年JavaScript 安全最佳…
阅读更多...
FreeRTOS：信号量

FreeRTOS：信号量

目录 一、信号量是什么二、二值信号量2.1二值信号量简介2.2创建二值信号量2.2.1函数 vSemaphoreCreateBinary()2.2.2函数xSemaphoreCreateBinary()2.2.3 函数 xSemephroeCreateBinaryStatic()2.2.4二值信号量创建过程分析 2.3释放信号量2.3.1函数 xSemaphoreGive ()2.3.2函数 x…
阅读更多...
【MySQL学习6：多行输入函数——聚合函数及SQL书写和执行规则】

【MySQL学习6：多行输入函数——聚合函数及SQL书写和执行规则】

之前做的笔记都在有道云，之后会一点点将以前的笔记分享出来~ （配图在笔记中查看） MySQL学习6：多行输入函数——聚合函数及SQL书写和执行规则 SQL书写顺序：SQL99执行顺序：一、常见的聚合函数1. 常见的聚合函…
阅读更多...
算法当中的时间、空间复杂度？

算法当中的时间、空间复杂度？

1.究竟什么是时间复杂度 时间复杂度是一个函数，它定性描述该算法的运行时间 时间复杂度就是用来方便开发者估算出程序运行的答题时间。 通常会估算算法的操作单元数量来代表程序消耗的时间，这里默认CPU的每个单元运行消耗的时间都是相同的。 假设算法的…
阅读更多...
微服务架构之服务监控与追踪

微服务架构之服务监控与追踪

与单体应用相比，在微服务架构下，一次用户调用会因为服务化拆分后，变成多个不同服务之间的相互调用，每个服务可能是由不同的团队开发，使用了不同的编程语言，还有可能部署在不同的机器上，分布在不…
阅读更多...
【MySQL】MySQL间隙锁--幻读解决原理

【MySQL】MySQL间隙锁--幻读解决原理

文章目录 一、间隙锁概念二、测试间隙锁范围加锁三、测试等值间隙锁 一、间隙锁概念 当我们用范围条件而不是相等条件检索数据， 并请求共享或排他锁时，InnoDB 会给符合条件的已有数据记录的索引项加锁；对于键值在条件范围内但并不存在的记录…
阅读更多...
八、视图集ModelViewSet（重点）

八、视图集ModelViewSet（重点）

上一章： 七、Django DRF框架GenericAPIView--搜索&排序&分页&返回值_做测试的喵酱的博客-CSDN博客 下一章： 九、DRF生成API文档_做测试的喵酱的博客-CSDN博客 一、视图集ModelViewSet与ReadOnlyViesSet ModelViewSet视图集 与 ReadOnly…
阅读更多...
第13届蓝桥杯Scratch国赛真题集锦

第13届蓝桥杯Scratch国赛真题集锦

编程题 第 1 题 问答题 LED屏幕 题目说明 编程实现 LED屏幕 具体要求: 1).点击绿旗，在舞台中心区域出现由10 x 10方格组成的LED屏幕; 2).按下空格键，LED屏幕最外环方格全部点亮 (方格变为黄色) 3).LED屏幕每秒向内点亮一层，其它LED灯熄灭; 4).直到LED灯在最中心点亮2秒…
阅读更多...
games101作业5

games101作业5

作业要求 • Renderer.cpp 中的 Render()：这里你需要为每个像素生成一条对应的光 线，然后调用函数 castRay() 来得到颜色，最后将颜色存储在帧缓冲区的相 应像素中。 • Triangle.hpp 中的 rayTriangleIntersect(): v0, v1, v2 是三角形的三个…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023