Iceberg从入门到精通系列之二十三：Spark查询

news2024/11/18 1:40:05

Iceberg从入门到精通系列之二十三：Spark查询

  • 一、使用 SQL 查询
  • 二、使用 DataFrame 进行查询
  • 三、Time travel
  • 四.Incremental read
  • 五、检查表
  • 六、History
  • 七、元数据日志条目
  • 八、Snapshots
  • 九、Files
  • 十、Manifests
  • 十一、Partitions
  • 十二、所有元数据表
  • 十三、参考
  • 十四、使用元数据表进行时间旅行

要在 Spark 中使用 Iceberg，请首先配置 Spark 目录。 Iceberg 使用 Apache Spark 的 DataSourceV2 API 来实现数据源和目录。

一、使用 SQL 查询

在 Spark 3 中，表使用包含目录名称的标识符。

SELECT * FROM prod.db.table; -- catalog: prod, namespace: db, table: table

元数据表（例如历史记录和快照）可以使用 Iceberg 表名称作为命名空间。

例如，要从文件元数据表中读取 prod.db.table：

SELECT * FROM prod.db.table.files;

在这里插入图片描述

二、使用 DataFrame 进行查询

使用DataFrame进行查询

val df = spark.table("prod.db.table")

使用 DataFrameReader 的目录

路径和表名可以使用 Spark 的 DataFrameReader 接口加载。如何加载表取决于如何指定标识符。当使用spark.read.format(“iceberg”).load(table)或spark.table(table)时，表变量可以采用多种形式，如下所示：

  • file:///path/to/table：在给定路径加载 HadoopTable
  • tablename：加载currentCatalog.currentNamespace.tablename
  • Catalog.tablename：从指定目录加载表名。
  • namespace.tablename：从当前目录加载namespace.tablename
  • Catalog.namespace.tablename：从指定目录加载namespace.tablename。
  • namespace1.namespace2.tablename：从当前目录加载namespace1.namespace2.tablename

上面的列表是按优先顺序排列的。例如：匹配的目录将优先于任何名称空间解析。

三、Time travel

1.SQL
Spark 3.3 及更高版本支持使用 TIMESTAMP AS OF 或 VERSION AS OF 子句在 SQL 查询中进行时间旅行。 VERSION AS OF 子句可以包含长快照 ID 或字符串分支或标记名称。

注意：如果分支或标签的名称与快照 ID 相同，则选择进行时间旅行的快照是具有给定快照 ID 的快照。例如，考虑这样的情况：有一个名为“1”的标签，它引用 ID 为 2 的快照。如果版本旅行子句是 VERSION AS OF“1”，则将对 ID 为 1 的快照进行时间旅行。如果如果不需要，请使用明确定义的前缀（例如“snapshot-1”）重命名标记或分支。

-- time travel to October 26, 1986 at 01:21:00
SELECT * FROM prod.db.table TIMESTAMP AS OF '1986-10-26 01:21:00';

-- time travel to snapshot with id 10963874102873L
SELECT * FROM prod.db.table VERSION AS OF 10963874102873;

-- time travel to the head snapshot of audit-branch
SELECT * FROM prod.db.table VERSION AS OF 'audit-branch';

-- time travel to the snapshot referenced by the tag historical-snapshot
SELECT * FROM prod.db.table VERSION AS OF 'historical-snapshot';

此外，还支持 FOR SYSTEM_TIME AS OF 和 FOR SYSTEM_VERSION AS OF 子句：

SELECT * FROM prod.db.table FOR SYSTEM_TIME AS OF '1986-10-26 01:21:00';
SELECT * FROM prod.db.table FOR SYSTEM_VERSION AS OF 10963874102873;
SELECT * FROM prod.db.table FOR SYSTEM_VERSION AS OF 'audit-branch';
SELECT * FROM prod.db.table FOR SYSTEM_VERSION AS OF 'historical-snapshot';

时间戳也可以作为 Unix 时间戳提供，以秒为单位：

-- timestamp in seconds
SELECT * FROM prod.db.table TIMESTAMP AS OF 499162860;
SELECT * FROM prod.db.table FOR SYSTEM_TIME AS OF 499162860;

2.DataFrame

要在 DataFrame API 中选择特定表快照或某个时间的快照，Iceberg 支持四种 Spark 读取选项：

  • snapshot-id 选择特定的表快照
  • as-of-timestamp 选择时间戳处的当前快照（以毫秒为单位）
  • 分支选择指定分支的头快照。请注意，当前分支不能与 as-of 时间戳组合。
  • tag 选择与指定标签关联的快照。标签不能与当前时间戳组合。
// time travel to October 26, 1986 at 01:21:00
spark.read
    .option("as-of-timestamp", "499162860000")
    .format("iceberg")
    .load("path/to/table")

// time travel to snapshot with ID 10963874102873L
spark.read
    .option("snapshot-id", 10963874102873L)
    .format("iceberg")
    .load("path/to/table")

// time travel to tag historical-snapshot
spark.read
    .option(SparkReadOptions.TAG, "historical-snapshot")
    .format("iceberg")
    .load("path/to/table")

// time travel to the head snapshot of audit-branch
spark.read
    .option(SparkReadOptions.BRANCH, "audit-branch")
    .format("iceberg")
    .load("path/to/table")

Spark 3.0及更早版本不支持在DataFrameReader命令中使用带表的选项。所有选项都将被默默忽略。尝试时间旅行或使用其他选项时请勿使用表格。请参阅 SPARK-32592。

四.Incremental read

要增量读取附加数据，请使用：

  • start-snapshot-id 增量扫描中使用的启动快照 ID（独占）。
  • end-snapshot-id 增量扫描（含）中使用的结束快照 ID。这是可选的。省略它将默认为当前快照。
// get the data added after start-snapshot-id (10963874102873L) until end-snapshot-id (63874143573109L)
spark.read()
  .format("iceberg")
  .option("start-snapshot-id", "10963874102873")
  .option("end-snapshot-id", "63874143573109")
  .load("path/to/table")

目前仅获取追加操作的数据。不支持替换、覆盖、删除操作。增量读取适用于 V1 和 V2 格式版本。 Spark的SQL语法不支持增量读取。

五、检查表

要检查表的历史记录、快照和其他元数据，Iceberg 支持元数据表。

元数据表通过在原表名后添加元数据表名来标识。例如，使用 db.table.history 读取 db.table 的历史记录。

对于 Spark 3（3.2 之前的版本），Spark 会话目录不支持具有多部分标识符的表名称，例如 Catalog.database.table.metadata。作为解决方法，请配置 org.apache.iceberg.spark.SparkCatalog，或使用 Spark DataFrameReader API。

六、History

显示表历史记录：

SELECT * FROM prod.db.table.history;

在这里插入图片描述

七、元数据日志条目

显示表元数据日志条目：

SELECT * from prod.db.table.metadata_log_entries;

在这里插入图片描述

八、Snapshots

显示表的有效快照：

SELECT * FROM prod.db.table.snapshots;

在这里插入图片描述
您还可以将快照加入表历史记录中。例如，此查询将显示表历史记录，以及写入每个快照的应用程序 ID：

select
    h.made_current_at,
    s.operation,
    h.snapshot_id,
    h.is_current_ancestor,
    s.summary['spark.app.id']
from prod.db.table.history h
join prod.db.table.snapshots s
  on h.snapshot_id = s.snapshot_id
order by made_current_at

在这里插入图片描述

九、Files

显示表的当前文件：

SELECT * FROM prod.db.table.files;

在这里插入图片描述
内容是指数据文件存储的内容类型： 0 数据 1 位置删除 2 相等删除

要仅显示数据文件或删除文件，请分别查询 prod.db.table.data_files 和 prod.db.table.delete_files。要显示所有跟踪快照中的所有文件、数据文件和删除文件，请分别查询 prod.db.table.all_files、prod.db.table.all_data_files 和 prod.db.table.all_delete_files。

十、Manifests

要显示表的当前文件清单：

SELECT * FROM prod.db.table.manifests;

在这里插入图片描述

  • 清单表的partition_summaries列中的字段对应于清单列表中的field_summary结构，顺序如下：
    • 包含空值
    • 包含_nan
    • 下界
    • 上限
  • contains_nan 可能返回 null，这表明该信息无法从文件的元数据中获得。当从 V1 表读取时，通常会发生这种情况，其中 contains_nan 未填充。

十一、Partitions

显示表的当前分区：

SELECT * FROM prod.db.table.partitions;

在这里插入图片描述

对于未分区表，分区表将不包含分区和spec_id字段。

分区元数据表显示当前快照中包含数据文件或删除文件的分区。但是，不应用删除文件，因此在某些情况下，即使分区的所有数据行都被删除文件标记为已删除，也可能会显示分区。

十二、所有元数据表

这些表是特定于当前快照的元数据表的并集，并返回所有快照的元数据。

“所有”元数据表可能会为每个数据文件或清单文件生成多于一行，因为元数据文件可能是多个表快照的一部分。

所有数据文件
要显示表的所有数据文件和每个文件的元数据：

SELECT * FROM prod.db.table.all_data_files;

在这里插入图片描述

All Manifests
要显示表的所有清单文件：

SELECT * FROM prod.db.table.all_manifests;

在这里插入图片描述
清单表的partition_summaries列中的字段对应于清单列表中的field_summary结构，顺序如下：

  • 包含空值
  • 包含_nan
  • 下界
  • 上限

contains_nan 可能返回 null，这表明该信息无法从文件的元数据中获得。当从 V1 表读取时，通常会发生这种情况，其中 contains_nan 未填充。

十三、参考

要显示表的已知快照引用：

SELECT * FROM prod.db.table.refs;

在这里插入图片描述
使用 DataFrame 检查
可以使用 DataFrameReader API 加载元数据表：

// named metastore table
spark.read.format("iceberg").load("db.table.files")
// Hadoop path table
spark.read.format("iceberg").load("hdfs://nn:8020/path/to/table#files")

十四、使用元数据表进行时间旅行

要使用时间旅行功能检查表的元数据：

-- get the table's file manifests at timestamp Sep 20, 2021 08:00:00
SELECT * FROM prod.db.table.manifests TIMESTAMP AS OF '2021-09-20 08:00:00';

-- get the table's partitions with snapshot id 10963874102873L
SELECT * FROM prod.db.table.partitions VERSION AS OF 10963874102873;

还可以使用 DataFrameReader API 通过时间旅行来检查元数据表：

// load the table's file metadata at snapshot-id 10963874102873 as DataFrame
spark.read.format("iceberg").option("snapshot-id", 10963874102873L).load("db.table.files")

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1428783.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

flv视频格式批量截取封面图（不占内存版）--其他视频格式也通用

flv视频格式批量截取封面图（不占内存版）--其他视频格式也通用

flv视频格式批量截取封面图（不占内存版）--其他视频格式也通用 需求（实现的效果）功能实现htmlcssjs 需求（实现的效果） 批量显示视频，后端若返回有imgUrl,则直接显示图1， 若无&#xf…
阅读更多...
安卓SurfaceTexture中updateTexImage使用及源码分析

安卓SurfaceTexture中updateTexImage使用及源码分析

文章目录 引言updateTexImage 简单使用SurfaceTexture 初始化相关源码分析Surface 绘制流程源码分析createBufferQueue 源码分析SurfaceTexture 之 updateTexImage 源码分析结尾 本文首发地址 https://h89.cn/archives/140.html 最新更新地址 https://gitee.com/chenjim/chenji…
阅读更多...
2024数模美赛C题F题完整代码结果展示

2024数模美赛C题F题完整代码结果展示

C：Momentum in Tennis 实在精力有限，完整讲解可以移步去看我的讲解视频啦： 美赛C题每一问代码结果讲解及进度说明 F：Reducing lllegal Wildlife Trade 实在精力有限，完整讲解可以移步去看我的讲解视频啦： ​…
阅读更多...
近期CCF系列会议截稿时间

近期CCF系列会议截稿时间

专属领域会议订阅 关注{晓理紫}，每日更新会议信息，如感兴趣，请转发给有需要的同学，谢谢支持 如果你感觉对你有所帮助，请关注我，每日准时为你推送最新会议信息。 CSFW (CCF B) IEEE Computer Security Foun…
阅读更多...
【gcc】webrtc发送侧计算 丢包率

【gcc】webrtc发送侧计算 丢包率

大神的分析 ： 提到： 每当收到cc-feedback或者收到RR-report的时候就能统计出丢包率，在cc-controller中就会调用SendSideBandwidthEstimation::UpdatePacketsLost()去更新丢包率，同时进行码率预估 G:\CDN\rtcCli\m98\src\modules\congestion_controller\goog_cc\send_side_b…
阅读更多...
假期无忧！这个微信自动回复工具助您高效管理与客户互动

假期无忧！这个微信自动回复工具助您高效管理与客户互动

在繁忙的现代生活中，尤其是在假期期间，处理大量微信消息可能会成为一项艰巨的任务。今天就给大家分享一个能够让微信自动回复消息的工具，帮助你解放双手，让你的假期无忧！ 通过微信管理系统，您可以同时登录…
阅读更多...
152基于matlab的GUI滚动轴承特征频率计算

152基于matlab的GUI滚动轴承特征频率计算

基于matlab的GUI滚动轴承特征频率计算，输入轴承参数，包括转速，节圆直径、滚子直径、滚子数、接触角，就可得滚动特征频率结果，程序已调通，可直接运行。 152 matlab 轴承特征频率 GUI (xiaohongshu.com)
阅读更多...
uni-app 经验分享，从入门到离职（三）——关于 uni-app 生命周期快速了解上手

uni-app 经验分享，从入门到离职（三）——关于 uni-app 生命周期快速了解上手

文章目录 📋前言⏬关于专栏 🎯什么是生命周期🧩应用生命周期📌 关于 App.vue/App.uvue 🧩页面生命周期📌关于 onShow 与 onLoad 的区别 🧩组件生命周期 📝最后 📋前言 这…
阅读更多...
C# SSH.NET 长命令及时返回

C# SSH.NET 长命令及时返回

在SSH中执行长时间的命令，SSH.NET及时在文本框中返回连续显示结果。 c# - Execute long time command in SSH.NET and display the results continuously in TextBox - Stack Overflow 博主管理了一个服务器集群，准备上自动巡检工具，测试在…
阅读更多...
clickhouse如何清除多个分区数据 alter table drop partition操作

clickhouse如何清除多个分区数据 alter table drop partition操作

官网drop partition操作 官网链接：https://clickhouse.com/docs/zh/sql-reference/statements/alter/partition#drop-partitionpart 官网上之有清除单个分区的例子，并没有对清除多个分区的场景进行描述，之前清除分区时也是按照官网例子进行…
阅读更多...
python爬虫4

python爬虫4

#1.练习 # （1） 获取网页的源码 # （2） 解析 解析的服务器响应的文件 etree.HTML # (3) 打印 import urllib.request urlhttps://www.baidu.com/ headers {User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit…
阅读更多...
2024年美赛B题潜水器定位和搜救建模代码和完整论文文档

2024年美赛B题潜水器定位和搜救建模代码和完整论文文档

目前已完成2024年美赛B题潜水器定位和搜救的建模代码和论文编写，部分文章内容和代码如下： 摘要 在海洋探险和搜救领域，潜水器的定位和搜救任务具有重要意义。本文旨在开发一系列模型来预测潜水器位置、分析不确定性、确定信息传递策略、建议…
阅读更多...
关于配置系统环境变量 点击确定就显示,此环境变量过大2047

关于配置系统环境变量 点击确定就显示,此环境变量过大2047

使用了网络上的所有办法,均无效 最终解决办法:把系统path环境变量里的变量环境删掉一些之后,成功加入! 原因就是path里面的内容太多了导致的,删掉一些变量就好了！
阅读更多...
3D打印、自动升降超静电机驱动方案TMC2209

3D打印、自动升降超静电机驱动方案TMC2209

TMC2209步进电机驱动芯片介绍 TMC2209是一款用于两相步进电机的超静音电机驱动IC。Trinamic的精密StealthChop波器确保了无噪音运行、最大效率和最佳电机转矩。它的快速电流调节和与SpreadCycle的可选组合允许高度动态运动，同时为无传感器归位添加了StallGuard4。集…
阅读更多...
qt -chart控件设计器可拖拉

qt -chart控件设计器可拖拉

qt -chart控件设计器可拖拉 一、演示效果二、安装过程三、核心程序四、程序链接 一、演示效果 二、安装过程 三、核心程序 #include <QtGui> #include <QColor>#include <cstdlib> #include <cassert> #include <numeric>#include <chartwor…
阅读更多...
FANUC机器人示教器的菜单变成了图标，如何改成列表的形式？

FANUC机器人示教器的菜单变成了图标，如何改成列表的形式？

FANUC机器人示教器的菜单变成了图标&#xff0c;如何改成列表的形式&#xff1f; 如下图所示&#xff0c;开机后按下MENU菜单键时&#xff0c;发现原来的列表形式变成了菜单图标的形式&#xff0c;同时在按F1-F5键时&#xff0c;提示&#xff1a;HMI模式-键不可用&#xff0c; …
阅读更多...
缓存框架jetcache

缓存框架jetcache

在实际应用中&#xff0c;并不是单一的使用本地缓存或者redis&#xff0c;更多是组合使用来满足不同的业务场景。 jetcache组件实现了优雅的组合本地缓存和远程缓存。 支持多种缓存类型&#xff1a;本地缓存、分布式缓存、多级缓存。 官网地址&#xff1a;https://github.com…
阅读更多...
解决Docker打包Eureka注册中心，其他服务无法注册问题

解决Docker打包Eureka注册中心，其他服务无法注册问题

​前言 本文主要是介绍利用docker打包Eureka注册中心&#xff0c;并且发布镜像到服务器&#xff0c;遇到的一个比较坑的问题。主要是服务镜像部署完毕之后&#xff0c;docker容器都能启动&#xff0c;并且也能访问&#xff0c;但是其他服务就是无法注册到注册中心。排除问题&a…
阅读更多...
【Java程序设计】【C00239】基于Springboot的漫画之家管理系统（有论文）

【Java程序设计】【C00239】基于Springboot的漫画之家管理系统（有论文）

基于Springboot的漫画之家管理系统&#xff08;有论文&#xff09; 项目简介项目获取开发环境项目技术运行截图 项目简介 这是一个基于Springboot的漫画之家系统 本系统分为系统功能模块、管理员功能模块以及用户功能模块。 系统功能模块&#xff1a;在系统首页可以查看首页&a…
阅读更多...
云原生业务全流程DevOps配置预研与实践

云原生业务全流程DevOps配置预研与实践

背景 我在一个二线城市&#xff08;山东济南&#xff09;&#xff0c;相对与北上广深杭这些IT业发达的城市来说&#xff0c;济南IT业对于业内新技术的接受度是有点慢的&#xff0c;国内很多一线大厂早先几年前就开始实践使用的技术&#xff0c;我们这边也是近两年才开始慢慢兴…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023