aws lakeformation跨账号共享数据的两种方式和相关配置

news2024/9/8 10:39:31

lakeformation授权方式分为

  • 基于tag的授权
  • 基于命名资源的授权

先决条件

跨账号共享数据的先决条件(命名资源和tag授权都需要)

分两种情况

  1. 如果账户中没有glue data catalog资源策略,则LakeFormation跨账户授予将照常进行

  2. 如果存在glue data catalog基于资源策略,则需要glue如下基于资源策略,授权RAM服务共享账号下的所有资源

    {
          "Effect": "Allow",
          "Action": [
          	"glue:ShareResource"
          ],
          "Principal": {
            "Service":"ram.amazonaws.com"
          },
          "Resource": [
              "arn:aws:glue:region:account-id:table/*/*",
              "arn:aws:glue:region:account-id:database/*",
              "arn:aws:glue:region:account-id:catalog"
          ]
    }
    

    如果同时使用tag和命名资源授权,则需要通过命令行附加glue基于资源的策略,注意--enable-hybrid参数

    aws glue put-resource-policy --policy-in-json glue-resource-policy --enable-hybrid TRUE
    

命名资源的授权方式

需要撤销database和tables中授权条目IAMAllowedPrincipals的权限

关闭账号级别的setting设置(需要额外的PutDataLakeSettings权限)

向消费者账户授权,可以选择账号或者组织
在这里插入图片描述

选择指定database的所有表和所有权限,如果出现下面的报错,表明从报错信息来看,是由于 A 账号的 database 的 “Use only IAM access control for new tables in this database” 并未清除。

Error granting catalog permissions to ARNs: 797181602929. Unexpected error has occurred trying to grant permissions. Invalid Grant. Please remove Create Table Default Permissions from the database.

授权所有表之后,授权条目没有database但是能看到是为什么?

可以授予对单个表的权限,也可以通过一次授予操作来授予对数据库中所有表的权限。如果您授予对数据库中所有表的权限,则将隐式授予对数据库的 DESCRIBE 权限。然后,数据库将显示在控制台的数据库页面上

如果在此之前没有关闭setting配置,则会出现授权失败的问题,需要关闭表的setting配置
在这里插入图片描述

Grant permissions failed
Error granting catalog permissions to ARNs: arn:aws-cn:organizations::362115975032:organization/o-vut99korpx. Unexpected error has occurred trying to grant permissions. Invalid Grant. Please remove Create Table Default Permissions from the database.

如果该数据库已经和IAM_ALLOWED_PRINCIPALS关联(没有撤销),则会出现以下报错

Grant permissions failed
Error granting catalog permissions to ARNs: arn:aws-cn:organizations::362115975032:organization/o-vut99korpx. Unexpected error has occurred trying to grant permissions. Invalid Grant. Please revoke permission(s) for IAM_ALLOWED_PRINCIPALS on the database.

如果输出arn或账号后没有回车会出现没有选中principal的问题

Grant permissions failed
No principals selected. Please select a principal to grant permissions to.

授权成功后查看table权限出现消费者账号信息
在这里插入图片描述
在消费者账号的lakeformation控制台可以看到以下提示

Pending Resource Shares Alert
You have 3 pending resource share invitation(s) from Amazon Resource Access Manager (RAM). Open the RAM console  to view these invitations. For more information, see Accepting RAM invitations .

点击跳转接受请求(中国区控制台直接点击会跳转到美东区),手动跳转到Resource Access Manager服务

搜索之前分享的资源

在这里插入图片描述
最终的共享资源类型

在这里插入图片描述

在消费者账户的glue控制台已经能看到table了
在这里插入图片描述
此时已经能够在消费者账户找到表,但是athena查询无法找到database

在消费者账户创建database的资源链接(别名链接)

在这里插入图片描述
在athena中能够找到database,执行查询报错

在这里插入图片描述
忘记在lakeforamtion中注册location,此时尽管消费者账户能够通过lakeformation获取临时凭证,但是找不到s3数据

在这里插入图片描述
注册完毕后查询成功

在这里插入图片描述

注意事项

如果用户不是lakeformation管理员,则

  • 单纯指定账户并不能在具体的user下看到表,仅仅是创建了RAM

  • 因此需要在具体的user授权,才能看到database(此时复用了之前的RAM,不需要再接受了)

向外部账户或组织授予权限时,必须包括可授予的权限选项。只有外部账户中的数据湖管理员才能访问共享资源,直到管理员向外部账户中的其他主体授予对共享资源的权限。

将属于另一个 Amazon 账户的数据目录资源与账户共享后,作为数据湖管理员,可以向账户中的其他主体授予对共享资源的权限。但是,不能向其他 Amazon 账户或组织授予对该资源的权限

基于LF-tag的授权方式

使用 LF-TBAC 用于以下使用案例:

  • 有大量的表和主体,数据湖管理员必须授予访问权限
  • 想根据本体对数据进行分类并根据分类授予权限
  • 数据湖管理员希望以松散耦合的方式动态分配权限

数据湖管理员具有隐式 Lake Formation 权限,可以创建、更新和删除 LF-Tag,将 LF-Tag 分配给资源,以及向主体授予 LF-Tag 权限。

基于标记的访问控制 – 使用此方法可以将一个或多个 LF 标记分配给数据目录数据库、表和列,并将对一个或多个 LF 标记的权限授予主体

LF tag支持跨账号共享

Currently, the LF-TBAC method supports granting cross-account permissions to IAM principals, Amazon Web Services accounts, organizations, and organizational units (OUs).

database和table都有名为LF tag的标签,在这里统一管理
在这里插入图片描述
可以在资源上(database和table)添加LF tag

  • table默认继承database
  • column默认继承table
    在这里插入图片描述
    授权B账号可以操作的LF tag

在这里插入图片描述
在B账号直接查表,正常没有问题,但是表上没有命名方式的授权条目,表示授权是通过LF tag进行的
在这里插入图片描述
很明显,LF tag使用上要比命名标签更加简单

可以通过命令查看tag policy的结果

  • 注意,必须是数据湖管理源才有权限,否则结果为空
$ aws lakeformation list-permissions --resource-type LF_TAG_POLICY

{
    "PrincipalResourcePermissions": [
        {
            "Principal": {
                "DataLakePrincipalIdentifier": "4xxxxxxxx6"
            },
            "Resource": {
                "LFTagPolicy": {
                    "CatalogId": "037xxxxxxx284",
                    "ResourceType": "DATABASE",
                    "Expression": [
                        {
                            "TagKey": "testk",
                            "TagValues": [
                                "testv"
                            ]
                        }
                    ]
                }
            },
            "Permissions": [
                "ALTER",
                "CREATE_TABLE",
                "DESCRIBE"
            ],
            "PermissionsWithGrantOption": [],
            "AdditionalDetails": {
                "ResourceShare": [
                    "arn:aws-cn:ram:cn-north-1:03xxxxxxxxx84:resource-share/f73648ea-5c1c-47f6-a63b-db1fadb23984"
                ]
            }
        },

此外,在控制台也能看到对应的授权权限

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1703048.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

使用高性能NIO框架netty实现IM集群对聊方案

文章目录 前言技术积累什么是nettynetty如何实现IM如何实现IM集群 实战演示基础配置netty搭建IM集群redis发布订阅 实战测试 前言 在前面的博文中我们分享了原生websoket集群搭建,也用redis 发布订阅实现了集群消息正常有序分发。但是有不少同学希望风向一期netty实…

基于生命周期评价法的农田温室气体排放估算;农田CH4和N2O排放模拟;农田碳库模型和土壤呼吸等

目录 专题一 温室气体排放模拟研究 专题二 农田CH4和N2O排放模拟 专题三 农田碳库模型和土壤呼吸 专题四 基于生命周期评价法的农田温室气体排放估算 专题五-六 基于过程模型的温室气体排放模拟 专题七 案例模拟与疑难解答 更多应用 农业是甲烷(CH4&#xff…

List基本使用(C++)

目录 1.list的介绍 2.list的使用 list的构造 list的size() 和 max_size() list遍历操作 list元素修改操作 assign()函数 push_front(),push_back 头插,尾插 pop_front() pop_back 头删尾删 insert()函数 swap()函数 resize()函数 clear()函数 list类数…

yolov10 瑞芯微 rknn 部署 C++代码

yolov10 目标检测rknn的C部署来了。 特别说明:如有侵权告知删除,谢谢。 直接上代码和模型,欢迎参考交流 【完整代码和模型】 1、rknn模型准备 pytorch转onnx,onnx再转rknn模型这一步就不再赘述,请参考上一篇 【yolov1…

TPM之VMK密封

本篇文章主要介绍基于TPM的Bitlocker全盘加密时,VMK密钥的密封(Seal)流程,至于TPM、Bitlocker、密钥保护器、VMK密钥等这些东西是什么,这里不做解释,需要自己脑补一下(╮(╯▽╰)╭)。 首先看看一张结构图(来自网络),了解一下TPM加密的基本框架与流程: 同样,基于…

关于读书,你可能没想到的陷阱、问题和思考

最近经常看到有人问:AI 已经这么发达了,如果以后的 AI 会更智能,那我们还有必要读书吗? 我认为:还是十分有必要的。 为什么呢?因为读书其实不仅仅是为了获取知识,它更重要的一个作用&#xff0c…

数据结构-堆排序问题

需要在数组里面进行排序,我们可以采取堆排序对其解决问题 版本1: 创建一个数组等大的堆,把数组里面的数值输入到堆里面进行堆排序,但是这样的弊端就是,不是顺序排序 版本2: 每次我们取堆顶然后打印&#xf…

3440亿!国家大基金三期正式落地,关注半导体与算力芯片!

重磅消息来了! 5月24日,注册规模3,440亿元人民币的“国家集成电路产业投资基金三期股份有限公司”正式成立,这也意味着,传闻已久的**“国家大基金三期”正式落地!** 企查查股东信息显示,该公司由财政部、国…

移动云:开发者手中的未来钥匙

《移动云:开发者手中的未来钥匙》 引言一、无缝集成,加速开发进程二、数据智能,洞悉用户心声三、安全合规,护航创新之旅四、成本优化,助力轻装前行总结 引言 在科技日新月异的今天,移动云已成为推动行业变革…

文件夹类型异常成文件:原因解析与恢复策略

在数字时代,数据的安全与完整性对于个人和企业都至关重要。然而,有时我们可能会遇到一种令人困惑的情况:原本应该是文件夹的图标,却突然变成了文件的图标,这就是所谓的“文件夹类型成文件”问题。本文将深入探讨这一现…

(原创)从右到左排列RecycleView的数据

问题的提出 当我们写一个Recycleview时,默认的效果大概是这样的: 当然,我们也可以用表格布局管理器GridLayoutManager做成这样: 可以看到,默认的绘制方向是: 从左到右,从上到下 那么问题来了…

香橙派 AIpro综合体验及AI样例运行

香橙派 AIpro综合体验及AI样例运行 环境: 香橙派版本: AIpro(8TOPSINT8) OS : Ubuntu 22.04.3 LTS(GNU/Linux 5.10.0 aarch64) (2024-03-18) 远程服务端1:OpenSSH 8.9p1 远程服务端2:TightVNC Server 1.3.10 远程客户端&#xf…

使用numpy手写一个神经网络

本文主要包含以下内容: 推导神经网络的误差反向传播过程使用numpy编写简单的神经网络,并使用iris数据集和california_housing数据集分别进行分类和回归任务,最终将训练过程可视化。 1. BP算法的推导过程 1.1 导入 前向传播和反向传播的总体…

基于EBAZ4205矿板的图像处理:10gamma变换

基于EBAZ4205矿板的图像处理:10gamma变换 项目全部文件 会上传项目全部文件,如果没传,可以私信催我一下,最近太忙了 先看效果 我的项目中的gamma的变换系数为2.2,是会让图像整体变暗的,看右图说明我的ga…

哪款洗地机好用?洗地机十大排行榜

在智能家电飞速发展的今天,洗地机因其吸拖洗一体化的技术优势,成为越来越多家庭的清洁利器。它不仅能快速清理各种地面污渍,还能轻松处理干湿垃圾,大大提升了日常清洁的效率。可是面对市场上琳琅满目的洗地机品牌和型号&#xff0…

数据持久化第六课-ASP.NET运行机制

数据持久化第六课-ASP.NET运行机制 一.预习笔记 1.动态网页的工作机制通常分为以下几个阶段: 1)使用动态Web开发技术编写Web应用程序,并部署到Web服务器。 2)客户端通过在浏览器中输入地址,请求动态页面。 3&#…

Swift 初学者交心:在 Array 和 Set 之间我们该如何抉择?

概述 初学 Swift 且头发茂密的小码农们在日常开发中必定会在数组(Array)和集合(Set)两种类型之间的选择中“摇摆不定”,这也是人之常情。 Array 和 Set 在某些方面“亲如兄弟”,但实际上它们之间却有着“云…

关于DDos防御...别在听别人瞎扯了.....

前言 无意间刷文章的时候看到一篇文章,写的是遇到ddos,怎么用iptables封IP....... 然后我就百度搜了一下,好多都是这么说的,但是我发现,大多数人只要遭受过长期Ddos的,就不会再信网上的文章 文笔不太好&…

【Qt】深入探索Qt事件处理:从基础到高级自定义:QEvent

文章目录 前言:1. 事件的介绍2. 事件的处理2.1. 示例1: 重写鼠标进入和鼠标离开事件2.2. 示例2:当鼠标点击时,获取对应的坐标值;2.3. 鼠标释放事件2.4. 鼠标双击事件2.5. 鼠标移动事件2.6. 鼠标滚轮的滚动事件 3. 按键…

后端经典三层架构

大家好,这里是教授.F 引入: MVC 全称∶ Model 模型、View 视图、 Controller 控制器。MVC 最早出现在 JavaEE 三层中的 Web 层,它可以有效的指导WEB 层的代码如何有效分离,单独工作。 View 视图∶只负责数据和界面的显示&#…