大数据快速使用Kerberos认证集群

news2024/12/29 0:47:02

一、创建安全集群并登录其Manager

  1. 创建安全集群，开启“Kerberos认证“参数开关，并配置“密码“、“确认密码“参数。该密码用于登录Manager，请妥善保管。

  2. 登录MRS管理控制台页面。

  3. 单击“集群列表“，在“现有集群“列表，单击指定的集群名称，进入集群信息页面。

  4. 单击“集群管理页面“后的“前往Manager”，打开Manager页面。

    • 若用户创建集群时已经绑定弹性公网IP。

      1. 添加安全组规则，默认填充的是用户访问公网IP地址9022端口的规则。如需对安全组规则进行查看，修改和删除操作，请单击“管理安全组规则“。

         说明：

        • 自动获取的访问公网IP与用户本机IP不一致，属于正常现象，无需处理。
        • 9022端口为knox的端口，需要开启访问knox的9022端口权限，才能访问Manager服务。

      2. 勾选“我确认xx.xx.xx.xx为可信任的公网访问IP，并允许从该IP访问MRS Manager页面。“

    • 若用户创建集群时暂未绑定弹性公网IP。

      1. 在弹性公网IP下拉框中选择可用的弹性公网IP或单击“管理弹性公网IP“创建弹性公网IP。

      2. 添加安全组规则，默认填充的是用户访问公网IP地址9022端口的规则。如需对安全组规则进行查看，修改和删除操作，请点击“管理安全组规则“。

         说明：

        • 自动获取的访问公网IP与用户本机IP不一致，属于正常现象，无需处理。
        • 9022端口为knox的端口，需要开启访问knox的9022端口权限，才能访问Manager服务。

      3. 勾选“我确认xx.xx.xx.xx为可信任的公网访问IP，并允许从该IP访问MRS Manager页面。“

  5. 单击“确定“，进入Manager登录页面。

  6. 输入创建集群时默认的用户名“admin“及设置的密码，单击“登录“进入Manager页面。

二、创建角色和用户

开启Kerberos认证的集群，必须通过以下步骤创建一个用户并分配相应权限来允许用户执行程序。

  1. 在Manager界面选择“系统 > 权限 > 角色”。

  2. 单击“添加角色“。

    填写如下信息：

    • 填写角色的名称，例如mrrole。
    • 在“配置资源权限”选择待操作的集群，然后选择“Yarn > 调度队列 > root”，勾选“权限”列中的“提交”和“管理”，勾选完全后，不要单击确认，要单击如下图的待操作的集群名，再进行后面权限的选择。
    • 选择“HBase > HBase Scope”，勾选global的“权限”列的“创建”、“读”、“写”和“执行”，勾选完全后，不要单击确认，要单击如下图的待操作的集群名，再进行后面权限的选择。
    • 选择“HDFS > 文件系统 > hdfs://hacluster/”，勾选“权限”列的“读”、“写”和“执行”，勾选完全后，不要单击确认，要单击如下图的待操作的集群名，再进行后面权限的选择。
    • 选择“Hive > Hive读写权限”，勾选“权限”列的“查询”、“删除”、“插入”和“建表”，单击“确定”，完成角色的创建。

  3. 选择“系统 > 权限 > 用户组 > 添加用户组”，为样例工程创建一个用户组，例如mrgroup。

  4. 选择“系统 > 权限 > 用户 > 添加用户”，为样例工程创建一个用户。

    • 填写用户名，例如test，当需要执行Hive程序时，请设置用户名为“hiveuser“。

    • 用户类型为“人机”用户。

    • 输入密码（特别注意该密码在后面运行程序时要用到）。

    • 加入用户组mrgroup和supergroup。

    • 设置其“主组”为supergroup，并绑定角色mrrole取得权限。

      单击“确定”完成用户创建。

  5. 选择“系统 > 权限 > 用户”，选择新建用户test，选择“更多 > 下载认证凭据”，保存后解压得到用户的keytab文件与krb5.conf文件。

三、执行MapReduce程序

本小节提供执行MapReduce程序的操作指导，旨在指导用户在安全集群模式下运行程序。

前提条件

已编译好待运行的程序及对应的数据文件，如mapreduce-examples-1.0.jar、input_data1.txt和input_data2.txt。

操作步骤

  1. 采用远程登录软件（比如：MobaXterm）通过ssh登录（使用集群弹性IP登录）到安全集群的master节点。

  2. 登录成功后分别执行下列命令，在/opt/Bigdata/client目录下创建test文件夹，在test目录下创建conf文件夹：

    cd /opt/Bigdata/client
mkdir test
cd test
mkdir conf

  3. 使用上传工具（比如：WinScp）将mapreduce-examples-1.0.jar、input_data1.txt和input_data2.txt复制到test目录下，将“创建角色和用户“中的步骤5获得的keytab文件和krb5.conf文件复制到conf目录。

  4. 执行如下命令配置环境变量并认证已创建用户，例如test。

    cd /opt/Bigdata/client
source bigdata_env
export YARN_USER_CLASSPATH=/opt/Bigdata/client/test/conf/
kinit test

    然后按照提示输入密码，无异常提示返回（首次登录需按照系统提示修改密码），则完成了用户的kerberos认证。

  5. 执行如下命令将数据导入到HDFS中：

    cd test
hdfs dfs -mkdir /tmp/input
hdfs dfs -put input_data* /tmp/input

  6. 执行如下命令运行程序：

    yarn jar mapreduce-examples-1.0.jar com.huawei.bigdata.mapreduce.examples.FemaleInfoCollector /tmp/input /tmp/mapreduce_output

    其中：

    /tmp/input指HDFS文件系统中input的路径。

    /tmp/mapreduce_output指HDFS文件系统中output的路径，该目录必须不存在，否则会报错。

  7. 程序运行成功后，执行 hdfs dfs -ls /tmp/mapreduce_output会显示如下：

    图 1 查看程序运行结果

四、执行Spark程序

本小节提供执行Spark程序的操作指导，旨在指导用户在安全集群模式下运行程序。

前提条件

已编译好待运行的程序及对应的数据文件，如FemaleInfoCollection.jar、input_data1.txt和input_data2.txt。

操作步骤

  1. 采用远程登录软件（比如：MobaXterm）通过ssh登录（使用集群弹性IP登录）到安全集群的master节点。

  2. 登录成功后分别执行下列命令，在/opt/Bigdata/client目录下创建test文件夹，在test目录下创建conf文件夹：

    cd /opt/Bigdata/client
mkdir test
cd test
mkdir conf

  3. 使用上传工具（比如：WinScp）将样FemaleInfoCollection.jar、input_data1.txt和input_data2.txt复制到test目录下，将“创建角色和用户“中的步骤5获得的keytab文件和krb5.conf文件复制到conf目录。

  4. 执行如下命令配置环境变量并认证已创建用户，例如test。

    cd /opt/Bigdata/client
source bigdata_env
export YARN_USER_CLASSPATH=/opt/Bigdata/client/test/conf/
kinit test

    然后按照提示输入密码，无异常提示返回，则完成了用户的kerberos认证。

  5. 执行如下命令将数据导入到HDFS中：

    cd test
hdfs dfs -mkdir /tmp/input
hdfs dfs -put input_data* /tmp/input

  6. 执行如下命令运行程序：

    cd /opt/Bigdata/client/Spark/spark
bin/spark-submit --class com.huawei.bigdata.spark.examples.FemaleInfoCollection --master yarn-client /opt/Bigdata/client/test/FemaleInfoCollection-1.0.jar /tmp/input

  7. 程序运行成功后，会显示如下：

    图 2 程序运行结果

五、执行Hive程序

本小节提供执行Hive程序的操作指导，旨在指导用户在安全集群模式下运行程序。

前提条件

已编译好待运行的程序及对应的数据文件，如hive-examples-1.0.jar、input_data1.txt和input_data2.txt。

操作步骤

  1. 采用远程登录软件（比如：MobaXterm）通过ssh登录（使用集群弹性IP登录）到安全集群的master节点。

  2. 登录成功后分别执行下列命令，在/opt/Bigdata/client目录下创建test文件夹，在test目录下创建conf文件夹：

    cd /opt/Bigdata/client
mkdir test
cd test
mkdir conf

  3. 使用上传工具（比如：WinScp）将样FemaleInfoCollection.jar、input_data1.txt和input_data2.txt复制到test目录下，将“创建角色和用户“中的步骤5获得的keytab文件和krb5.conf文件复制到conf目录。

  4. 执行如下命令配置环境变量并认证已创建用户，例如test。

    cd /opt/Bigdata/client
source bigdata_env
export YARN_USER_CLASSPATH=/opt/Bigdata/client/test/conf/
kinit test

    然后按照提示输入密码，无异常提示返回，则完成了用户的kerberos认证。

  5. 执行如下命令运行程序：

    chmod +x /opt/hive_examples -R   cd /opt/hive_examples   java -cp .:hive-examples-1.0.jar:/opt/hive_examples/conf:/opt/Bigdata/client/Hive/Beeline/lib/*:/opt/Bigdata/client/HDFS/hadoop/lib/* com.huawei.bigdata.hive.example.ExampleMain

  6. 程序运行成功后，会显示如下：

    图 3 程序运行的结果

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1809420.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Puppeteer实战案例：自动化抓取社交媒体上的媒体资源

Puppeteer实战案例：自动化抓取社交媒体上的媒体资源

在当今数字化时代，社交媒体已成为人们获取信息、分享生活和进行商业推广的重要平台。随着社交媒体内容的爆炸性增长，自动化抓取社交媒体上的媒体资源变得尤为重要。本文将介绍如何使用Puppeteer这一强大的自动化工具来实现这一目标。 1. Puppeteer简介 …
阅读更多...
技术前沿 |【大模型BLIP-2的多模态训练】

技术前沿 |【大模型BLIP-2的多模态训练】

大模型BLIP-2的多模态训练 一、引言二、BLIP-2模型概述三、多模态训练成本问题四、冻结预训练好的视觉语言模型参数的优势五、冻结预训练好的视觉语言模型参数的方法 一、引言 随着人工智能技术的飞速发展，大型多模态模型如BLIP-2在多个领域取得了显著的成果。然而…
阅读更多...
人脸考勤项目实训

人脸考勤项目实训

第一章 Python-----Anaconda安装 文章目录 第一章 Python-----Anaconda安装前言一、Anaconda是什么？二、Anaconda的前世今生二、Windows安装步骤1.官网下载2.安装步骤安装虚拟环境 总结 前言 工欲善其事必先利其器，项目第一步，安装我们的环境…
阅读更多...
《python程序语言设计》2018版第5章第35题求完全数，解题经历，我认为的正确代码放在最后

《python程序语言设计》2018版第5章第35题求完全数，解题经历，我认为的正确代码放在最后

5.35从4月开始一直到成功，此文章将所有的记录和不同阶段代码展现给大家。但是没有配图，我最后成功的代码放在了最后。 2024.04.15 05.35.01version 求完整数，这个让我突然有点蒙。我什么时候能求完整数呢？？ 正因子之和…
阅读更多...
图Transformer 推荐系统

图Transformer 推荐系统

文章目录 Graph Transformer for Recommendation摘要引言相关工作方法3.1 Graph Invariant Rationale Learning3.1.1 Graph Collaborative Rationale Discovery3.1.2 Global Topology Information Injection3.1.3 Rationale Discovery with Graph Transformer.3.1.4 Task-Adapt…
阅读更多...
React中的 Scheduler

React中的 Scheduler

为什么需要调度 在 React 中，组件最终体现为 Fiber，并形成 FiberTree，Fiber 的目的是提高渲染性能，将原先的 React 渲染任务拆分为多个小的微任务，这样做的目的是可以灵活的让出主线程，可以随时打断渲染&a…
阅读更多...
视觉大模型（VLLM）学习笔记

视觉大模型（VLLM）学习笔记

视觉多模态大模型（VLLM） InternVL 1.5 近日，上海人工智能实验室 OpenGVLab 团队、清华大学、商汤科技合作推出了开源多模态大语言模型项目InternVL 1.5，它不仅挑战了商业模型巨头例如 GPT-4V 的霸主地位，还让我们不禁…
阅读更多...
如何一键拷贝PPT中的所有文字？

如何一键拷贝PPT中的所有文字？

有时我们可能需要引用PPT的文字，但一个幻灯片一个幻灯片拷贝很是麻烦，我们想一键拷贝PPT中所有幻灯片中的内容（最近我就遇到了这个需求）。今天就来讲讲这个一键拷贝的技巧。因为大家可能会遇到同样的问题，所以在此记录…
阅读更多...
JAVA网络编程，反射及注解知识总结

JAVA网络编程，反射及注解知识总结

文章目录 网络编程软件架构三要素IP端口号协议UDP协议发送数据接收数据三种通信方式 TCP协议客户端服务器端三次握手四次挥手 反射获取字节码文件获取构造方法获取成员变量获取成员方法反射的作用 动态代理注解作用格式使用位置注解的原理常见注解元注解自定义注解解析注解 网络…
阅读更多...
Elasticsearch index 设置 false，为什么还可以被检索到？

Elasticsearch index 设置 false，为什么还可以被检索到？

在 Elasticsearch 中，mapping 定义了索引中的字段类型及其处理方式。 近期有球友提问，为什么设置了 index: false 的字段仍能被检索。 本文将详细探讨这个问题，并引入列式存储的概念，帮助大家更好地理解 Elasticsearch 的存储和查…
阅读更多...
一文带你轻松掌握Java数组定义和声明

一文带你轻松掌握Java数组定义和声明

哈喽，各位小伙伴们，你们好呀，我是喵手。运营社区：C站/掘金/腾讯云；欢迎大家常来逛逛 今天我要给大家分享一些自己日常学习到的一些知识点，并以文字的形式跟大家一起交流，互相学习，一…
阅读更多...
Android JobService启动系统源码分析

Android JobService启动系统源码分析

以下就JobService的执行流程，系统层实现进行详解 入口点在JobScheduler.scheduler 系统层JobScheduler是个抽象类，它的实现类是JobScheduler mBinder，一看就知道这里面肯定是跨进程了。它的服务端在JobSchedulerService里面，具体 为什么请看系统服务器启动流程相关文章，…
阅读更多...
Python | 正则表达式

Python | 正则表达式

?:标记?之前的字符为可选. used&#xff1f; d可有可无 *:匹配>0个重复的在*号之前的字符。 ab*c 匹配多个b &#xff1a;匹配>1个重复的号前的字符。&#xff08;至少一个&#xff09; {n,m}&#xff1a;匹配num个大括号之前的字符或字符集 &#xff08;n < num …
阅读更多...
创新案例｜创新实时零售模式，千亿时尚巨头Shein的全球扩张之路

创新案例｜创新实时零售模式，千亿时尚巨头Shein的全球扩张之路

SHEIN&#xff0c;一家估值千亿美元的快时尚电商独角兽&#xff0c;是全球增长最快的服饰平台。它通过数据和平台的双轮驱动&#xff0c;构建了全新的“实时零售”模式&#xff0c;实现了数据与商业的紧密衔接。同时&#xff0c;通过领导力和组织能力建设&#xff0c;打造了独特…
阅读更多...
实验四、零比特插入《计算机网络》

实验四、零比特插入《计算机网络》

但凡这句话有一点用的话也不至于一点用都没有。 目录 一、实验目的 二、实验内容 三、实验小结 一、实验目的 掌握零比特插入原理及方法使用任意编程语言实现零比特插入方法。 二、实验内容 掌握零比特插入原理及方法 点对点协议 PPP&#xff08;Point-to-Point Protoco…
阅读更多...
LLVM 后端执行流程

LLVM 后端执行流程

异构计算程序工作流程 图4-1中的LLVM后端的主要功能是代码生成&#xff0c;其中包括若干指令生成分析转换pass&#xff0c;将LLVM IR 转换为特定目标架构的机器代码 LLVM 流水线结构 输入指令经过图4-2中的各个阶段&#xff0c;从最初的LLVM IR&#xff0c;逐步演化为Selectio…
阅读更多...
市值超越苹果，英伟达的AI崛起与天润融通的数智化转型

市值超越苹果，英伟达的AI崛起与天润融通的数智化转型

Agent&#xff0c;开启客户服务新时代。 世界商业格局又迎来一个历史性时刻。 北京时间6月6日&#xff0c;人工智能芯片巨头英伟达&#xff08;NVDA&#xff09;收涨5.16%&#xff0c;总市值达到3.01万亿美元&#xff0c;正式超越苹果公司&#xff0c;成为仅次于微软&#xf…
阅读更多...
UART基本定义、三种编程方式、freertos内怎么用、怎么封装

UART基本定义、三种编程方式、freertos内怎么用、怎么封装

文章目录 串口基本概念串口的三种编程方式uart编程查询方式不常用、其他两个方式用的多中断方式&#xff1a;代码原理 DMA方式&#xff1a;配置DMA原理代码 效率最高的UART编程方式&#xff1a;是什么&#xff1f;操作 在freertos里面调用uart应该怎么做&#xff1f;代码 面向对…
阅读更多...
每日复盘-20240607

每日复盘-20240607

今日关注&#xff1a; 这几天市场环境不好&#xff0c;一直空仓。 六日涨幅最大: ------1--------605258--------- 协和电子 五日涨幅最大: ------1--------605258--------- 协和电子 四日涨幅最大: ------1--------605258--------- 协和电子 三日涨幅最大: ------1--------0…
阅读更多...
在Linux or Windows中如何优雅的写出对拍

在Linux or Windows中如何优雅的写出对拍

在Linux or Windows中如何优雅的写出对拍 一、前言二、结论1、对拍 三、对拍详解1、什么是对拍呢&#xff1f;&#x1f9d0;2、对拍的组成部分3、输入数据生成4、对拍程序5、操作流程 四、最后 一、前言 网上的对拍程序层出不穷&#xff0c;大多Linux和Windows中的对拍程序都是…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023