4.2-6 使用Hadoop WebUI

news2024/10/26 5:14:04

文章目录

  • 1. 查看HDFS集群状态
    • 1.1 端口号说明
    • 1.2 用主机名访问
    • 1.3 主节点状态
    • 1.4 用IP地址访问
    • 1.5 查看数据节点
  • 2. 操作HDFS文件系统
    • 2.1 查看HDFS文件系统
    • 2.2 在HDFS上创建目录
    • 2.3 上传文件到HDFS
    • 2.4 删除HDFS文件和目录
  • 3. 查看YARN集群状态
  • 4. 实战总结

在这里插入图片描述

1. 查看HDFS集群状态

1.1 端口号说明

  • Hadoop 2.x 使用端口号 50070
  • Hadoop 3.x 使用端口号 9870

1.2 用主机名访问

访问 Hadoop WebUI 通过 http://master:9870,其中 master 是主节点的主机名。

1.3 主节点状态

  • Active 表示主节点处于正常运行状态。

1.4 用IP地址访问

使用主节点的浮动IP地址访问,例如 http://192.168.219.83:9870,并查看本机映射文件。

1.5 查看数据节点

  • 单击绿色导航栏上的 Datanodes 选项卡,可以查看集群中所有数据节点的状态。

2. 操作HDFS文件系统

2.1 查看HDFS文件系统

  • 单击 Utilities 选项卡,然后选择 Browse the file system 菜单项,查看根目录 /

2.2 在HDFS上创建目录

  • 创建根目录下的 BigData 目录

    • 切换到根目录。
    • 找到并单击 Create Directory 按钮。
    • 输入目录名 BigData 并单击 Create 按钮。
  • china 里创建 sichuan/luzhou/lzy 多级目录

    • 进入 china 目录,创建 sichuan
    • 进入 sichuan,创建 luzhou
    • 进入 luzhou,创建 lzy

2.3 上传文件到HDFS

  • 上传小文件(如 hosts 文件)到 /BigData 目录

    • 切换到 /BigData 目录。
    • 单击 Upload Files 按钮。
    • 选择文件并单击 Upload 按钮。
  • 上传大文件(如 hadoop-3.3.4.tar.gz)到 /BigData 目录

    • 注意大文件会被分割成多个块,默认块大小为128M。
    • 查看文件详情和块信息。

2.4 删除HDFS文件和目录

  • 删除文件

    • 单击文件右侧的删除图标。
    • 确认删除操作。
  • 删除目录

    • 单击目录右侧的删除图标。
    • 确认删除操作。

3. 查看YARN集群状态

通过访问 http://master:8088 可以查看YARN集群的状态。如果还没有运行过MapReduce应用,表格中将没有任何数据。

4. 实战总结

在本次实战中,我们通过Hadoop WebUI成功监控了HDFS集群状态,并掌握了如何在HDFS上进行文件和目录的操作。通过访问端口9870,我们查看了集群状态,创建并上传了文件,以及执行了删除操作。此外,通过端口8088我们检查了YARN集群状态。这些操作加深了我们对Hadoop文件系统管理的理解,为后续的大数据处理打下了坚实基础。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2223809.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

JVM 实战篇(一万字)

此笔记来至于 黑马程序员 内存调优 内存溢出和内存泄漏 内存泄漏(memory leak):在Java中如果不再使用一个对象,但是该对象依然在 GC ROOT 的引用链上,这个对象就不会被垃圾回收器回收,这种情况就称之为内…

matlab中,close和close all的区别、clc和clear的区别、

文章目录 1. clear vs. clear all2. clc vs. clear3. hold on vs. hold off4. subplot vs. subplot(221)5. axis tight vs. axis equal6. save vs. saveas总结 在 MATLAB 中,有许多命令和函数在功能上相似,但其用法和效果却有所不同。以下是一些常见的例…

基于SSM+小程序的垃圾分类管理系统(垃圾2)

👉文末查看项目功能视频演示获取源码sql脚本视频导入教程视频 1、项目介绍 基于SSM小程序的垃圾分类管理系统实现了管理员及用户。 1、管理员功能结构图,管理员功能有个人中心,管理员管理,基础数据管理、论坛管理、垃圾信息管理…

logback 如何将日志输出到文件

如何作 将日志输出到文件需要使用 RollingFileAppender&#xff0c;该 Appender 必须定义 rollingPolicy &#xff0c;另外 rollingPollicy 下必须定义 fileNamePattern 和 encoder <appender name"fileAppender" class"ch.qos.logback.core.rolling.Rollin…

Zabbix企业级分布式监控环境部署

“运筹帷幄之中&#xff0c;决胜千里之外”。在IT运维中&#xff0c;监控占据着重要的地位&#xff0c;按比例来算&#xff0c;说占30%一点也不为过。对IT运维工程师来说&#xff0c;构建一个真正可用的监控告警系统是一项艰巨的任务。在监控系统的开源软件中&#xff0c;可供选…

论文阅读:华为的LiMAC

《LIGHTWEIGHT NEURAL APP CONTROL》 用于app控制的轻量级神经网络 摘要 输入是一个文本目标和一系列过去的移动感知&#xff0c;比如截图和相应的UI树&#xff0c;来生成精确的动作。 针对智能手机固有的计算限制&#xff0c;我们在LiMAC中引入了一个小型Action Transforme…

【安全解决方案】深入解析:如何通过CDN获取用户真实IP地址

一、业务场景 某大型互联网以及电商公司为了防止客户端获取到真实的ip地址&#xff0c;以及达到保护后端业务服务器不被网站攻击&#xff0c;同时又可以让公安要求留存网站日志和排查违法行为&#xff0c;以及打击犯罪的时候&#xff0c;获取不到真实的ip地址&#xff0c;发现…

元数据 - ​媒体管理

媒体管理 Media Management元数据遵循 XMP&#xff08;可扩展元数据平台&#xff09;规范&#xff0c;特别是 xmpMM&#xff08;XMP Media Management&#xff09;命名空间。通过理解和利用这些元数据&#xff0c;可以更好地管理媒体文件的版本、历史记录、派生关系和管理信息&…

Flutter Image和Text图文组件实战案例

In this section, we’ll go through the process of building a user interface that showcases a product using the Text and Image widgets. We’ll follow Flutter’s best practices to ensure a clean and effective UI structure. 在本节中&#xff0c;我们将使用“Te…

ue5实现数字滚动增长

方法1 https://www.bilibili.com/video/BV1h14y197D1/?spm_id_from333.999.0.0 b站教程 重写loop节点 方法二 写在eventtick里

合并数组的两种常用方法比较

在 JavaScript 中&#xff0c;合并数组的两种常用方法是使用扩展运算符 (...) 和使用 push 方法。 使用扩展运算符 this.items [...this.items, ...data.items]; 优点&#xff1a; 易于理解&#xff1a;使用扩展运算符的语法非常直观&#xff0c;表达了“将两个数组合并成一个…

最新版本jdbcutils集成log4j做详细sql日志、自动释放连接...等

maven坐标 <!-- MySQL 8 --><dependency><groupId>com.mysql</groupId><artifactId>mysql-connector-j</artifactId><version>8.0.33</version></dependency><!-- Druid连接池 --><dependency><groupId&…

记一次AWS服务器扩容

1、首先通过下列命令列出设备详情&#xff0c;可以看到红色框起来的部分有160G&#xff0c;需要把新增的20G扩容到根目录(139.9)上 lsblk查看文件系统 df -h2.执行sudo growpart /dev/xvda 1即可把20G的空间扩容到根目录上 扩容成功 但是可以看到并未生效 3.列出文件系统格…

菜叶子芯酸笔记2:服务器、互联技术和AI芯片参数解读

服务器相关知识 服务器是一种高性能计算机&#xff0c;作为网络的节点&#xff0c;存储、处理网络上80%的数据、信息&#xff0c;因此也被称为网络的灵魂。 服务器的分类 种类 描述 塔式服务器(tower server) 正面似PC机&#xff0c;但侧面长度长很多&#xff0c;无统一标准…

pair类型应用举例

在main.cpp里输入程序如下&#xff1a; #include <iostream> //使能cin(),cout(); #include <utility> //使能pair数据类型; #include <string> //使能string字符串; #include <stdlib.h> //使能exit(); //pair类型可以将两个相同的或不同类…

2024年10月-2025年5月 Oracle 19c OCM 考试安排

2024年10月-2025年5月 Oracle 19c OCM 考试安排&#xff1a; 北京考场&#xff1a; 上海考场&#xff1a; 更新时间&#xff1a;2024年10月25日 Oracle 19c OCM往期学员成绩展示&#xff1a; Oracle 19c OCM认证证书&#xff08;电子版&#xff09;

数理统计(第3章第1节:假设检验的基本概念)

目录 假设检验&#xff1a;对母体的分布或者母体分布中的未知参数提出某种假设&#xff0c;由子样推断是否接受该种假设 假设检验的基本概念&#xff08;概率性质的反证法&#xff09; 假设检验&#xff1a;对母体的分布或者母体分布中的未知参数提出某种假设&#xff0c;由子…

云计算欲上九天,AI大模型能否推波助澜?

大数据产业创新服务媒体 ——聚焦数据 改变商业 时代洪流滚滚朝前&#xff0c;千禧年的“世界末日”并未如期而至&#xff0c;但信息大爆炸了&#xff0c;有人开始探索那80%常规生活以外的“20%世界”。谁都未曾想到恰恰这20%成为了如今赛博世界的“种子”&#xff0c;数据不再…

考研读研生存指南,注意事项

本视频&#xff0c;涉及考研读研的方方面面&#xff0c;从考研初试→复试面试→研究生生活→导师相处→论文专利写作混毕业&#xff0c;应有尽有。有了他&#xff0c;你的研究生生涯稳了。 读研考研注意事项&#xff0c;研究生生存指南。_哔哩哔哩_bilibili 一、考研初试注意事…

C# SM2 加签、验签工具

目录 效果 项目 代码 下载 效果 项目 代码 using Org.BouncyCastle.Crypto.Parameters; using Org.BouncyCastle.Crypto.Signers; using Org.BouncyCastle.Asn1.GM; using System; using System.Text; using System.Windows.Forms; using Org.BouncyCastle.Asn1.X9; using…