Hadoop[3.3.x]-1本地环境搭建

news2024/11/23 12:54:38

环境:Mac

Hadoop版本:Apache Hadoop 3.3.4

由于hadoop依赖java环境,所以需要事先安装好java。

Hadoop下载

进入官网进行下载Apache Hadoop

下载后解压到自己的规划的目录。

环境文件配置

Hadoop相关配置文件都在目录的../hadoop-3.3.4/etc/hadoop目录下。

hadoop-env.sh

注意此处一定要jdk1.8的版本,否则后续WebUI操作时会失败。

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_231.jdk/Contents/Home

core-site.xml

<configuration>
    <!-- 配置hdfs的访问地址 -->
		<property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

HDFS启动

Hadoop相关服务的启动脚本在../hadoop-3.3.4/sbin目录下,该目录下有hdfs、yarn等相关服务的启动脚本,hdfs的启停脚本分别为start-dfs.shstop-dfs.sh。接下来先执行start-dfs.sh来启动hdfs。

请添加图片描述

此时执行后,会出现如下错误:

yuxiao@yuxiaoMBP sbin % ./start-dfs.sh 
Starting namenodes on [localhost]
localhost: yuxiao@localhost: Permission denied (publickey,password,keyboard-interactive).
Starting datanodes
localhost: yuxiao@localhost: Permission denied (publickey,password,keyboard-interactive).
Starting secondary namenodes [yuxiaoMBP]
yuxiaoMBP: ssh: Could not resolve hostname yuxiaombp: nodename nor servname provided, or not known
2023-05-07 19:58:52,690 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

这是由于没有权限访问造成的,需要生成一个秘钥文件,如果有直接使用即可,秘钥文件生成后默认在在当前用户的.ssh目录下,名为:id_rsa.pub,此时通过cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys复制一个授权的key,这样Hadoop在启动的时候在启动用户的目录下就可以找到该文件,以便授权。

id_rsa.pub文件的生成方法:

ssh-keygen -t rsa

一路回车即可

再次执行start-dfs.sh脚本启动:
请添加图片描述

启动后,可已通过jps命令查看hadoop hdfs的相关进程,NameNode、DataNode、SecondaryNameNode.

Hadoop命令操作文件

进入/hadoop-3.3.4/bin目录

查看根目录文件

文件相关的推荐使用hdfs命令

执行hadoop fs -ls /hdfs dfs -ls /,该命令可以查看根目录,此时返回为空,上传文件后可以再次查看

请添加图片描述

上传文件

hdfs dfs -put hdfs.cmd /,将当前bin目录下的hdfs.cmd文件上传到根目录,再次执行文件查看命令hdfs dfs -ls /查看是否上传成功

请添加图片描述
此时可以看到文件已经上传成功。

下载文件

下载文件的命令为get,hdfs dfs -get /hdfs.cmd hdfs.cmd.bak,下载上传的hdfs.cmd到当前bin目录,并修改名称为hdfs.cmd.bak文件
请添加图片描述
文件下载成功并修改文件名称。

创建目录

hdfs dfs -mkdir /data,创建一个data目录
请添加图片描述
hdfs dfs -mkdir -p /data/wordcount/wc1,该名称多了一个-p参数,表示创建路径存在多级但中间的一些路径不存在时也可以创建,没有-p参数时,会返回一个错误。

HDFS WebUI

在启动hdfs后,已经启动了web服务,通过http://localhost:9870进行访问,如下图所示
请添加图片描述

可以在web页面对文件进行上一节相关的文件操作,如下

请添加图片描述

在浏览文件系统的页面,我们可以看到在上一节中我们上传的文件和创建的文件夹,其他操作如下图所示:

请添加图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/500150.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Vulkan 总结

一、Vulkan 对象简介 1、VKInstance 这个对象是我们 Vulkan api 的一个对象&#xff0c;用于通过 Instance 我们与 Vulkan 底层进行交互。 2、VkPhysicalDevice 对应我们当前设备&#xff08;PC、手机&#xff09;的一个显卡硬件&#xff08;GPU &#xff09;&#xff0c;有的…

如何导出cloudflare warp内部存的私钥和token

结论&#xff1a;管理员身份运行 mimikatz&#xff1a;https://github.com/gentilkiwi/mimikatz/releases/tag/2.2.0-20220919 然后输入&#xff1a; privilege::debug &#xff08;提升权限到&#xff1a;NT-AUTHORITY\SYSTEM&#xff09;以及sekurlsa::credman 就能看到&…

Java中的反射(通过反射获取类的结构、invoke方法、获取注解)

文章目录 1. 创建运行时类的对象2. 获取运行时类的完整结构2.1 相关API2.2 获取所有的属性及相关细节2.3 获取所有的方法及相关细节2.4 获取其他结构(构造器、父类、接口、包、注解等)2.5 获取泛型父类信息2.6 获取内部类或外部类信息2.7 总 结 3. 调用运行时类的指定结构3.1 调…

HDOJ 1022 Train Problem Ⅰ 模拟栈操作

&#x1f351; OJ专栏 &#x1f351; HDOJ 1022 Train Problem Ⅰ 输入 3 123 321 3 123 312输出 Yes. in in in out out out FINISH No. FINISH&#x1f351; 思路 &#x1f364; 栈顶元素与目标元素不匹配就进栈&#xff0c;匹配就出栈 &#x1f364; 匹配完&#xff1a;y…

es 7.0.8 常用操作(windwos版本安装,索引crud操作)

一 es7.x的核心 1.1 es的核心概念 1.ES 里的 Index 可以看做一个库(名称必须为小写)&#xff0c;而 Types 相当于表&#xff0c;Documents 则相当于表的行。 2.这里 Types 的概念已经被逐渐弱化&#xff0c;Elasticsearch 6.X 中&#xff0c;一个 index 下已经只能包含一个…

分布式搜索引擎——elasticsearch搜索功能

DSL查询语法 DSL Query的分类 Elasticsearch提供了基于JSON的DSL (Domain Specific Language)来定义查询。常见的查询类型包括: 查询所有:查询出所有数据&#xff0c;一般测试用。例如:match_all全文检索(full text)查询:利用分词器对用户输入内容分词&#xff0c;然后去倒排…

Java 基础进阶篇(九)—— Java集合详细总结

文章目录 一、集合类体系结构二、Collection系列集合2.1 Collection 集合体系2.2 Collection 集合体系特点2.3 Collection 常用API2.4 Collection 集合的遍历方式2.4.1 方式一&#xff1a;迭代器2.4.2 方式二&#xff1a;foreach&#xff08;增强for循环&#xff09;2.4.3 方式…

Java8新特性—Optional类

前言 Java 8中引入了一个新的Optional类&#xff0c;它可以让开发人员更好地处理可能为空的值。Optional类提供了一种方式&#xff0c;可以更加优雅地处理null值&#xff0c;并在运行时避免NullPointerException异常的出现。本文将介绍Optional类的基本语法、使用场景和示例。…

Java 基础进阶篇(十)—— 泛型与可变参数

文章目录 一、泛型概述二、泛型的定义2.1 泛型类2.2 泛型方法2.3 泛型接口 三、泛型深入3.1 泛型通配符3.2 泛型上下限3.3 案例&#xff1a;定义一个 “所有车量进行比赛” 的方法 四、可变参数 一、泛型概述 泛型是 JDK5 中引入的特性&#xff0c;可以在编译阶段约束操作的数…

Linux应用开发:进程间通信 System V

目录 1、查看删除IPC对象 1.1 IPC对象 1.2 ipcs 命令查看系统中的 IPC 对象 1.3 ipcrm 命令删除系统中的 IPC 对象 2、共享内存 2.1 共享内存简介 2.2 共享内存相关API 2.2.1 shmget&#xff1a;创建共享内存 2.2.2 shmat&#xff1a;映射共享内存 2.2.3 shmdt&#…

A40i使用笔记:安装python3.7(素装)

一、前言 项目需求&#xff0c;要用到python3以上&#xff0c;就研究了一下如何安装python&#xff0c;这里也是分享出来安装方法&#xff0c;为各位技术研发人员减少不必要的时间损耗 本文没有安装python其他依赖库&#xff0c;因为我也是在摸索中&#xff0c;所以只限指导到…

「程序员的浪漫」使用 Html、Css、JavaScript 实现 DIY 生日祝福页面 快发给你的朋友吧

前言 从网上搜集整理修改的好用网页生日祝福版本 特点 将三剑客放进一个 Html 文件 点开即用封装好 修改几个参数就可以 DIYDIY 的地方有注释 预览 …省略几张图 源码 有用的话点个 star 不迷路谢谢&#xff01;https://github.com/yangzi0210/Happy-birthday-page

领先的项目协作管理软件OpenProject

本文软件由网友 不长到一百四誓不改名 推荐&#xff1b; 什么是 OpenProject &#xff1f; OpenProject 是一个开源、基于 Web 的项目管理系统&#xff0c;提供了免费的社区版和收费的企业版。OpenProject 拥有完善的文档&#xff0c;API&#xff0c;及丰富的功能&#xff0c;可…

SlickEdit for Windows and Linux crack

SlickEdit for Windows and Linux crack 现在可以在“新建注释”对话框中对颜色进行排序&#xff0c;使调色板中的颜色阵列看起来更符合逻辑。 在拆分或扩展行注释时添加了撤消步骤&#xff0c;这样您只需点击“撤消”一次即可撤消行注释扩展。 已更新VHDL颜色编码&#xff0c;…

【网络】- 计算机网络体系结构 - OSI七层模型、TCP/IP四层(五层)协议

目录 一、概述 二、计算机网络体系结构的形成  &#x1f449;2.1 分层的网络体系结构  &#x1f449;2.2 OSI 参考模型  &#x1f449;2.3 TCP/IP - 事实的国际标准 三、OSI 参考模型 四、TCP/IP 协议 一、概述 但凡学习计算机网络知识&#xff0c;肯定绕不过网络协议的&…

Java 基础进阶篇(八)—— 常用 API

文章目录 一、Object 类二、Objects 工具类三、Math 类四、System 类五、BigDecimal 类 一、Object 类 一个类要么默认继承了 Object 类&#xff0c;要么间接继承了 Object 类&#xff0c;Object 类是 java 中的祖宗类。Object 类的方法是一切子类都可以直接使用的。 因此&…

7.4 电子信息系统预处理中所用放大电路

在电子信息系统中&#xff0c;通过传感器或其它途径所采集的信号往往很小&#xff0c;不能直接进行运算、滤波等处理&#xff0c;必须进行放大。 一、仪表放大器 集成仪表放大器&#xff0c;也称为精密放大器&#xff0c;用于弱信号放大。 1、仪表放大器的特点 在测量系统中…

Binder“一次拷贝“你真懂吗?

前言 谈到到Binder相对于其他传统进程间通信方式的优点的时候&#xff0c;我们总会说Binder只需要做“一次拷贝”就行了&#xff0c;而其他传统方式需要“两次拷贝”。这确实是Binder的优点&#xff0c;但再进一步思考就会碰到两个问题&#xff1a; 这所谓的“一次拷贝”到底…

回溯算法简单介绍

目录 1.回溯算法简单介绍 2.回溯算法框架&#xff1a; 我们用一道题来详细讲解回溯算法的过程 3.全排列问题 1.回溯算法简单介绍 解决一个回溯问题&#xff0c;其实就是一个决策树的遍历过程&#xff0c;我们只需要思考三个问题&#xff1a; 1.路径&#xff1a;就是已经做出…

一起Talk Android吧(第五百四十二回:无进度值ProgressBar)

文章目录 概念介绍使用资源文件实现使用默认设置修改风格使用动画资源 使用代码实现经验总结 各位看官们大家好&#xff0c;上一回中咱们说的例子是"ProgressBar总结",本章回中介绍的例子是" 无进度值ProgressBar"。闲话休提&#xff0c;言归正转&#xf…