HDFS NFS Gateway(环境配置,超级详细!!)

news2024/11/13 18:15:02

HDFS NFS Gateway简介:

​ HDFS NFS Gateway是Hadoop Distributed File System(HDFS)中的一个组件,它允许客户端通过NFS(Network File System,网络文件系统)与HDFS进行交互。具体来说,HDFS NFS Gateway允许客户端像访问本地文件系统一样挂载和访问HDFS文件系统,支持上传,下载,删除,追加内容,有点类似于windows的文件共享。下面正文即开始讲解该组件的功能使用,以及配置

正文

以图片的方式描述NFS,让读者能更好的理解!

​ 如下图,将HDFS挂载为windows文件管理器的网络位置

在这里插入图片描述

在这里插入图片描述

hadoop内容

在这里插入图片描述

一,配置NFS

配置HDFS需要配置如下内容

core-site.xml,新增配置项以及hdfs-site.xml,新增配置项

开启protmap,nfs3两个进程

在root1进行如下操作

1.在core-site.xml内新增如下两项

在这里插入图片描述

2.在hdfs-site.xml中新增如下项

在这里插入图片描述

nfs.suerpser:NFS操作HDFS系统,所使用的超级用户(hdfs的启动用户为超级用户)

nfs.dump.dir:NFS接受数据上传时使用的临时目录

nfs.exports.allowed.hosts:NFS允许连接的客户端IP和权限,rw表示读写,ip整体活部分可以*代替

上面写的192.168.88.1以rw连接(这个是电脑虚拟网卡VMnet8的IP,与虚拟机通讯就走这个网卡)

在这里插入图片描述

二,启用NFS功能

1.将配置好的core-site.xml和hdfs-site.xml分发到root2和root3

在这里插入图片描述

2.重启Hadoop HDFS集群(先stop-dfs.sh然后start-dfs.sh)

在这里插入图片描述

3.停止系统的NFS相关进程

systemctl stop nfs;systemctl disable nfs 关闭系统nfs并关闭其开机自启

在这里插入图片描述

4.启动portmap(HDFS自带的rpcbind功能)(必须root执行):hdfs --daemon start portmap

在这里插入图片描述

5.启动nfs(HDFS自带的nfs功能)(必须以hadoop用户执行):hdfs --daemon start nfs3

在这里插入图片描述

6.最后启动HDFS集群

检查NFS是否正常

以下操作在root2或root3执行(因为root1卸载了rpcbind,缺少了必要的2个命令)

执行:rpcinfo -p root1,正常输出如下

在这里插入图片描述

执行showmount -e root1

可以看到 / 192.168.88.1

在这里插入图片描述

这样就是表示正常了

三,在windows挂载HDFS文件系统(windows必须是专业版)

1.开启windows的NFS功能

在这里插入图片描述

2.在windows挂载HDFS文件系统并访问

在windows命令提示符cmd输入net use X:\192.168.88.101!

在这里插入图片描述

总结

到这里这个HDSF NFS就完全部署完成了,希望该文章能有有效的帮助到大家,如有不懂的,可留言,来帮你解决剩下的疑难问题

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1325520.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

搭建esp32-idf开发环境并烧入第一个程序

ESP32下载idf并烧入第一个程序 一.官网下载idf安装包二.安装idf三 .测试安装是否成功3.1进入idf控制台3.2 查看安装版本3.3 编译工程 四.下载程序4.1查看所在端口4.2下载程序4.3 监听串口 一.官网下载idf安装包 点击下载 如图: 我们选择离线下载,注意…

行业前景咋样?大厂找我用C++抓取化工产品数据并分析

最近又来活了,天天忙到半夜,但是想想收益还是再坚持坚持。是这么一回事,兄弟所在的化工公司最近想看看某些行业数据,看看市面的同类型产品销量收益等情况是否满足预期效果,也就找到我让我给用爬虫写一个采集并分析的报…

如何实现设备联网控制?

在工业自动化领域,设备联网控制已经成为一种趋势。通过设备联网,可以实现设备的远程监控和管理,提高设备的可用性和效率。本文将介绍如何实现设备联网控制。 设备如何联网? 使用网关联网: HiWoo Box是一款功能强大的…

Sectigo的ov多域名ssl证书

OV多域名SSL证书和EV多域名SSL证书都只支持企事业单位申请,但是EV多域名SSL证书审核比较严格,价格也比较高,OV多域名SSL证书能加密网站传输数据,也能对服务器身份进行认证。对于大多数事业单位,OV多域名SSL证书就能满足…

外贸业务员该如何写好一份有质感的年终总结?内附外贸大神例文

庄子云:人生天地之间,若白驹之过隙,忽然而已... 2023年注定是不平凡的一年,临近年终,你可能听到最多的关键词就是外贸有点难做。不管是因为什么,客观来说2023年的外贸之路确实不太平坦,最近胡塞…

车辆违规开启远光灯检测系统:融合YOLO-MS改进YOLOv8

1.研究背景与意义 项目参考AAAI Association for the Advancement of Artificial Intelligence 研究背景与意义 随着社会的不断发展和交通工具的普及,车辆违规行为成为了一个严重的问题。其中,车辆违规开启远光灯是一种常见的违规行为,给其…

快速能访问服务器的文件

1、背景 访问ubuntu上的文件 2、方法 python3 -m http.server 8081 --directory /home/ NAS 共享访问协议 — NFS、SMB、FTP、WebDAV 各有何优势?http://1 Ubuntu 搭建文件服务器(Nginx)

【开源】USB转4路RS422+4路RS485电路板设计

简介 CH348Q是沁恒出品的一款USB转8路串口的芯片,USB为2.0接口,其中4路串口支持流控,另外4路不支持流控,之前介绍过一款开源USB转8路串口的板子,文章链接:https://mp.weixin.qq.com/s/KsrV3nwemQyq3tdv7Lk…

超分辨数据集:Set5 Set14 BSD100 Urban100 Manga109

DIV2K数据集官网上很好找到,但是网上流传的Set5 14 BSD100,Urban100 Manga109都是私人进行处理过的版本,各个处理方式都不同,为了统一方式写了这篇文章。 官方的DIV2K x2、x3、x4的LR图片使用下面matlab代码生成(已经经过测试最后…

精细经营:为 Web3 游戏长期卓越奠定基石

作者:lesleyfootprint.network 随着越来越多的人涌入 Web3 游戏世界,构建精细化运营体系成为保持项目长期发展的关键。充分利用数据分析对于明智的决策至关重要,它能揭示用户行为、交易模式和市场趋势的内在奥秘。 基于数据驱动的决策、风险…

汤晓鸥:以科技改变世界,以教育照亮未来

原创 | 文 BFT机器人 汤晓鸥是我国人工智能领域的杰出代表,也是商汤科技的创始人。他在AI领域有着深厚的研究背景和丰富的实践经验,其主要研究方向是计算机视觉(CV)、模式识别和视频处理。 汤晓鸥积极推动AI技术的发展&#xff0…

uniapp实现豆瓣电影微信小程序(附源码)

演示 运行 基于本地代理1 npm run dev:proxy1基于本地代理2 npm run dev:proxy2基于nginx 代理 npm run dev:nginx目录结构 |__ douban # 本地代理|__ app.js # 方式 1|__ proxy.js …

深度学习的十大核心算法

引言 深度学习是人工智能领域中最热门和最具影响力的分支之一。其核心在于通过构建复杂的神经网络模型,从大量的数据中自动学习并提取出有用的特征,从而实现各种高级的任务,如图像识别、自然语言处理等。本文将介绍深度学习中的十大核心算法…

Linux之进程(五)(进程控制)

目录 一、进程创建 1、fork函数创建进程 2、fork函数的返回值 3、fork常规用法 4、fork调用失败的原因 二、进程终止 1、进程终止的方式 2、进程退出码 3、进程的退出方法 三、进程等待 1、进程等待的必要性 2、wait函数 3、waitpid函数 四、进程程序替换 1、概念…

c++11特性:右值引用的作用以及使用

右值: C11 增加了一个新的类型,称为右值引用( R-value reference),标记为 &&。在介绍右值引用类型之前先要了解什么是左值和右值: 1. lvalue 是locator value的缩写,rvalue 是 read v…

Swagger2接口测试文档

目录 一、Swagger简介 1.1 Swagger是什么? 1.2 为什么要用Swagger 1.3 Swagger注解 二、Spring集成Swagger 三、测试环境配置 一、Swagger简介 1.1 Swagger是什么? Swagger是一款RESTFUL接口的文档在线自动生成功能测试功能软件。Swagger是一个规…

(自适应手机版)英文外贸网站模板 - 带三级子目录

(自适应手机版)英文外贸网站模板 - 带三级子目录 PbootCMS内核开发的网站模板,该模板适用于外贸网站、英文网站类等企业,当然其他行业也可以做,只需要把文字图片换成其他行业的即可; 自适应手机版,同一个后台&#x…

数据安全扫描仪荣膺网络安全优秀创新成果大赛优胜奖 - 凸显多重优势

近日,由中国网络安全产业联盟(CCIA)主办、CCI数据安全工作委员会中国电子技术标准化研究院等单位承办的“2023年网络安全优秀创新成果大赛”获奖名单公布。天空卫士数据安全扫描仪(DSS)产品获得创新成果大赛优胜奖。 本…

从源码到实践:深入了解鸿鹄电子招投标系统与电子招投标

在数字化采购领域,企业需要一个高效、透明和规范的管理系统。通过采用Spring Cloud、Spring Boot2、Mybatis等先进技术,我们打造了全过程数字化采购管理平台。该平台具备内外协同的能力,通过待办消息、招标公告、中标公告和信息发布等功能模块…

JetBrains AI Assistant 最佳平替方案来了

先看看官方推荐 JetBrains IDE 中的 AI 助手 除了你自己,谁最了解你的项目?你的IDE!这就是为什么 AI Assistant 可以如此具有上下文感知能力和帮助性的原因。 JetBrains AI 服务采用不同的大型语言模型 (LLM)&#xf…