11 配置Hadoop集群-免密登录

news2025/4/2 23:52:33

第一课时

一、复习导入

前面的课程我们在虚拟机上安装测试使用了hadoop的示例程序wordcount,并且在准备好了集群的同步工具,那接下来,我们就可去配置hadoop集群了

二、授新

(一)认识ssh命令

SSH(Secure Shell)命令是一种用于通过加密协议安全地连接到远程服务器的工具。它广泛应用于远程登录、文件传输和命令执行等场景。

它最基本的用法是连接到远程服务器,格式如:

ssh 用户名@主机名

例如:我们先登录hadoop100,然后去登录到hadoop101。命令是:

ssh root@hadoop101

注意:如果这里报错: unkown host name。请重新设置hosts。

(二)ssh无密登录

使用ssh去登录其他主机的时候,会要求输入密码,如何让不要每次都输入密码呢?这就是所谓的免密登录

实操案例

我们希望达成的目标是:希望用户在hadoop100登录到hadoop101时,hadoop101不需要输入密码。

核心步骤

  1. 在hadoop100上 生成密钥对。
  2. 把hadoop100的公钥发到hadoop101上。
  3. 在hadoop100上登录hadoop101,验证效果。

具体操作

  1. 登录 hadoop100。使用finalshell连接。
  2. 在hadoop100上,运行命令:ssh-keygen -t rsa然后根据提示连续敲入三个回车。这个命令就会生成一对公钥和私钥,那它们具体在哪,长得什么样子呢? 它会在当前用户目录(/root)下生成一个.ssh的文件夹,并创建两个文件。如下所示:

这里的id_rsa就是私钥,id_rsa.pub就是公钥。可以使用cat 命令去查看一下容。

  1. 将公钥拷贝到hadoop101上。 这里专门有一个命令ssh-copy-id。它的格式是:  ssh-copy-id 目标机器。所以这里我们输入命令:

ssh-copy-id 101

(4)在hadoop100上,输入ssh hadoop101命令,看看是否可以免密登录?

请开始实操,让三台机器之间都可以无密登录。

ssh相关文件介绍

接下来我们去具体看看.ssh相关的文件,以便更加深入的了解它的工作过程。

.ssh文件夹下(~/.ssh)的文件功能解释:

known_hosts

记录ssh访问过计算机的公钥public key

id_rsa

生成的私钥

id_rsa.pub

生成的公钥

authorized_keys

存放授权过无密登录服务器公钥

(四)集群免密操作

目前我们有三台机器,它们之间相互访问都应该不需要输入密码。特别要注意的是自己登录自己也需要做免密配置。

例如: 在hadoop100上,也需要去设置针对它自己的免密登录。

所以,对于hadoop100来说,它要生成公钥,并拷贝到hadoop100, hadoop101, hadoop102上去。 对应的命令如下:

ssh-keygen -t rsa 
# 输入三次回车确认

ssh-copy-id hadoop100

ssh-copy-id hadoop101

ssh-copy-id hadoop102

其他的两台机器也要同样处理。

(五)运行异常排查

如果在finalshell中不能通过主机名来连接对应的虚拟机,请按如下步骤去检查:

  1. 本机的hosts文件是否正确修改。C:\Windows\System32\drivers\etc
  2. hosts文件中的主机名和ip地址是否与finalshell中的连接的主机名以及对应的虚拟机上的ip地址一致。
  3. 虚拟机是否正确开启。
  4. 虚拟机的ip是否正确设置。ip addr 命令可以查看
  5. 虚拟机是否可以正常ping www.baidu.com
  6. 本地控制面板,网络设置,vmnet8是否正常设置
  7. 本地服务:vmware是否正常运行

三、课堂小结

通过本堂课的学习,我们学习了ssh无密登录,并且成功地配置了hadoop集群环境

四、实训内容

任务1:三台设备之间无密登录

目标:hadoop100通过ssh访问hadoop101,hadoop102时不需要密码,其他两台设备也类似。

操作:

  1. hadoop100 无密登录hadoop101,hadoop102
    • 在hadoop100中生成公钥和密码。ssh-keygen -t rsa 三次回车
    • 在hadoop100中,把自己的公钥传递给hadoop101,hadoop102。
    • ssh-copy-id hadoop101
    • ssh-copy-id hadoop102
  2. hadoop101 无密登录 hadoop100,hadoop102 与(1)类似
  3. hadoop102 无密登录 hadoop100,hadoop101 与(1)类似

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2326144.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

13 配置Hadoop集群-测试使用

第一课时 一、导入 前面的课程我们搭建了hadoop集群,并成功启动了它,接下来我们看看如何去使用集群。 测试的内容包括:1.上传文件,2.下载文件,3.运行程序 二、授新 (一)上传小文件 上传文件的时…

简单ELK框架搭建

简介 ELK 框架是一套开源的日志管理和分析工具,由 Elasticsearch、Logstash 和 Kibana 三个主要组件组成,现在新增了Filebeat组件,可以更高效的收集数据。 Elasticsearch:是一个分布式、高可扩展的开源搜索引擎,能快速…

Vue2和Vue3响应式的基本实现

目录 简介Vue2 响应式Vue2 响应式的局限性 Vue3 响应式Vue3 响应式的优点 Vue2 和 Vue3 响应式对比 简介 在 Vue 框架中,数据的响应式是其核心特性之一。当页面数据发生变化时,我们希望界面能自动更新,而不是手动操作 DOM。这就需要对数据进…

RCE(自增、取反、异或)

自增: 也就是说,a > b,b > c... 所以,我们只要能拿到一个变量,其值为a,通过自增操作即可获得a-z中所有字符。 无字母数字构造: 所有敏感字符串(ASSERT、_POST)通过自增动态生…

【深度学习新浪潮】图像修复(Image Inpainting)技术综述:定义、进展与应用展望

本文为精简版,完整技术细节与参考文献可与作者讨论。 1. 图像修复的定义与核心目标 图像修复(Image Inpainting)是一种通过算法手段填补图像中缺失区域或移除不需要对象的技术,其核心目标是利用图像上下文信息生成与周围像素一致且视觉自然的内容。该技术通过计算机视觉和…

计算机视觉——传统数字图像处理中图像去噪原理与代码实现细节

1. 概述 在现实世界中捕获的图像常常受到噪声的影响,这些噪声可能来源于环境因素、信号不稳定、相机传感器问题、照明条件差、电损失等多种因素。为了进一步处理这些图像并对结果进行准确解释,拥有尽可能低噪声的图像至关重要。图像去噪是数字图像处理中…

【STM32】最后一刷-江科大Flash闪存-学习笔记

FLASH简介 STM32F1系列的FLASH包含程序存储器、系统存储器和选项字节三个部分,通过闪存存储器接口(外设)可以对程序存储器和选项字节进行擦除和编程,(系统存储器用于存储原厂写入的BootLoader程序,用于串口…

JS实现动态点图酷炫效果

实现目标 分析问题 整个图主要是用canvas实现,其中难点是将线的长度控制在一定范围内、并且透明度随长度变化。 前置知识 canvas绘制点、线、三角形、弧形 // 点ctx.moveTo(this.x, this.y);ctx.arc(this.x, this.y, this.r,0, 2 * Math.PI, false);ctx.fillStyle …

【第十三届“泰迪杯”数据挖掘挑战赛】【2025泰迪杯】【思路篇】A题解题全流程(持续更新)

【第十三届“泰迪杯”数据挖掘挑战赛】【2025泰迪杯】A题解题全流程-思路(持续更新) 写在前面: 1、A题、C题将会持续更新,陆续更新发布文章 2、赛题交流咨询Q群:1037590285 3、全家桶依旧包含: 代码、…

爱普生晶体单元FC2012AN在5G RedCap中的应用

在 5G 技术向物联网领域深度渗透的今天,RedCap(5G 轻量化)作为衔接中高速物联网场景的关键技术,正加速推动工业、医疗、可穿戴等领域的智能化升级。爱普生 FC2012AN 低 ESR 晶体单元凭借其突破性的小尺寸、低功耗与高稳定性设计&a…

vue 两种路由模式

一、两种模式比较 在vue.js中,路由模式分为两种:hash 模式和 history 模式。这两种模式决定了URL的结构和浏览器历史记录的管理方式。 1. hash 模式带 #,#后面的地址变化不会引起页面的刷新。换句话说,hash模式不会将#后面的地址…

Java-servlet(十)使用过滤器,请求调度程序和Servlet线程(附带图谱表格更好对比理解)

Java-servlet(十)使用过滤器,请求调度程序和Servlet线程 前言一、Servlet 间通信(了解即可)二、Servlet 请求处理:getAttribute 和 getParameter 的区别与应用1.getAttribute 方法2.getParameter 方法 三、…

ue5 学习笔记 FPS游戏制作35 GameMode与GameInstance

文章目录 相似GameMode介绍声明设置生效调用 GameInstance介绍声明设置生效调用 相似 两者都用来保存公共的数据和方法 数据都在内存里,关闭程序后数据消失 GameMode 介绍 生命周期跟随关卡,关卡销毁GameMode也跟随销毁 内部可以定义属性和方法 声明…

山洪预警秒级响应-AI本地化部署在极端降雨短临预测中的技术突破。AI智能体开发与大语言模型的本地化部署、优化技术

极端降雨预测的技术痛点与边缘破局 ‌1. 传统预警系统的三重瓶颈‌ ‌延迟致命‌:WRF模式在1km分辨率下3小时预报耗时>45分钟,错过山洪黄金响应期 ‌地形干扰大‌:复杂地形区(如横断山脉)降水预测误差超50% ‌数…

矿山自动化监测解决方案

1.行业现状 为贯彻落实《中共中央国务院关于推进安全生产领域改革发展的意见》《“十四五”矿山安全生产规划》(应急〔2022〕64号)、《国务院安委会办公室关于加强矿山安全生产工作的紧急通知》(安委办〔2021〕3号)等有关工作部署…

pytorch学习(b站小土堆学习)

1 环境配置 参考链接 2. dir 和 help函数 dir():用于查看某一模块函数的方法 help(): 用于查看某方法的使用方法 3. dataset类实战 利用Image对象打开图片,利用os模块的地址拼接组成图片路径 当我们用方括号访问元素对象时,…

【最新】探索CFD的未来:从OpenFOAM到深度学习,全面解析计算流体力学的顶级资源与前沿技术

计算流体力学(CFD)作为现代工程与科学研究的核心工具,正以前所未有的速度迈向智能化与多物理场耦合的新时代。本文全面梳理了在线学习CFD的顶级资源,涵盖了从传统数值模拟到深度学习驱动的物理信息模型的广泛领域,旨在为研究者、工程师和学生提供一站式参考指南。内容分为…

算法专题一:双指针算法(下)

书接上回 5.有效三角形个数 力扣&#xff1a; 有效三角形的个数 在做这道题前我们先讲一个数学知识&#xff1a;已知 a < b < c ,此时 ab>c 可以得出 有效三角形。 所以&#xff0c;我们做这道题时&#xff0c;可以不使用暴力算法。 可以优化为先排序&#xff…

咪咕MG101_晨星MSO9380芯片_安卓5.1.1_免拆卡刷固件包

咪咕MG101_晨星MSO9380芯片_安卓5.1.1_免拆卡刷固件包&#xff08;内有教程&#xff09; 刷机教程简单说明&#xff1a; 1、把下载好的刷机包&#xff0c;U盘里建立一个upgrade文件夹&#xff0c;固件放入此文件夹里&#xff0c;放入U盘中&#xff0c;注意升级包为压缩包不要对…

T11 TensorFlow入门实战——优化器对比实验

&#x1f368; 本文為&#x1f517;365天深度學習訓練營 中的學習紀錄博客&#x1f356; 原作者&#xff1a;K同学啊 | 接輔導、項目定制 一、前期准备 1. 导入数据 # Import the required libraries import pathlib import matplotlib.pyplot as plt import tensorflow as t…