大数据---Hadoop安装教程(一)

news2024/11/19 0:41:09

Hadoop安装教程前期工作

以下步骤基于网络配置完成,并且能连接xshell和xftp工具
Linux安装: Linux—CentOS 7 64位安装教程
Xshell连接: Linux—Xshell连接


文章目录

  • Hadoop安装教程前期工作
  • 安装vim编辑器
  • 免密登录
    • ssh登录过程
    • 免密登录的原理
    • 操作
      • 1.免密登录
      • 2.开启远程免密登录配置
      • 3.远程登录
  • 时间同步
    • 1.安装ntpdate
    • 2.同步
    • 3.设置定时任务,定时更新时间
  • 修改计算机名
  • 安装并配置jdk
    • 解压文件到指定目录
    • 修改文件名
    • 配置JDK环境变量
    • 刷新配置文件
    • 测试


安装vim编辑器

yum -y install vim

免密登录

ssh登录过程

(1)远程主机收到用户的登录请求,把自己的公钥发给用户。
(2)用户使用这个公钥,将登录密码加密后,发送回来。
(3)远程主机用自己的私钥,解密登录密码,如果密码正确,就同意用户登录。

免密登录的原理

Linux免密登录,本质上是使用了”公钥登录”。原理很简单,就是用户将自己的 公钥 储存在远程主机上。登录的时候,远程主机会向用户发送一段 随机字符串,用户用自己的 私钥 加密后,再发回来。远程主机用事先储存的公钥进行解密,如果成功,就证明用户是可信的,直接允许登录shell,不再要求密码。常见如Git的ssh方式也是通过公钥进行认证的。SSH公钥登录比密码登录更安全,密码登录可能存在中间人攻击。
客户端使用私钥,服务端使用公钥。

操作

1.免密登录

#生成密钥对
ssh-keygen -t rsa -P ""
#(连续三次回车,即在本地生成了公钥和私钥,不设置密码,默认存储在 ~/.ssh目录下)

在这里插入图片描述

2.开启远程免密登录配置

[root@localhost .ssh]# ssh-copy-id -i ./id_rsa.pub -p22 root@192.168.xxx.xxx(服务器的IP地址)

3.远程登录

[root@localhost .ssh]# ssh -p22 root@192.168.xxx.xxx(服务器的IP地址)
退出exit。

时间同步

1.安装ntpdate

yum install -y ntpdate

2.同步

ntpdate time.windows.com

在这里插入图片描述

3.设置定时任务,定时更新时间

crontab -e

设置每五小时更新时间

* */5 * * * /usr/sbin/ntpdate -u time.windows.com 

启动任务

service crond start

查看状态

service crond status

在这里插入图片描述

修改计算机名

hostnamectl set-hostname Hadoop(计算机名)

在这里插入图片描述

安装并配置jdk

准备工作:
1.在opt目录下创建install和soft文件
2.使用xftp工具 将压缩包上传到install文件

解压文件到指定目录

tar -zxvf ./jdk-8u321-linux-x64.tar.gz -C ../soft/
tar -zxvf ./hadoop-3.1.3.tar.gz -C ../soft/

修改文件名

mv jdk1.8.0_321/ jdk180
mv hadoop-3.1.3/ hadoop313

配置JDK环境变量

vim /etc/profile

输入set nu 显示行号,在75行开始添加,添加后wq保存退出

 75 # JAVA_HOME
 76 export JAVA_HOME=/opt/soft/jdk180
 77 export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
 78 export PATH=$PATH:$JAVA_HOME/bin

在这里插入图片描述

刷新配置文件

source /etc/profile

测试

输入javac
在这里插入图片描述
输入java -version 查看java版本
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/191864.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

比较排序——三路快速排序

快速排序(Quicksort),计算机科学词汇,适用领域Pascal,c等语言,是对冒泡排序算法的一种改进。一、单路排序流程快速排序算法通过多次比较和交换来实现排序,其排序流程如下: (1)首先设…

e^(-x^2)的原函数(本求法为负面典型,仅供参考)

先放正确答案 ∫−∞∞e−x2π\int _{-\infin} ^{\infin} e^{-x^{2}}\sqrt{\pi}∫−∞∞​e−x2π​ 证法有许多 这是选自点我的一个证明方法。 首先要明确这是一个超越函数 求不了原函数 所以以下部分……纯属失败案例 注:原本在desmos上完成的推导,复制…

stable-diffusion-webui的基础功能手动安装,了解代码结构、依赖、模型出处

前言 虽然,当前有很多stable-diffusion-webui 的一键安装包,但是不易于彻底理解该项目 主要介绍了,手动安装 stable-diffusion-webui 基础功能的过程,手动安装,了解代码结构、依赖、模型出处 一、手动下载stable-dif…

2023 如何学好 Python web 开发?走心局送给大家

1.走心 我在没有接触互联网这个行业的时候, 就一直好奇网站是怎么构建的。 我现在虽然从事互联网相关的工作, 但是也一直没有接触过Web开发之类的东西, 不过兴趣终归还是要有的,还要自己动手去实践的。 Web开发的途径有好多种&am…

Linux 三剑客命令之 awk 详解

目录 一、Awk 实战讲解 1.1 awk 的原理 1.2 BEGIN 和 END 模块 1.3 运算符 1.4 常用 awk 内置变量 1.5 awk 正则 1.6 awk 常用字符串函数 一、Awk 实战讲解 awk 是一种很棒的语言,它适合文本处理和报表生成,其语法较为常见,借鉴了某些…

Fisco Bcos区块链五(后端区块链应用开发框架及流程)

文章目录项目框架:开发流程:1、创建一个Java工程2、引入FISCO BCOS Java SDK3、配置SDK证书4、业务逻辑开发第一步.将3编译好的Java合约引入项目中第二步.开发业务逻辑5. 运行应用项目框架: |-- build.gradle // gradle配置文件 |-- gradle …

element-ui组件的使用,导航菜单(NavMenu)组件、分页组件的使用

一、ElementUI 1、简介:是饿了么公司推出的基于Vue2的组件库 2、使用方法:具体可见官网https://element.eleme.cn/#/zh-CN/component/installation ​ (1)在vue项目中安装:npm install element-ui ​ (…

win10 在线、离线安装microsoft store 版 WSL

实验环境: 操作系统:windows版本 10.0.19045.2486 WSL版本:Microsoft.WSL_1.0.3.0_x64_ARM64.msixbundle 离线安装 获取WSL安装包: 在此页面获取发布网址: Microsoft Store 中适用于 Linux 的 Windows 子系统的发行…

深度卷积对抗神经网络 基础 第七部分 StyleGAN

深度卷积对抗神经网络 基础 第七部分 StyleGAN 深度卷积神经网络模型已经应用在非常多的领域,但是其总包含了很多潜在的问题,比如说训练速度过慢,生成器与判别器的进化程度不平衡等等。那么,随着各种方法和算法的普及和进化&…

就业秘籍!这些软件测试的面试话术你要知道

近些年,各行各业找工作都不太容易,虽然身处技术岗位的软件测试因企业需求大,要比之其他行业容易,但,稍有不慎,也会让求职者与自己心仪的offer失之交臂,因此,大家在准备前面前&#x…

关键点匹配——商汤LoFTR源码详解

源码地址见文末 1.项目与参数配置解读 首先,进入目录,使用pip install -r requirements.txt配置环境。 首先,对于demo的运行,首先需要准备好需要用于关键点匹配的数据,提供的代码中置于了image文件夹下,然后是训练的权重,代码中下载了室内场景和室外场景的训练权重。 …

抓包展示vlan报文(8021Q)

VLAN数据帧格式要使交换机能够分辨不同VLAN的报文,需要在报文中添加标识VLAN信息的字段。IEEE 802.1Q协议规定,在以太网数据帧的目的MAC地址和源MAC地址字段之后、协议类型字段之前加入4个字节的VLAN标签(又称VLAN Tag,简称Tag&am…

什么护眼台灯比较专业?2023央视推荐的护眼灯

台灯作为最常见的照明工具,也是因为有许多孩子都有近视的现象,从儿童青少年的近视人数可以看出,我国的近视人数是全国第一的,所以选择一款好的护眼台灯是很关键的,有哪些专业的护眼台灯呢?挑选台灯最主要是…

vue 使用 wangeditor 富文本编辑器

wangeditor 是一个轻量级 web 富文本编辑器,配置方便,使用简单。 1)安装 wangeditor 终端安装 wangeditor 库: yarn add wangeditor/editor # 或者 npm install wangeditor/editor --save2)页面绑定 创建一个 xxx.…

unity 关于UV坐标算点 和 PerlinNoise(柏林噪声)

生成相关效果代码如下: public int w 100;public int h 100;public Texture2D texture;public Image image;public Color tu Color.yellow;public Color cao Color.green;// Start is called before the first frame updatevoid Start(){texture new Texture2D…

剑指 Offer II 007. 数组中和为 0 的三个数

题目链接 剑指 Offer II 007. 数组中和为 0 的三个数 mid 题目描述 给你一个整数数组 nums,判断是否存在三元组 [nums[i], nums[j], nums[k]]满足 i ! j、i ! k 且 j ! k ,同时还满足 nums[i] nums[j] nums[k] 0。 请你返回所有和为 0 且不重复的三…

软件测试岗位会消失么

只要互联网还在发展,软件测试岗位就一直被需要! 软件测试已经不再只是点点点了,如果只停留在点点点,那么有可能会消失,但是现在测试已经向自动化测试方向发展了 人生如逆水行舟,不进则退。于其浪费时间的…

Golang GC垃圾回收机制理解记录

一、概念对不再使用的是内存资源进行自动回收的功能就叫垃圾回收(GC: Garbage Collection)二、为什么要有垃圾回收?编程语言需要对内存手动释放,操作繁琐,处理不好会出现内存泄漏,垃圾回收出现使的开发者能…

入门力扣自学笔记234 C++ (题目编号:2325)

2325. 解密消息 题目: 给你字符串 key 和 message ,分别表示一个加密密钥和一段加密消息。解密 message 的步骤如下: 使用 key 中 26 个英文小写字母第一次出现的顺序作为替换表中的字母 顺序 。 将替换表与普通英文字母表对齐&#xff0c…

ESP32设备驱动-PCF8591数据采集驱动

PCF8591数据采集驱动 1、PCF8591介绍 PCF8591 是一款单片集成、独立电源、低功耗、8 位 CMOS 数据采集设备。 PCF8591 具有四个模拟输入、一个模拟输出和一个串行 I2C 总线接口。 PCF8591 的三个地址引脚 A0、A1 和 A2 可用于硬件地址编程 8 PCF8591 器件允许访问相同的 I2C…