Linux部署HDFS集群前置准备

news2024/11/18 19:40:15

二、VMware准备Linux虚拟机

三、VMware虚拟机系统设置

(一)对三台虚拟机完成主机名、固定IP、SSH免密登陆等系统设置

1.配置固定IP地址

  • 打开控制台,切换到root用户
    su -
    

    image-20231124162624179

  • 修改主机名、IP地址
    vim /etc/sysconfig/network-scripts/ifcfg-ens33
    

    image-20231124162825678

​ ifcfg-ens33原内容

image-20231124163749081

TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no" 
BOOTPROTO="static"  
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes" 
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no" 
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="f9a9b662-82cf-4c69-8d42-a70c955686fd"
DEVICE="ens33"
ONBOOT="yes"
IPADDR="192.168.88.101"
NETMASK="255.255.255.0"
GATEWAY="192.168.88.2"
DNS1="192.168.88.2"
  • 将BOOTPROTO由hdcp改为static,即由动态获取ip改为静态设置ip

  • IPADDR:IP地址,每台主机不一样

  • NETMASK:子网掩码

  • GATEWAY:网关

  • DNS1:DNS,一般跟网关一样的IP

  • 修改成功
    systemctl restart network
    ifconfig
    

    image-20231124164247080

2.配置主机映射

  • 修改Windows(自己电脑上的)的host文件

    image-20231124165157120

  • 添加相应配置(保存需要管理员权限,此处用的sublime编辑器,可以管理员身份运行编辑器,vscode也可)

    image-20231124165345502

  • 修改linux的配置

    • 先使用finallshell连接三台服务器

      image-20231124165829752

    • 修改每台linux的host文件

      vim /etc/hosts
      

      image-20231124170629700

3.配置SSH免密登录

后续安装的集群化软件,多数需要远程登录以及远程执行命令,我们可以简单起见,配置三台Linux服务器之间的免密码互相SSH登陆

  • 在每一台机器都执行:ssh-keygen -t rsa -b 4096,一路回车到底即可

    • 按照rsa格式生成

    • 长度为4096位

    • 查看构建的私钥和公钥

      image-20231124171713811

  • 在每一台机器都执行:

    ssh-copy-id node1
    ssh-copy-id node2
    ssh-copy-id node3
    
    • 自动化完成免密登录授权

    • 在每一台机器都执行到node1、node2、node3的免密登录的授权操作,这样几台机器就可与互相免密操作

    • 测试node1到node3的免密访问 (能直接用node3是因为hosts文件里面配置了主机名到IP的映射)

      image-20231124172022254

  • 执行完毕后,node1、node2、node3之间将完成root用户之间的免密互通

4.配置hadoop用户(普通用户)的免密登录

后续大数据的软件,将不会以root用户启动(确保安全,养成良好的习惯)我们为大数据的软件创建一个单独的用户hadoop,并为

  1. 在每一台机器执行:useradd hadoop,创建hadoop用户

  2. 在每一台机器执行:passwd hadoop,设置hadoop用户密码为123456

  3. 在每一台机器均切换到hadoop用户:su - hadoop,并执行 ssh-keygen -t rsa -b 4096,创建ssh密钥

  4. 在每一台机器均执行

    ssh-copy-id node1
    ssh-copy-id node2
    ssh-copy-id node3
    

(二)JDK环境部署

1.下载JDK

https://www.oracle.com/java/technologies/downloads

2.配置JDK环境

每个节点都需要

  1. 创建文件夹,用来部署JDK,将JDK和Tomcat都安装部署到:/export/server 内

    mkdir -p /export/server
    
  2. 解压缩JDK安装文件

    tar -zxvf jdk-8u361-linux-x64.tar.gz -C /export/server
    
  3. 配置JDK的软连接

    ln -s /export/server/jdk1.8.0_361 /export/server/jdk
    
  4. 配置JAVA_HOME环境变量,以及将$JAVA_HOME/bin文件夹加入PATH环境变量中

    vim /etc/profile
    
    # 编辑/etc/profile文件
    export JAVA_HOME=/export/server/jdk
    export PATH=$PATH:$JAVA_HOME/bin
    
  5. 生效环境变量

    source /etc/profile
    
  6. 配置java执行程序的软连接

    # 删除系统自带的java程序
    rm -f /usr/bin/java
    # 软连接我们自己安装的java程序
    ln -s /export/server/jdk/bin/java /usr/bin/java
    
  7. 执行眼睁睁

    java -version
    javac -version
    
  8. 复制jdk到另一个服务器

    scp -r jdk1.8.0_361 node2:`pwd`/
    

(三)防火墙、SELinux、时间同步

对三台虚拟机完成防火墙、SElinux、时间同步等系统设置

1.关闭防火墙和SELinux

  • 集群化软件之间需要通过端口互相通讯,为了避免出现网络不通的问题,我们可以简单的在集群内部关闭防火墙。

    每台机器都执行

    systemctl stop firewalld
    systemctl disable firewalld  # 防止开机自启
    
  • Linux有一个安全模块:SELinux,用以限制用户和程序的相关权限,来确保系统的安全稳定。
    在当前,我们只需要关闭SELinux功能,避免导致后面的软件运行出现问题即可

    每台机器都执行

    vim /etc/sysconfig/selinux
    
    # 将第七行,SELINUX=enforcing 改为
    SELINUX=disabled
    # 保存推出后,重启虚拟机即可,千万要注意disabled单词不要写错,不然无法启动系统
    

2.修改时区并配置自动时间同步

​ 以下操作在三台Linux均执行

  1. 安装ntp软件

    yum install -y ntp
    
  2. 更新时区

    rm -f /etc/localtime;sudo ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
    
  3. 同步时间

    ntpdate -u ntp.aliyun.com
    
  4. 开启ntp服务并设置开机自启

    systemctl start ntpd
    systemctl enable ntpd
    

(四)完成设置,拍摄快照

1.关闭虚拟机

2.拍摄快照

image-20231124195845768

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1283274.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Temu数据面板:Temu商家必备的数据分析工具

在Temu这个电商平台上,越来越多的商家意识到数据分析的重要性。数据分析可以帮助商家更好地了解店铺的运营情况,从而制定更有效的运营策略,提高销售业绩。而在这个过程中,Temu数据面板成为了一个不可或缺的工具。 先给大家推荐一款…

学习使用三个命令实现在腾讯云服务器TencentOS Server 3.1或者CentOS 8上安装ffmpeg

学习使用三个命令实现在腾讯云服务器TencentOS Server 3.1或者CentOS 8上安装ffmpeg Error: Unable to find a match: ffmpeg添加RPMfusion仓库安装SDL安装ffmpeg执行命令测试 Error: Unable to find a match: ffmpeg 添加RPMfusion仓库 yum install https://download1.rpmfus…

LLM之RAG实战(二):使用LlamaIndex + Metaphor实现知识工作自动化

最先进的大型语言模型(LLM),如ChatGPT、GPT-4、Claude 2,具有令人难以置信的推理能力,可以解锁各种用例——从洞察力提取到问答,再到通用工作流自动化。然而,他们检索上下文相关信息的能力有限。…

CCF CSP认证 历年题目自练Day51

此题又丑又长可以直接从题目分析(个人理解)部分看 题目 试题编号: 201812-3 试题名称: CIDR合并 时间限制: 1.0s 内存限制: 512.0MB 样例输入 2 1 2 样例输出 1.0.0.0/8 2.0.0.0/8 样例输入 2 10/9 10…

2022年9月26日 Go生态洞察:Go运行时4年后的进展

🌷🍁 博主猫头虎(🐅🐾)带您 Go to New World✨🍁 🦄 博客首页——🐅🐾猫头虎的博客🎐 🐳 《面试题大全专栏》 🦕 文章图文…

不瞒各位,不安装软件也能操作Xmind文档

大家好,我是小悟 作为搞技术的一个人群,时不时就要接收产品经理发过来的思维脑图,而此类文档往往是以Xmind编写的,如果你的电脑里面没有安装Xmind的话,不好意思,是打不开这类后缀结尾的文档。 打不开的话…

Web漏洞分析-SQL注入XXE注入(中上)

随着互联网的不断普及和Web应用的广泛应用,网络安全问题愈发引起广泛关注。在网络安全领域中,SQL注入和XXE注入是两个备受关注的话题,也是导致许多安全漏洞的主要原因之一。本博客将深入研究这两种常见的Web漏洞,带您探寻背后的原…

隐写2-MISC-bugku-解题步骤

——CTF解题专栏—— 声明:文章由作者weoptions学习或练习过程中的步骤及思路,非正式答案,仅供学习和参考。 题目信息: 题目:隐写2 作者:harry 提示:f1g{xxx} 解题附件: 解题思路…

蓝桥杯物联网竞赛_STM32L071_9_按键矩阵扩展模块

原理图: 矩阵按键原理图: 实验板接口原理图: 得到对应图: 扫描按键原理: 按键的COLUMN1、2、3分别制0,每次只允许其中一个为0其他都是1(POW1和POW2正常状况为上拉),当有…

深入了解Java Duration类,对时间的精细操作

阅读建议 嗨,伙计!刷到这篇文章咱们就是有缘人,在阅读这篇文章前我有一些建议: 本篇文章大概6000多字,预计阅读时间长需要5分钟。本篇文章的实战性、理论性较强,是一篇质量分数较高的技术干货文章&#x…

为了让亲戚也能用上chatgpt,我决定建一个代理站点

(本文试着用gpt优化了一下,效果有,但是不多) ChatGPT在编程中的应用 当ChatGPT刚出来的时候,我尝试了几次,感觉它就像是一个高级版的搜索引擎。但在过去的一个月里,我在公司经常使用GPT来查询…

ruby安装(vscode、rubymine)

https://rubyinstaller.org/downloads/ 下载exe安装即可 会弹出 输入3 安装成功 vscode插件市场安装ruby插件 新建一个目录,打开terminal bundle init //进行初始化(如果执行不了,应该是环境变量没生效,重启vscode&#…

Pillow操控图像,Python必备神器全面解析!

更多资料获取 📚 个人网站:ipengtao.com Pillow 是一个强大的 Python 图像处理库,它提供了丰富的功能,能够处理图像的加载、编辑、处理和保存。这个库建立在 Python Imaging Library (PIL) 的基础上,并延续了 PIL 的开…

芯擎科技与芯华章深度合作,软硬件协同开发加速车规级芯片创新

12月4日,系统级验证EDA解决方案提供商芯华章,与国产高端车规芯片设计公司芯擎科技正式建立战略合作。双方强强联手,芯擎科技导入芯华章相关EDA验证工具,赋能车规级芯片和应用软件的协同开发,助力大规模缩短产品上市周期…

预测胶质瘤预后的铜结合蛋白的转录组学特征

今天给同学们分享一篇生信文章“Transcriptomic Characterization of Copper-Binding Proteins for Predicting Prognosis in Glioma”,这篇文章发表在Brain Sci期刊上,影响因子为3.3。 结果解读: 铜结合蛋白的转录组表达 共有85种蛋白质被确…

【驾校管理系统源码】基于Springboot+Vue个人驾校预约管理系统

🍅 简介:500精品计算机源码学习 🍅 欢迎点赞 👍 收藏 ⭐留言 📝 文末获取源码 目录 一、以下学习内容欢迎领取: Eclipse运行教学: Idea运行项目教学: Pycharm调试项目教学&#…

嵌入式rk3399系统问题

1、修改分辨率 修改4k分辨率: 1. 执行命令:cvt 3840 2160 50获得返回结果(2k分辨率为cvt 1920 1080 50),如图中所示: 2.修改文件:sudo vim /usr/share/X11/xorg.conf.d/20-modesetting.conf将获取到的Modeline如图中所…

二值图像分割统一项目

1. 项目文件介绍 本章为二值图像的分割任务做统一实现,下面是项目的实现目录 项目和文章绑定了,之前没用过,不知道行不行 data 文件夹下负责摆放数据的训练集测试集inference 负责放待推理的图片(支持多张图片预测分割)run_results 是网络训…

业务场景中Hive解析Json常用案例

业务场景中Hive解析Json常用案例 json在线工具 json格式转换在线工具 https://tool.lu/json/format格式互转: // 格式化可以合并整行显示 {"name":"John Doe","age":35,"email":"johnexample.com"}// 格式化…

vm net 方式 静态ip配置访问主机IP和外网

1、win 11 安装vm,镜像文件 F:\software\VMwork\CentOS-7-x86_64-Everything-1804.iso 2、配置网络 net 方式 3、右击网络--》属性---》更改适配器设置--》vmnet8 属性 如果没有vm1、vm8 虚拟机编辑---》虚拟机网络编辑器-->还原默认设置 注意:这…