黑马大数据学习笔记0-环境配置

news2024/11/16 21:51:05

目录

  • 设置VMware网络
  • CentOS操作系统
  • 三台虚拟机系统配置:主机名、固定IP、SSH免密登录
  • 配置主机名映射
  • 配置SSH免密登录
  • 创建hadoop用户并配置免密登录
  • JDK1.8环境部署
  • 防火墙、SELinux、时间同步
  • 设置快照

视频p3-p5
https://www.bilibili.com/video/BV1WY4y197g7?p=3

设置VMware网络

网段设置为192.168.88.0
网关设置为192.168.88.2
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

CentOS操作系统

下载CentOS-7-x86_64-DVD-1810-7.6.ios
https://pan.baidu.com/s/1_TOxbkMXw4JGAO6rOBCRdA?pwd=9987
bigdata 123
在这里插入图片描述
在这里插入图片描述
克隆3个
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述在这里插入图片描述在这里插入图片描述
复制的三台虚拟机开机的时候都弹出来这么一个提示,忽略不管,,,
在这里插入图片描述

三台虚拟机系统配置:主机名、固定IP、SSH免密登录

node1、node2、node3操作一样

打开终端

切换到root用户

su -

三台虚拟机分别修改主机名

hostnamectl set-hostname node1
hostnamectl set-hostname node2
hostnamectl set-hostname node3

重启终端

修改IP地址

vim /etc/sysconfig/network-scripts/ifcfg-ens33

如果打开是一片空白,注意检查命令是否写错

按下i 进入insert模式

进去之后将BOOT
PROTO="dhcp"修改为BOOTPROTO=“static”

三台虚拟机分别添加以下内容

IPADDR="192.168.88.101"
NETMASK="255.255.255.0"
GATEWAY="192.168.88.2"
DNS1="192.168.88.2"
IPADDR="192.168.88.102"
NETMASK="255.255.255.0"
GATEWAY="192.168.88.2"
DNS1="192.168.88.2"
IPADDR="192.168.88.103"
NETMASK="255.255.255.0"
GATEWAY="192.168.88.2"
DNS1="192.168.88.2"

esc退出编辑
:wq保存并退出

重启网卡

systemctl restart network

查看IP地址

ifconfig

配置主机名映射

Windows系统C:\Windows\System32\drivers\etc打开hosts文件,添加内容

192.168.88.101 node1
192.168.88.102 node2
192.168.88.103 node3

三个虚拟机一样的操作
为了方便,使用finalshell远程控制三台虚拟机
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
点击进入成功之后修改hosts文件

vim /etc/hosts

添加

192.168.88.101 node1
192.168.88.102 node2
192.168.88.103 node3

在这里插入图片描述

配置SSH免密登录

三个虚拟机一样的操作

执行命令

ssh-keygen -t rsa -b 4096

然后一路回车

cd .ssh/ 然后ll 查看私钥和公钥

执行

ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3

执行完毕后,node1、node2、node3之间将完成root用户之间的免密登录

执行ssh node1进行免密登录,exit退出
在这里插入图片描述

创建hadoop用户并配置免密登录

root用户权限太大,为安全起见,创建普通用户进行操作

三个虚拟机操作一样

创建hadoop用户

useradd hadoop

设置密码

passwd hadoop

切换到hadoop用户

su - hadoop

创建ssh密钥

ssh-keygen -t rsa -b 4096

执行

ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3

注:下面的操作在root用户下执行

JDK1.8环境部署

1、创建文件夹,用来部署JDK,将JDK和Tomact都安装部署到:/export/server内

mkdir -p /export/server

2、上传jdk文件

rz

3、查看文件列表

ll

4、解压JDK文件

tar -zxvf jdk-8u361-linux-x64.tar.gz -C /export/server

5、进入路径/export/server

cd /export/server/

6、查看列表

ls

7、配置JDK的软链接

ln -s /export/server/jdk1.8.0_361 /export/server/jdk

8、查看

ls -l

9、编辑/etc/profile文件

vim /etc/profile

10、添加以下内容(配置JAVA_HOME环境变量,将$JAVA_HOME/bin文件夹加入PATH环境变量中)

export JAVA_HOME=/export/server/jdk
export PATH=$PATH:$JAVA_HOME/bin

11、生效环境变量

source /etc/profile

12、配置java执行的软链接
删除系统自带的java程序

rm -f /usr/bin/java

13、软链接到我们自己安装的java程序

ln -s /export/server/jdk/bin/java /usr/bin/java

14、执行验证

java -version
javac -version

15、将jdk复制到node2和node3(这一步相当于2、4)

scp -r jdk1.8.0_361 node2:`pwd`/
scp -r jdk1.8.0_361 node3:`pwd`/

防火墙、SELinux、时间同步

集群化软件之间需要通过端口互相通讯,为了避免出现网络不通问题,我们可以简单地在集群内部关闭防火墙。
关闭防火墙

systemctl stop firewalld

把开机自启消灭

systemctl disable firewalld

Linux有一个安全模块SELinux,用以限制用户和程序的相关权限,来确保系统的安全稳定。
关闭SELinux

vim /etc/sysconfig/selinux

将第七行SELINUX=enforcing改为

SELINUX=disabled

重启

init 6

回车
查看状态

systemctl status firewalld

安装ntp软件

yum install -y ntp

更新时区

rm -f /etc/localtime;sudo ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

查看时间

date

同步时间

ntpdate -u ntp.aliyun.com

开启ntp服务并配置开机自启

systemctl start ntpd
systemctl enable ntpd

查看状态

systemctl status ntpd

设置快照

关机->
在这里插入图片描述
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/734705.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

tomcat第1章 tomcat介绍、安装、部署项目

一、前言 我们在写javaweb程序的时候有没有考虑如果没有tomcat,我们怎么给客户端返回响应数据?既然能返回响应数据,为什么还要使用tomcat? 什么是tomcat,以及tomcat历史版本发展情况,每个版本servlet规范…

如何与ChatGPT愉快地聊天

原文链接:https://mp.weixin.qq.com/s/ui-O4CnT_W51_zqW4krtcQ 人工智能的发展已经走到了一个新的阶段,在这个阶段,人工智能可以像人一样与我们进行深度的文本交互。其中,OpenAI的ChatGPT是一个具有代表性的模型。然而&#xff0…

JavaFX学习:MVC模式中的PropertyValueFactory

PropertyValueFactory类是“TableColumn cell value factory”,绑定创建列表中的项。示例如下&#xff1a; TableColumn<Person,String> firstNameCol new TableColumn<Person,String>("First Name");firstNameCol.setCellValueFactory(new PropertyVal…

Blender基础入门(3):复杂建模技巧

文章目录 我个人的Blender专栏前言基础属性设置选择循环选择&#xff1a;Alt左键透视选择锁定物体编辑模式123快捷键按下/&#xff08;右侧Shift左边&#xff0c;<>按键右边&#xff09;&#xff0c;锁定物体先在物体模式选择物体&#xff0c;再到编辑模式就只会选择该物…

淘宝订单拉取更新历史状态~需求

&#x1f4da;目录 订单接口api需求问题解决 Map<String,TaobaoOrder> 订单接口api 可自行查询官网文档&#xff0c;点击进入 需求 通过接口中has_next 标识判断该时间断是否还有下一页数据,直到该值数据为false时,表面该时间范围内的订单数据获取完成. 拉取完成后需要对…

Maven工程开发中的继承与聚合

1. 聚合工程概念 设置一个空的maven工程&#xff0c;工程里面只有pom文件&#xff0c;另外将这个工程的打包方式设置为pom。 在聚合工程里面添加聚合工程里面管理的模块 2.聚合总结 3.继承 例如下面02工程继承上面的01工程&#xff0c;在02工程的pom文件中要配置要继承的父工…

分组统计--Pandas

1.groupby 1.1 函数功能 先对数据进行分组&#xff0c;然后在每个分组上运用聚合函数、转换函数 1.2 函数语法 DataFrame.groupby(byNone, axis0, levelNone, as_indexTrue, sortTrue, group_keysTrue, observedFalse, dropnaTrue)1.3 函数参数 参数含义by分组依据axis沿着…

【电子学会】2023年05月图形化一级 -- 找食物

找食物 1. 准备工作 &#xff08;1&#xff09;添加背景&#xff1a;Jungle&#xff1b; &#xff08;2&#xff09;删除小猫角色&#xff0c;添加角色&#xff1a;Dog2、Donut&#xff1b; 2. 功能实现 &#xff08;1&#xff09;点击绿旗&#xff0c;小狗的初始位置在舞…

打家劫舍(力扣)动态规划 JAVA

你是一个专业的小偷&#xff0c;计划偷窃沿街的房屋。每间房内都藏有一定的现金&#xff0c;影响你偷窃的唯一制约因素就是相邻的房屋装有相互连通的防盗系统&#xff0c;如果两间相邻的房屋在同一晚上被小偷闯入&#xff0c;系统会自动报警。 给定一个代表每个房屋存放金额的非…

从C语言到C++_25(树的十道OJ题)力扣:606+102+107+236+426+105+106+144+94+145

目录 606. 根据二叉树创建字符串 - 力扣&#xff08;LeetCode&#xff09; 解析代码&#xff1a; 102. 二叉树的层序遍历 - 力扣&#xff08;LeetCode&#xff09; 解析代码&#xff1a; 107. 二叉树的层序遍历 II - 力扣&#xff08;LeetCode&#xff09; 解析代码&…

倪海厦针灸大成学习笔记

学习倪海厦老师人纪针灸课程的学习笔记&#xff0c;比较粗糙&#xff0c;不一定准确&#xff0c;分享给大家&#xff0c;大家发现笔记中的错误&#xff0c;欢迎反馈&#xff01; Word文档链接 有需要的欢迎私信

VSCode控制台乱码解决

如果你试过很多方法依然解决不了乱码问题&#xff0c;不妨试试这个 设置完成后重启电脑 开机后查看一下当前的编码 打开VSCode试一下 不得不吐槽一下MS。。。。。。

虚幻引擎程序化资源生成框架PCG 之 UPCGBlueprintElement源码笔记(二)数据流

PCG节点处理的是数据流&#xff0c;也就是点云&#xff0c;点云到底是啥&#xff1f;笼统地说就是一个个携带着信息的点组成的集合。但是在具体是使用过程中&#xff0c;我们还得了解这些”携带着信息的点“是如何被层层包装起来的。本文中老王就和大家一边拆解源代码一边做实验…

以太网数据链路层相关技术(六)

目录 一、概述 二、MAC地址 2.1 概述 2.2 MAC地址的意义 三、共享介质型网络与非共享介质网络 四、VLAN技术 一、概述 在各设备之间的数据传输时&#xff0c;物理层和数据链路层是必不可少的。其中&#xff0c;物理层的通信媒介包括双绞线电缆、同轴电缆、光纤、电波以及…

Springcloud基础(4)-Ribbon负载均衡

负载均衡 1. Ribbon简单描述2. 在SpringCloud中查看相关处理源码3. ribbon的默认策略&#xff0c;懒加载3. 实操中的相关问题 1. Ribbon简单描述 Spring Cloud Ribbon 是一套基于 Netflix Ribbon 实现的客户端负载均衡和服务调用工具。Ribbon是Netflix发布的开源项目&#xff0…

MySQL第四天作业 单表查询和多表查询

单表查询 创建表 CREATE TABLE emp (empno int(4) NOT NULL,ename varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,job varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,mgr int(4) NULL DEFAULT NULL,hiredate d…

【电子学会】2023年05月图形化一级 -- 舞蹈演出

舞蹈演出 1. 准备工作 &#xff08;1&#xff09;删除小猫角色&#xff1b; &#xff08;2&#xff09;添加角色Ballerina&#xff0c;为角色添加声音Bossa Nova&#xff1b; &#xff08;3&#xff09;添加背景Theater和Concert。 2. 功能实现 &#xff08;1&#xff09…

STC89C52---定时器,中断

目录 一:定时器 1:简历 2:定时器/计数器0/1和相关寄存器 A:介绍 B: 相关寄存器 C:基本原理 3:定时器/计数器控制寄存器TCON 4:定时器/计数器工作模式寄存器TMOD (1)门控制 (2):使用STC-iSP软件生成配置 (2):使用STC-iSP软件定时器 二:中断 1:简历 B:中断寄存器 2…

【电子学会】2023年05月图形化四级 -- 还原轨迹

还原轨迹 1. 准备工作 &#xff08;1&#xff09;删除小猫&#xff1b; &#xff08;2&#xff09;从角色库添加“Butterfly 1”角色&#xff1b; &#xff08;3&#xff09;保留白色背景。 2. 功能实现 &#xff08;1&#xff09;点击绿旗&#xff0c;清除舞台&#xff…

利用Python实现网站内容监控及邮件提醒

目录 一、开启POP3/SMTP服务 二、利用SMTP库实现邮件发送 三、利用requests库监控网页关键字 四、常见问题 一、开启POP3/SMTP服务 以QQ邮箱为例&#xff1a;进入邮箱->设置->账户->开启POP3/SMTP等服务->获取授权码 ①首先进入QQ邮箱后点击设置 ② 点击邮箱…