大数据前置学习基础准备(非常详细!)

news2024/11/23 11:45:40
1.需要的环境

        需要3台服务器,centos7

为集群,全部设置为nat模式

2.整个环境大体

1.设置三台Linux虚拟机的主机和固定ip

2.在Linux系统以及本机系统中配置了主机名映射

3.配置了三台服务器之间root用户的ssh免密互通

4.安装配置JDK环境

5.关闭防火墙和SELinux

6.更新时区和同步时间

7.拍摄快照

3.修改主机名,配置静态ip

vim /etc/hostanme

将里面的内容修改为root1,其他的机器以此类推root2,root3

设置固定ip地址,三台机器设置同一个网段,并且ip相连

vim /etc/sysconfig/network-scripts/ifcfg-ens33

修改后进行网卡重启

Systemctl restart network

4.配置Linux主机名映射

配置3台linux的/etc/hosts

配置这个原因就是之后再远程连接工具中只输入主机名就好了《例如

5.配置windows主机名映射

在windows系统中修改host文件,填入如下内容:
windows路径为C:\Windows\System32\drivers\etc下的hosts文件中添加ip和用户名

或者直接win+r输入system32

6.配置ssh免密登录

后续安装的集群化软件,多数需要远程登录以及远程执行命令,我们可以简单起见,配置三台Linux服务器之间的免密码互相ssh登录

1.首先在每一台机器中执行ssh-keygen -t rsa -b 4096 一直回车就好了(rsa是密钥,4096是4096位的密码)

2.再在每一台机器中执行ssh-copy-id root1,ssh-copy-id root2,ssh-copy-id root3

全部执行完毕后就root1,root2,root3用户之间就能免密互通,直接ssh root2就能切换到root2,其他也一样

创建hadoop用户并配置免密登录

后续大数据的软件,将不会以root用户启动(主要是确保安全,要是被黑客攻击了就不会是root权限,养成良好习惯)

1.在每台机器上执行useradd hadoop创建hadoop用户

2.在每一台机器上执行passwd hadoop,设置hadoop用户密码123456

3.每一台机器都切换到hadoop用户,su hadoop,并且执行ssh-keygen -t rsa -b 4096,创建ssh密钥

4.在每台机器上执行ssh-copy-id root1,ssh-copy-id root2,ssh-copy-id root3,现在也是一样能互通了

7.配置JDK环境

1.创建文件夹,用来部署JDK,将JDK和

Mkdir -p /export/server

上传jdk文件到服务器上,我用的是finalshell,直接拖进去

2.解压缩到这个export/server中

3.配置软链接

4.配置JAVA_HOME环境变量

加这两条

执行命令,让环境变量生效

将之前系统自带的java环境删除,将我们刚刚安装的创建一个软链接到系统目录下

执行命令验证,java -version,javac

另外的两台机器也是一样,使用远程复制过去java,之后配置环境变量

对三台虚拟机完成防火墙,SElinux,时间同步等系统设置

8.关闭防火墙和SELinux

集群化软件之间需要通过端口互相通讯,为了避免出现网络不通的问题,我们可以简单的在集群内部关闭防火墙

Linux有一个安全模块:SELinux,用以限制用户和程序的相关权限,来确保系统的安全稳定

在当前,我们需要关闭SELinux功能,避免导致后面的软件运行出现问题

编辑文件修改

重启才能生效

9.修改时间地区配置自动时间同步

1.安装ntp软件

yum install -y ntp

2.更新时区

rm -f /etc/localtime;sudo In -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

3.同步时间

ntpdate -u ntp.aliyun.com

4.开启ntp服务并设置开机自启

systemctl start ntpd

systemctl enable ntpd

最后拍摄快照,防止之后出现问题

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1147865.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

宝塔安装mongodb插件失败的解决办法

安装时始终不成功。 进入控制台进行安装 /www/server/php/71# pecl install mongodb WARNING: channel "pecl.php.net" has updated its protocols, use "pecl channel-update pecl.php.net" to update pecl/mongodb requires PHP (version > 7.2.0, …

2317.操作后的最大异或和

非常好的一个位运算推公式题目 首先num[i]^x可以知道 这里可以变成任意一个数字 又有num[i]&上上面的数字 所以我们可以扣掉任意位的1把它变成0 答案让我们求异或和 所以只要这一位有1 答案的这一位就有1 我们发现这就是一个按位或运算 class Solution { public:int maxi…

C#__简单了解XML文档

/* XML(可扩展标记语言):用于传输和存储数据 XML文档:树结构;包含根元素 XML元素:从开始标签到结束标签的部分 XML语法规则: 1、所有XML元素都必须有结束标签 …

GAMP源码阅读(中)伪距单点定位 SPP

原始 Markdown文档、Visio流程图、XMind思维导图见:https://github.com/LiZhengXiao99/Navigation-Learning 文章目录 一、SPP 解算1、spp():单点定位主入口函数2、estpos()3、estpose_()4、valsol():GDOP和卡方检验结果有效性 二、卫星位置钟…

BraTS2021脑肿瘤分割实战

Brain Tumor Segmentation (BraTS) Challenge 2021 Homepage github项目地址 brats-unet: UNet for brain tumor segmentation BraTS是MICCAI所有比赛中历史最悠久的,到2021年已经连续举办了10年,参赛人数众多,是学习医学图像分割最前沿的…

【ChatGPT 01】ChatGPT基础科普

1. 从图灵测试到ChatGPT 1950年,艾伦•图灵(Alan Turing)发表论文**《计算机器与智能》( Computing Machinery and Intelligence),提出并尝试回答“机器能否思考”这一关键问题。在论文中,图灵提出了“模仿游戏”&…

2.2 消元法的概念

一、消元法介绍 消元法(elimination)是一个求解线性方程组的系统性方法。下面是使用消元法求解一个 2 2 2\times2 22 线性方程组的例子。消元之前,两个方程都有 x x x 和 y y y,消元后,第一个未知数 x x x 将从第…

Websocket传递JWT令牌

在访问带有[Authorize]的方法的时候,需要前端通过自定义报文头的形式将JWT令牌传递给后端进行验证,否则是不能访问带有[Authorize]的方法。 [Authorize]是用于限制对web应用程序中某些操作或控制器的访问。当[授权]属性应用于操作或控制器时,…

【Linux】多路IO复用技术①——select详解如何使用select在本地主机实现简易的一对多服务器(附图解与代码实现)

这一篇的篇幅可能有点长,但真心希望大家能够静下心来看完,相信一定会有不小的收获。那么话不多说,我们这就开始啦!!! 目录 一对一服务器中的BUG 如何实现简易的一对多服务器 实现简易一对多服务器的大体…

Python超入门(7)__迅速上手操作掌握Python

# 31.类 class Point:# 构造函数def __init__(self, x, y, z):self.x xself.y yself.z z# 自定义函数def move(self):print("move")def draw(self):print("draw")# 定义一个Point类的实例point1 # 注意:新建实例的参数要与构造函数一致 poi…

一天下来一个微信号能添加多少个微信好友?

在即时通讯领域,微信的用户量处于领先的地位。据了解微信及WeChat合并的月活跃账户数已超13亿。远远超越QQ的移动端5.71亿的月活跃用户数量。 那么,微信的用户数量这么多,一天可以加多少好友呢? 新号和不活跃的号 01 微信新号是…

【计算机网络】分层模型和应用协议

网络分层模型和应用协议 1. 分层模型 1.1 五层网络模型 网络要解决的问题是:两个程序之间如何交换数据。 四层?五层?七层? 2. 应用层协议 2.1 URL URL(uniform resource locator,统一资源定位符&#…

ZYNQ连载06-EasyLogger日志组件

ZYNQ连载06-EasyLogger日志组件 1. EasyLogger介绍 Easylogger仓库 2. EasyLogger移植 EasyLogger移植比较简单,在Vitis中移植时主要注意路径问题,然后适配下接口即可: void elog_port_output(const char *log, size_t size) {printf(&…

密码学基础

密码学总览 信息安全面临的危险与应对这些威胁的密码技术: 关于上图中的威胁,这里在简单的说明: 窃听:指的是需要保密的消息被第三方获取。篡改:指的是消息的内容被第三方修改,达到欺骗的效果。伪装&…

k8s命令式对象管理、命令式对象配置、声明式对象配置管理资源介绍

目录 一.kubernetes资源管理简介 二.三种资源管理方式优缺点比较 三.命令式对象管理介绍 1.kubectl命令语法格式 2.资源类型 (1)通过“kubectl api-resources”来查看所有的资源 (2)每列含义 (3)常…

RabbitMQ学习05

文章目录 交换机1.Exchanges1.1 概念1.2 类型1.3 无名exchange 2. 临时队列3. 绑定(bings)4. Fanout4.1 介绍 5.Direct exchange5.1 介绍5.2 多重绑定5.3 实战: 6. Topics6.1 规则6.2 实战 交换机 1.Exchanges 1.1 概念 RabbitMQ 消息传递模型的核心思…

C++初阶2

目录 一,auto关键字 1-1,auto的使用 1-2,基于范围auto的for循环 二,nullptr的运用 三,C类的初步学习 3-1,类的引用 3-2,类的访问权限 3-3,类的使用 1,类中函数的…

SA实战 ·《SpringCloud Alibaba实战》第12章-服务网关:网关概述与核心架构

作者:冰河 星球:http://m6z.cn/6aeFbs 博客:https://binghe.gitcode.host 文章汇总:https://binghe.gitcode.host/md/all/all.html 大家好,我是冰河~~ 一不小心《SpringCloud Alibaba实战》专栏都更新到第12章了,再不上车就跟不上了,小伙伴们快跟上啊! 在《SpringClou…

基于AliO Things和阿里云的智能环境监控系统。

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 前言一、实习内容二、实习方法2.1搭建开发环境并完成编译2.1.1 正常完成编译的标志2.1.2 编写实例烧录程序,并完成烧录 2.2按键实现流水灯2.2.1 HaaS ED…

General Expression In Oral English

1. With all Due Respect 恕我直言, 那些和你混在一起的混蛋们只关心政治 With all due respect , these sons of bitches that youre mingling with(与.. 交际) only care about politics