大数据之Hadoop(一)

news2025/1/18 10:03:50

目录

一、准备三台服务器

二、虚拟机间配置免密登录

三、安装JDK

四、关闭防火墙

五、关闭安全模块SELinux

六、修改时区和自动时间同步


一、准备三台服务器

我们先准备三台服务器,可以通过虚拟机的方式创建,也可以选择云服务器。

关于如何创建虚拟机,我有写过相关文章。可以参考【编程环境安装】专题。

二、虚拟机间配置免密登录

配置的目的是方便分发资源。可以参考虚拟机之间配置免密登录_何苏三月的博客-CSDN博客

三、安装JDK

大数据的很多框架都依赖于JDK,所以,我们为每台服务器都安装好JDK。

 Linux环境下安装JDK1.8_linux安装openjdk1.8_何苏三月的博客-CSDN博客

四、关闭防火墙

systemctl stop firewalld
systemctl disable firewalld

五、关闭安全模块SELinux

Linux系统有一个安全模块SELinux,用以限制用户和程序的相关权限,来确保系统的安全稳定。

为了避免后面出现问题,我的建议是直接关掉。

需要在每台服务器执行如下命令:

vim /etc/sysconfig/selinux

# 将第七行 SELINUX=enforcing 改为
SELINUX=disabled

然后保存退出后,重启虚拟机即可。

注意一定要写对,否则系统无法启动了。

六、修改时区和自动时间同步

俗称对表。

这需要我们下载一款ntp的软件来帮助我们完成“对表”工作。注意:依然是每台服务器都需要设置。

1. 安装ntp软件

yum install -y ntp

2.更新时区

rm -f /etc/localtime
sudo ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

3.同步时间

ntpdate -u ntp.aliyun.com

4.开启ntp服务并设置开机自启

systemctl start ntpd
systemctl enable ntpd

演示

以上前期准备工作就算是做完了。

我的建议是做好虚拟机快照,这样即使后面服务器崩溃出问题了,我们也可以回到当前这个状态。

ok,我们下个教程见~

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/829370.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

fatal error C1128: 节数超过对象文件格式限制: 请使用 /bigobj 进行编译

问题 默认情况下,对象文件最多可存放 65,536 (2^16) 个可寻址的节。 /bigobj将该地址容量增加至 4,294,967,296 (2^32)。大多数模块将从来不会生成包含数超过 65,536 的 .obj 文件。 但是,计算机生成的代码或大量使用模板库的代码可能需要可存放更多节的…

python爬虫(五)_urllib2:Get请求和Post请求

本篇将介绍urllib2的Get和Post方法,更多内容请参考:python学习指南 urllib2默认只支持HTTP/HTTPS的GET和POST方法 urllib.urlencode() urllib和urllib2都是接受URL请求的相关参数,但是提供了不同的功能。两个最显著的不同如下: urllib仅可以…

人工智能技术

目录 1.什么是人工智能 2.人工智能的由来 3.人工智能的代表作 4.人工智能给人类带来的福利 1.什么是人工智能 人工智能 (Artificial Intelligence, AI) 是一门研究计算机如何模拟、模仿以及执行人类智能活动的科学与技术领域。它涉及了构建智能代理体系,使其能够…

电脑怎么设置密码?简单4招,轻松给电脑上锁!

“新买了部电脑,最近在使用时保存了一些比较重要的文件,想给电脑设置个密码以防文件泄露。电脑怎么设置密码呢?求答案!” 电脑对我们的生活越来越重要,我们会将很多重要的文件数据等都保存在电脑中。如果电脑没有设置密…

arcgis字段计算器

1、两字段叠加。要求待叠加的字段类型为文本或字符串类型。如下: 2、字符串部分提取。

【《Python树莓派编程从零开始(第3版)》——树莓派编程的优秀指南】

通过阅读《Python树莓派编程从零开始(第3版)》,你将学会配置树莓派,编写并调试Python程序;学会使用Python的字符串、列表、函数和字典,以及模块、类方法等;还可以使用pygame创建用户友好的游戏,使用guizero构建直观的用户界面&…

【数据结构】快速排序

快速排序是一种高效的排序算法,其基本思想是分治法。它将一个大问题分解成若干个小问题进行解决,最后将这些解合并得到最终结果。 快速排序的主要思路如下: 选择一个基准元素:从待排序的数组中选择一个元素作为基准(…

DataBase 1. kaggle 发现无法显示验证码进行人机交互怎么办?

这期开始增加一个系列就是我们经常用到的数据库或者网站,便于我们查找数据,在线分析数据,若能很好的利用别人的工具,就没必要自己一句一句码代码,最主要的是不断出现各种bug处理不了,东问西问搞不定&#x…

css在线代码生成器

这里收集了许多有意思的css效果在线代码生成器适合每一位前端开发者 布局,效果类: 网格生成器https://cssgrid-generator.netlify.app/ CSS Grid Generator可帮助开发人员使用CSS Grid创建复杂的网格布局。网格布局是创建Web页面的灵活和响应式设计的强…

面试题学习以及问题

redis redis缓存 缓存穿透 布隆过滤器主要是用于检索一个元素是否在一个集合中。我们当时使用的是 redisson实现的布隆过滤器。 它的底层主要是先去初始化一个比较大数组,里面存放的二进制0或1。在一 开始都是0,当一个key来了之后经过3次hash计算&…

C#--调用Python(包含第三方库)

1. C# 调用 Python 常见的方法有4种 参考链接 1.1 Pythonnet (推荐) 可以很好的支持第三方库。 推荐这个,经本人验证这个很好用。 后文 2. 详细使用。 1.2 IronPython 如果使用第三方库就放弃这个吧,真的用不了,使…

大规模向量检索库Faiss学习总结记录

因为最近要使用到faiss来做检索和查询,所以这里只好抽出点时间来学习下,本文主要是自己最近学习的记录,来源于网络资料查询总结,仅用作个人学习总结记录。 Faiss的全称是Facebook AI Similarity Search,是FaceBook的A…

【C语言进阶篇】结构体都学完了,那么现造第一个通讯录呢?(内附源码)

🎬 鸽芷咕:个人主页 🔥 个人专栏:《C语言初阶篇》 《C语言进阶篇》 ⛺️生活的理想,就是为了理想的生活! 文章目录 📋 前言一 、 通讯录的简介1.1 联系人的类型定义1.2 通讯录的定义1.3 通讯录要实现的功能 二 、 如何…

Android平台如何实时叠加电量信息和设备信号状态到GB28181接入端

技术背景 我们在Android平台实现GB28181设备接入,把摄像头和麦克风数据,采集过去,用于移动单兵、智能车载、智慧安防、智能家居、工业仿真等行业时,发现大多场景对视频水印的要求越来越高,从之前的固定位置静态文字水…

Python(六十)字典的创建

❤️ 专栏简介:本专栏记录了我个人从零开始学习Python编程的过程。在这个专栏中,我将分享我在学习Python的过程中的学习笔记、学习路线以及各个知识点。 ☀️ 专栏适用人群 :本专栏适用于希望学习Python编程的初学者和有一定编程基础的人。无…

Kubernetes——理论基础

Kubernetes——理论基础 一、Kubernetes 概述1.K8S 是什么?2.为什么要用 K8S?3.Kubernetes 主要功能 二、Kubernetes 集群架构与组件三、Master 组件1.Kube-apiserver2.Kube-controller-manager3.Kube-scheduler4.配置存储中心——etcd 四、Node 组件1.Kubelet2.Ku…

城市供水管网水力模型的基本概念及理论

1.1引言 城市供水管网系统由大量管材各异、管径各异、铺设年代各异的管道,泵站,阀门, 水塔等多元素构成,因此决定了供水管网系统是一个拓扑结构庞杂、运行工况多变的巨系统。以前国内供水公司对铺设在地面以下的供水管网多以经验…

HCIP的mgre实验

题目 拓扑图 IP地址配置和缺省 R1 [r1]int g0/0/1 [r1-GigabitEthernet0/0/1]ip add 192.168.1.1 24 Aug 2 2023 20:38:20-08:00 r1 %%01IFNET/4/LINK_STATE(l)[0]:The line protocol IP on the interface GigabitEthernet0/0/1 has entered the UP state. [r1-GigabitEtherne…

【雕爷学编程】Arduino动手做(181)---Maixduino AI开发板4

37款传感器与执行器的提法,在网络上广泛流传,其实Arduino能够兼容的传感器模块肯定是不止这37种的。鉴于本人手头积累了一些传感器和执行器模块,依照实践出真知(一定要动手做)的理念,以学习和交流为目的&am…

云环境中使用飞蛾火焰和萨尔普群算法组合的工作流调度(Matlab代码实现)

💥💥💞💞欢迎来到本博客❤️❤️💥💥 🏆博主优势:🌞🌞🌞博客内容尽量做到思维缜密,逻辑清晰,为了方便读者。 ⛳️座右铭&a…