【大数据】学习笔记

news2025/1/14 0:52:47

文章目录

    • @[toc]
      • NAT配置
      • IP配置
        • SecureCRT配置
          • Properties
            • Terminal
      • Java安装
        • 环境变量配置
      • Hadoop安装
        • 修改配置文件
          • hadoop-env.sh
          • yarn-env.sh
          • slaves
          • core-site.xml
          • hdfs-site.xml
          • mapred-site.xml
          • yarn-site.xml
        • 环境变量配置
      • IP与主机名映射关系配置
        • hostname配置
        • 映射关系配置
      • 关闭防火墙
        • 防火墙临时关闭
        • 防火墙永久关闭
      • 关闭SELinux
        • SELinux临时关闭
        • SELinux永久关闭
      • 建立互信关系
        • 将公钥文件id_rsa.pub拷贝到authorized_keys
        • 修改权限
        • 将slave_1、slave_2的公钥拷贝到master的authorized_keys
        • 远程拷贝
        • 测试互信关系
      • Hadoop启动
        • NameNode格式化
        • 报错解决

因上努力

个人主页：丷从心·

系列专栏：大数据

果上随缘

NAT配置

  • 编辑 → \rightarrow →虚拟网络编辑器 → \rightarrow →移除 V M n e t 8 → VMnet8 \rightarrow VMnet8→添加 V M n e t 8 → N A T VMnet8 \rightarrow NAT VMnet8→NAT模式
  • 初始化：桥接模式-> N A T NAT NAT模式

IP配置

DEVICE=eth0
BOOTPROTO=static
NM_CONTROLLED=yes
ONBOOT=yes
TYPE=Ethernet
IPADDR=192.168.123.10
NETMASK=255.255.255.0
GATEWAY=192.168.123.2
DNS1=202.106.0.20
HWADDR=00:0c:29:1e:d0:84
SecureCRT配置
Properties
Terminal
  • E m u l a t i o n Emulation Emulation
    • T e r m i n a l → L i n u x Terminal \rightarrow Linux Terminal→Linux
    • S c r o l l b a c k   b u f f e r → 128000 Scrollback \ buffer \rightarrow 128000 Scrollback buffer→128000
  • A p p e a r a n c e Appearance Appearance
    • C u r r e n t   c o l o r   s c h e m e → T r a d i t i o n a l Current \ color \ scheme \rightarrow Traditional Current color scheme→Traditional
    • C h a r a c t e r   e n c o d i n g → U T F − 8 Character \ encoding \rightarrow UTF-8 Character encoding→UTF−8

Java安装

环境变量配置
vim ~/.bashrc

export JAVA_HOME=/usr/local/src/jdk_1.8.0_111
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin

Hadoop安装

修改配置文件
hadoop-env.sh
vim hadoop-env.sh

export JAVA_HOME=${JAVA_HOME}
yarn-env.sh
vim yarn-env.sh

export JAVA_HOME=${JAVA_HOME}
slaves
vim slaves

slave1
slave2
core-site.xml
vim core-site.xml

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://master:9000</value>
		<description>指定默认的文件系统</description> 
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>file:/usr/local/src/hadoop_2.6.1/tmp</value>
		<description>Hadoop 临时文件存放目录</description> 
	</property>
</configuration>
hdfs-site.xml
vim hdfs-site.xml

<configuration>
	<property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>master:9001</value>
		<description>SecondaryNameNode 地址和端口</description> 
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:/usr/local/src/hadoop_2.6.1/dfs/name</value>
		<description>fsimage 镜像存放目录</description> 
	</property>
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:/usr/local/src/hadoop_2.6.1/dfs/data</value>
		<description>HDFS 数据文件存放目录</description> 
	</property>
	<property>
		<name>dfs.replication</name>
		<value>3</value>
		<description>Block 副本数</description> 
	</property>
</configuration>
mapred-site.xml
cp mapred-site.xml.template mapred-site.xml

vim mapred-site.xml

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
		<description>指定运行 MapReduce 的环境是 Yarn</description> 
	</property>
	<property>
		<name>mapreduce.map.memory.mb</name>
		<value>1536</value>
		<description>调度器为每个 Map Task 申请的内存数, 各 Job 也可以单独指定, 如果实际使用的资源量超过该值，则会被强制杀死</description> 
	</property>
	<property>
		<name>mapreduce.map.java.opts</name>
		<value>-Xmx1024M</value>
	</property>
	<property>
		<name>mapreduce.reduce.memory.mb</name>
		<value>3072</value>
		<description>调度器为每个 Reduce Task 申请的内存数, 各 Job 也可以单独指定, 如果实际使用的资源量超过该值, 则会被强制杀死</description> 
	</property>
	<property>
		<name>mapreduce.reduce.java.opts</name>
		<value>-Xmx2560M</value>
	</property>
	<property>
		<name>mapreduce.job.reduce.slowstart.completedmaps</name>
		<value>0.1</value>
		<description>当 Map Task 完成 10% 时, 为 Reduce Task 申请资源, Reduce Task 开始进行拷贝 Map Task 结果数据和执行 Reduce Shuffle 操作, 默认值为 0.05</description>
	</property> 
	<!--Hadoop 历史服务器-->
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>master:10020</value>
		<description>MapReduce JobHistory 服务器进程间通信地址</description>
	</property>
	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>master:19888</value>
		<description>MapReduce JobHistory 服务器的 Web UI</description>
	</property>
	<property>
		<name>mapreduce.jobhistory.done-dir</name>
		<value>/mr-history/done</value>
		<description>已执行完毕的作业信息存放目录</description>
	</property>
	<property>
		<name>mapreduce.jobhistory.intermediate-done-dir</name>
		<value>/mr-history/tmp</value>
		<description>正在运行的作业信息存放目录</description>
	</property>
	<property>
		<name>yarn.app.mapreduce.am.staging-dir</name>
		<value>/mr-history/hadoop-yarn</value>
		<description>MapReduce 作业提交时所使用的临时目录</description>
	</property> 
</configuration>
yarn-site.xml
vim yarn-site.xml

<configuration>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
		<description>NodeManager 上运行的附属服务</description> 
	</property>
	<property>
		<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
		<value>org.apache.hadoop.mapred.ShuffleHandler</value>
	</property>
	<property>
		<name>yarn.resourcemanager.address</name>
		<value>master:8032</value>
		<description>客户端访问 ResourceManager 的地址</description> 
	</property>
	<property>
		<name>yarn.resourcemanager.scheduler.address</name>
		<value>master:8030</value>
		<description>ApplicationMaster 访问 ResourceManager 的地址</description> 
	</property>
	<property>
		<name>yarn.resourcemanager.resource-tracker.address</name>
		<value>master:8035</value>
		<description>NodeManager 访问 ResourceManager 的地址</description> 
	</property>
	<property>
		<name>yarn.resourcemanager.admin.address</name>
		<value>master:8033</value>
		<description>管理员访问 ResourceManager 的地址</description> 
	</property>
	<property>
		<name>yarn.resourcemanager.webapp.address</name>
		<value>master:8088</value>
		<description>Web UI 访问 ResourceManager 的地址</description> 
	</property>
	<!--关闭内存检查-->
	<property>
		<name>yarn.nodemanager.pmem-check-enabled</name>
		<value>false</value>
		<description>是否启动一个线程检查每个任务正使用的物理内存量, 如果任务超出分配值, 则直接将其杀掉, 默认值为true</description>
	</property>
	<property>
		<name>yarn.nodemanager.vmem-check-enabled</name>
		<value>false</value>
		<description>是否启动一个线程检查每个任务正使用的虚拟内存量, 如果任务超出分配值, 则直接将其杀掉, 默认值为true</description>
	</property> 
	<!--日志聚合-->
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
		<description>开启日志聚合功能, 日志保存在 HDFS 上</description>
	</property>
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>86400</value>
		<description>聚合后的日志在 HDFS 上的保存时间, 单位为秒</description> 	
	</property>
	<property>
		<name>yarn.log.server.url</name>
		<value>http://master:19888/jobhistory/logs</value>
		<description>日志聚合服务器 URL</description>
	</property> 
</configuration>
环境变量配置
vim ~/.bashrc

export HADOOP_HOME=/usr/local/src/hadoop_2.6.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

IP与主机名映射关系配置

hostname配置
  • h o s t n a m e hostname hostname临时生效
hostname master
  • h o s t n a m e hostname hostname永久生效
vim /etc/sysconfig/network

NETWORKING=yes
HOSTNAME=master
映射关系配置
vim /etc/hosts

192.168.123.10 master
192.168.123.11 slave1
192.168.123.12 slave2

关闭防火墙

防火墙临时关闭
systemctl stop firewalld.service
防火墙永久关闭
systemctl disable firewalld.service

关闭SELinux

SELinux临时关闭
setenforce 0
SELinux永久关闭
vim /etc/selinux/config

SELINUX=disabled

建立互信关系

ssh-keygen -t rsa

cd ~/.ssh
将公钥文件id_rsa.pub拷贝到authorized_keys
cat id_rsa.pub > authorized_keys
修改权限
chmod 600 authorized_keys
将slave_1、slave_2的公钥拷贝到master的authorized_keys
ssh slave1 cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
远程拷贝
scp -rp /root/.ssh/authorized_keys root@slave1:/root/.ssh/authorized_keys
测试互信关系
ssh slave1

Hadoop启动

NameNode格式化
  • 第一次启动 H a d o o p Hadoop Hadoop需要对 N a m e N o d e NameNode NameNode进行格式化
hadoop namenode -format
报错解决
2734 -- main class information unavailable

rm -rf /tmp/hsperfdata_root/

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1641319.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

OpenCV（四）—— 车牌号识别

OpenCV（四）—— 车牌号识别

本节是车牌识别的最后一部分 —— 车牌字符识别&#xff0c;从一个完整的车牌图片到识别出车牌上的字符大致需要如下几步&#xff1a; 预处理&#xff1a;将车牌图片灰度化、二值化&#xff0c;并去除识别时的干扰因素&#xff0c;比如车牌铆钉字符分割&#xff1a;将整个车牌…
阅读更多...
基于springboot+vue+Mysql的影城管理系统

基于springboot+vue+Mysql的影城管理系统

开发语言&#xff1a;Java框架&#xff1a;springbootJDK版本&#xff1a;JDK1.8服务器&#xff1a;tomcat7数据库&#xff1a;mysql 5.7&#xff08;一定要5.7版本&#xff09;数据库工具&#xff1a;Navicat11开发软件&#xff1a;eclipse/myeclipse/ideaMaven包&#xff1a;…
阅读更多...
CATO原理中的数学与魔术（七）——Baby Hummer的拓展二

CATO原理中的数学与魔术（七）——Baby Hummer的拓展二

在上一篇文章中&#xff0c;我们介绍了《Baby Hummer》的两个拓展&#xff0c;从表演的形式台词&#xff0c;到呈现的策略&#xff0c;都有一定的改进&#xff0c;相关内容请戳&#xff1a; CATO原理中的数学与魔术&#xff08;六&#xff09;——Baby Hummer的拓展一 CATO原理…
阅读更多...
WebSocket 多屏同显和异显

WebSocket 多屏同显和异显

介绍 多屏同显：通过在一个应用上进行操作之后，另一个应用也能跟着一起发生改变，例如app1播放了晴天这首音乐，那么app2也要同步播放这首音乐，确保所有屏幕显示的内容完全相同。多屏异显：每个屏幕可以显示不同的内容，或者在内容更新时存在一定的延迟，而不需要严格保持同步…
阅读更多...
MLP手写数字识别(1)-MNIST数据集下载与可视化(tensorflow)

MLP手写数字识别(1)-MNIST数据集下载与可视化(tensorflow)

1.下载与查看MNIST数据集 from keras.datasets import mnist(x_train_image,y_train_label),(x_test_image,y_test_label) mnist.load_data() print("train images:",x_train_image.shape) print("test images:",x_test_image.shape) print("train …
阅读更多...
83、动态规划-打家劫舍

83、动态规划-打家劫舍

思路&#xff1a; 首先使用递归方式求出最优解。从每个房屋开始&#xff0c;分别考虑偷与不偷两种情况&#xff0c;然后递归地对后续的房屋做同样的决策。这种方法确保了可以找到在不触发警报的情况下可能的最高金额。 代码如下&#xff1a; public static int rob(int[] nu…
阅读更多...
【多变量控制系统 Multivariable Control System】（2）给定系统转换方程，绘制奈奎斯特图【新加坡南洋理工大学】

【多变量控制系统 Multivariable Control System】（2）给定系统转换方程，绘制奈奎斯特图【新加坡南洋理工大学】

一、系统转换方程 系统的转换方程 G(s) 和回馈矩阵 K(s) 由下2式给出&#xff1a; 二、从转换方程推出系统矩阵A和B from scipy.signal import tf2ss# Convert to state-space representation A, B, C, D tf2ss([1], [1, -2, 1])print("A matrix:", A) print(&quo…
阅读更多...
【Unity】在空物体上实现 IPointerClickHandler 不起作用

【Unity】在空物体上实现 IPointerClickHandler 不起作用

感谢Unity接口IPointerClickHandler使用说明_哔哩哔哩_bilibiliUnity接口IPointerClickHandler使用说明, 视频播放量 197、弹幕量 0、点赞数 3、投硬币枚数 2、收藏人数 2、转发人数 0, 视频作者 游戏创作大陆, 作者简介 &#xff0c;相关视频&#xff1a;在Unity多场景同时编辑…
阅读更多...
基于Springboot的教学资源共享平台（有报告）。Javaee项目，springboot项目。

基于Springboot的教学资源共享平台（有报告）。Javaee项目，springboot项目。

演示视频&#xff1a; 基于Springboot的教学资源共享平台&#xff08;有报告&#xff09;。Javaee项目&#xff0c;springboot项目。 项目介绍&#xff1a; 采用M&#xff08;model&#xff09;V&#xff08;view&#xff09;C&#xff08;controller&#xff09;三层体系结构…
阅读更多...
VsCode | 修改首页启动页 Logo

VsCode | 修改首页启动页 Logo

VsCode | 修改首页启动页 Logo 最终效果&#xff1a; 插件的安装 先安装插件 Custom CSS and JS Loader 插件配置 Ctrl Shift P 输入 打开用户设置&#xff0c;在末尾添加 "vscode_custom_css.imports": [""]下载 Logo 下载 Logo 点我下载 引入…
阅读更多...
使用D3.js进行数据可视化

使用D3.js进行数据可视化

D3.js介绍 D3.js是一个流行的JavaScript数据可视化库&#xff0c;全称为Data-Driven Documents&#xff0c;即数据驱动文档。它以数据为核心&#xff0c;通过数据来驱动文档的展示和操作。D3.js提供了丰富的API和工具&#xff0c;使得开发者能够创建出各种交互式和动态的数据可…
阅读更多...
LeetCode 110.平衡二叉树(Java/C/Python3/Go实现含注释说明,Easy)

LeetCode 110.平衡二叉树(Java/C/Python3/Go实现含注释说明,Easy)

标签 树深度优先搜索递归 题目描述 给定一个二叉树&#xff0c;判断它是否是高度平衡的二叉树。 本题中&#xff0c;一棵高度平衡的二叉树定义为&#xff1a; 一个二叉树每个节点的左右两个子树的高度差的绝对值不超过1。 原题&#xff1a;LeetCode 110.平衡二叉树 思路及…
阅读更多...
设计模式之组合实体模式

设计模式之组合实体模式

在编程的奇幻森林里&#xff0c;树木与枝叶错综复杂&#xff0c;如何让代码世界井然有序&#xff1f;组合实体模式&#xff08;Composite Pattern&#xff09;就像一位高明的园艺师&#xff0c;它以一种巧妙的方式&#xff0c;将个体与整体统一管理&#xff0c;让无论是单个对象…
阅读更多...
Android使用kts上传aar到JitPack仓库

Android使用kts上传aar到JitPack仓库

Android使用kts上传aar到JitPack 之前做过sdk开发&#xff0c;需要将仓库上传到maven、JitPack或JCenter,但是JCenter已停止维护&#xff0c;本文是讲解上传到JitPack的方式,使用KTS语法&#xff0c;记录使用过程中遇到的一些坑. 1.创建项目(library方式) 由于之前用鸿神的w…
阅读更多...
关于Clion开发stm32printf重定向问题简单解决问题方法

关于Clion开发stm32printf重定向问题简单解决问题方法

title: 关于Clion开发stm32printf重定向问题简单解决问题方法 tags: STM32Clion 参考来源1 这是另一种方法 在printf 重定向的基础上加上 一句 setbuf(stdout,NULL); 参考来源2 自己写的笔记啦
阅读更多...
深入理解vector 【C++】

深入理解vector 【C++】

一、vector的介绍&#xff1a; 1.vector是表示可变大小的顺序容器。 2.就像数组一样&#xff0c;vector也采用的连续存储空间来存储元素。也就是意味着可以采用下标对vector的元素 进行访问&#xff0c;和数组一样高效。但是又不像数组&#xff0c;它的大小是可以动态改变的&am…
阅读更多...
国产化改造之容器迁移指导（未完）

国产化改造之容器迁移指导（未完）

一、背景 信创即信息技术应用创新的简称，涵盖了国产软件、国产芯片以及云计算等各个方向，也可以理解为常说的“ZZKK（自主可控）”， ZZKK是指对国内企事业单位应用系统中关键软硬件部件的安全性、可靠性、性能稳定性、安全接入等方面进行评估和测试的过程。信创的发展核心就…
阅读更多...
一对一WebRTC视频通话系列（二）——websocket和join信令实现

一对一WebRTC视频通话系列（二）——websocket和join信令实现

本系列博客主要记录WebRtc实现过程中的一些重点&#xff0c;代码全部进行了注释&#xff0c;便于理解WebRTC整体实现。 一对一WebRTC视频通话系列往期博客&#xff1a; 一对一WebRTC视频通话系列&#xff08;一&#xff09;—— 创建页面并显示摄像头画面 websocket和join信令…
阅读更多...
下载Node.js及其他环境推荐nvm

下载Node.js及其他环境推荐nvm

文章目录 项目场景&#xff1a;下载Node.js环境配置配置环境变量 安装脚手架安装依赖安装淘宝镜像安装 cnpm&#xff08;我需要安装&#xff09;nvm 安装 Node.js &#xff08;推荐&#xff09; 项目场景&#xff1a; 提示&#xff1a;这里简述项目相关背景&#xff1a; 项目…
阅读更多...
Java毕业设计 基于SSM SpringBoot vue宠物领养平台

Java毕业设计 基于SSM SpringBoot vue宠物领养平台

Java毕业设计 基于SSM　SpringBoot vue宠物领养平台 SSM 宠物领养平台 功能介绍 首页 图片轮播 新闻信息 新闻类型 新闻详情 宠物百科 宠物百科类型 宠物百科详情 宠物 宠物类型 宠物详情 立即领养 留言 论坛 发布帖子 登录 个人中心 宠物收藏 宠物领养订单 后台管理 登录注…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023