关于HA集群的搭建

news2024/10/6 22:24:24

1.回收站功能

为什么要检查
检查数据存活时间是否到达
在这里插入图片描述
单位分钟
web端界面删除不走回收站

mapreduce优化
记住
在这里插入图片描述

不写磁盘更优化
在这里插入图片描述
为什么conbiner可以解决数据倾斜
合并小数据块了

压缩解决不了 数据倾斜

配置多个NN
1.哪个NN出去服务
一个NN Active 其他NN Standby
2.没有了2NN 谁去管理元数据
standby的机器，谁先拿到就谁干。
3.怎么保证实时同步的？
客户端请求后，ACTIVE向其他转发请求，在高可用集群中
监听

JournalNode 存修改日志

在这里插入图片描述
指定一个nn active
在这里插入图片描述
不能主动切换 隔离机制
杀死也不能指定
在这里插入图片描述
访问不通不敢切，防止假死。

上位之前先登录之前的NN kill -9
ZKFC 每台机器都有，用于和ZK交互,同时监控NN的健康状态，

启动时，先启动zk
生成永久节点hadoop/mycluster
在这里插入图片描述
在这里插入图片描述

启动
在这里插入图片描述
判断是假死就杀死
不是假死就补刀kill
服务器断掉也无法实现高可用，但是他还是会不停的互相切换闲置服务器尝试
在这里插入图片描述

第一个是上一次成功的
第二次是当前的，

yarn会自动跳到active上 这个与nn不同
自动故障转移与hdfs相同

配置
1.core-site.xml

<configuration>
  <!-- 把多个NameNode的地址组装成一个集群mycluster, -->
  <!--可修改-->
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://mycluster</value>
  </property>

<!--可修改-->
 <!-- 指定hadoop运行时产生文件的存储目录 -->
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/ha/hadoop-3.3.4/data</value>
  </property>

<!-- 指定zkfc要连接的zkServer地址 -->
 <property>
        <name>ha.zookeeper.quorum</name>
        <value>hadoop201:2181,hadoop202:2181,hadoop203:2181</value>
    </property>

<!-- 启用nn故障自动转移 -->
<property>
	<name>dfs.ha.automatic-failover.enabled</name>
	<value>true</value>
</property>
</configuration>

2.hdfs-site.xml

<configuration>

  <!-- NameNode数据存储目录 -->
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file://${hadoop.tmp.dir}/name</value>
  </property>

  <!-- DataNode数据存储目录 -->
  <property>
    <name>dfs.datanode.data.dir</name>
     <value>file://${hadoop.tmp.dir}/data</value>
  </property>

  <!-- JournalNode数据存储目录 -->
  <!--占用的空间不多，主要是修改日志 edit-->
  <property>
    <name>dfs.journalnode.edits.dir</name>
    <value>${hadoop.tmp.dir}/jn</value>
  </property>

  <!-- 完全分布式集群名称 -->
  <!-- 这个要和上面core对应>
  <property>
    <name>dfs.nameservices</name>
    <value>mycluster</value>
  </property>

  <!-- 集群中NameNode节点都有哪些 -->
  <property>
  <!--mycluster可替换成其他的名字-- >
    <name>dfs.ha.namenodes.mycluster</name>
    <value>nn1,nn2,nn3</value>
  </property>

  <!-- NameNode的RPC通信地址 --> <!-- 留给后端的通信地址-->
  <property>
    <name>dfs.namenode.rpc-address.mycluster.nn1</name>
    <value>hadoop102:8020</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.mycluster.nn2</name>
    <value>hadoop103:8020</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.mycluster.nn3</name>
    <value>hadoop104:8020</value>
  </property>

  <!-- NameNode的http通信地址 --> <!-- 留给web端的通信地址-->
  <property>
    <name>dfs.namenode.http-address.mycluster.nn1</name>
    <value>hadoop102:9870</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.mycluster.nn2</name>
    <value>hadoop103:9870</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.mycluster.nn3</name>
    <value>hadoop104:9870</value>
  </property>

  <!-- 指定NameNode元数据在JournalNode上的存放位置 -->
  <property>
    <name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop102:8485;hadoop103:8485;hadoop104:8485/mycluster</value>
  </property>

  <!-- 访问代理类：client用于确定哪个NameNode为Active -->
  <property>
    <name>dfs.client.failover.proxy.provider.mycluster</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property>

  <!-- 配置隔离机制，即同一时刻只能有一台服务器对外响应 -->
  <property>
    <name>dfs.ha.fencing.methods</name>
    <value>sshfence</value>
  </property>

  <!-- 使用隔离机制时需要ssh秘钥登录-->
  <property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/home/atguigu/.ssh/id_rsa</value>
  </property>
<!-- 启用nn故障自动转移 -->
<property>
	 <name>dfs.ha.automatic-failover.enabled</name>
	 <value>true</value>
</property>

</configuration>

3.yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
   <!-- 启用resourcemanager ha -->
 
 
    <!-- 声明两台resourcemanager的地址 -->
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>cluster-yarn1</value>
    </property>

    <!--指定resourcemanager的逻辑列表-->
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2,rm3</value>
    </property>
<!-- ========== rm1的配置 ========== -->
    <!-- 指定rm1的主机名 -->
    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>hadoop102</value>
    </property>

    <!-- 指定rm1的web端地址 -->
    <property>
        <name>yarn.resourcemanager.webapp.address.rm1</name>
        <value>hadoop102:8088</value>
    </property>

    <!-- 指定rm1的内部通信地址 -->
    <property>
        <name>yarn.resourcemanager.address.rm1</name>
        <value>hadoop102:8032</value>
    </property>

    <!-- 指定AM向rm1申请资源的地址 -->
    <property>
        <name>yarn.resourcemanager.scheduler.address.rm1</name>  
        <value>hadoop102:8030</value>
    </property>

    <!-- 指定供NM连接的地址 -->  
    <property>
    <name>yarn.resourcemanager.resource-tracker.address.rm1</name>
        <value>hadoop102:8031</value>
    </property>

<!-- ========== rm2的配置 ========== -->
    <!-- 指定rm2的主机名 -->
    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>hadoop103</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address.rm2</name>
        <value>hadoop103:8088</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address.rm2</name>
        <value>hadoop103:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address.rm2</name>
        <value>hadoop103:8030</value>
    </property>

    <property>
<name>yarn.resourcemanager.resource-tracker.address.rm2</name>
        <value>hadoop103:8031</value>
    </property>

<!-- ========== rm3的配置 ========== -->
    <!-- 指定rm1的主机名 -->
    <property>
        <name>yarn.resourcemanager.hostname.rm3</name>
        <value>hadoop104</value>
    </property>
    <!-- 指定rm1的web端地址 -->
    <property>
        <name>yarn.resourcemanager.webapp.address.rm3</name>
        <value>hadoop104:8088</value>
    </property>
    <!-- 指定rm1的内部通信地址 -->
    <property>
        <name>yarn.resourcemanager.address.rm3</name>
        <value>hadoop104:8032</value>
    </property>
    <!-- 指定AM向rm1申请资源的地址 -->
    <property>
        <name>yarn.resourcemanager.scheduler.address.rm3</name>  
        <value>hadoop104:8030</value>
    </property>

    <!-- 指定供NM连接的地址 -->  
    <property>
    <name>yarn.resourcemanager.resource-tracker.address.rm3</name>
        <value>hadoop104:8031</value>
    </property>

    <!-- 指定zookeeper集群的地址 --> 
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
    </property>

    <!-- 启用自动恢复 --> 
    <property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
    </property>
 
    <!-- 指定resourcemanager的状态信息存储在zookeeper集群 --> 
    <property>
        <name>yarn.resourcemanager.store.class</name>     <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>

    <!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>

</configuration>

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/796035.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

3ds Max图文教程： 使用动态工具Mass FX 创建风铃动画

3ds Max图文教程： 使用动态工具Mass FX 创建风铃动画

推荐&#xff1a; NSDT场景编辑器助你快速搭建可二次开发的3D应用场景 1. 简单的场景设置 步骤 1 打开 3ds Max。 打开 3ds Max 步骤 2 我将向您展示风铃背后的动态 通过简单的场景设置进行模拟。一旦你有了这个想法&#xff0c;你就可以应用这个 技术到复杂的风铃结构。 基…
阅读更多...
智能也是一切社会关系的总和

智能也是一切社会关系的总和

马克思把人作为“一切社会关系的总和”的论述中&#xff0c;他并非将自然条件作为固定的被给予的条件&#xff0c;而是作为在历史进程中&#xff0c;由于人的活动而发生的改变的被给予的条件来把握的&#xff0c;既从一开始就已经被一定的“生产关系”所塑形和中介了。智能&…
阅读更多...
锐浪报表 Grid++Report 导出文件默认文件名

锐浪报表 Grid++Report 导出文件默认文件名

锐浪报表GridReport 打印数据表时&#xff0c;有时要导出EXCEL或PDF文件。 点击导出EXCEL表&#xff1a; 如何在报表中。进行设置&#xff1a; 1、使用Edit软件打开报表模板文件&#xff0c;如&#xff1a; 在Title’‘ 单引号中录入“标题”即可。 2、GridReport默认目录为&a…
阅读更多...
自定义数据类型

自定义数据类型

一、结构体的定义与使用 1. 定义结构体类型 结构体允许将不同类型的数据元素组合在一起形成一种新的数据类型 结构体类型声明一般放在程序文件开头&#xff0c;此时这个声明是全局的。 结构体类型声明也可以放到函数内部&#xff0c;此时这个声明是局部的。 &#xff08;1&…
阅读更多...
spring boot 整合jdbc和事务

spring boot 整合jdbc和事务

访问效果 springboot连接数据库需要整合jdbc与事务&#xff0c;那么改怎么处理&#xff0c;答案是不需要我们处理&#xff0c;springboot已经实现&#xff0c;我们只需在pom文件中引入对应的库然后简单配置即可实现。jdbc驱动的引入&#xff0c;别忘了还有mybatis引入。下面我们…
阅读更多...
计数质数，给定整数 n ，返回 所有小于非负整数 n 的质数的数量 。

计数质数，给定整数 n ，返回 所有小于非负整数 n 的质数的数量 。

题记&#xff1a; 给定整数 n &#xff0c;返回 所有小于非负整数 n 的质数的数量 。 示例 1&#xff1a; 输入&#xff1a;n 10 输出&#xff1a;4 解释&#xff1a;小于 10 的质数一共有 4 个, 它们是 2, 3, 5, 7 。 示例 2&#xff1a; 输入&#xff1a;n 0 输出&#x…
阅读更多...
活动招募 | 小米黑客马拉松OPEN DAY等你来！

活动招募 | 小米黑客马拉松OPEN DAY等你来！

2023年小米黑客马拉松OPEN DAY来啦&#xff01;不知道大家还记得去年黑马的获奖项目“MiGu”头箍吗&#xff1f;用脑电波控制智能家居的想法让大家眼前一亮&#xff01; 2023年黑客马拉松也同样精彩纷呈&#xff01;本届比赛共有76支队伍报名参赛&#xff0c;各个团队不仅在技术…
阅读更多...
vue的setup函数

vue的setup函数

 为了开始使用Composition API&#xff0c;我们需要有一个可以实际使用它&#xff08;编写代码&#xff09;的地方&#xff1b;  在Vue组件中&#xff0c;这个位置就是 setup 函数&#xff1b;◼ setup其实就是组件的另外一个选项&#xff1a; 只不过这个选项强大到我们可…
阅读更多...
怎么解决字符乱码的问题

怎么解决字符乱码的问题

目录 什么是字符乱码 字符乱码是什么原因 怎么解决字符乱码的问题 示例代码 什么是字符乱码 字符乱码是指在文本或字符编码中出现无法正确显示或解析的字符。当使用不同的字符编码格式读取或显示文本时&#xff0c;如果编码格式不匹配或不正确&#xff0c;就会导致字符乱码…
阅读更多...
ASP.NET Core - 缓存之内存缓存

ASP.NET Core - 缓存之内存缓存

1. 缓存 缓存指的是在软件应用运行过程中&#xff0c;将一些数据生成副本直接进行存取&#xff0c;而不是从原始源&#xff08;数据库&#xff0c;业务逻辑计算等&#xff09;读取数据&#xff0c;减少生成内容所需的工作&#xff0c;从而显著提高应用的性能和可伸缩性&#x…
阅读更多...
【Spring Cloud】Ribbon 中的几种负载均衡策略

【Spring Cloud】Ribbon 中的几种负载均衡策略

文章目录 前言一、Ribbon 介绍二、负载均衡设置三、7种负载均衡策略3.1.轮询策略3.2.权重策略3.3.随机策略3.4.最小连接数策略3.5.重试策略3.6.可用性敏感策略3.7.区域敏感策略 前言 负载均衡通常有两种实现手段&#xff0c;一种是服务端负载均衡器&#xff0c;另一种是客户端…
阅读更多...
Python中怎么处理字符编码问题

Python中怎么处理字符编码问题

什么是字符编码 字符编码是一种将字符或文本表示为数字序列的方式&#xff0c;以便计算机能够理解和处理它们。由于计算机是基于二进制的&#xff0c;只能处理数字&#xff0c;因此需要将字符转换为对应的数字表示。 在字符编码中&#xff0c;每个字符都有一个唯一的编码值与…
阅读更多...
中国古代掌握至高权力的8个女人

中国古代掌握至高权力的8个女人

在封建社会&#xff0c;基本都是男尊女卑&#xff0c;女人想掌握权力比男人难太多了&#xff1b;但是数千年的历史积累沉淀&#xff0c;总也有几个不甘于现状的女人&#xff0c;一步步逐渐掌握国家的权力&#xff0c;但是能做到登基称帝的&#xff0c;仅有一人。 TOP、1 武则天…
阅读更多...
Vue 本地应用-计数器

Vue 本地应用-计数器

逻辑是在点击按钮的时候执行&#xff0c;那么要为按钮绑定点击事件&#xff0c;整体语法如下&#xff1a; <!DOCTYPE html> <html> <head><meta charset"UTF-8"><title>首页</title><link href"" type"text/c…
阅读更多...
【雕爷学编程】Arduino动手做（95）---GY9960手势传感器模块5

【雕爷学编程】Arduino动手做（95）---GY9960手势传感器模块5

37款传感器与执行器的提法&#xff0c;在网络上广泛流传&#xff0c;其实Arduino能够兼容的传感器模块肯定是不止这37种的。鉴于本人手头积累了一些传感器和执行器模块&#xff0c;依照实践出真知&#xff08;一定要动手做&#xff09;的理念&#xff0c;以学习和交流为目的&am…
阅读更多...
年出货2亿台，只赚“辛苦钱”！又一家代工巨头押宝汽车电子

年出货2亿台，只赚“辛苦钱”！又一家代工巨头押宝汽车电子

7月20日&#xff0c;作为国内ODM龙头之一的华勤技术正式启动招股&#xff0c;拟在上交所主板上市。此前&#xff0c;因技术先进性、科创属性不足等问题&#xff0c;该公司终止科创板IPO。 华勤技术成立于2005年&#xff0c;几年后赶上了全球智能手机的黄金时代&#xff0c;招股…
阅读更多...
Moonbeam操作指南：使用区块链索引

Moonbeam操作指南：使用区块链索引

索引是指组织数据库以快速查找特定数据。在区块链的背景下&#xff0c;如何储存数据至关重要 — — 通过重要状态变化期间发生的事件。 例如&#xff0c;假设您正在构建一个DApp&#xff0c;其中列出了特定NFT集合的全部所有者。您可以仔细查看该NFT系列销售中发出的所有转让事…
阅读更多...
ubuntu安装pycharm No JRE found错误

ubuntu安装pycharm No JRE found错误

参考资料&#xff1a; 《UBUNTU14.04 PYCHARM安装及NO JDK FOUND解决方法》 问题&#xff1a; 解决办法&#xff1a; 1.去java官网&#xff0c;下载相应的jdk文件&#xff1a; 2.下载完成后在 jdk-8u151-linux-x64.tar.gz 的运行以下命令&#xff1a; sudo mkdir /usr/lib/jv…
阅读更多...
平台化设计产品存在的问题

平台化设计产品存在的问题

产品&#xff1a;在将业务抽象成产品或组件时&#xff0c;需要考虑多个因素&#xff0c;包括闭环条款、持久性、可重用性等。只有当业务具备这些关键特征时&#xff0c;才能适合抽象成产品。否则&#xff0c;应该考虑将其作为组件的形式存在&#xff0c;或者使用规则引擎来可视…
阅读更多...
谈谈你对Synchronized关键字的理解及使用

谈谈你对Synchronized关键字的理解及使用

synchronized关键字最主要的三种使用方式的总结 修饰实例方法&#xff0c;作用于当前对象实例加锁&#xff0c;进入同步代码前要获得当前对象实例的锁修饰静态方法&#xff0c;作用于当前类对象加锁&#xff0c;进入同步代码前要获得当前类对象的锁 。也就是给当前类加锁&…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023