12.Hadoop练习题

news2024/12/23 22:56:58

1.网络问题

(1)机器联网出现问题

     情况:ping一下百度,发现百度ping不通

sudo vim  /etc/sysconfig/network-scripts/ifcfg-ens33

检查GATEWAY是否正确,修改过来之后保存退出,重启虚拟机

sudo systemctl restart network

(2) 域名解析问题

情况:ping 百度,提示是未知的网络或服务

解决:同上,只不过修改的是DNS

2.HDFS故障

2.1 HDFS集群无法启动,请分析问题并修复

先看看集群能否启动,

start -dfs.sh

如果集群不能启动,显示权限不够,则说明权限分配错误,修改atuigu用户的权限即可

sudo  xcall chown -R atguigu: atguigu /opt/ module/* 

如果权限可以启动,则查看所有集群的开启情况:

xcall jps

发现集群中的datanode都没有启动,然后查看日志:利用notepad++通过NppFTP连接到hadoop101,查看opt/module/hadoop/logs下面的日志:

在日志里面找Exception,发现

java. io. IOException: Incompatible clusterIDS

 问题分析:说明NN和DN的集群ID不一致,一般发生在HDFS已经可以使用,又二次格式化NameNode,使NameNode得到了一个新的集群ID,造成两者不匹配,

解决办法:修改NN的ID为DN,在data/dfs/name/current下面,vim version.把其中

clusterID那一行改成DN的ID.然后退出保存重启即可

stop -dfs.sh
start -dfs.sh

 ps.如果看不出来,直接把Exception中的内容进行百度

2.2 HDFS运行异常

start -dfs.sh
xcall jps

发现所有集群启动正常,但是通过9870端口只能发现一台DN,说明三台DN的ID一致,查看三台机器的Version,发现DataNodeUuid一致,需要修改他们的id,在三台机器输入:

sed -i "/^datanodeUuid/s/.*/datanodeUuid= $(uuidgen)" VERSION

ps.uuidgen可以随机生成一串id

最后重启集群即可

3.Yarn故障

场景1:运行jar包的时候,运行一半报错,提示virtual memories limit(虚拟内存溢出)

办法:进入yarn-site.xml,关闭虚拟内存检查

<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>

然后集群同步:

xsync etc/

 最后重启yarn即可

场景2:文件块(block size)太小,导致map和reduce的 数量太多,跑的太慢

办法:在jar包的源码中改变最小切片大小,改为128M

4.shell练习

考察的是输入两个参数,完成分支与循环结构的练习

例题:编写一个脚本func.sh,实现以下功能:

1.  ‘func.sh jiahe N’,N为整数,返回1+...+N的和
2.  ‘func.sh jiecheng N’,N为整数,返回N的阶乘
3.  ‘func.sh xxx N’,xxx为任意字符串,N为整数,输出N行xxx

(1)创建脚本并打开

 vim func.sh 
 cat func.sh 

(2)在脚本中输入以下内容 

case $1 in
"jiahe")
   s=0
   for((i=1;i<=$2;i++))
   do
     s=$[$s+$i]
   done
   echo $s
   ;;  //两个分号不要忘记
"jiecheng")
    s=1
    for((i=1;i<=$2,i++))
    do
      s=$[$s*$i]
    done
    echo $s
    ;;
*)  // *代表其他情况
   for((i=1;i<=$2,i++))
   do echo  $1
   done
   ;;
esac

(3)修改脚本权限

chmod +x func.sh

 (4) 测试

// 执行加和命令
./func.sh jiahe 12

// 执行阶乘命令
./func.sh jiecheng 5

// 输出5行结果
./func.sh qita 5

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/472996.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

图论 (Java) 从入门到入土 /第一部分 图的基础-图的定义/

零.前言 图&#xff0c;是一种比较复杂的数据结构。和树的一个节点只和上层一个节点相连不同&#xff0c;在图中&#xff0c;任意两个节点都可能相连&#xff0c;且可能具有方向性&#xff0c;并且节点的边具有权重&#xff0c;因此&#xff0c;图被用于描述各种复杂的数据对象…

python:tkinter 生成 buttonBar 示例

tk_test1.py # -*- coding: utf-8 -*- import os import tkinter as tk from tkinter import filedialogroot tk.Tk() root.title("生成 buttonBar 示例 ") var tk.StringVar() # 动态字符串 label tk.Label(root, textvariablevar) listbox tk.Listbox(root, s…

题集-快慢指针的应用(链表)

1.中心结点 代码&#xff1a; /*** Definition for singly-linked list.* struct ListNode {* int val;* struct ListNode *next;* };*/struct ListNode* middleNode(struct ListNode* head) {if(head->nextNULL) return head;struct ListNode* fast head,*slow …

初阶数据结构——顺序表和链表(单链表)

目录 1.线性表2.顺序表SeqList.hSeqList.cTest.c数组习题移除元素删除有序数组中的重复项合并两个有序数组 顺序表的问题及思考 3.链表SList.hSList.cTest.c 1.线性表 线性表&#xff08;linear list&#xff09;是n个具有相同特性的数据元素的有限序列。 线性表是一种在实际中…

BI技巧丨计算组折线图

PowerBI中&#xff0c;通常我们会使用折线图来展示数据的趋势情况。但是当数据类别过多的时候&#xff0c;需求也在进一步深入&#xff0c;往往还需要我们将用户关注的重要节点标注出来&#xff0c;例如&#xff1a;最大值和最小值。 很早之前&#xff0c;白茶曾经写过一篇关于…

HTML学习笔记一

目录 HTML学习笔记 一、HTML标签 1、HTML语法规范 1.1标签的语法概述 1.2标签关系 2、HTML基本结构标签 2.1第一个HTML 2.2基本结构标签总结 3、开发工具 4、HTML常用标签 4.1标签的语义 4.2标题标签 4.3段落和换行标签 4.4文本格式化标签 4.5div和span标签 4.…

Linux云服务器的使用,以及运行Python程序、相关Linux指令

目录 1、使用Linux云服务器的软件 2、Linux系统运行Python程序 3、Linux系统查看包、虚拟环境、安装包等 以下几个深度学习服务器都不错&#xff1a;智星云、AutoDL、恒源云 1、使用Linux云服务器的软件 MobaXterm_Personal 推荐MobaXterm_Personal mobaxterm是一款方便网站…

基于Flask的留言板的设计与实现

这是《Flask Web开发实战:入门、进阶与原理解析》这本书中的一个小项目&#xff0c;我在学习后根据书中的教程实现了留言板的功能&#xff0c;并结合我的思路将代码做了一些调整。 下面这是实现后的展示图片 文章目录 设计思路项目代码exts.pymodels.pyforms.pyerrors.pycomma…

DMDTS:DM迁移到SQL脚本

DMDTS:DM迁移到SQL脚本 环境介绍1 注册工程2 新建迁移3 迁移工具介绍4 选择迁移方式5 配置数据源6 配置SQL脚本文件7 配置源端获取对象方式和迁移策略8 选择指定对象复制9 选择迁移对象9.1 迁移对象的配置 - - 转换 设置表的映射关系 10 审阅迁移任务11 完成迁移 环境介绍 DM管…

一文了解使用Moonbeam原生跨链的潜力项目

跨链互连合约是Moonbeam独特的原生跨链解决方案&#xff0c;不仅帮助开发团队在Moonbeam网络即可解锁不同公链的特色功能&#xff0c;而且各类去中心化应用的终端使用者能因此获得更便捷安全的跨链体验。 Moonbeam的原生跨链解决方案包含Polkadot生态、不同异构链和Moonbeam生…

hitcontraining_uaf

1&#xff0c;三连 基本信息&#xff1a;x86-32-el,堆题思路&#xff1b; 保护&#xff1a;Partial RELRO。 堆题多看一个Libc&#xff1a; 2,IDA分析 main功能&#xff1a; add_note()功能&#xff1a; malloc了两次&#xff1a; 8字节填充&#xff08;利用点之一&#xf…

Markdown快速入门教程

Markdown 的目标是实现「易读易写」&#xff0c;并强调它的「可读性」&#xff0c;因此Markdown 的语法全由标点符号所组成&#xff0c;并经过严谨慎选&#xff0c;是为了让它们看起来就像所要表达的意思&#xff1b;以下是Markdown 大部分的语法。 常用语法- 文字样式 文字字…

Allegro过孔盖油和过孔开窗设置(部分过孔开窗)

Allegro设置一部分过孔盖油&#xff0c;另一部分过孔开窗。 过孔开窗&#xff1a;过孔部分去除阻焊&#xff0c;便于调试和散热&#xff1b; 过孔盖油&#xff1a;过孔盖上阻焊油墨&#xff0c;防止过孔连锡短路。 总结 使用pad designer设计两种via pad&#xff0c;一种不开…

分布式事务的几种解决方案

一.基础概念 1. 什么是事务 事务可以看做是一次大的活动&#xff0c;它由不同的小活动组成&#xff0c;这些活动 要么全部成功&#xff0c; 要么全部失败 2.本地事务 在计算机系统中&#xff0c;更多的是通过 关系型数据库来控制事务&#xff0c;这是利用数据库 本身的事务特性…

基于Qt的教务管理系统的设计与实现

获取代码&#xff1a; (1) 下载链接: https://download.csdn.net/download/kese7952/87741551 (2) 添加博主微信获取,备注来源: mryang511688 项目描述 技术&#xff1a;C、QT等 摘要&#xff1a; 随着学校规模的不断扩大&#xff0c;学生的流动变迁导致了学校在管理学生信息…

二叉堆(Binary Heap)

二叉堆&#xff08;Binary Heap&#xff09; 二叉堆概述优先级队列 二叉堆&#xff08;Binary Heap&#xff09;其实比较简单&#xff0c;但却非常有用&#xff0c;常见的应用二叉堆排序和优先级队列。本文将介绍二叉堆的基本性质、基本操作和二叉堆在优先级队列上的应用。 二…

abc 283E 经典dp

题意&#xff1a;https://www.luogu.com.cn/problem/AT_abc283_e 思路&#xff1a;非常经典的dp&#xff0c;设为前i行第i行是否反转和第i1行是否反转。 /*keep on going and never give up*/ #include<cstdio> #include<iostream> #include<queue> #inclu…

【Mysql】基础篇:DDL (data definition language) 总结

博主简介&#xff1a;努力学习的大一在校计算机专业学生&#xff0c;热爱学习和创作。目前在学习和分享&#xff1a;数据结构、Go&#xff0c;Java等相关知识。博主主页&#xff1a; 是瑶瑶子啦所属专栏: Mysql从入门到精通近期目标&#xff1a;写好专栏的每一篇文章 目录 一、…

pytest自动化框架之allure测试报告的用例描述设置

allure测试报告的用例描述相关方法&#xff1b;如下图 allure标记用例级别severity 在做自动化测试的过程中&#xff0c;测试用例越来越多的时候&#xff0c;如果执行一轮测试发现了几个测试不通过&#xff0c;我们也希望能快速统计出缺陷的等级。 pytest结合allure框架可以对…

Linux基础指令大讲解

文章目录 1.linux的历史2.如何安装linux3.如何创建和删除用户4.目录&#xff0c;文件&#xff0c;文件夹区别5.pwd6.ls6.1基础语法6.2常用选项 7.alias 和 which的配套使用7.1基础格式7.2解释7.3与其关联的一些命令 8.cd8.1相对路径和绝对路径8.2运行可执行程序的方法8.3cd的基…