大数据实验一,Hadoop安装及使用

news2024/11/23 1:46:57

目录

一.实验内容

二.实验目的

三.实验过程截图及说明

1、安装SSH,并配置SSH无密码登录

2、配置java环境

3.Hadoop的安装与配置

4、修改四个配置文件:

5、格式化HDFS的NameNode:

6、启动Hadoop

7、在浏览器输入 http://localhost:9870 查看WEB页面【注意,有些人是50070端口,即  http://localhost:50070】:

8、完整报告获取地址在开头,挂载资源里。也可联系q:3226627884 获取


一.实验内容

Hadoop安装使用:

1)在PC机上以伪分布式模式安装Hadoop;

2)访问Web界面查看Hadoop信息。

二.实验目的

1、熟悉Hadoop的安装流程。

2、熟悉Hadoop访问Web界等基本操作。

三.实验过程截图及说明

1、安装SSH,并配置SSH无密码登录

(1)

(2)切换目录:

(3)生成SSH公钥和私钥。-t参数告诉ssh-keygen生成的是RSA类型的密钥,rsa是RSA的一种实现方式,常用于SSH的公钥认证。

(4)将你的公钥文件内容添加到 authorized_keys文件的末尾,这样只有你拥有的公钥能够被识别,从而实现SSH的免密码登录:

(5)可以看到,没有输入密码也直接登录了,免密配置成功:

2、配置java环境

(1)切换目录:

(2)创建一个文件夹:

(3)在官网上下载好jdk的压缩包后,进行解压,解压到刚才创建的文件夹:

(4)在bashrc文件里开头处加上如下配置:

(5)使用source命令使配置立即生效,再查看java版本,出现了版本号,java配置成功:

3.Hadoop的安装与配置

(1)在官网下载好Hadoop的压缩包,进行解压,解压到/usr/local文件夹下:

(2)查看Hadoop的版本,安装成功:

4、修改四个配置文件:

使用vim来编辑文件内容:

sudo vim ./etc/hadoop/core-site.xml:

sudo vim ./etc/hadoop/hdfs-site.xml :

sudo vim ./etc/hadoop/mapred-site.xml:

sudo vim ./etc/hadoop/yarn -site.xml:

5、格式化HDFS的NameNode:

出现Storeage directory ...可以看到namenode的格式化已经完成:

6、启动Hadoop

执行jps可以看到,列出了“NameNode”,“DataNode”,“SecondaryNameNode”进程,说明Hadoop已经成功启动:

7、在浏览器输入 http://localhost:9870 查看WEB页面【注意,有些人是50070端口,即  http://localhost:50070】:

8、完整报告获取地址在开头,挂载资源里。也可联系q:3226627884 获取

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1564379.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

springcloud基本使用五(Gateway服务网关)

为什么使用网关? 权限控制:网关作为微服务入口,需要校验用户是是否有请求资格,如果没有则进行拦截。 路由和负载均衡:一切请求都必须先经过gateway,但网关不处理业务,而是根据某种规则&#xff…

[NSSRound#8 Basic]MyPage

[NSSRound#8 Basic]MyPage 打开页面后什么都没有 尝试使用php伪协议 //读取文件源码 filephp://filter/readconvert.base64-encode/resourceindex.php 显示:空白一片 filephp://filter/readconvert.base64-encode/resource/var/www/html/index.php 显示&#xff1…

C#.手术麻醉系统源码 手麻系统如何与医院信息系统进行集成?

C#.手术麻醉系统源码 手麻系统如何与医院信息系统进行集成? 手术麻醉系统与医院信息系统的集成是一个关键步骤,它有助于实现信息的共享和流程的协同,从而提高医疗服务的效率和质量。手麻系统与lis、his、pacs等系统的对接是医院信息化建设的重…

00150金融理论与实务考试分析

1.考试时间及题型 2.历年真题分析—单选题 3.历年真题分析—多选题

Redis windows设置自动开启服务

查看服务 WinR后输入services.msc进入到服务管理页面,查看是否存在Redis服务。 Windows版Redis解压后,是不会在服务中显示的,需要手动配置后才能在服务中看到 配置服务 在解压的Redis版本目录下,输入CMD,运行命…

使用阿里云试用Elasticsearch学习:1.1 基础入门——入门实践

阿里云试用一个月:https://help.aliyun.com/search/?kelastic&sceneall&page1 官网试用十五天:https://www.elastic.co/cn/cloud/cloud-trial-overview Elasticsearch中文文档:https://www.elastic.co/guide/cn/elasticsearch/guide…

Python PDF页面设置 -- 旋转页面、调整页面顺序

在将纸质文档扫描成PDF电子文档时,有时可能会出现页面方向翻转或者页面顺序混乱的情况。为了确保更好地浏览和查看PDF文件,本文将分享一个使用Python来旋转PDF页面或者调整PDF页面顺序的解决方案。 目录 使用Python旋转PDF页面 使用Python调整PDF页面…

RISC-V GNU Toolchain 工具链安装问题解决(含 stdio.h 问题解决)

我的安装过程主要参照 riscv-collab/riscv-gnu-toolchain 的官方 Readme 和这位佬的博客:RSIC-V工具链介绍及其安装教程 - 风正豪 (大佬的博客写的非常详细,唯一不足就是 sudo make linux -jxx 是全部小写。) 工具链前前后后我装了…

Docker、Kubernetes之间的区别

比较容器化工具:了解 Docker、Kubernetes 在应用程序部署和管理方面的差异。 基本概述 Docker 是一个流行的容器化平台,允许开发人员在容器中创建、部署和运行应用程序。 Docker 提供了一组工具和 API,使开发人员能够构建和管理容器化应用程…

C++算法补充---STL

这里写目录标题 CSTL容器字符串函数(string容器函数)字符串转字符 算法交换函数拿到容器或者数组的第一个最大(小)值元素的下标或者值排序函数求字符数组的有效长度atoi函数(将字符串类型的数字转为真正的int型数字)string转字符 …

代码随想录算法训练营三刷day42 | 动态规划之背包问题 416. 分割等和子集

三刷day42 416. 分割等和子集确定dp数组以及下标的含义确定递推公式dp数组如何初始化确定遍历顺序举例推导dp数组 416. 分割等和子集 题目链接 解题思路: 这是一维的背包问题 只有确定了如下四点,才能把01背包问题套到本题上来。 背包的体积为sum / 2背…

vscode shadertoy插件,非常方便的glsl着色器编写工具

很著名的shadertoy网站,集合了非常多大神利用数学写出美妙的shader效果。像shadertoy创始人之一的IQ大神它在这方面有很多的建树。他的利用光线步进和躁声可以创建很多不可思议的3D场景。 vscode有一件shadertoy的插件,安装后可以新建一个*.glsl文件&am…

分布式任务调度框架XXL-JOB

1、概述 XXL-JOB是一个分布式任务调度平台,其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线,开箱即用。 官方文档:https://www.xuxueli.com/xxl-job/#%E4%BA%8C%E3%80%81%E5%BF%AB%E9%80%9F%E…

安卓主板MT8390(Genio 700)_MTK联发科Linux开发板方案

MediaTek Genio 700 (MT8390)是一款高性能的边缘 AI 物联网平台,专为智能家居、互动零售、工业与商业应用而设计。提供快速响应的边缘计算能力、先进的多媒体功能、广泛的传感器和连接方式,且支持多任务操作系统。 MT8390安卓核心…

Java代码示例:演示多态特性及子类方法重写(day17)

java代码里面体现多态的特点: 第一步创建一个父类father, 然后创建子类subclasses, 最后创建一个DemoMulti, 上面的父类特有的方法不是私有的,因此子类能够继承。 新建一个父类方法Father 创建子类subclasses 在下面的代码中…

Aurora8b10b(2)上板验证

文章目录 前言一、AXI_Stream数据产生模块二、上板效果总结 前言 上一篇内容我们已经详细介绍了基于aurora8b10b IP核的设计,本文将基于此进一步完善并且进行上板验证。 设计思路及代码思路参考FPGA奇哥系列网课 一、AXI_Stream数据产生模块 AXIS协议是非常简单的…

单片机中的RAM vs ROM

其实,单片机就是个小计算机。大计算机少不了的数据存储系统,单片机一样有,而且往往和CPU集成在一起,显得更加小巧灵活。 直到90年代初,国内容易得到的单片机是8031:不带存储器的芯片,要想工作&a…

Linux网络编程一(协议、TCP协议、UDP、socket编程、TCP服务器端及客户端)

文章目录 协议1、分层模型结构2、网络应用程序设计模式3、ARP协议4、IP协议5、UDP协议6、TCP协议 Socket编程1、网络套接字(socket)2、网络字节序3、IP地址转换4、一系列函数5、TCP通信流程分析 第二次更新,自己再重新梳理一遍… 协议 协议:指一组规则&…

【tensorflow框架神经网络实现鸢尾花分类—优化器】

文章目录 1、前言2、神经网络参数优化器2.1、SGD2.2、SGDM2.3、Adagrad2.4、RMSProp2.5、Adam 3、实验对比不同优化器4、结果对比 1、前言 此前,在【tensorflow框架神经网络实现鸢尾花分类】一文中使用梯度下降算法SGD,对权重 w w w和偏置 b b b进行更新…

STM32学习和实践笔记(4):分析和理解GPIO_InitTypeDef GPIO_InitStructure (c)

第二个成员变量是GPIOSpeed_TypeDef GPIO_Speed;也与int a一样同理。 GPIOSpeed_TypeDef是一个枚举类型,其定义如下: typedef enum { GPIO_Speed_10MHz 1, GPIO_Speed_2MHz, GPIO_Speed_50MHz }GPIOSpeed_TypeDef; #define IS_GPI…