Hadoop基础之《(7)—Hadoop三种运行模式》

news2024/10/5 19:16:06

一、hadoop有三种运行模式

1、本地模式
数据存储在linux本地,不用

2、伪分布式集群
数据存储在HDFS,测试用

3、完全分布式集群
数据存储在HDFS,同时多台服务器工作。企业大量使用

二、单机运行
单机运行就是直接执行hadoop命令

1、例子-统计单词数量
cd /appserver/hadoop/hadoop-3.3.4
mkdir wcinput
mkdir outinput
在wcinput下建立一个word.txt,输入一些单词

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar wordcount wcinput/ wcoutput/

三、ssh免密登录

ssh-keygen生成本机的公私钥对。ssh-copy-id将本机公钥安装到远程主机上,实现免密登录远程主机
 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/185830.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

AntV结合Vue实现导出图片功能

一、业务场景: AntV 组织图操作完毕以后,需要点击按钮将画布以图片的形式导出 二、问题描述: 官网上有4个方法,我用的是 graph.toFullDataURL(callback, type, imageConfig) 三、具体实现步骤: (1&#x…

Three.js纹理投影简明教程

纹理投影是一种将纹理映射到 3D 对象并使其看起来像是从单个点投影的方法。 把它想象成投射到云上的蝙蝠侠符号,云是我们的对象,蝙蝠侠符号是我们的纹理。 它用于游戏和视觉效果,以及创意世界的更多部分。 工具:使用 NSDT场景编辑…

Linux 入门教程||Linux 简介||Linux 安装

Linux 简介 Linux内核最初只是由芬兰人李纳斯托瓦兹(Linus Torvalds)在赫尔辛基大学上学时出于个人爱好而编写的。 Linux是一套免费使用和自由传播的类Unix操作系统,是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。…

pdf文件怎么压缩?pdf文件变小的简单方法

工作中,pdf文件的使用是非常广泛的,一些特殊的场景下对于pdf文件的大小是有着严格规定的,所以pdf文件压缩成了必备的一项技能,那么怎么将pdf压缩(https://www.yasuotu.com/pdfyasuo)呢?下面介绍…

一个完整的渗透学习路线是怎样的?如何成为安全渗透工程师?

前言 1/我是如何学习黑客和渗透? 我是如何学习黑客和渗透测试的,在这里,我就把我的学习路线写一下,让新手和小白们不再迷茫,少走弯路,拒绝时间上的浪费! 2/学习常见渗透工具的使用 注意&…

2023年江苏建筑安全员精选真题题库及答案

百分百题库提供建筑安全员考试试题、安全员证考试真题、安全员证考试题库等,提供在线做题刷题,在线模拟考试,助你考试轻松过关。 250.施工升降机防坠安全器在装机使用时,应按吊笼额定载重量进行坠落试验,以后至少()个月应进行一次额定载重量的坠落试验 …

辨析Web Service, SOAP, REST, OData之间的关系与区别

最近发现,对于刚刚接触HTTP服务的同学,在一些基础概念上容易混乱。很多同学搞不清楚Web Service,SOAP,REST以及OData这些技术之间的关系与区别。文本会尽量用最简洁的方式,解释这几个概念,并附上一些资料的…

第一章:在Mac OS上安装Go语言开发包

各位朋友们大家好! 本节主要为大家讲解如何在Mac OS上安装Go语言开发包,大家可以在Go语言官网下载对应版本的的安装包,如下图所示。 安装Go语言开发包 Mac OS 的Go语言开发包是 .pkg 格式的,双击我们下载的安装包即可开始安装。…

I.MX6ULL内核开发1:内核模块实验

目录 一、实验环境 二、编译4.19.35版内核 1、下载linux内核源码 2、安装必要的环境工具库 3、一键编译内核 4、获取编译出来的内核相关文件(与makefile文件一致) 三、内核模块代码分析 1、内核模块头文件 2、内核模块打印函数 3、文中语法分析…

filter滤镜实现网页置灰(纪念日)效果

目录 前言关键代码兼容ie的做法定位错乱的原因 前言 一些特殊纪念日的时候,很多网站的首页进行置灰处理。这种效果实际上是用滤镜filter实现的,几行css就可以实现。 在实现整个页面置灰的过程中,要注意页面中有定位的元素,就需…

java中 == 和 equels

1、 和 equals的区别 是操作符 操作符专门用来比较变量的值是否相同。对于基本类型变量来说,只能使用 ,因为基本类型的变量没有方法。使用比较是值比较。对于引用类型的变量来说,比较的两个引用对象的地址是否相等。 equals 是方法 equals方…

Linux kdump配置步骤和注意事项(基于debian、OpenEuler和自定义编译内核的Linux)

1、kdump简单描述 kdump是Linux中的一个内核转储机制,主要用于当Linux内核发生崩溃时,将该内核相关的信息和崩溃原因通过转储的形式保留下来,在debian系统中,相关信息会存储在dump文件中,在OpenEuler和CentOS等系统中…

utils:crypto-js的基本使用和(加密/解密)功能封装

目录一、基本使用1. 资源下载2. 目录结构3. 代码二、功能封装1. 封装代码2. 使用说明(1) 引入utils工具(2) 使用工具一、基本使用 1. 资源下载 crypto-js 2. 目录结构 3. 代码 <html xmlns"http://www.w3.org/1999/xhtml"> <head> <meta http-equ…

【Linux】磁盘结构/文件系统/软硬链接/动静态库

文章目录前言一、磁盘结构1、磁盘的物理结构2、磁盘的存储结构3、磁盘的逻辑结构二、文件系统1、对 IO 单位的优化2、磁盘分区与分组3、对分组的具体管理方法4、文件操作三、软硬链接1、理解硬链接2、理解软链接3、理解 . 和 ..四、静动态库1、什么是动静态库2、动静态库的制作…

JavaScript 中的字符串

JavaScript 字符串 什么是字符串&#xff1f; 字符串是用来存储和处理文本数据的 比如&#xff1a;一句话、a等 字符串的创建方式 字面量方式进行创建 <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8" /><meta…

DW 2023年1月Free Excel 第十次打卡 Excel看板

第十章Excel看板 数据下载地址与参考链接&#xff1a;https://d9ty988ekq.feishu.cn/docx/Wdqld1mVroyTJmxicTTcrfXYnDd 数据看板作为数据动态展示的一种重要方式&#xff0c;被广泛的应用于各个领域&#xff0c;因此本节根据1个案例讲解使用Excel制作数据看板的过程&#xff…

大厂年薪43w测试开发手把手教你搭建Web自动化测试框架,超详细

测试框架的设计有两种思路&#xff0c;一种是自底向上&#xff0c;从脚本逐步演变完善成框架&#xff0c;这种适合新手了解框架的演变过程。另一种则是自顶向下&#xff0c;直接设计框架结构和选取各种问题的解决方案&#xff0c;这种适合有较多框架事件经验的人。本章和下一张…

使用Python读取和处理安卓传感器数据与CSV读取

多年来&#xff0c;数据一直是世界运作的重要组成部分。这些数据可以从GDP到血样&#xff0c;再到世界的各个方面。随着我们数据的增长&#xff0c;统计学找到了从它们中提取更多意义的方法。 这些方法之一被称为方差分析&#xff08;ANOVA&#xff09;。方差分析是一套统计模…

python进阶——人工智能视觉识别

大家好&#xff0c;我是csdn的博主&#xff1a;lqj_本人 这是我的个人博客主页&#xff1a;lqj_本人的博客_CSDN博客-微信小程序,前端,vue领域博主lqj_本人擅长微信小程序,前端,vue,等方面的知识https://blog.csdn.net/lbcyllqj?spm1000.2115.3001.5343 哔哩哔哩欢迎关注&…

最简单的k8s安装记录(包含dashboard)

使用sealos一键安装k8s集群 sealos-githubsealos使用文档 wget https://github.com/labring/sealos/releases/download/v4.1.4/sealos_4.1.4_linux_amd64.tar.gz && \tar -zxvf sealos_4.1.4_linux_amd64.tar.gz sealos && chmod x sealos && mv se…