Windows 环境下Docker 安装伪分布式 Hadoop

news2024/12/23 8:41:20

Windows 环境下Docker 安装伪分布式 Hadoop

  • 1、环境
  • 2、拉取镜像
  • 3、启动容器
  • 4、预备操作
    • 4.1安装vim
      • 4.1.1 更新软件包信息
      • 4.1.2 安装vim
    • 4.2 换源
      • 4.2.1 备份镜像源设置文件
      • 4.2.2 编辑镜像源设置文件
      • 4.2.3 重新更新一下软件包信息
    • 4.3 同步上海时间
      • 4.3.1 安装 tzdata
      • 4.3.2 设置 tzdata
    • 4.4 安装 ssh 配置免密登陆
      • 4.4.1 安装 ssh
      • 4.4.2 设置允许 root 远程访问
  • 5、配置远程连接

1、环境

Windows 11
Docker 20.0.2

2、拉取镜像

我选择 ubuntu20.04:

docker pull ubuntu:20.04

在这里插入图片描述
然后我们用命令看一下本地镜像:

docker images

在这里插入图片描述

3、启动容器

docker run -it IMAGE_ID bash

在这里插入图片描述

4、预备操作

4.1安装vim

4.1.1 更新软件包信息

apt-get update

在这里插入图片描述

4.1.2 安装vim

apt-get install vim

在这里插入图片描述

4.2 换源

4.2.1 备份镜像源设置文件

cp /etc/apt/sources.list /etc/apt/sources.list.bak

4.2.2 编辑镜像源设置文件

vim /etc/apt/sources.list

如果不出意外大家原来文件都应该如下图一样:

在这里插入图片描述

我们键入 ggdG 删除其中全部内容,复制下面的所有内容粘贴上去 (一次只可以选一个镜像源,根据你的情况选)

#  阿里源
deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
 # 清华源
 deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic main restricted universe multiverse
 deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic main restricted universe multiverse
 deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-updates main restricted universe multiverse
 deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-updates main restricted universe multiverse
 deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-backports main restricted universe multiverse
 deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-backports main restricted universe multiverse
 deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-security main restricted universe multiverse
 deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-security main restricted universe multiverse
 deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-proposed main restricted universe multiverse
 deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-proposed main restricted universe multiverse
#  中科大源
deb https://mirrors.ustc.edu.cn/ubuntu/ bionic main restricted universe multiverse
deb-src https://mirrors.ustc.edu.cn/ubuntu/ bionic main restricted universe multiverse
deb https://mirrors.ustc.edu.cn/ubuntu/ bionic-updates main restricted universe multiverse
deb-src https://mirrors.ustc.edu.cn/ubuntu/ bionic-updates main restricted universe multiverse
deb https://mirrors.ustc.edu.cn/ubuntu/ bionic-backports main restricted universe multiverse
deb-src https://mirrors.ustc.edu.cn/ubuntu/ bionic-backports main restricted universe multiverse
deb https://mirrors.ustc.edu.cn/ubuntu/ bionic-security main restricted universe multiverse
deb-src https://mirrors.ustc.edu.cn/ubuntu/ bionic-security main restricted universe multiverse
deb https://mirrors.ustc.edu.cn/ubuntu/ bionic-proposed main restricted universe multiverse
deb-src https://mirrors.ustc.edu.cn/ubuntu/ bionic-proposed main restricted universe multiverse

我这里选用阿里源,按 esc 键再 :wq 保存退出

在这里插入图片描述

4.2.3 重新更新一下软件包信息

apt-get update

在这里插入图片描述

4.3 同步上海时间

输入下面命令可以看到时间和咱们时间不一样,需要同步一下不然以后可能会遇到一些问题

date

在这里插入图片描述

4.3.1 安装 tzdata

apt-get install tzdata

4.3.2 设置 tzdata

输入下面命令

dpkg-reconfigure tzdata

然后按照提示选择 Asia 对应的序号,选完后会显示一堆新的提示—输入城市名,如 Shanghai,按照提示进行选择时区,就可以看到时间修改成功了:

在这里插入图片描述

然后使用下面命令:

ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

将时区文件链接到本地时间文件上,以便系统能够正确地显示当前时间,防止系统重启后时区改变。

4.4 安装 ssh 配置免密登陆

4.4.1 安装 ssh

先用下面命令安装 ssh 服务

apt-get install openssh-server

4.4.2 设置允许 root 远程访问

打开配置文件

vim /etc/ssh/sshd_config

在#PermitRootLogin prohibit-password下添加如下内容

PermitRootLogin yes
RSAAuthentication yes
PubkeyAuthentication yes

在这里插入图片描述
重启ssh服务

service ssh restart 
# 容器中不能调用 systmctl命令,故命令只在宿主机配置ssh时使用,容器中使用service

配置容器内的 root 用户密码,该密码可用于远程登录

passwd root

在这里插入图片描述设置 ssh 开机自启,找到并打开文件/root/.bashrc

vim /root/.bashrc

在 .bashrc 末尾添加如下代码

service ssh start

退出使用如下命令让环境变量生效:

source /root/.bashrc

最后配置一下 ssh 免密登陆

ssh-keygen -t rsa #一直按回车键即可
cd ~/.ssh
cat id_rsa.pub >> authorized_keys

到这里咱们前期准备工作差不多完成了,exit 退出当前容器,然后我们可以保存镜像,以备以后的使用

docker commit CONTAINER_ID ssh_installed

5、配置远程连接

使用下面命令查看系统内有哪些镜像:

docker images

在这里插入图片描述
选择上一步保存的镜像并生成容器,在这过程还要做端口映射,例如:

docker run -it -d --name [container-name] -p 8088:80 [image-name]

我这里用的是下面命令,把这个容器命名为 hadoop,将容器内的 22 端口映射到宿主机的 50001 端口:

docker run -it -d --name hadoop -p 50001:22 ssh_installed

我们可以看到,我们需要的容器正在运行中了:

在这里插入图片描述
现在就可以设置远程连接了,在这里我选择 xshell 作为远程连接工具,填入如下信息:

在这里插入图片描述
在这里插入图片描述
这里的 root 密码是咱们在步骤 4.4.2 中设置的 root 的密码,设置完成之后,点击连接,可以看到顺利连接上了:

在这里插入图片描述
后续操作和虚拟机配置 hadoop 基本一致,题主有空完善(先埋下坑以后再填😂😂😂),或者客官可以移步题主另一篇博客参考一下:Ubuntu下搭建伪分布式从0开始安装Hive详细教程

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/718092.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

[AJAX]原生AJAX——服务端如何发出JSON格式响应,客户端如何处理接收JSON格式响应

服务端代码&#xff1a; <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>Document</title> &l…

IPV6使用越来越广,您会配置吗?

前面针对IPv6写过一篇文章&#xff0c;但是好多网友反映没有读懂&#xff0c;今天再给大家把内容浓缩一下&#xff0c;教给大家如何配置。 IPV6的推出主要是为了解决地址空间的不足&#xff0c;从而进一步的促进互联网的发展。IPV6地址空间大到惊人&#xff0c;有人比喻地球上…

Rust in Action笔记 第十章 进程、线程和容器

Rust的闭包也就是类似lambda表达式&#xff0c;大致的格式是|a, b| {...} &#xff0c;竖线里面的是参数&#xff0c;花括号里面的是函数逻辑&#xff1b;通过thread::spawn(|| {})产生的线程&#xff0c;括号内的参数实际上就是一个闭包&#xff0c;因为创建新的线程不需要参数…

【论文阅读】StyleganV1 算法理解

文章目录 为什么提出&#xff1f;具体是怎么做的&#xff1f;1.解耦的思想&#xff08;对应文章第四章4.Disentanglement studies&#xff09;1.1 感知路径长度&#xff08;对应4.1Perceptual path length&#xff09;1.2 线性可分离性&#xff08;对应4.2Linear separability&…

Chrome DevTools、Vue DevTools、vs和DevTools调试

目录 Elements DOM节点&#xff08;增删改&#xff09;调试 Styles DOM结构 增删属性 模拟元素的伪状态&#xff0c;方便调试 Computed Layout Event Listeners Network Application 资源列表&#xff08;可改&#xff09;本地存储Cookie、WebStorage&#xff08;loca…

人工智能学习07--pytorch22--目标检测:YOLO V3 SPP

视频链接&#xff1a; https://www.bilibili.com/video/BV1t54y1C7ra/?vd_sourceb425cf6a88c74ab02b3939ca66be1c0d yolov3 spp spp&#xff1a;空间金字塔池化 trick&#xff1a;实现的小技巧&#xff0c;方法。&#xff08; up&#xff1a;Bag of Freebies里有很多trick&…

【C++学习笔记】C++中的异常概念异常的使用注意事项异常的优缺点

异常 1 C语言传统的处理异常的方式2 C异常的概念3 异常的使用以及注意事项3.1 异常的简单使用3.2 使用异常的注意事项3.3 异常的重新抛出3.4 异常规范3.5 异常安全 4 C标准库的异常体系5 异常的优缺点6 总结 1 C语言传统的处理异常的方式 C语言传统的错误处理机制&#xff1a;…

https安全传输原理:

内容来自思学堂&#xff1a; 信息裸奔——>对称加密——>非对称加密——>非对称和对称加密——>权威第三方机构CA数字签名

C++图形开发(5):逐渐变大(小)的小球

文章目录 1.逐渐变大的小球2.逐渐变小的小球 今天所讲的逐渐变大&#xff08;小&#xff09;的小球实际上就是基于上次的缓慢下落的小球的基础上的&#xff08;下落的小球详见&#xff1a;C图形开发&#xff08;4&#xff09;&#xff1a;下落的小球&#xff09; 1.逐渐变大的…

蓝桥杯专题-试题版含答案-【数数小木块】【精挑细选】【国王的魔镜】【字符串逆序输出】

点击跳转专栏>Unity3D特效百例点击跳转专栏>案例项目实战源码点击跳转专栏>游戏脚本-辅助自动化点击跳转专栏>Android控件全解手册点击跳转专栏>Scratch编程案例点击跳转>软考全系列点击跳转>蓝桥系列 &#x1f449;关于作者 专注于Android/Unity和各种游…

每日浅读SLAM论文——简析Cartographer

文章目录 二维激光SLAM简单框架前端scan matchingSubmaps构建 后端分支定界优化csm&#xff08;CorrelativeScanMatch&#xff09; 代码实现框架 Cartographer&#xff08;论文名&#xff1a;Real-Time Loop Closure in 2D LIDAR SLAM&#xff09;是目前二维激光SLAM中应用最广…

postman不能进行并发测试

1.按照网上文档的配置 2.在登录接口里睡眠5s&#xff0c;如果是并发的话&#xff0c;所有的请求都会一起睡眠5s 3.测试结果&#xff1a;请求是每隔5s串行执行的

Linux定时任务-定时执行Shell脚本

主要是使用Linux的crontab工具来实现的&#xff0c;有两个方法&#xff0c;一个放在contab 列表里面&#xff0c;另一个是放在contab文件里面&#xff08;其实原理是一致的&#xff09;。 crontab 列表 cd /tmp # 创建一个shell脚本 vim hello.sh #!/bin/bash echo "hel…

钳形表校准装置单匝法校准钳形电流表

交流大电流源输出标准电流信号到直径为1 m的单匝半圆铜环&#xff0c;电流输出铜环分为大小铜环&#xff0c;适配于校准不同钳口大小的钳形电流表。 方案优势&#xff1a;完全符合《JJF 1075-2015 钳形电流表校准规范》中主要推荐的单匝法校准钳形电流表的要求&#xff0c;操控…

全景感知—让视图上云更便捷,存储更安全

6月15日&#xff0c;由腾讯云主办的“数实共进产业行浙江站”在杭州圆满开展&#xff0c;活动中腾讯云存储高级产品经理张泽南进行了“全景感知&#xff0c;让视图上云更便捷&#xff0c;存储更安全”主题演讲&#xff0c;与行业伙伴深度交流新一代视图计算解决方案&#xff0c…

Redis中的介绍和安装教程(配置文件)

1.Redis简单的介绍 redis是一种键值对的NoSql数据库&#xff0c;这里有两个关键字&#xff1a; 键值对 Nosql 其中键值型&#xff0c;是指Redis中存储的数据都是以key.value对的形式多种多样&#xff0c;可以实字符串、数值、甚至json&#xff0c;可以参考HashMap 然后NoSq…

TiDB(5):TiDB-读取历史数据

接下来介绍 TiDB 如何读取历史版本数据&#xff0c;包括具体的操作流程以及历史数据的保存策略。 1 功能说明 TiDB 实现了通过标准 SQL 接口读取历史数据功能&#xff0c;无需特殊的 client 或者 driver。当数据被更新、删除后&#xff0c;依然可以通过 SQL 接口将更新/删除前…

MySQL容器无法输入或显示中文异常解决

如果使用docker创建了MySQL容器&#xff0c;但是进入容器后发现无法输入中文&#xff0c;也就是在插入数据的时候中文直接显示为空&#xff0c;数据表里的中文也显示为空&#xff0c;解决方法是&#xff1a; 1&#xff0c;临时方法 该方法只在每一次进入容器的命令上添加参数&a…

Web服务器群集:使用Haproxy搭建Web集群

目录 一、理论 1.Haproxy集群 2.常见的web集群调度器 3.三种web集群调度器的区别 4.下载安装 二、部署Haproxy集群 1.部署 2.重新定义Haproxy集群的日志 三、实验 1.部署Haproxy集群 四、问题 1.nginx编译安装与yum安装的网页配置路径 五、总结 一、理论 1.Hapro…

【2022吴恩达机器学习课程视频翻译笔记】3.1线性回归模型-part-1

3.1线性回归模型-part-1 In this video, we’ll look at what the overall process of supervised learning is like. Specifically, you see the first model of this course, Linear Regression Model. That just means fitting a straight line to your data. It’s probab…