Docker 单机快速部署大数据各组件

news2025/1/22 0:45:37

文章目录

      • 一、Spark
        • 1.1 NetWork 网络
        • 1.2 安装 Java8
        • 1.3 安装 Python 环境
        • 1.4 Spark 安装部署
      • 二、Kafka
      • 三、StarRocks
      • 四、Redis
      • 五、Rabbitmq
      • 六、Emqx
        • 6.1 前言
        • 6.2 安装部署
      • 七、Flink
      • 八、Nacos
      • 九、Nginx

一、Spark

1.1 NetWork 网络
docker network ls

docker network create --driver=bridge hadoop-network

在这里插入图片描述

1.2 安装 Java8

  下载基础镜像:

docker pull centos:7

在这里插入图片描述

1.3 安装 Python 环境

  Miniconda3 安装:

root@hadoop:~# apt install wget

root@hadoop:~# wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

root@hadoop:~# bash Miniconda3-latest-Linux-x86_64.sh

root@hadoop:~# source .bashrc 
(base) root@hadoop:~# python
Python 3.12.4 | packaged by Anaconda, Inc. | (main, Jun 18 2024, 15:12:24) [GCC 11.2.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> exit()

可参考:Miniconda安装教程

1.4 Spark 安装部署

  上传安装包:

docker cp spark-2.4.0-bin-hadoop2.7.tgz ubuntu-java8:/usr/local

docker cp scala-2.11.12.tgz ubuntu-java8:/usr/local

  解压:

# 解压
tar -zxf spark-2.4.0-bin-hadoop2.7.tgz
tar -zxf scala-2.11.12.tgz

# 删除
rm -rf spark-2.4.0-bin-hadoop2.7.tgz
rm -rf scala-2.11.12.tgz

  修改配置(要运行本地模式的话可忽略):

cd /usr/local/spark-2.4.0-bin-hadoop2.7/conf
cp spark-env.sh.template spark-env.sh
vim spark-env.sh

# 添加内容
export JAVA_HOME=/usr/java/jdk1.8.0_212
export SCALA_HOME=/usr/local/scala-2.11.12
export SPARK_HOME=/usr/local/spark-2.4.0-bin-hadoop2.7
export HADOOP_INSTALL=/usr/local/hadoop-3.0.0
export HADOOP_CONF_DIR=$HADOOP_INSTALL/etc/hadoop

注:默认没有 vi 和 vim 命令,需要安装,安装命令:apt install vim

在这里插入图片描述
  环境变量:

root@hadoop:~# vim .bashrc
# SPARK_HOME
export SPARK_HOME=/usr/local/spark-2.4.0-bin-hadoop2.7
export PATH=$SPARK_HOME/bin:$PATH

在这里插入图片描述
  测试命令:

spark-submit --master local[*] --class org.apache.spark.examples.SparkPi $SPARK_HOME/examples/jars/spark-examples_2.11-2.4.0.jar 20

二、Kafka

  下载镜像:

docker pull bitnami/kafka:3.6.0

  启动容器:

docker run -d --name kafka \
-p 9092:9092 \
--network hadoop-network \
-e KAFKA_ADVERTISED_PORT=9092 \
-e KAFKA_ENABLE_KRAFT=yes \
-e KAFKA_CFG_PROCESS_ROLES=broker,controller \
-e KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT \
-e KAFKA_CFG_CONTROLLER_LISTENER_NAMES=CONTROLLER \
-e KAFKA_CFG_LISTENERS=PLAINTEXT://:9092,CONTROLLER://:9093 \
-e KAFKA_CFG_CONTROLLER_QUORUM_VOTERS=1@127.0.0.1:9093 \
-e KAFKA_KRAFT_CLUSTER_ID=jkUlhzQmQkic54LMxrB1oV \
-e ALLOW_PLAINTEXT_LISTENER=yes \
-e KAFKA_BROKER_ID=1 \
-e KAFKA_CFG_NODE_ID=1 \
bitnami/kafka:3.6.0

-d:选项以守护程序模式运行容器。
--name kafka:为容器指定一个名称。
-p 9092:9092:将容器中的 9092 端口(后面的)映射到主机的 9092 端口(前面的)。

  要验证 Kafka 是否正在运行,请使用以下命令检查容器的日志:

docker logs kafka

。。。
[2024-09-25 09:02:34,287] INFO Kafka version: 3.6.0 (org.apache.kafka.common.utils.AppInfoParser)
[2024-09-25 09:02:34,287] INFO Kafka commitId: 60e845626d8a465a (org.apache.kafka.common.utils.AppInfoParser)
[2024-09-25 09:02:34,287] INFO Kafka startTimeMs: 1727254954286 (org.apache.kafka.common.utils.AppInfoParser)
[2024-09-25 09:02:34,289] INFO [KafkaRaftServer nodeId=1] Kafka Server started (kafka.server.KafkaRaftServer)

  创建主题:

docker exec -it kafka /bin/bash

# data解析
kafka-topics.sh --create --topic xiaoqiang-result-topic --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1

kafka-topics.sh --bootstrap-server localhost:9092 --list

三、StarRocks

集群部署参考文档:通过 docker-compose 快速部署 StarRocks 保姆级教程

  下载官方镜像:

docker pull starrocks/allin1-ubuntu:3.1.13

在这里插入图片描述
  运行容器:

docker run -p 9030:9030 -p 8030:8030 -p 8040:8040 -itd --name starrocks starrocks/allin1-ubuntu:3.1.13

# 进入容器
docker exec -it starrocks mysql -P 9030 -h 127.0.0.1 -u root

在这里插入图片描述

四、Redis

  下载镜像:

docker pull redis

  编辑配置文件 /home/bigdata/redis/redis.conf,使 Redis 支持数据持久化:

protected-mode no

port 6379

tcp-backlog 511
#redis密码 强烈建议设置复杂一些
requirepass ABCabc123

timeout 0
tcp-keepalive 300
daemonize no
supervised no
pidfile /var/run/redis_6379.pid
loglevel notice
logfile ""
databases 30
always-show-logo yes

save 900 1
save 300 10
save 60 10000

stop-writes-on-bgsave-error yes
rdbcompression yes
rdbchecksum yes
dbfilename dump.rdb

dir ./

replica-serve-stale-data yes
replica-read-only yes
repl-diskless-sync no
repl-disable-tcp-nodelay no

replica-priority 100

lazyfree-lazy-eviction no
lazyfree-lazy-expire no
lazyfree-lazy-server-del no
replica-lazy-flush no

appendonly yes

appendfilename "appendonly.aof"

no-appendfsync-on-rewrite no

auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb

aof-load-truncated yes
aof-use-rdb-preamble yes

lua-time-limit 5000
slowlog-max-len 128

notify-keyspace-events ""

hash-max-ziplist-entries 512
hash-max-ziplist-value 64
list-max-ziplist-size -2
list-compress-depth 0
set-max-intset-entries 512

zset-max-ziplist-entries 128
zset-max-ziplist-value 64

hll-sparse-max-bytes 3000

stream-node-max-bytes 4096
stream-node-max-entries 100

activerehashing yes
hz 10
dynamic-hz yes
aof-rewrite-incremental-fsync yes
rdb-save-incremental-fsync yes

  启动容器:

sudo docker run --restart=always \
--log-opt max-size=100m \
--log-opt max-file=2 \
-p 6379:6379 \
--name redis \
-v /home/bigdata/redis/redis.conf:/etc/redis/redis.conf \
-v /home/bigdata/redis/data:/data \
-itd redis:latest redis-server /etc/redis/redis.conf \
--appendonly yes \
--requirepass qwe123

参数的意义:

  • 【 --restart=always】 开机启动,失败也会一直重启;
  • 【–log-opt max-size=100m】意味着一个容器日志大小上限是100M;
  • 【–log-opt max-file=2】意味着一个容器有2个日志,分别是id+.json、id+1.json;
  • 【-p 6379:6379】 将宿主机6379端口与容器内6379端口进行映射;
  • 【-v】 将宿主机目录或文件与容器内目录或文件进行挂载映射;
  • 【-itd】
    i:以交互模式运行容器,通常与 -t 同时使用;
    t:为容器重新分配一个伪输入终端,通常与 -i 同时使用;
    d:表示后台启动redis;
  • 【–name】 给容器命名;
  • 【–appendonly yes】 开启redis 持久化;
  • 【–requirepass 123456】 强烈建议设置密码,并且将密码设置为高强度复杂;
  • 【redis-server /etc/redis/redis.conf】 以配置文件启动redis,加载容器内的conf文件;

  查看启动日志(是否正常启动):

docker logs redis # 后面跟容器名 or 容器ID 都可以
docker logs --since 30m redis # --since 30m 是查看此容器30分钟之内的日志情况。

  查看本机 Docker 运行的容器:

docker ps -a | grep redis

  查看 redis 命令是否正常:

docker exec -it redis redis-cli

  测试连接:

127.0.0.1:6379> select 1
(error) NOAUTH Authentication required.
127.0.0.1:6379> auth 123456
OK
127.0.0.1:6379> select 1
OK
127.0.0.1:6379[1]> set k1 v1
OK
127.0.0.1:6379[1]> get k1
"v1"
127.0.0.1:6379[1]>

参考:Docker安装redis(保姆级教程&图文并茂)

五、Rabbitmq

  拉取 RabbitMQ 镜像:

docker pull rabbitmq:3.8-management

在这里插入图片描述
  创建目录,授权文件夹

# 创建目录
mkdir -p /data/rabbitmq/{conf,data,log}
# 授权文件夹
chmod -R 777 /data/rabbitmq/{conf,data,log}

  创建 RabbitMQ 容器:

docker run --restart=always --name rabbitmq \
-p 15672:15672 -p 5672:5672 \
-e RABBITMQ_DEFAULT_USER=rabbit \
-e RABBITMQ_DEFAULT_PASS=rabbit \
-v /data/rabbitmq/data:/var/lib/rabbitmq \
-v /data/rabbitmq/conf:/etc/rabbitmq \
-v /data/rabbitmq/log:/var/log/rabbitmq \
-d rabbitmq:3.8-management

  相关参数解释:

  • docker run: 启动一个新的 Docker 容器。
  • –restart=always: 容器意外退出或 Docker 服务重启,Docker 将始终自动重新启动该容器。
  • –name rabbitmq: 给容器命名为 rabbitmq,以便于管理和引用该容器。
  • -p 15672:15672 -p 5672:5672: 端口映射。将主机的 5672 端口映射到容器的 5672 端口。
  • -e RABBITMQ_DEFAULT_USER=rabbit: 指定默认的 RabbitMQ 用户名为 rabbit。
  • -e RABBITMQ_DEFAULT_PASS=rabbit: 指定默认的 RabbitMQ 密码为 rabbit。
  • -v /data/rabbitmq/data:/var/lib/rabbitmq: 数据持久化
  • -v /data/rabbitmq/conf:/etc/rabbitmq: 配置文件持久化
  • -v /data/rabbitmq/log:/var/log/rabbitmq: 日志文件持久化
  • -d: 容器将在后台运行,而不是占用当前的终端会话。

  查看 RabbitMQ 启动日志:docker logs -f rabbitmq

在这里插入图片描述
  访问 RabbitMQ 控制台:

服务器IP / 虚拟机静态IP : 15672
例如我的控制台地址为 : http://172.29.32.233:15672/

  访问发现无法访问,开启控制台管理 : 进入 RabbitMQ 容器后开启控制台管理:

# 进入 RabbitMQ 容器
docker exec -it rabbitmq bash
# 开启控制台管理
rabbitmq-plugins enable rabbitmq_management

在这里插入图片描述
  登录 RabbitMQ 控制台:
在这里插入图片描述
在这里插入图片描述
  进入 RabbitMQ 容器,添加管理员账号,授权账号管理员权限,查看账号列表:

# 进入 RabbitMQ 容器
docker exec -it rabbitmq bash
# 添加管理员账号
rabbitmqctl add_user 用户名 密码
# 授权账号管理员权限
rabbitmqctl set_user_tags 用户名 administrator
# 查看账号列表
rabbitmqctl list_users

  重启 RabbitMQ 容器,再次访问,成功访问 !

# 重启容器
docker restart rabbitmq

参考:
Docker 部署 RabbitMQ (图文并茂超详细)
Docker之安装RabbitMq_docker 安装rabbitmq

六、Emqx

6.1 前言

什么是 MQTT?

  • MQTT(Message Queuing Telemetry Transport,消息队列遥测传输协议)
  • 是一种基于发布/订阅(publish/subscribe)模式的"轻量级"通讯协议
  • 关键词:通讯协议

什么是EMQ(emqx的简称)?

  • EMQ X Broker 是基于高并发的 Erlang/OTP 语言平台开发,支持百万级连接和分布式集群架构,发布订阅模式的开源 MQTT 消息服务器。
  • 关键词:消息服务器
端口描述
18083web端后台管理页端口
1883MQTT TCP 端口
8883MQTT TCP TLS/SSL 端口
8083HTTP and WebSocket 端口
8084HTTPS and WSS 端口
8080MGMT API 端口

MGMT 端口 :MGMT是网络管理端口,可以直接用网线连接,登陆进防火墙以网页模式管理。

6.2 安装部署

  获取 Docker 镜像:

docker pull emqx/emqx-enterprise:5.7.1

  运行以下命令启动 Docker 容器:

docker run -d --name emqx-enterprise -p 1883:1883 -p 8083:8083 -p 8084:8084 -p 8883:8883 -p 18083:18083 emqx/emqx-enterprise:5.7.1

  如果需要持久 Docker 容器 ,请将以下目录挂载到容器外部,这样即使容器被删除数据也不会丢失:

/opt/emqx/data
/opt/emqx/log

  启动容器并挂载目录:(挂载失败,后续排查)

docker run -d --name emqx-enterprise \
  -p 1883:1883 -p 8083:8083 \
  -p 8084:8084 -p 8883:8883 \
  -p 18083:18083 \
  -v $PWD/data:/opt/emqx/data \
  -v $PWD/log:/opt/emqx/log \
  emqx/emqx-enterprise:5.7.1

参考:
通过 Docker 运行 EMQX
docker实现搭建emqx服务
EMQX的docker部署与使用(mqtt)

七、Flink

  拉取镜像:

docker pull flink:1.17.2

  编辑 docker-compose.yml 文件:

version: "3"
services:
  jobmanager:
    image: flink:1.17.2
    expose:
      - "6123"
    ports:
      - "8081:8081"
    command: jobmanager
    environment:
      - JOB_MANAGER_RPC_ADDRESS=jobmanager
  taskmanager:
    image: flink:1.17.2
    expose:
      - "6121"
      - "6122"
    depends_on:
      - jobmanager
    command: taskmanager
    links:
      - "jobmanager:jobmanager"
    environment:
      - JOB_MANAGER_RPC_ADDRESS=jobmanager
    scale: 3 #指定taskmanager数量

  在文件夹路径下执行:

docker-compose up -d

  通过在浏览器的地址栏中输入 localhost:8081 即可打开 Flink 的 UI 页面:

参考:
手把手教你在Docker中如何使用flink,实现将mySQL数据同步写入kafka中
Docker下的Flink

八、Nacos

  拉取镜像:

docker pull nacos/nacos-server:v2.1.1

  创建目录,创建容器,拷贝文件,授权文件,删除容器:

# 创建目录
mkdir -p /data/nacos/{conf,logs,data}

# 创建容器
docker run -p 8848:8848 --name nacos -d nacos/nacos-server:v2.1.1

# 拷贝文件
docker cp nacos:/home/nacos/conf /data/nacos
docker cp nacos:/home/nacos/data /data/nacos
docker cp nacos:/home/nacos/logs /data/nacos

# 授权文件
chmod 777 /data/nacos/{conf,logs,data}

# 删除容器
docker rm -f nacos

参考:
Docker 部署 Nacos (图文并茂超详细)

九、Nginx

  拉取镜像:

docker pull nginx:1.16.1

  首先测试下 nginx 镜像是否可用,使用 docker run -d --name nginx -p 80:80 nginx:1.16.1 创建并启动 nginx 容器:

  • -d 指定容器以守护进程方式在后台运行
  • –name 指定容器名称,此处我指定的是mynginx
  • -p 指定主机与容器内部的端口号映射关系,格式 -p
  • [宿主机端口号]:[容器内部端口],此处我使用了主机80端口,映射容器80端口
  • 0839 是nginx的镜像IMAGE ID前4位

  页面展示如下,那么恭喜你 Nginx 已经成功安装并运行啦!
在这里插入图片描述
参考:
使用docker安装nginx
手把手教你在Docker中安装Nginx(图文超详细)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2280085.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【MySQL】:Linux 环境下 MySQL 使用全攻略

📃个人主页:island1314 🔥个人专栏:MySQL学习 ⛺️ 欢迎关注:👍点赞 👂🏽留言 😍收藏 💞 💞 💞 1. 背景 🚀 世界上主…

【思科】NAT配置

网络拓扑图 这个网络拓扑的核心是Router1,它通过配置多个VLAN子接口来实现对不同VLAN的支持,并通过NAT进行地址转换,使得内部网络能够与外部网络进行通信。Router1上配置了FastEthernet0/0.x接口,并启用了802.1Q封装,…

WGAN - 瓦萨斯坦生成对抗网络

1. 背景与问题 生成对抗网络(Generative Adversarial Networks, GANs)是由Ian Goodfellow等人于2014年提出的一种深度学习模型。它包括两个主要部分:生成器(Generator)和判别器(Discriminator)…

【数学建模美赛速成系列】O奖论文绘图复现代码

文章目录 引言折线图 带误差棒得折线图单个带误差棒得折线图立体饼图完整复现代码 引言 美赛的绘图是非常重要得,这篇文章给大家分享我自己复现2024年美赛O奖优秀论文得代码,基于Matalab来实现,可以直接运行出图。 折线图 % MATLAB 官方整理…

兼职全职招聘系统架构与功能分析

2015工作至今,10年资深全栈工程师,CTO,擅长带团队、攻克各种技术难题、研发各类软件产品,我的代码态度:代码虐我千百遍,我待代码如初恋,我的工作态度:极致,责任&#xff…

svn tag

一般发布版本前,需要在svn上打个tag。步骤如下: 1、空白处右击,选择TortoiseSVN->Branch/tag; 2、填写To path,即tag的路基以及tag命名(一般用版本号来命名);填写tag信息;勾选cr…

项目开发实践——基于SpringBoot+Vue3实现的在线考试系统(七)

文章目录 一、题库管理模块实现1、新增题目功能实现1.1 页面设计1.2 前端功能实现1.3 后端功能实现1.4 效果展示2、题目列表功能实现2.1 页面设计2.2 前端功能实现2.3 后端功能实现2.3.1 后端查询题目列表接口实现2.3.2 后端编辑试题接口实现2.4 效果展示二、代码下载一、题库管…

【Cesium入门教程】第一课:Cesium简介与快速入门详细教程

Cesium概述 Cesium是一个基于JavaScript开发的WebGL三维地球和地图可视化库。 它利用了现代Web技术,如HTML5、WebGL和WebAssembly,来提供跨平台和跨浏览器的三维地理空间数据可视化。 Cesium的主要特点包括: 跨平台、跨浏览器&#xff1a…

Unity中实现伤害跳字效果(简单好抄)

第一步骤安装并导入Dotween插件(也可以不用导入之后直接下载我的安装包) 官网DOTween - 下载 第二步: 制作跳字预制体 建议把最佳适应打开,这样就不怕数字太大显示不全了。 第三步:创建一个空对象并编写脚本JumpNumbe…

AI与低代码发展下的程序员就业展望:经济环境对就业市场的影响

AI与低代码发展下的程序员就业展望:经济环境对就业市场的影响 随着人工智能(AI)技术的不断进步和低代码平台的日益成熟,软件开发行业正在经历一场深刻的变革。与此同时,全球经济环境的变化也对程序员的就业市场产生了…

复古怀旧美感35mm胶片模拟色调颗粒汽车商业摄影Lightroom调色预设 Mike Crawat 2024 35MM FILM LOOK PRESETS

10个电脑端手机端35mm胶片模拟汽车摄影风光人像扫街LR预设 Mike Crawat 2024 35MM FILM LOOK PRESETS 这个精心制作的 10 个预设集合旨在为您的数码照片提供 35 毫米胶片的丰富、怀旧美感。每个预设都复制了标志性胶片的独特色调、颗粒和颜色配置文件,让您只需单击…

Hadoop 和 Spark 的内存管理机制分析

💖 欢迎来到我的博客! 非常高兴能在这里与您相遇。在这里,您不仅能获得有趣的技术分享,还能感受到轻松愉快的氛围。无论您是编程新手,还是资深开发者,都能在这里找到属于您的知识宝藏,学习和成长…

Linux容器(初学了解)

目录 一、容器 1.1、容器技术 1.2、容器和虚拟机之间的差异 1.3、Rootless 和 Rootful 容器 1.4、设计基于容器的架构 1.5、容器管理工具 1.6、容器镜像和注册表 1.7、配置容器注册表 1.8、使用容器文件构建容器镜像 二、部署容器 2.1、Podman 实用程序 2.2、安装容…

.Net Core微服务入门全纪录(二)——Consul-服务注册与发现(上)

系列文章目录 1、.Net Core微服务入门系列(一)——项目搭建 2、.Net Core微服务入门全纪录(二)——Consul-服务注册与发现(上) 3、.Net Core微服务入门全纪录(三)——Consul-服务注…

成就与远见:2024年技术与思维的升华

个人主页:chian-ocean 前言: 2025年1月17日,2024年博客之星年度评选——创作影响力评审的入围名单公布。我很荣幸能够跻身Top 300,虽然与顶尖博主仍有一定差距,但这也为我提供了更加明确的发展方向与指引。展望崭新的2025年&…

记一次数据库连接 bug

整个的报错如下: com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: Could not create connection to database server. Attempted reconnect 3 times. Giving up. at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Metho…

力扣 搜索二维矩阵

二分查找,闭区间与开区间的不同解法。 题目 乍一看,不是遍历一下找到元素就可以了。 class Solution {public boolean searchMatrix(int[][] matrix, int target) {for (int[] ints : matrix) {for (int ans : ints) {if (ans target) return true;}}…

Linux 使用 GDB 进行调试的常用命令与技巧

GDB 调试的常用命令与技巧 1. GDB 常用命令1.1 安装 GDB1.2 启动 GDB1.3 设置程序的参数1.4 设置断点1.5 启动程序并运行至断点1.6 执行一步1.7 打印变量值1.8 查看函数调用栈 2. GDB 调试 Core 文件2.1 生成 Core 文件2.2 使用 GDB 调试 Core 文件 3. GDB 调试正在运行的程序3…

微服务网关,如何选择?

什么是API网关 API网关(API Gateway)是微服务架构中的一个关键组件,它充当了客户端与后端服务之间的中间层。其主要功能包括请求路由、协议转换、负载均衡、安全认证、限流熔断等。通过API网关,客户端无需直接与多个微服务交互&a…

Spring 6 第3章——容器:IoC

一、IoC容器 IoC是Inversion of Control的简写,翻译为“控制反转”.它不是一门技术,而是一种设计思想 Spring通过IoC容器来管理(1)所有Java对象的实例化和初始化,(2)控制对象与对象之间的依赖…