大数据-146 Apache Kudu 安装运行 Dockerfile 模拟集群 启动测试

news2024/11/16 23:31:10

点一下关注吧！！！非常感谢！！持续更新！！！

目前已经更新到了：

  • Hadoop（已更完）
  • HDFS（已更完）
  • MapReduce（已更完）
  • Hive（已更完）
  • Flume（已更完）
  • Sqoop（已更完）
  • Zookeeper（已更完）
  • HBase（已更完）
  • Redis （已更完）
  • Kafka（已更完）
  • Spark（已更完）
  • Flink（已更完）
  • ClickHouse（已更完）
  • Kudu（正在更新…）

章节内容

上节我们完成了如下的内容：

  • Kudu 的基本介绍
  • Kudu 的架构概述

在这里插入图片描述

安装准备

硬件准备

  • 一台或者多台跑kudu-master。建议一个Master（无容错机制）、三个Master（允许一个节点出错）、五个Master（允许两个节点出错）
  • 一台或者多台机器跑kudu-server。当需要使用副本，至少需要三个节点运行kudu-server服务。

操作系统

  • Ubuntu云服务器（我的环境是三台小云服务器）
  • 内核和文件系统支持 Hole Punching 选项。
  • NTP 服务
  • xfs or ext4 formatterd drivers

存储要求

  • 尽量使用固态存储，显著提供kudu性能

环境说明

  • 如果你使用的是CDH，需要ClouderaManager 5.4.3 及以上的版本。
  • 三台云服务器，h121启动Master，h122和123启动TabletServer。

Dockerfile

https://github.com/apache/kudu/blob/master/docker/quickstart.yml

官方的配置文件为：

  • 3个Master
  • 4个TabletServer
# Licensed to the Apache Software Foundation (ASF) under one
# or more contributor license agreements.  See the NOTICE file
# distributed with this work for additional information
# regarding copyright ownership.  The ASF licenses this file
# to you under the Apache License, Version 2.0 (the
# "License"); you may not use this file except in compliance
# with the License.  You may obtain a copy of the License at
#
#   http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing,
# software distributed under the License is distributed on an
# "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY
# KIND, either express or implied.  See the License for the
# specific language governing permissions and limitations
# under the License.
version: "3"
services:
  kudu-master-1:
    image: apache/kudu:${KUDU_QUICKSTART_VERSION:-latest}
    ports:
      - "7051:7051"
      - "8051:8051"
    command: ["master"]
    volumes:
      - kudu-master-1:/var/lib/kudu
    environment:
      - KUDU_MASTERS=kudu-master-1:7051,kudu-master-2:7151,kudu-master-3:7251
      # TODO: Use `host.docker.internal` instead of KUDU_QUICKSTART_IP when it
      # works on Linux (https://github.com/docker/for-linux/issues/264)
      - >
        MASTER_ARGS=--fs_wal_dir=/var/lib/kudu/master
        --rpc_bind_addresses=0.0.0.0:7051
        --rpc_advertised_addresses=${KUDU_QUICKSTART_IP:?Please set KUDU_QUICKSTART_IP environment variable}:7051
        --webserver_port=8051
        --webserver_advertised_addresses=${KUDU_QUICKSTART_IP}:8051
        --webserver_doc_root=/opt/kudu/www
        --stderrthreshold=0
        --use_hybrid_clock=false
        --unlock_unsafe_flags=true

  kudu-master-2:
    image: apache/kudu:${KUDU_QUICKSTART_VERSION:-latest}
    ports:
      - "7151:7151"
      - "8151:8151"
    command: ["master"]
    volumes:
      - kudu-master-2:/var/lib/kudu
    environment:
      - KUDU_MASTERS=kudu-master-1:7051,kudu-master-2:7151,kudu-master-3:7251
      - >
        MASTER_ARGS=--fs_wal_dir=/var/lib/kudu/master
        --rpc_bind_addresses=0.0.0.0:7151
        --rpc_advertised_addresses=${KUDU_QUICKSTART_IP}:7151
        --webserver_port=8151
        --webserver_advertised_addresses=${KUDU_QUICKSTART_IP}:8151
        --webserver_doc_root=/opt/kudu/www
        --stderrthreshold=0
        --use_hybrid_clock=false
        --unlock_unsafe_flags=true
  kudu-master-3:
    image: apache/kudu:${KUDU_QUICKSTART_VERSION:-latest}
    ports:
      - "7251:7251"
      - "8251:8251"
    command: ["master"]
    volumes:
      - kudu-master-3:/var/lib/kudu
    environment:
      - KUDU_MASTERS=kudu-master-1:7051,kudu-master-2:7151,kudu-master-3:7251
      - >
        MASTER_ARGS=--fs_wal_dir=/var/lib/kudu/master
        --rpc_bind_addresses=0.0.0.0:7251
        --rpc_advertised_addresses=${KUDU_QUICKSTART_IP}:7251
        --webserver_port=8251
        --webserver_advertised_addresses=${KUDU_QUICKSTART_IP}:8251
        --webserver_doc_root=/opt/kudu/www
        --stderrthreshold=0
        --use_hybrid_clock=false
        --unlock_unsafe_flags=true
  kudu-tserver-1:
    image: apache/kudu:${KUDU_QUICKSTART_VERSION:-latest}
    depends_on:
      - kudu-master-1
      - kudu-master-2
      - kudu-master-3
    ports:
      - "7050:7050"
      - "8050:8050"
    command: ["tserver"]
    volumes:
      - kudu-tserver-1:/var/lib/kudu
    environment:
      - KUDU_MASTERS=kudu-master-1:7051,kudu-master-2:7151,kudu-master-3:7251
      - >
        TSERVER_ARGS=--fs_wal_dir=/var/lib/kudu/tserver
        --rpc_bind_addresses=0.0.0.0:7050
        --rpc_advertised_addresses=${KUDU_QUICKSTART_IP}:7050
        --webserver_port=8050
        --webserver_advertised_addresses=${KUDU_QUICKSTART_IP}:8050
        --webserver_doc_root=/opt/kudu/www
        --stderrthreshold=0
        --use_hybrid_clock=false
        --unlock_unsafe_flags=true
  kudu-tserver-2:
    image: apache/kudu:${KUDU_QUICKSTART_VERSION:-latest}
    depends_on:
      - kudu-master-1
      - kudu-master-2
      - kudu-master-3
    ports:
      - "7150:7150"
      - "8150:8150"
    command: ["tserver"]
    volumes:
      - kudu-tserver-2:/var/lib/kudu
    environment:
      - KUDU_MASTERS=kudu-master-1:7051,kudu-master-2:7151,kudu-master-3:7251
      - >
        TSERVER_ARGS=--fs_wal_dir=/var/lib/kudu/tserver
        --rpc_bind_addresses=0.0.0.0:7150
        --rpc_advertised_addresses=${KUDU_QUICKSTART_IP}:7150
        --webserver_port=8150
        --webserver_advertised_addresses=${KUDU_QUICKSTART_IP}:8150
        --webserver_doc_root=/opt/kudu/www
        --stderrthreshold=0
        --use_hybrid_clock=false
        --unlock_unsafe_flags=true
  kudu-tserver-3:
    image: apache/kudu:${KUDU_QUICKSTART_VERSION:-latest}
    depends_on:
      - kudu-master-1
      - kudu-master-2
      - kudu-master-3
    ports:
      - "7250:7250"
      - "8250:8250"
    command: ["tserver"]
    volumes:
      - kudu-tserver-3:/var/lib/kudu
    environment:
      - KUDU_MASTERS=kudu-master-1:7051,kudu-master-2:7151,kudu-master-3:7251
      - >
        TSERVER_ARGS=--fs_wal_dir=/var/lib/kudu/tserver
        --rpc_bind_addresses=0.0.0.0:7250
        --rpc_advertised_addresses=${KUDU_QUICKSTART_IP}:7250
        --webserver_port=8250
        --webserver_advertised_addresses=${KUDU_QUICKSTART_IP}:8250
        --webserver_doc_root=/opt/kudu/www
        --stderrthreshold=0
        --use_hybrid_clock=false
        --unlock_unsafe_flags=true
  kudu-tserver-4:
    image: apache/kudu:${KUDU_QUICKSTART_VERSION:-latest}
    depends_on:
      - kudu-master-1
      - kudu-master-2
      - kudu-master-3
    ports:
      - "7350:7350"
      - "8350:8350"
    command: ["tserver"]
    volumes:
      - kudu-tserver-4:/var/lib/kudu
    environment:
      - KUDU_MASTERS=kudu-master-1:7051,kudu-master-2:7151,kudu-master-3:7251
      - >
        TSERVER_ARGS=--fs_wal_dir=/var/lib/kudu/tserver
        --rpc_bind_addresses=0.0.0.0:7350
        --rpc_advertised_addresses=${KUDU_QUICKSTART_IP}:7350
        --webserver_port=8350
        --webserver_advertised_addresses=${KUDU_QUICKSTART_IP}:8350
        --webserver_doc_root=/opt/kudu/www
        --stderrthreshold=0
        --use_hybrid_clock=false
        --unlock_unsafe_flags=true
  kudu-tserver-5:
    image: apache/kudu:${KUDU_QUICKSTART_VERSION:-latest}
    depends_on:
      - kudu-master-1
      - kudu-master-2
      - kudu-master-3
    ports:
      - "7450:7450"
      - "8450:8450"
    command: ["tserver"]
    volumes:
      - kudu-tserver-5:/var/lib/kudu
    environment:
      - KUDU_MASTERS=kudu-master-1:7051,kudu-master-2:7151,kudu-master-3:7251
      - >
        TSERVER_ARGS=--fs_wal_dir=/var/lib/kudu/tserver
        --rpc_bind_addresses=0.0.0.0:7450
        --rpc_advertised_addresses=${KUDU_QUICKSTART_IP}:7450
        --webserver_port=8450
        --webserver_advertised_addresses=${KUDU_QUICKSTART_IP}:8450
        --webserver_doc_root=/opt/kudu/www
        --stderrthreshold=0
        --use_hybrid_clock=false
        --unlock_unsafe_flags=true
volumes:
  kudu-master-1:
  kudu-master-2:
  kudu-master-3:
  kudu-tserver-1:
  kudu-tserver-2:
  kudu-tserver-3:
  kudu-tserver-4:
  kudu-tserver-5:

内容解释

  • version: “3”：指定使用 Docker Compose 文件的版本。版本 3 是当前常用的版本，支持多种高级功能，适用于 Docker 1.13.0 及更高版本。
  • services：定义了多个服务，每个服务对应一个 Docker 容器。在本配置中，定义了多个 Kudu Master 和 Kudu Tablet Server（简称 TServer）。
  • volumes：定义了持久化存储卷，用于存储各个服务的数据，确保即使容器重新创建或删除，数据仍然保留。

3 个 Kudu Master 节点：

  • kudu-master-1
  • kudu-master-2
  • kudu-master-3

5 个 Kudu Tablet Server 节点：

  • kudu-tserver-1
  • kudu-tserver-2
  • kudu-tserver-3
  • kudu-tserver-4
  • kudu-tserver-5

Master

每个 Master 节点的配置基本相同，只是端口和持久化卷不同。以下以 kudu-master-1 为例进行解释：

kudu-master-1:
  image: apache/kudu:${KUDU_QUICKSTART_VERSION:-latest}
  ports:
    - "7051:7051"
    - "8051:8051"
  command: ["master"]
  volumes:
    - kudu-master-1:/var/lib/kudu
  environment:
    - KUDU_MASTERS=kudu-master-1:7051,kudu-master-2:7151,kudu-master-3:7251
    - >
      MASTER_ARGS=--fs_wal_dir=/var/lib/kudu/master
      --rpc_bind_addresses=0.0.0.0:7051
      --rpc_advertised_addresses=${KUDU_QUICKSTART_IP:?Please set KUDU_QUICKSTART_IP environment variable}:7051
      --webserver_port=8051
      --webserver_advertised_addresses=${KUDU_QUICKSTART_IP}:8051
      --webserver_doc_root=/opt/kudu/www
      --stderrthreshold=0
      --use_hybrid_clock=false
      --unlock_unsafe_flags=true
  • udu-master-1：服务名称，标识第一个 Kudu Master 节点。
  • image: apache/kudu:${KUDU_QUICKSTART_VERSION:-latest}：指定使用的 Docker 镜像。apache/kudu 是官方 Kudu 镜像。
  • ${KUDU_QUICKSTART_VERSION:-latest}：使用环境变量 KUDU_QUICKSTART_VERSION 指定版本，如果未设置，则默认使用 latest。
  • ports：“7051:7051”：将主机的 7051 端口映射到容器的 7051 端口，用于 Kudu Master 的 RPC 通信。“8051:8051”：将主机的 8051 端口映射到容器的 8051 端口，用于 Kudu Master 的 Web 界面。
  • command: [“master”]：指定容器启动时运行的命令，这里启动 Kudu Master 进程。
  • volumes：kudu-master-1:/var/lib/kudu：将 Docker 卷 kudu-master-1 挂载到容器内的 /var/lib/kudu 目录，用于持久化存储数据。
  • KUDU_MASTERS：定义了集群中所有 Master 节点的地址，格式为 hostname:port，以逗号分隔。

启动服务

export KUDU_QUICKSTART_IP=$(ifconfig | grep "inet " | grep -Fv 127.0.0.1 | awk '{print $2}' | tail -1)
docker-compose up -d

访问服务

http://localhost:8051/

这样我们的服务就顺利的启动了：
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2162882.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

进阶SpringBoot之分布式系统与 RPC 原理

进阶SpringBoot之分布式系统与 RPC 原理

分布式系统是若干独立计算机的集合，这些计算机对于用户来说就像单个相关系统 分布式系统是由一组通过网络进行通信，为了完成共同的任务而协调工作的计算机节点组成的系统 其目的是利用更多的机器，处理更多的数据 RPC（Remote Pr…
阅读更多...
【Day20240924】05git 两人协作 冲突

【Day20240924】05git 两人协作 冲突

git 两人协作 冲突 命令行解决 两个人修改同一文件时 的冲突可视化解决 两个人修改同一文件时 的冲突参考 命令行解决 两个人修改同一文件时 的冲突 假设kerwin.js是项目的路由文件。tiechui文件夹是组员铁锤的工作目录；test2008文件夹是组长的工作目录。此时&…
阅读更多...
JAVA基本简介（期末）

JAVA基本简介（期末）

1、JDK JRE JVM （1）JDK JAVA标准开发包，提供了编译、运行JAVA程序所需的各种工具和资源，包括JAVA编译器、JAVA运行时的环境，及常用的JAVA类库等 （2）JRE JAVA运行环境，用于解释执行JA…
阅读更多...
CNAS软件检测实验室信息安全性测试作业指导书编写指南

CNAS软件检测实验室信息安全性测试作业指导书编写指南

CNAS软件检测实验室在申请信息安全领域测试的相关资质时，需要按照GB/T 25000.51-2016《软件产品质量要求和测试细则》标准中的方法，编写作业指导书，指导软件检测实验室内部信息安全性测试的开展。CNAS软件检测实验室信息安全性测试作业指导与…
阅读更多...
风力发电机叶片表面缺陷识别检测数据集yolo数据集 共7000张

风力发电机叶片表面缺陷识别检测数据集yolo数据集 共7000张

风力发电机叶片表面缺陷识别检测数据集yolo数据集 共7000张 风力发电机叶片表面缺陷识别数据集（Wind Turbine Blade Defects Recognition Dataset, WTBDRD） 摘要 WTBDRD 是一个专门为风力发电机叶片表面缺陷识别而设计的数据集，旨在为相关领…
阅读更多...
【目标检测】隐翅虫数据集386张VOC+YOLO

【目标检测】隐翅虫数据集386张VOC+YOLO

隐翅虫数据集：图片来自网页爬虫，删除重复项后整理标注而成 数据集格式：Pascal VOC格式YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件) 图片数量(jpg文件个数)：386 标注…
阅读更多...
Oracle逻辑备份脚本【生产环境适用】

Oracle逻辑备份脚本【生产环境适用】

1 说明 从Oracle10g开始，引入了数据泵（Data Pump），是一种高效的数据传输工具，它通过导出（Export）和导入（Import）的方式帮助用户迁移数据。 在Oracle的产品设计中&#…
阅读更多...
IntraWeb开发Web网站时对数据库“增、删、改、查”的操作

IntraWeb开发Web网站时对数据库“增、删、改、查”的操作

delphi源代码：示例两列布局带顶部汉堡菜单，对数据库“增、删、改、查”的操作（兼容电脑与手机） 功能：交互式网页，两列布局，顶部汉堡菜单，点击汉堡图标关闭左侧栏，这里演示…
阅读更多...
责任链模式优化 文章发布的接口（长度验证，敏感词验证，图片验证等环节） 代码，示例

责任链模式优化 文章发布的接口（长度验证，敏感词验证，图片验证等环节） 代码，示例

需求：后端需要提供一个文章发布的接口，接口中需要先对文章内容进行如下校验，校验通过后才能发布 1. 文章长度不能超过1万个字符 2. 不能有敏感词 3. 文章中图片需要合规 责任链相当于一个链条一样，链条上有很多节点，节…
阅读更多...
Flask学习之项目搭建

Flask学习之项目搭建

一、项目基本结构 1、 exts.py 存在的目的：在Python中，如果两个或更多模块(文件)相互导入对方，就会形成导入循环。例如，模块A导入了模块B，同时模块B又导入了模块A，这就会导致导入循环。 比如在这个项目中…
阅读更多...
拦截器filter

拦截器filter

使用拦截器对请求进行拦截，查看请求头是否携带token 可以看到，拦截器引入了web的依赖 前端的请求会经过网关（gateway），网关用的是netty服务器，会和web默认的tomcat服务器冲突，但是前端过来的请求…
阅读更多...
SMTP/IMAP服务发在线邮件时要用到

SMTP/IMAP服务发在线邮件时要用到

SMTP/IMAP服务 require PHPMailerAutoload.php; // 或 require class.phpmailer.php;// 创建实例 $mail new PHPMailer();// 设定邮件服务器 $mail->isSMTP(); $mail->Host smtp.example.com; // 邮件服务器地址 $mail->SMTPAuth true; $mail->Username your…
阅读更多...
Golang | Leetcode Golang题解之第434题字符串中的单词数

Golang | Leetcode Golang题解之第434题字符串中的单词数

题目： 题解： func countSegments(s string) (ans int) {for i, ch : range s {if (i 0 || s[i-1] ) && ch ! {ans}}return }
阅读更多...
Redis面试笔记

Redis面试笔记

1.什么是Redis 简单来说 redis 就是一个数据库，不过与传统数据库不同的是 redis 的数据是存在内存中的，所以读写速度非常快，因此 redis 被广泛应用于缓存方向。另外，redis 也经常用来做分布式锁。redis 提供了多种数据类型来支持…
阅读更多...
如何在算家云搭建DiffSynth-Kolors-Painter（图像生成）

如何在算家云搭建DiffSynth-Kolors-Painter（图像生成）

一、DiffSynth-Kolors-Painter简介 DiffSynth 画板提供了 Prompt 分区控制技术，可以通过创建图层、调整不同的提示（Prompt）精细地控制画面的每一部分，影响画面的特定区域，从而实现对画面的精细操控，实现了…
阅读更多...
LobeChat：使用服务端数据库部署 - Docker+NextAuth(github)+腾讯云

LobeChat：使用服务端数据库部署 - Docker+NextAuth(github)+腾讯云

总流程 Docker部署 身份验证服务-NextAuth github S3存储服务 腾讯云COS 1. 安装Docker brew install docker --cask2. 创建pgvector容器(PostgresSQL) docker run --name [myPgvector] -p 5432:5432 -e POSTGRES_PASSWORD[pwd] -d -e POSTGRES_USER[username] pgvector/…
阅读更多...
MySQL—存储过程详解

MySQL—存储过程详解

基本介绍 存储过程和函数是数据库中预先编译并存储的一组SQL语句集合。它们的主要目的是提高代码的复用性、减少数据传输、简化业务逻辑处理，并且一旦编译成功，可以永久有效。 存储过程和函数的好处 提高代码的复用性：存储过程和函数可以在…
阅读更多...
【NPL】daydayup基本概念，词嵌入

【NPL】daydayup基本概念，词嵌入

NLP基础 基本概念 NLP，自然语言处理，目标是让计算机能够理解、解释、生成人类语言的数据。包括语言理解，语言生成，机器翻译，情感分享，语音识别，语音合成等 应用方向 自然语言理解 情感分析&a…
阅读更多...
Python办公自动化案例：实现XMind文件转换成Excel文件

Python办公自动化案例：实现XMind文件转换成Excel文件

案例：实现XMind文件转换成Excel文件 将XMind文件转换为Excel文件的过程可以通过几个步骤来实现，主要涉及到读取XMind文件，解析其内容，然后创建一个Excel文件并将解析的内容写入。以下是一个简化的Python脚本，展示了如何使用xmindparser库来解析XMind文件，并使用pandas库…
阅读更多...
搜索引擎简介

搜索引擎简介

搜索引擎架构 整个搜索引擎分为三个系统 爬虫系统 索引系统 线上搜素服务 爬虫系统 爬虫分为两个阶段： 第一阶段：根据目标网站的列表页，爬对应的文档 URL 第二阶段：根据文档 URL，下载文档内容 触发器&#xff1…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023