828华为云征文|docker部署kafka及ui搭建

news2024/11/24 6:49:01

1.介绍

1.1 什么是华为云Flexus X实例

最近华为云828 B2B企业节正在举办，Flexus X实例的促销也非常给力，大家可以去看看。特别是对算力性能有要求，同时对自建MySQL、Redis、Nginx性能有要求的小伙伴，千万不要错过。Flexus云服务器X实例是新一代面向中小企业和开发者打的柔性算力云服务器，可智能感知业务负载，适用于电商直播、企业建站、开发测试环境、游戏服务器、音视频服务等中低负载场景。

1.2什么是kafka

Apache Kafka 是一个分布式流处理平台，它主要用于构建实时数据管道和流式应用。Kafka 以其高吞吐量、低延迟、可扩展性以及容错能力等优点而闻名。它通过发布订阅模式实现消息队列，其中生产者（Producer）发布消息到特定主题（Topic），消费者（Consumer）订阅主题并消费消息。Kafka 的架构包括多个组件，如生产者、消费者、Broker（Kafka 集群中的服务器）、Topic（消息的分类方式）、Partition（分区）、Replica（副本）等。Kafka 还使用 Zookeeper 来管理集群的元数据和分布式协调。

Kafka 的安装与配置通常涉及下载 Kafka、解压、启动 Zookeeper 和 Kafka 服务。使用 Java 编写 Kafka 生产者和消费者程序时，可以利用 Kafka 提供的客户端 API 来实现消息的发送和接收。

Kafka 的使用案例包括消息传递、网站活动跟踪、监控数据汇总、日志聚合和流处理等。它的高吞吐量和容错性使其成为大型消息处理应用的理想选择。Kafka 的未来趋势可能包括对新数据格式的支持、多云环境的兼容性改进以及大数据处理性能的优化。

2 准备华为云Flexus应用服务器X实例

注册并登录华为云找到华为云Flexus云服务

选择合适的服务器进行购买

选择相应的配置并购买

购买之后找到控制台进行密码修改和远程登陆

使用远程连接工具连接云服务器

3 搭建kafka 及ui

这里采用docker 快速搭建

准备相关镜像

docker pull bitnami/kafka:3.4
docker pull provectuslabs/kafka-ui:latest

开放相关端口

这里主要开放9092 9094 及8080端口

可以采用docker compose一键部署

name: kafka-ui
services:
  kafka:
    image: bitnami/kafka:3.4
    ports:
      - '9092:9092'
      - '9094:9094'
    environment:
      - KAFKA_CFG_NODE_ID=0
      - KAFKA_CFG_PROCESS_ROLES=controller,broker
      - KAFKA_CFG_LISTENERS=PLAINTEXT://:9092,CONTROLLER://:9093,EXTERNAL://0.0.0.0:9094
      - KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://kafka:9092,EXTERNAL://<ip>:9094
      - KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,EXTERNAL:PLAINTEXT,PLAINTEXT:PLAINTEXT
      - KAFKA_CFG_CONTROLLER_QUORUM_VOTERS=0@kafka:9093
      - KAFKA_CFG_CONTROLLER_LISTENER_NAMES=CONTROLLER
      - ALLOW_PLAINTEXT_LISTENER=yes
      - "KAFKA_HEAP_OPTS=-Xmx512m -Xms512m"
    volumes:
      - kafka_conf:/bitnami/kafka/config
      - kafka_data:/bitnami/kafka/data
      - /etc/localtime:/etc/localtime:ro
  kafka-ui:
    image: provectuslabs/kafka-ui:latest
    ports:
      - "8080:8080"
    environment:
      DYNAMIC_CONFIG_ENABLED: true
      KAFKA_CLUSTERS_0_NAME: kafka-dev
      KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS: kafka:9092
    volumes:
      - kafka_ui_app:/etc/kafkaui
      - /etc/localtime:/etc/localtime:ro
volumes:
  kafka_conf: {}
  kafka_data: {}
  kafka_ui_app: {}

记得将文件中的<ip>换成你的公网ip

最后可以登录网页查看

不仅可以查看集群信息还可以添加集群配置

这里通过一段Java代码测试链接

也是成功连接上了，并且成功发送了消息。

    @Resource
    public KafkaTemplate<String ,String> kafkaTemplate;

    @Test
    public void KafkaTest() {
        kafkaTemplate.send("hello","hello");
    }