Kakfa的核心概念-Replica副本(kafka创建topic并指定分区和副本的两种方式)
- 1、kafka命令行脚本创建topic并指定分区和副本
- 2、springboot集成kafka创建topic并指定分区和副本
- 2.1、springboot集成kafka
- 2.1.1、springboot集成kafka创建topic并指定5个分区和1个副本
- 2.1.2、往分区中发送消息
- 2.1.3、springboot集成kafka创建topic并指定9个分区和1个副本
- 2.1.4、springboot集成kafka创建topic并指定7个分区和1个副本
1、kafka命令行脚本创建topic并指定分区和副本
./kafka-topics.sh --create --topic myTopic --partitions 3 --replication-factor 1 --bootstrap-server 127.0.0.1:9092
创建topic成功,有3个分区
2、springboot集成kafka创建topic并指定分区和副本
2.1、springboot集成kafka
2.1.1、springboot集成kafka创建topic并指定5个分区和1个副本
package com.power.config;
import org.apache.kafka.clients.admin.NewTopic;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
@Configuration
public class KafkaConfig {
@Bean
public NewTopic newTopic(){
return new NewTopic("heTopic",5,(short) 1);
}
}
创建成功,有5个分区
2.1.2、往分区中发送消息
生产者:
package com.power.producer;
import com.power.model.User;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.common.header.Headers;
import org.apache.kafka.common.header.internals.RecordHeaders;
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.kafka.support.KafkaHeaders;
import org.springframework.kafka.support.SendResult;
import org.springframework.messaging.Message;
import org.springframework.messaging.support.MessageBuilder;
import org.springframework.stereotype.Component;
import org.springframework.util.concurrent.ListenableFuture;
import javax.annotation.Resource;
import java.nio.charset.StandardCharsets;
import java.util.Date;
import java.util.concurrent.CompletableFuture;
import java.util.concurrent.ExecutionException;
@Component
public class EventProducer {
@Resource
private KafkaTemplate<String,Object> kafkaTemplate2;
public void send9(){
User user = User.builder().id(1208).phone("16767667676").birthday(new Date()).build();
//分区是null,让kafka自己去决定把消息发送到哪个分区
kafkaTemplate2.send("heTopic",null,System.currentTimeMillis(),"k9",user);
}
}
测试类:
package com.power;
import com.power.model.User;
import com.power.producer.EventProducer;
import org.junit.jupiter.api.Test;
import org.springframework.boot.test.context.SpringBootTest;
import javax.annotation.Resource;
import java.util.Date;
@SpringBootTest
public class SpringBoot01KafkaBaseApplication {
@Resource
private EventProducer eventProducer;
@Test
void send9(){
eventProducer.send9();
}
}
生产者发送消息的时候未指定分区,我们发现生产者发送的消息在刚刚创建的5个分区中的最后一个分区。
2.1.3、springboot集成kafka创建topic并指定9个分区和1个副本
此时发现刚刚创建的topic变为了9个分区
2.1.4、springboot集成kafka创建topic并指定7个分区和1个副本
第一次创建heTopic时指定5个分区;
第二次创建heTopic时指定9个分区,增加了4个;
第三次创建heTopic时指定7个分区,topic中分区个数并没有减少;并且第一次topic创建后生产者发送的消息仍然在第5个分区中。