文章目录
- 前言
- 情景再现
- 如何确定是否写入了
- 为什么出现不能写入
- 总结
前言
kafka消费不到消息,如何查询界定是生产端的问题还是消费端的问题,特别是场景上下文已经丢失了的时候。
情景再现
使用命令:
bin/kafka-console-consumer.sh --bootstrap-server 10.10.90.210:9092 --topic stream_manager_center_capture_file
好长时间不消费数据,但是突然某个时间又开始消费了
写入端伙伴觉得可能是kafka任务太重,但是我们两端(生产和消费)都没有重启服务。
这个时候如何证明是没写进去,还是没消费到呢?
如何确定是否写入了
ref:https://www.python100.com/html/105088.html
2023-08-07 15:12:27 2023-08-07 15:22:27 这两个时间,就是没有写入量的
offset 是一个值。肯定在10min内是没有写入的。
为什么出现不能写入
可能得原因?
突然没法消费可能是kafka已经把数据给删了,该topic下面的数据的历史寿命已到
你再新增加数据试试?
说不定就好了。
根据[1]kafka的数据保存时间是:
log.retention.hours=48 ``#数据最多保存48小时
log.retention.bytes=1073741824 ``#数据最多1G
ref:https://blog.csdn.net/qq_42315376/article/details/129241130
总结
kafka参考文档
ref:https://kafka.apache.org/21/documentation.html#design_quotas