【OceanBase诊断调优】—— clog盘满问题排查

news2024/11/13 9:26:32

背景

日志盘，即clog盘，是oceanbase中用于记录事务日志信息。在日常运行中其存储量会随着事务处理情况不断变化。在一些特殊场景下会出现clog盘占用量超过阈值的情况。4.x架构下的clog盘，日志盘进行了租户级拆分，意味着无法再以3.x的视角判断clog是否盘满，例如通过df -h 命令查看clog盘是否使用超过80%，而是需要通过查看租户的日志盘使用判断租户的日志盘是否满。ocp，obdiag等工具均已集成了对clog盘的巡检监控，但是对于clog盘满的根因分析还是需要很多较为复杂的流程。ocp：ocp告警示例

obdiag：执行obdiag check即可，observer的巡检报告中clog.clog_disk_full会对此进行检测

本文将从obdiag根因分析clog盘满场景的流程来对分析流程进行盘查流程说明。

obdiag中关于clog盘满场景的排查流程实现

排查大纲

判断日志盘是否到达阈值

不同的租户有不同的clog盘阈值，clog盘阈值依据以下公式进行计算，当对应租户的LOG_DISK_IN_USE>clog盘阈值时即认定此租户在对应节点的clog盘满，需要进行根因分析。

clog盘阈值=log_disk_utilization_threshold*LOG_DISK_SIZE

确定租户下哪些/哪个日志流日志盘使用存在异常

当找到某个租户在某个节点上存在clog盘满后，则继续分析对应的日志流是哪个。可通过以下sql获取对应日志流，获取到的数据即可以定位对应的日志流、租户、节点信息，接下来即进行对具体问题的分析。

select * from oceanbase.__all_virtual_log_stat where tenant_id = {0} and end_lsn-base_lsn >128*1024*1024 and svr_ip='{1}' and svr_port={2} ;

确认checkpoint类型

查找日志clog checkpoint no change，分析对应的service_type记为stuck_service_type并记录后续步骤存在依赖
查找日志：ObLSTxService::get_rec_scn，找到min_checkpoint_tx_log_type并筛选出来

明确日志回放/回调是否有问题

若stuck_service_type不为TRANS_SERVICE或MAX_DECIDED_SCN则直接跳过
查找日志：get_min_unreplayed_log_info，获取replay_scn，并将其转化为时间戳

replay_scn_time = datetime.datetime.fromtimestamp(float(replay_scn) / 1000000000)

3. 获取日志时间戳，并与replay_scn_time进行对比，若超过0.5minutes，则说明回放存在问题。

明确冻结是否有问题

若stuck_service_type不为TRANS_SERVICE则直接跳过。
查找日志[TenantFreezer] oldest frozen memtable，找到日志行中存在的log_frozen_memstore_info 和[TenantFreezer] oldest frozen memtable字段，分析出对应的ready_for_flush_time和frozen_time并转为时间戳。

ready_flush_time = datetime.datetime.fromtimestamp(float(ready_for_flush_time_list[i]) / 1000000000)
frozen_time = datetime.datetime.fromtimestamp(float(frozen_time_list[i]) / 1000000000)

3. 对比两者大小，若stuck_time > stuck_delta则代表冻结存在问。