内存配置管理是数据库日常管理中非常重要的工作,正确合理配置数据库内存是保障系统高效运行的前提条件。
OceanBase 数据库是一个支持多租户架构的准内存级的分布式数据库,对大容量内存的管理和使用提出了很高的要求。实际使用上,OceanBase 倾向于将更多的系统内存划分给数据库,由数据库进行统一管理。具体的内存结构,可以分为操作系统预留内存、OBServer预留内存、租户内存等四个层次。
数据库内存上限
OBServer 预留内存可以使用两种方式来设置:
- 按照服务器总内存上限的百分比来设置OceanBase数据库可以使用的总内存,由 memory_limit_percentage 参数配置;
- 直接配置OceanBase数据库可用内存上限,由 memory_limit 参数配置。
参数memory_limit优先级更高,当memory_limit=0时,memory_limit_percentage决定OBServer 内存大小;否则由memory_limit决定observer内存大小。
扣除掉分配给OBServer的内存,其他的内存则预留给操作系统。对于384GB以上的大内存服务器,通常建议保留50GB以上的内存空间给操作系统。
系统内部内存管理
由于每个 OBServer 上的租户都会共享部分资源,这些共享资源所使用的内存并不属于特定租户,是所有租户的共享资源,这类内存被归结为系统内部内存。
系统内部内存的上限通过 system_memory 参数来配置,这是对系统内部使用内存的预估。对于租户来说,能够使用的内存上限是 memory_limit - system_memory。
租户内部内存管理
OceanBase 数据库把租户内部的内存分为两个部分:不可动态伸缩的内存 MemStore 和可动态伸缩的内存 KVCache。
不可动态伸缩的内存管理
不可动态伸缩内存主要是保存数据库增量更新的 MemStore 使用,该部分空间受 memstore_limit_percentage 参数控制,表示租户的 MemStore 部分最多占租户总内存上限的百分比,默认为租户最小内存的50%。
租户的写入或更新会增加 MemStore 内存的使用,OceanBase 数据库会根据 MemStore 的内存使用比例决定何时进行转储或者合并释放,该比例由配置项 freeze_trigger_percentage 控制,默认为租户 MemStore 内存上限的70%。
可动态伸缩的内存管理
OceanBase 将绝大多数的 KV 格式的缓存统一在了 KVCache 中进行管理,KVCache 支持动态伸缩、不同 KV 的优先级控制以及智能的淘汰机制。可动态伸缩内存主要用于保存KVCache,通常不需要额外配置。
执行计划缓存内存管理
Plan Cache 用于保存已经解析的执行计划,减少SQL语句的硬解析,当相同的 SQL 请求提交到 OceanBase 数据库,会从缓存中直接获取该语句的执行计划。执行计划缓存大小由 ob_plan_cache_percentage 参数控制,默认值为5%,表示执行计划缓存最大可使用的内存空间为租户内存上限的5%。
OceanBase 优先淘汰最久未使用的执行计划,每隔一段时间会检测执行计划缓存的使用比例,间隔时间受 plan_cache_evict_interval 参数控制,默认时间是30s。参数 ob_plan_cache_percentage 控制最大允许使用的执行计划缓存内存,该参数默认值是5%,当内存使用达到最大允许的90%时会触发缓存清理动作,OBServer 将根据执行计划的最后使用时间,优先淘汰最久没有使用的执行计划,直到内存使用降低到最大允许值的50%。其中触发淘汰和停止淘汰的限制比例受参数 ob_plan_cache_evict_high_percentage 和 ob_plan_cache_evict_low_percentage控制。
相关参数汇总
为了便于大家查阅,相关的内存配置参数汇总如下。
内存组件 | 内存参数 | 参数描述 | 默认值 |
---|---|---|---|
数据库内存使用上限 | memory_limit_percentage | 设置OB数据库可使用的最大内存比例 | |
memory_limit | 设置OB数据库可使用的最大内存值 | ||
系统内部内存 | system_memory | 设置最大可使用的系统内部内存 | |
租户不可动态伸缩内存 | memstore_limit_percentage | 设置MemStore可使用租户内存的上限百分比 | 50% |
租户可动态伸缩内存 | KVCache | 自动调整 | |
执行计划缓存管理 | plan_cache_evict_interval | 设置执行计划是否需要淘汰扫描间隔时间 | 5% |
ob_plan_cache_percentage | 设置计划缓存占租户内存使用百分比 | 30s | |
ob_plan_cache_evict_high_percentage | 设置计划缓存使用上限百分比 | 90% | |
ob_plan_cache_evict_high_percentage | 设置停止淘汰执行计划的内存百分比 | 50% |