KAP 基于数据库系统内部反馈的各项数据指标，可帮助用户全面掌握 KaiwuDB 集群的整体运行情况，实时监测集群相关性能，可提供整体资源和集群状态角度的系统监控。
除此之外，KaiwuDB 数据库内部开发实现基于负载业务的行为数据采集功能，为 KAP 提供更加全面的数据支持，为用户提供更为多元化的信息，方便用户监控 KaiwuDB 内部的业务负载处理情况，指导用户进行 SQL 调优等。
一、技术架构
从 SQL 来源、执行情况、计划内容、资源使用等角度收集负载的行为数据信息，之后将采集到的信息进行局部缓存、批量持久化。具体流程如下图所示：
二、行为数据采集
通过收集 SQL 语句执行过程各阶段行为数据信息，记录数据库处理负载业务的详细执行情况，提高 KaiwuDB 数据库可观测能力。行为数据指标主要包括如下内容：
Workload：Application name 等 session 部分信息
-
Application name：应用名称
Statement：语句的整体执行情况、行数、时间
-
Statement content：SQL 语句的文本内容
-
Statement params：SQL 语句常量化参数
-
Total elapsed time：SQL 语句从进入 KaiwuDB 到返回结果总用时
-
Total affected rows：SQL 语句的影响行数
-
Retry count：事务重试次数计数
Resoure：整体内存使用等 session 相关资源数
-
Memory、Disk、CPU、Coroutines 等资源情况
Node：节点信息
LogicPlan：逻辑计划构建时间、算子、谓词等
-
LogicalPlan time：从语法树生成逻辑计划用时
-
Stats Profile：表相关信息
-
Access Pattern：访问模式
-
LogicalOperator：算子信息
-
Predicate：谓词信息
PhysicalPlan：物理计划构建时间、算子执行等相关信息
-
PhysicalPlan time：从逻辑计划生成物理计划用时
-
ProcessorSpec：Input/Output 数据来源和去向
-
Type：算子类型
三、开关控制
负载行为数据采集贯穿整个 SQL 语句执行的生命周期，不可避免地对 SQL 语句的执行效率产生负面影响。因此我们细化对行为数据采集指标的控制开关，以适配不同用户的行为数据采集需求，做到无关指标屏蔽采集，尽可能减少数据采集带来的性能损耗。
开关设计：
-
全局开关 sql.workloadinfo.enabled：控制所有负载行为数据是否采集；
-
应用开关 sql.workloadinfo.application_name_list：控制仅对 application_name_list 内指定应用触发的负载业务进行行为数据采集；
-
用户开关 sql.workloadinfo.user_name_list：控制仅对 user_name_list 内指定用户触发的负载业务进行行为数据采集；
-
采集次数开关 sql.workloadinfo.maxcollectnum：控制对同一来源的相同 SQL 语句的最大采集次数。
四、应用洞察分析
基于这些负载角度的行为数据信息，我们可以实现如下洞察分析：
-
应用负载分类
方便判断应用类型是 OLAP 还是 OLTP。行为数据采集的查询 SQL 类型语句在总业务中的占比，提供应用负载分类；
-
语句健康状况分析
提供语句健康状况查询，方便用户快速识别有性能问题的 SQL 语句。通过分析 SQL 语句的的访问方式、执行时间，并对比其预估计划和实际执行的差距，考虑该语句在当前应用负载中的权重，将存在潜在性能问题的重要查询标记为不健康 SQL 语句，以便未来对这些查询进行重新优化；
-
应用负载洞察
提供用户单独视图显示集群上运行的应用程序的摘要信息。具体包括：应用程序总体状况信息，应用负载具体信息和 SQL 语句细节；
-
增量变化
提供用户感知应用负载随时间的增量变化。具体包括：数据量变化，如应用负载访问的表数据增量变化；SQL 语句量变化，如应用负载针对某些特殊场景季度性触发某些查询服务；用户场景需求变化，如新版本上线， 导致 DDL（数据定义语言）数量变化。
