eBPF实战教程五｜如何使用USDT探针定位MySQL异常访问(含源码)

news2025/1/11 16:46:58

前言

各位小伙伴们，非常感谢你们对我们eBPF专题系列文章的持续关注和热情支持！在之前的文章中，我们深入探讨了如何手写一个uprobe探测用户态程序。许多热心的小伙伴给我们发私信表达了他们对eBPF技术在数据库领域应用的浓厚兴趣，并希望我们能分享更多的相关案例。为了满足大家的期待，本文将带您深入了解用户态探测的另一种强大工具——USDT探针，以及它在数据库优化和监控中的潜在应用。

本文是我们的eBPF专题系列第五篇纯技术分享文章——如何手码eBPF程序探测MySQL5.6 USDT，来实时识别数据库可疑的连接访问来源（user/host）。

USDT原理介绍

USDT（User Statically-Defined Tracing）是动态追踪系统 DTrace 的一部分，允许在用户态应用程序中定义静态探针。这些探针提供了一个强大的调试和性能分析工具，可以在运行时捕获和分析应用程序的行为，而无需修改应用程序代码或重新编译。

探针定义

开发人员在代码中插入静态探针点。这些探针点通常是一些宏定义，用于标记需要追踪的代码位置。例如，在 MySQL 中可以看到类似于 #define MYSQL_COMMAND_START(arg0, arg1, arg2, arg3) 这样的探针定义。

探针注册

编译应用程序时，这些探针会被注册到探针表中，生成相应的探针元数据。探针在正常运行时是无操作的（noop），不会影响应用程序性能。

探针启用

当需要调试或分析时，调试器或追踪工具（如 DTrace、SystemTap 或 BPF）可以附加到这些探针上，并启用它们。当探针被启用时，它们会执行指定的动作，例如记录日志、捕获堆栈跟踪或收集性能数据。

捕获数据

当应用程序运行并触发探针时，探针会调用附加到它们的追踪程序，执行指定的调试或分析任务。这些任务可以包括打印变量值、收集性能指标等。

数据分析

通过收集的数据，开发人员可以分析应用程序的行为，找出性能瓶颈、调试问题或优化代码。

MySQL5.6 DTrace探针

MySQL5.6源码probes_mysql_nodtrace.h中定义了大量的DTrace探针，我们从中选取了以下两个探测：

#define  MYSQL_COMMAND_START(arg0, arg1, arg2, arg3)#define  MYSQL_COMMAND_DONE(arg0)

备注：MySQL源码编译指定编译选项DENABLE_DTRACE=1才能开启Dtrace探针。关于使用DTrace跟踪mysqld更多信息可查看该链接文档(https://mysql.net.cn/doc/refman/5.6/en/dba-dtrace-server.html)

MySQL源码调用上述两个Dtrace的位置：

bool dispatch_command(enum enum_server_command command, THD *thd,          char* packet, uint packet_length){  NET *net= &thd->net;  bool error= 0;  DBUG_ENTER("dispatch_command");  DBUG_PRINT("info",("packet: '%*.s'; command: %d", packet_length, packet, command));
  /* SHOW PROFILE instrumentation, begin */#if defined(ENABLED_PROFILING)  thd->profiling.start_new_query();#endif
  /* DTRACE instrumentation, begin，start探针 */  MYSQL_COMMAND_START(thd->thread_id, command, &thd->security_ctx->priv_user[0], (char *) thd->security_ctx->host_or_ip);
...  ...  /* DTRACE instrumentation, end，End探针 */  if (MYSQL_QUERY_DONE_ENABLED() || MYSQL_COMMAND_DONE_ENABLED())  {    int res MY_ATTRIBUTE((unused));    res= (int) thd->is_error();    if (command == COM_QUERY)    {      MYSQL_QUERY_DONE(res);    }    MYSQL_COMMAND_DONE(res);    }
  /* SHOW PROFILE instrumentation, end */#if defined(ENABLED_PROFILING)  thd->profiling.finish_current_query();#endif
  DBUG_RETURN(error);}

start探针中四个参数分别为：

thread_id : MySQL内部分配的线程ID，即MySQL的Connection ID
command: SQL命令的枚举类型
priv_user: 连接的用户名
host_or_ip: 连接的客户端IP

end探针中只存在一个res参数，该参数为会话执行SQL的返回状态，非0表示SQL执行异常。

eBPF USDT如何实时识别MySQL异常访问来源?

1）环境准备

准备一台 Linux 机器，安装好g++和bcc

2）基于BCC工具实现探测MySQL5.6的Dtrace探针

接下来我们将基于BCC，利用USDT写一个eBPF程序，实时全量采集MySQL的访问来源（User/Host）。

a）使用BCC对探针进行探测

#!/usr/bin/python
from bcc import BPF,USDT
# BPF program to attach to the command__start USDT probebpf_text = """#include <uapi/linux/ptrace.h>
int trace_command__start(void *ctx) {    struct {        unsigned long conn_id;        int command;        char user[48];        char host[48];    } args;
    bpf_usdt_readarg(1, ctx, &args.conn_id);    bpf_usdt_readarg(2, ctx, &args.command);    bpf_usdt_readarg_p(3, ctx, args.user, sizeof(args.user));    bpf_usdt_readarg_p(4, ctx, args.host, sizeof(args.host));
    bpf_trace_printk("Command start:");    bpf_trace_printk("Timestamp: %llu",bpf_ktime_get_ns());    bpf_trace_printk("ConnectionId= %llu",args.conn_id);    bpf_trace_printk("Command=%ld",args.command);    bpf_trace_printk("User= %s",args.user);    bpf_trace_printk("Host= %s",args.host);    return 0;}
int trace_command__done(void *ctx){    bpf_trace_printk("Command done:");    bpf_trace_printk("Timestamp: %llu",bpf_ktime_get_ns());    int res = 0;    bpf_usdt_readarg(1, ctx, &res);    bpf_trace_printk("Res= %d",res);    return 0;}"""
parser = argparse.ArgumentParser(description="Attach USDT probes to a running process")parser.add_argument("pid", type=int, help="The PID of the target process")args = parser.parse_args()pid = args.pidusdt = USDT(pid=pid)usdt.enable_probe(probe = "command__start", fn_name = "trace_command__start")usdt.enable_probe(probe = "command__done", fn_name = "trace_command__done")bpf = BPF(text = bpf_text, usdt_contexts = [usdt])bpf.trace_print()