前言
在这之前, 我也曾使用过ebpf来改造我自己的项目, 最后也成功引入了项目, 有兴趣的同学可以查看此文章.
如何用ebpf开启tun网卡的TUNSETSTEERINGEBPF功能_我不买vip的博客-CSDN博客
但是该文章里并没有实质性的内容, 比如ebpf的map未曾涉及, 探测类型也未曾涉及, 只是一个空壳ebpf程序, 虽然能用, 但是是依赖内核开发者已开发出来的功能, 并未真正使用ebpf.
最近一段时间, 公司让我优化某个项目, 就借此机会又研究了下ebpf. 当然了, 研究ebpf最好的方法肯定是研究linux源码下samples/bpf的相关例子. 本文也是根据samples/bpf的例子改造的.
该文章主要目的是如何使用kprobe探测内核函数. 而在本文里则是ebpf的内核态代码用kprobe探测connect的系统调用函数__sys_connect, 并在探测时解析出dest port作为key, 获取应用层pid(比如本文里的测试程序iperf3)作为value放入map里. 而ebpf的用户态程序遍历此map, 并打印相关信息.
环境
Ubuntu-22.10环境, 5.19.0-23-generic内核, x86_64架构, 所下载的linux源码为5.19.0.
编译
关于如何编译linux源码下的samples/bpf程序, 可以参考此文章.
如何使用linux源码编译bpf_我不买vip的博客-CSDN博客
注意, ubuntu20编译linux-5.4.0和ubuntu22编译linux-5.19.0方法的最后一步不一样, 该篇文章编译的最后一步为
make VMLINUX_BTF=/sys/kernel/btf/vmlinux -C samples/bpf
源码
源码包含两个部分, for_conn_kern.c和for_conn_user.c两部分, 分别对应ebpf的内核态程序和ebpf的用户态程序. 实际代码如下:
for_conn_kern.c
// for_conn_kern.c
#include <linux/skbuff.h>
#include <linux/netdevice.h>
#include <linux/version.h>
#include <uapi/linux/bpf.h>
#include <bpf/bpf_helpers.h>
#include <bpf/bpf_tracing.h>
#include <bpf/bpf_core_read.h>
#include <net/sock.h>
#include "trace_common.h"
#define MAX_ENTRIES 1024
struct {
__uint(type, BPF_MAP_TYPE_HASH);
__type(key, u32);
__type(value, u32);
__uint(max_entries, MAX_ENTRIES);
} port_2_pid_map SEC(".maps");
SEC("kprobe/__sys_connect")
int trace_sys_conn(struct pt_regs *ctx)
{
int ret = 0;
u16 port = 0;
u32 key = 0;
u32 pid = 0;
struct sockaddr_in *in4 = (struct sockaddr_in *)PT_REGS_PARM2_CORE(ctx);
if ((ret = bpf_probe_read_user(&port, sizeof(port), &in4->sin_port)))
{
return 0;
}
key = ntohs(port);
pid = bpf_get_current_pid_tgid() >> 32;
bpf_map_update_elem(&port_2_pid_map, &key, &pid, BPF_ANY);
return 0;
}
char _license[] SEC("license") = "GPL";
u32 _version SEC("version") = LINUX_VERSION_CODE;for_conn_user.c
// for_conn_user.c
#define _GNU_SOURCE
#include <sched.h>
#include <stdio.h>
#include <sys/types.h>
#include <asm/unistd.h>
#include <unistd.h>
#include <assert.h>
#include <sys/wait.h>
#include <stdlib.h>
#include <signal.h>
#include <string.h>
#include <time.h>
#include <arpa/inet.h>
#include <errno.h>
#include <bpf/bpf.h>
#include <bpf/libbpf.h>
int main(int argc, char **argv)
{
struct bpf_object *obj = NULL;
int i = 0;
int mfd = 0;
struct bpf_link *link = NULL;
struct bpf_program *prog;
char filename[256];
snprintf(filename, sizeof(filename), "%s_kern.o", argv[0]);
//-----------------//
obj = bpf_object__open_file(filename, NULL);
if (libbpf_get_error(obj))
{
fprintf(stderr, "ERROR: opening BPF object file failed\n");
return -1;
}
if (bpf_object__load(obj))
{
fprintf(stderr, "ERROR: loading BPF object file failed\n");
goto END;
}
//-----------------//
prog = bpf_object__find_program_by_name(obj, "trace_sys_conn");
if (!prog)
{
printf("finding a prog in obj file failed\n");
goto END;
}
//-----------------//
mfd = bpf_object__find_map_fd_by_name(obj, "port_2_pid_map");
if (mfd < 0)
{
fprintf(stderr, "ERROR: finding a map fd in obj file failed\n");
goto END;
}
//-----------------//
link = bpf_program__attach(prog);
if (libbpf_get_error(link))
{
fprintf(stderr, "ERROR: bpf_program__attach link failed\n");
link = NULL;
goto END;
}
for (i = 0; i < 1000; i++)
{
unsigned int key = 0;
unsigned int next_key = 0;
while (bpf_map_get_next_key(mfd, &key, &next_key) == 0)
{
unsigned int value = 0;
bpf_map_lookup_elem(mfd, &next_key, &value);
fprintf(stdout, "port: %u, pid: %d\n", next_key, value);
key = next_key;
}
printf("-----------------------\n");
sleep(1);
}
END:
bpf_link__destroy(link);
bpf_object__close(obj);
return 0;
}其实在<<编译>>部分, 我们已经编译好了samples/bpf程序, 现在只需要把for_conn_kern.c和for_conn_user.c加入到samples/bpf/Makefile文件里即可, 而我们可以根据tracex3在对应的部分添加这两个文件即可. 比如:
测试
1, 在一台服务器用iperf3启动一个tcp服务, 比如: iperf3 -s 0.0.0.0 -p 6230
2, 启动该ebpf程序, ./for_conn
3, 在本机启动一个iperf3客户端, 连接6230端口, 比如: iperf3 -s 192.168.20.1xx -p 6230
4, 查看本机iperf3进程id, 查看./for_conn打印信息
测试结果入下图:
可以看到, ps获取的iperf3的信息跟打印的信息匹配, 说明kprobe探测成功.
结束
ebpf的功能远不止于此, 我对此的探索也没有终止. 下一篇文章准备写如何用ebpf统计某个端口的流量.
