基于eBPF的procstat软件追踪C++ STL容器扩容

在性能敏感的C++程序中，标准模板库（STL）容器的扩容操作往往是导致性能抖动的原因之一。扩容操作可能会引发内存重新分配和数据迁移，从而导致性能不稳定。然而，由于C++标准库的扩容函数通常被内联化，传统的方法难以捕获这些操作。本文将介绍一种使用基于eBPF（Extended Berkeley Packet Filter）的 procstat 软件来监控C++ STL容器扩容情况的监控方案。

背景

C++ STL提供了一组强大的数据结构，例如vector、unordered_map、和unordered_set等。这些容器在程序中被广泛使用，但是在大量数据操作过程中，容器扩容可能引发显著的性能抖动。一般来说，容器会在现有容量耗尽时自动扩容，从而满足新的存储需求。然而，由于标准库函数被内联化，无法直接通过eBPF等工具进行监控。

监控方案

在性能敏感的C++程序中，为了实时监控STL容器的扩容情况，本文设计了一套监控方案。该方案通过去内联化标准库扩容函数，并结合eBPF强大的内核监控能力，帮助开发者深入了解扩容操作带来的性能影响。以下是该监控方案的详细介绍。

1. 自研库 smart_stl

由于C++标准库的扩容函数通常被内联化，在编译好的二进制文件中找不到扩容函数的符号，导致难以捕获扩容操作。为了应对这一挑战，我开发了 smart_stl 库。该库的设计理念是保持与STL的接口兼容，同时对扩容相关的函数强制去内联，从而让这些函数能够被eBPF监控到。
smart_stl的github链接地址
特点与实现

接口兼容：smart_stl 库继承了STL的 unordered_map、unordered_set、vector 等容器，并保持接口完全一致。这意味着现有代码只需要少量修改即可迁移到 smart_stl，从而实现监控能力。
去内联化：smart_stl 库的核心在于将容器中的扩容函数标记为 noinline。通过这一处理，扩容函数不再被编译器内联化，允许eBPF等外部工具挂钩这些函数的执行。
轻量级：smart_stl 仅包含头文件，非常轻量化。此外，由于扩容函数在大部分场景中被较少调用，监控功能几乎不会影响程序的整体性能。

2. eBPF简介

eBPF（Extended Berkeley Packet Filter）是一种强大的内核技术，最初用于网络数据包过滤。如今，eBPF已经发展成为一种通用的内核编程平台，广泛应用于性能监控、安全审计、网络分析等领域。它的强大之处在于能够在内核中高效、灵活地运行用户定义的代码，同时对系统性能的影响极小。eBPF允许开发者编写自定义的代码，并将这些代码动态加载到内核中，以监控各种系统级和应用级事件。由于eBPF程序在内核中运行，因此它能够以极低的开销实时捕获事件并反馈给用户。

uprobe：用户态函数监控

uprobe 是eBPF提供的一种能力，专门用于监控用户态程序中的特定函数。通过设置 uprobe、uretprobe，开发者可以在目标程序的函数被调用或退出时，自动触发预先定义的eBPF程序，从而捕获该函数的执行情况。其特点有：

函数挂钩：uprobe 可以挂钩到任意用户态函数，无论是标准库函数还是用户自定义函数。当该函数被调用时，uprobe 会触发EBPF程序的执行。
精确捕获：uprobe 能够精确捕获函数的调用时间、参数、返回值等关键信息。这对性能分析和调试非常有帮助。
轻量级监控：与传统的调试工具相比，uprobe 和eBPF结合后的监控方案不会影响程序的功能，对性能影响也很小，尤其是监控不常运行到的异常分支，如本文介绍的STL的扩容，几乎不影响程序性能。

在本文的监控方案中，eBPF被用来捕获C++程序中特定的用户态函数调用，通过与 uprobe 结合，实现对C++ STL容器扩容操作的实时监控。

procstat软件简介

procstat是一款基于eBPF的监控工具软件，运行在Linux平台，主要用于跟踪目标程序的运行状态，并报告异常指标，是分析程序性能问题的一大利器。procstat软件结合前文提到的smart_stl库形成的方案能够用于追踪程序的STL容器扩容情况，实时捕捉STL扩容信息。当检测到扩容时间超过阈值的情况时，procstat会在日志中输出详细的信息，包括扩容时长、扩容次数、发生扩容的用户态堆栈等，帮助开发者快速定位问题根源。接下来我们将通过一个小实验来展示一下procstat软件是如何追踪STL扩容的。此软件可以在以下链接中下载到，并提供免费试用，后续还会有版本更新迭代，使用时需要能连互联网环境。
Github下载链接

STL扩容示例代码

我们通过一个简单的 C++ 程序来演示如何使用 procstat 追踪STL vector的扩容时间。以下是我们的示例程序：

#include <iostream>
#include <thread>
#include <vector>
#include <chrono>
#include "smart_vector.h"
using namespace std;

int main()
{
    while (true) {
        std::this_thread::sleep_for(std::chrono::seconds(5));
        smart_stl::vector<int> vec;
        smart_stl::vector<double> vec1;
        for (int i = 0; i < 10000; ++i) {
            vec.push_back(i);
            vec1.emplace_back(i);
        }
    }
    return 0;
}
//编译命令：g++ test.cpp -o test -g -std=c++11 -O2 -I/home/smart_stl

这个程序简单地在一个无限循环中每次创建2个vector，向其中插入10000个数据，这些插入数据操作会导致vector容器发生多次扩容行为。

使用procstat追踪vector扩容

编译并启动上述代码后，使用procstat软件来监控该程序并检测vector扩容行为。本实验中，编译后的程序名为test。首先，将procstat软件的配置中将vector扩容的阈值设置为0，单位是纳秒，意思是当进程发生vector扩容就会输出日志。
配置设置
配置文件位置在procstat目前下的conf目录中，名为config.json。

    "stl_realloc_stat": {
        "vector_realloc_symbol": "",
        "vector_realloc_duration": 0,
        "unordered_map_realloc_symbol": "",
        "unordered_map_realloc_duration": -1,
        "unordered_set_realloc_symbol": "",
        "unordered_set_realloc_duration": -1,
        "desc": "stl realloc stat"
    }

启动被监控的test小程序后，我们可以通过以下命令启动procstat进行监控：sh start.sh -p 进程号。其中，<进程号>是正在运行的test程序的进程ID。
运行程序

[root@VM-8-2-centos bin]# ./test &
[1] 2407420
[root@VM-8-2-centos bin]#
[root@VM-8-2-centos bin]# ps -ef | grep test
root     2407420 2406863  0 12:43 pts/2    00:00:00 ./test
root     2407447 2406863  0 12:44 pts/2    00:00:00 grep --color=auto test
[root@VM-8-2-centos bin]# sh start.sh -p 2407420
Start Loading...!
Start Stating...!

启动监控后（输出“Start Stating…!”后就已开始监控了），procstat会持续监控该程序的运行状态，并在日志中记录时间超过配置文件中设定的阈值的vector扩容操作（时长可配置）。

procstat软件日志

接下来我们查询procstat的日志信息，并搜索VECTOR REALLOC关键字。
在这里插入图片描述从上图的日志中可以看出已经成功地捕获到了test进程的vector扩容操作，我们对第26行日志分析一下：

扩容发生的时间是12:44:27.988465229，精确到纳秒级别；
发生扩容的进程名称是test，进程id是2407420，线程id是2407420；
发生扩容的vector对象的内存地址是0x7ffcd3d3a1c0和0x7ffcd3d3a1e0；
扩容前的容量是0；
捕获到了用户态堆栈，由于测试小程序比较简单，没有太深的堆栈，其中realloc_insert和realloc_emplace是smart_stl库中的vector扩容函数。

在这里插入图片描述在日志中grep一下VECTOR REALLOC关键字，如上图所示，我们发现test进程非常频繁地进行vector扩容操作，我们对结果分析一下：

第一行，包含[VECTOR REALLOC STAT]关键字，是一秒打印一次的统计信息，如果没有发生扩容则不打印，其中：
（1） total_duration：是线程在这一秒内发生的扩容的总时长为484微秒，单位为纳秒；
（2）avg_duration：是线程在这一秒内的平均扩容时长为16微秒，单位为纳秒；
（3）max_duration：是线程在这一秒内的单次最大扩容时长为86微秒，单位为纳秒；
（4）max_index：线程在这一秒内时长最长的那次扩容的第30次；
（5）count：线程在这一秒内总共发生了30次扩容。
从第二行往后，包含[VECTOR REALLOC]关键字，代表发生扩容的时长超过阈值，字段含义在前一张图的分析中已解释。通过size_before_realloc字段的值可看出，vector的扩容规律是：0 -> 1 -> 2 -> 4 -> 8 ->16 ->32 ->64 -> … -> 8192，以当前的2倍作为目标容量进行扩容。

总结

procstat 是一个功能强大的工具，通过 eBPF 技术实现了对程序中STL容器扩容时间的全面追踪。通过本文的介绍和示例，相信你已经对 procstat 有了基本的了解。希望你能在实际工作中充分利用这个软件，提高程序的性能和稳定性。
procstat软件还可以监测很多的程序异常状态，随着eBPF技术的不断发展和procstat软件不断的迭代，希望能够帮助大家定位程序的性能问题和异常问题，进一步提升对软件和操作系统的监控能力，欢迎大家试用，有问题请私信我，共同学习、交流，共同进步！
推荐文章：
基于eBPF的procstat软件追踪程序Offcpu时间
基于eBPF的procstat软件追踪等待锁和持有锁的时间
基于eBPF的procstat软件定位软件死锁