Node.js使用jemalloc内存分配器显著减少内存使用

news2024/11/24 23:54:19

前言

Node.js 默认使用的是 ptmalloc(glibc) 内存分配器，而：

在服务端领域「不会选择默认的 malloc」是一个常识。（来源）

ptmalloc 的分配效率较低（来源），对于 长时间、多核 / 多线程 运行的程序（来源），特别适合使用 jemalloc 分配器，使用 jemalloc 分配内存可以更好的处理 内存碎片 问题（来源）。

jemalloc 并不总是最优的（来源），但十分适合服务端 Node.js 程序使用。

正文

Linux

 # install
  sudo apt-get update
  sudo apt-get install -y libjemalloc-dev
  
  # run
  # 启动的时候添加 jemalloc 分配器，`LD_PRELOAD` 的格式是以空格为分割。
  LD_PRELOAD="/usr/lib/x86_64-linux-gnu/libjemalloc.so $LD_PRELOAD" node index.js

将 jemalloc 写入 ld.so.preload 可以让所有写入之后运行的进程默认使用 jemalloc 分配器，一般没必要，除非你有会启动多个进程的场景：

echo "/usr/lib/x86_64-linux-gnu/libjemalloc.so" >> /etc/ld.so.preload

检验对应的 node 进程是否正确使用了 jemalloc ：

  # 使用 top 等工具找到对应 node 进程的 pid 再查询即可
  sudo cat /proc/<PID OF NODEJS>/smaps | grep jemalloc

macOS

  # install
  brew install jemalloc

  # run
  # 在具体使用时 `${version}` 版本号的部分换成你自己安装的即可
  DYLD_INSERT_LIBRARIES=/usr/local/Cellar/jemalloc/5.3.0/lib/libjemalloc.dylib node index.js
  #                                                ^ ${version}

检验脚本

运行以下脚本可以测试 jemalloc 是否生效，默认情况下会使用多达 4 G 内存，若使用 jemalloc ，则使用内存会大大减少至几十 M 。

注：不要在内存不足 8 G 的服务器上运行，剩余内存不够会直接宕机。

// index.js

const bs = 4 * 1024 * 1024; // 4 MiB
const retained = [];
let i = 0, flag = false;

function tick() {
  i++;
  if (i % 1000 === 0) {
    console.log(`RSS [${i}]: ${process.memoryUsage().rss / 1024 / 1024} MiB`);
  }
  retained.push(Buffer.allocUnsafe(bs));
  if (i === 5000) {
    console.log('Clearing retained and enabling alloc');
    retained.length = 0;
    flag = true;
  }
  if (flag) Buffer.alloc(bs); // Buffer.alloc(bs - 10) seems to be fine here
  if (i < 10000) setImmediate(tick);
}

tick();