常见指标分类（USE法）

资源	类型	性能指标
CPU	使用率	CPU使用率
CPU	饱和度	运行队列长度或平均负载
CPU	错误数	硬件cpu错误数
内存	使用率	已用内存百分比或SWAP用量百分比
内存	饱和度	内存换页量
内存	错误数	内存分配失败或OOM
存储设备I/O	使用率	设备I/O事件百分比
存储设备I/O	饱和度	等待队列产犊或延迟
存储设备I/O	错误数	I/O错误数
文件系统	使用率	已用容量百分比
文件系统	饱和度	已用容量百分比
文件系统	错误数	文件读写错误数
网络	使用率	带宽使用率
网络	饱和度	重传报文数
网络	错误数	网卡收发错误数、丢包数
文件描述符	使用率	已用文件描述符数百分比
连接跟踪	使用率	已用连接跟踪数百分比
连接数	饱和度	TIMEWAIT状态连接数

常见性能工具

CPU性能工具

性能指标	性能工具	说明
平均负载	uptime、top、/proc/loadavg	uptime最简单；top提供更全的指标；/proc/loadavg常用于监控系统
系统CPU使用率	vmstat, mpstat, top, sar, /proc/stat	top、vmstat、mpstat只可以动态查看，而sar还可以记录历史数据；/proc/stat是其他性能工具的数据来源，也常用于监控
进程CPU使用率	top, ps, pidstat, htop, atop	top和ps可以按CPU使用率给进程排序，而pidstat只显示实际用了CPU的进程；htop和atop以不同颜色显示更直观
系统上下文切换	vmstat	除了上下文切换次数，还提供运行状态和不可中断状态的进程数
进程上下文切换	pidstat	注意加上-w参数
软中断	top, mpstat, /proc/softirqs	top提供软中断cpu使用率，而/proc/softirqs和mpstat提供了各种软中断在每个CPU上的运行次数
硬中断	vmstat, /proc/interrupts	vmstat提供总的中断次数，而/proc/interrupts提供各种中断在每个CPU上运行的累计次数
网络	dstat, sar, tcpdump	dstat、sar提供总的网络接受和发送情况，而tcpdump则是动态抓取正在进行的网络通讯
I/O	dstat, sar	dstat和sar都提佛那个了I/O的整体情况
CPU缓存	perf	使用perf stat子命令
CPU数	lscpu, /proc/cpuinfo	lscpu更直观
事件剖析	perf, 火焰图, execsnoop	perf和火焰图用来分析热点函数以及调用栈，execsnoop用来监测短时进程
动态追踪	ftrace, bcc, systemtap	ftrace用于跟踪内核函数调用栈，而bcc和systemtap则用于跟踪内核或应用程序的执行过程（注意bcc要求内核>=4.1）

内存性能工具

性能指标	性能工具	说明
系统已用、可用、剩余内存	free, vmstat, sar, /proc/meminfo	free最为简单，而vmstat、sar更为全面；/proc/meminfo是其他工具的数据来源，也常用于监控系统中
进程虚拟内存、常驻内存、共享内存	ps, top, pidstat, /proc/pid/stat, /proc/pid/status	ps和top最简单，而pidstat则需要加上-r选项；/proc/pid/stat和/proc/pid/status是其他工具的数据来源，也常用于监控系统中
进程内存分布	pmap, /proc/pid/maps	/proc/pid/maps是pmap的数据来源
进程SWAP换出内存	top, /proc/pid/status	/proc/pid/status是top的数据来源
进程缺页异常	ps, top, pidstat	注意给pidstat加上-r选项
系统换页情况	sar	注意加上-B选项
缓存/缓冲区用量	free, vmstat, sar, cachestat	vmstat最常用，而cachestat需要安装bcc
缓存/缓冲区命中率	cachetop	需要安装bcc
SWAP已用空间和剩余空间	free, sar	free最为简单，而sar还可以记录历史
SWAP换入换出	vmstat, sar	vmstat最为简单，而sar还可以记录历史
内存泄漏检测	memleak, valgrind	memleak需要安装bcc，valgrind还可以在旧版本（3.x）内核中使用
指定文件的缓存大小	pcstat	需要从源码下载安装

文件系统和磁盘I/O性能工具

性能指标	性能工具	说明
文件系统空间容量、使用量以及剩余空间	df	详细文档可以执行info coreutils 'df invocation’命令查看
索引节点容量、使用量以及剩余量	df	注意加上-i选项
页缓存和可回收Slab缓存	/proc/meminfo, sar, vmstat	注意sar需要加上-r选项，而/proc/meminfo是其他工具的数据来源，也常用于监控系统
缓冲区	/proc/meminfo, sar, vmstat	注意sar需要加上-r选项，而/proc/meminfo是其他工具的数据来源，也常用于监控系统
目录项、索引节点以及文件系统的缓存	/proc/slabinfo, slabtop	slabtop更直观，而/proc/slabinfo常用于监控
磁盘I/O使用率、IOPS、吞吐量、响应时间、I/O平均大小以及等待队列长度	iostat, sar, dstat, /proc/diskstats	iostat最为常用，注意使用iostat -d -x或sar -d选项；/proc/diskstats则是其他工具的数据来源，也常用于监控
进程I/O大小以及I/O延迟	pidstat, iotop	注意使用pidstat -d选项
块设备I/O事件跟踪	blktrace	需要跟blkparse配合使用，比如blktrace -d /dev/sda -o- | blkparse -|-
进程I/O系统调用跟踪	strace, perf trace	strace只可以跟踪单个进程，而perf trace还可以跟踪所用进程的系统调用
进程块设备I/O大小跟踪	biosnoop, biotop	需要安装bcc
动态追踪	ftrace, bcc, systemtap	ftrace用于跟踪内核函数调用栈，而bcc和systemtap则用于跟踪内核或应用程序的执行过程（注意bcc要求内核版本>= 4.1）

网络性能工具

性能指标	性能工具	说明
吞吐量（BPS）	sar, nethogs, iftop, /proc/net/dev	分别可以查看网络接口、进程以及IP地址的网络吞吐量；/proc/net/dev常用于监控
吞吐量（PPS）	sar, /proc/net/dev	注意使用sar -n DEV选项
网络连接数	netstat, ss	ss速度更快
网络错误数	netstat, sar	注意使用netstat -s或者sar -n EDEV/EIP选项
网络延迟	ping, hping3	ping基于ICMP，而hping3基于TCP协议
连接跟踪数	conntrack, /proc/sys/net/netfilter/nf_conntrack_count, /proc/sys/net/netfilter/nf_conntrack_mac	conntrack可用来查看所用连接跟踪的相关信息，nf_conntrack_count只是连接跟踪的数量，而nf_conntrack_mac则限制了总的连接跟踪数量
路由	mtr, traceroute, route	route用于查询路由表，而mtr和traceroute则用来排查和定位网络链路中的路由问题
DNS	dig, nslookup	用于排查DNS解析的问题
防火墙和NAT	iptables	用于排查防火墙及NAT的问题
网卡选项	ethtool	用于查看和配置网络接口的功能选项
网络抓包	tcpdump, wireshark	通常在服务器中使用tcpdump抓包后再复制出来用wireshark的图形界面分析
动态追踪	ftrace, bcc, systemtap	ftrace用于跟踪内核函数调用栈，而bcc和systemtap则用于跟踪内核或应用程序的执行过程（注意bcc要求内核版本>= 4.1）

根据指标找工具

CPU性能

性能指标	性能工具	说明
平均负载	uptime、top	uptime最简单、top提供了更全的指标
系统整体CPU使用率	vmstat、mpstat、top、sar、/proc/stat	top、vmstat、mpstat只可以动态查看，而sar还可以记录历史数据；/proc/stat是其他性能工具的数据来源，也常用于监控
进程CPU使用率	top、pidstat、ps、htop、atop	top和ps可以按CPU使用率给进程排序，而pidstat只显示实际用了CPU的进程；htop和atop以不同颜色显示更直观
系统上下文切换	vmstat	除了上下文切换次数，还提供运行状态和不可中断状态的进程数
进程上下文切换	pidstat	注意加上-w参数
软中断	top、/proc/softirq、mpstat	top提供软中断cpu使用率，而/proc/softirqs和mpstat提供了各种软中断在每个CPU上的运行次数
硬中断	vmstat、/proc/interrupts	vmstat提供总的中断次数，而/proc/interrupts提供各种中断在每个CPU上运行的累计次数
网络	dstat、sar、tcpdump	dstat、sar提供总的网络接受和发送情况，而tcpdump则是动态抓取正在进行的网络通讯
I/O	dstat、sar	dstat和sar都提佛那个了I/O的整体情况
CPU个数	/proc/cpuinfo、lscpu	lscpu更直观
事件剖析	perf、execsnoop	per可以用来分析CPU的换粗以及内核调用栈，execsnoop用来监测短时进程

内存性能

性能指标	性能工具
系统已用、可用、剩余内存	free、vmstat、sar、/proc/meminfo
进程虚拟内存、常驻内存、共享内存	ps、top
进程内存分布	pmap
进程Swap换出内存	top、/proc/pid/status
进程缺页异常	ps、top
系统换页情况	sar
缓存/缓冲区用量	free、vmstat、sar、cachestat
缓存/缓冲区命中率	cachetop
SWAP已用空间和剩余空间	free、sar
Swap换入换出	vmstat
内存泄漏检测	memleak、valgrind
指定文件的缓存大小	pcstat

文件系统和磁盘I/O

性能指标	性能工具	说明
文件系统空间容量、使用量以及剩余空间	df	详细文档见info coreutils ‘df invocation’
索引节点容量、使用量以及剩余量	df	使用-i选项
页缓存和可回收slab缓存	/proc/meminfo、sar、vmstat	使用sar -r选项
缓冲区	/proc/meminfo、sar、vmstat	使用sar -r选项
目录项、索引节点以及文件系统的缓存	/proc/slabinfo、slabtop	slabtop更直观
磁盘I/O使用率、IOPS、吞吐量、响应时间、I/O平均大小以及等待队列长度	iostat、sar、dstat	使用iostat -d -x或sar -d选项
进程I/O大小以及I/O延迟	pidstat、iotop	使用pidstat -d选项
块设备I/O系统调用跟踪	blktrace	blktrace -d /dev/sda -o-|blkparse -i-
进程I/O系统调用跟踪	strace	通过系统调用跟踪进程I/O
进程块设备I/O大小跟踪	biosnoop、biotop	需要安装bcc软件包

网络性能

性能指标	性能工具	说明
吞吐量（BPS）	sar、nethogs、iftop	分别可以查看网络接口、进程以及IP地址的网络吞吐量
PPS	sar、/proc/net/dev	查看网络接口的PPS
连接数	netstat、ss	查看网络连接数
延迟	ping、hping3	通过ICMP、TCP等测试网络延迟
连接跟踪数	conntrack	查看和管理连接跟踪情况
路由	mtr、route、traceroute	查看路由并测试链路信息
DNS	dig、nslookup	排查DNS解析问题
防火墙和NAT	iptables	配置和管理防火墙及NAT规则
网卡功能	ethtool	查看和配置网络接口的功能
抓包	tcpdump、wireshark	抓包分析网络流量
内核协议栈跟踪	bcc、systemtap	动态跟踪内核协议栈的行为

根据工具找指标

CPU性能

性能工具	CPU性能指标
uptime	平均负载
top	平均负载、运行队列、整体的CPU使用率以及每个进程的状态和CPU使用率
htop	top增强版，以不同颜色区分不同类型的进程
atop	CPU、内存、磁盘和网络等各种资源的全面监控
vmstat	系统整体的CPU使用率、上下文切换次数、中断次数，还包括处于运行和不可中断状态的进程数量
mpstat	每个CPU的使用率和软中断次数
pidstat	进程和线程的CPU使用率、中断上下文切换次数
/proc/softirq	软中断类型和在每个CPU上的累积中断次数
/proc/interrupts	软中断类型和在每个CPU上的累积中断次数
ps	每个进程的状态和CPU使用率
pstree	进程的父子关系
dstat	系统整体的CPU使用率
sar	系统整体的CPU使用率，包括可配置的历史数据
strace	进程的系统调用
perf	CPU性能事件剖析，如调用链分析、CPU缓存、CPU调度等
execsnoop	监控短时进程

内存性能

性能工具	内存指标
free、/proc/meminfo	系统已用、可用、剩余内存以及缓存和缓冲区的使用量
top、ps	进程虚拟、常驻、共享内存以及缺页异常
vmstat	系统剩余内存、缓存、缓冲区、换入、换出
sar	系统内存换页情况、内存使用率、缓存和缓冲区用量以及Swap使用情况
cachestat	系统缓存和缓冲区的命中率
cachetop	进程缓存和缓冲区的命中率
slabtop	系统slab缓存使用情况
/proc/pid/status	进程swap内存等
/proc/pid/smaps、pmap	进程地址空间和内存状态
valgrind	进程内存错误检查器，用来检测内存初始化、泄漏、越界访问等各种内存错误
memleak	内存泄漏检测
pcstat	查看指定文件的缓存情况

文件系统和磁盘I/O

性能工具	性能指标	性能工具	性能指标
iostat	磁盘I/O使用率、IOPS、吞吐量、响应时间、I/O平均大小以及等待队列长度	blktrace	跟踪块设备I/O事件
pidstat	进程I/O大小以及I/O延迟	biosnoop	跟踪进程的块设备I/O大小
sar	磁盘I/O使用率、IOPS、吞吐量以及响应时间	biotop	跟踪进程块I/O并按照I/O大小排序
dstat	磁盘I/O使用率、IOPS以及吞吐量	strace	跟踪进程的I/O系统调用
iotop	按I/O大小对进程排序	perf	跟踪内核中的I/O事件
slabtop	目录项、索引节点以及文件系统的缓存	df	磁盘空间和索引节点使用量和剩余量
/proc/slabinfo	目录项、索引节点以及文件系统的缓存	mount	文件系统的挂在路径以及挂载参数
/proc/meminfo	页缓存和可回收的slab缓存	du	目录占用的磁盘空间大小
/proc/diskstats	磁盘的IOPS、吞吐量以及延迟	tune2fs	显示和设置文件系统参数
/proc/pid/io	进程IOPS、I/O大小以及I/O延迟	hdparam	显示和设置磁盘参数
vmstat	缓存和缓冲区用量汇总

网络性能

性能工具	主要功能
ifconfig、ip	配置和查看网络接口
ss	查看网络连接数
sar、/proc/net/dev/sys/class/net/eth0/statistics/	查看网络接口的网络收发情况
nethogs	查看进程的网络收发情况
iftop	查看IP的网络收发情况
ethtool	查看和配置网络接口
conntrack	查看和管理连接跟踪情况
nslookup、dig	排查DNS解析问题
mtr、route、traceroute	查看路由并测试链路信息
ping、hping3	测试网络延迟
tcpdump	网络抓包工具
wireshark	网络抓包和图形界面分析工具
iptables	配置和管理防火墙及NAT规则
perf	剖析内核协议栈的性能
systemtap、bcc	动态追踪内核协议栈的行为

CPU性能分析一般步骤

内存性能分析一般步骤

I/O性能分析一般步骤

网络性能分析一般步骤

参考

Phoronix Test Suite
OpenBenchmarking.org
Linux 性能优化实战
性能之巅