Linux 系统性能优化高级全流程指南

一、系统基础状态捕获

1. 系统信息建档

除了原有的硬件、内核和存储拓扑信息收集，还增加 CPU 缓存、网络设备详细信息等。

# 硬件信息
lscpu > /opt/tuning/lscpu.origin
dmidecode -t memory > /opt/tuning/meminfo.origin
lspci -vvv > /opt/tuning/pci.origin
getconf -a | grep CACHE > /opt/tuning/cache_info.origin  # 获取 CPU 缓存信息

# 内核信息
uname -a > /opt/tuning/kernel.origin
sysctl -a > /opt/tuning/sysctl.origin

# 存储拓扑
lsblk -O > /opt/tuning/lsblk.origin
nvme list > /opt/tuning/nvme.origin

# 网络设备信息
ethtool eth0 > /opt/tuning/eth0_info.origin  # 假设网卡为 eth0

2. 性能基线测试

增加更多维度的性能测试，如 CPU 多核性能、内存带宽测试等。

# CPU 单核性能（计算素数）
sysbench cpu --cpu-max-prime=20000 run | tee /opt/tuning/cpu_origin.log

# CPU 多核性能
sysbench cpu --cpu-max-prime=20000 --threads=$(nproc) run | tee /opt/tuning/cpu_multi_origin.log

# 内存延迟测试
sudo apt-get install lmbench -y
lat_mem_rd 1G 512 | tee /opt/tuning/mem_latency.origin

# 内存带宽测试
stream | tee /opt/tuning/mem_bandwidth.origin

# 磁盘随机 IOPS（混合读写）
fio --name=baseline --rw=randrw --bs=4k --direct=1 --runtime=60 \
--iodepth=64 --ioengine=libaio --group_reporting | tee /opt/tuning/fio_origin.log

# 网络基础吞吐
iperf3 -c 10.0.0.2 -t 30 -P 8 | tee /opt/tuning/iperf_origin.log

二、分项优化与验证

1. 内核参数调优

除了原有的 TCP 相关参数，调整更多内核参数以优化系统整体性能。

# 原始状态捕获
sysctl -n net.ipv4.tcp_tw_reuse
sysctl -n net.ipv4.tcp_fin_timeout
sysctl -n vm.swappiness
ss -s | grep TIMEWAIT

# 优化操作
echo "net.ipv4.tcp_tw_reuse = 1" >> /etc/sysctl.conf
echo "net.ipv4.tcp_fin_timeout = 15" >> /etc/sysctl.conf
echo "vm.swappiness = 10" >> /etc/sysctl.conf
sysctl -p

# 验证测试
wrk -t12 -c4000 -d60s http://target:8080
watch -n1 "ss -s | grep TIMEWAIT"
vmstat 1 10  # 观察交换情况

2. 文件系统优化

除了修改挂载参数，还可以根据文件系统类型进行针对性优化。

# 原始测试
mount | grep " / " > /opt/tuning/mount.origin
fio --name=testfs --directory=/mnt/data --rw=randwrite \
--bs=4k --numjobs=16 --time_based --runtime=300 \
--group_reporting | tee /opt/tuning/fio_fs_origin.log

# 优化操作
if grep -q ext4 /etc/fstab; then
    tune2fs -o journal_data_writeback /dev/sda1  # 假设挂载在 /dev/sda1
fi
vim /etc/fstab
# 修改为：noatime,nodiratime,data=writeback,barrier=0
umount /mnt/data && mount -a

# 验证测试
fio --name=testfs_tuned --directory=/mnt/data --rw=randwrite \
--bs=4k --numjobs=16 --time_based --runtime=300 \
--group_reporting | tee /opt/tuning/fio_fs_tuned.log
diff -y <(awk '/IOPS/' fio_fs_origin.log) <(awk '/IOPS/' fio_fs_tuned.log)

3. 网络栈优化

除了调整 TCP 参数，还可以优化网络设备队列和中断绑定。

# 原始抓包分析
tcpdump -i eth0 -w tcp_handshake.pcap 'tcp port 80 and tcp[tcpflags] & (tcp-syn|tcp-ack) == tcp-syn'
tshark -r tcp_handshake.pcap -T fields -e tcp.time_delta | sort -n > tcp_delay.origin

# 优化操作
echo "net.ipv4.tcp_slow_start_after_idle = 0" >> /etc/sysctl.conf
echo "net.ipv4.tcp_adv_win_scale = 1" >> /etc/sysctl.conf
ethtool -L eth0 combined $(nproc)  # 调整网卡队列数
for i in $(ls /sys/class/net/eth0/queues/rx-*/rps_cpus); do echo ffff > $i; done  # 配置 RPS
sysctl -p

# 验证测试
ab -n 100000 -c 500 -k http://target:8080/ | tee /opt/tuning/ab_tuned.log
awk '/Requests per second/ {print $4}' ab_origin.log ab_tuned.log | \
gnuplot -p -e 'plot "-" using 0:1 with lines title "QPS"; pause -1'

三、自动化对比脚本

完善自动化对比脚本，增加更多性能指标的对比。

#!/bin/bash
# perf_compare.sh

BEFORE_LOG=$1
AFTER_LOG=$2

# CPU 性能对比
before_cpu=$(grep "events per second" $BEFORE_LOG/cpu_origin.log | awk '{print $4}')
after_cpu=$(grep "events per second" $AFTER_LOG/cpu_origin.log | awk '{print $4}')
cpu_gain=$(echo "scale=2; ($after_cpu - $before_cpu)/$before_cpu*100" | bc)

before_cpu_multi=$(grep "events per second" $BEFORE_LOG/cpu_multi_origin.log | awk '{print $4}')
after_cpu_multi=$(grep "events per second" $AFTER_LOG/cpu_multi_origin.log | awk '{print $4}')
cpu_multi_gain=$(echo "scale=2; ($after_cpu_multi - $before_cpu_multi)/$before_cpu_multi*100" | bc)

# 内存延迟对比
before_mem=$(grep "0.00625" $BEFORE_LOG/mem_latency.origin | awk '{print $2}')
after_mem=$(grep "0.00625" $AFTER_LOG/mem_latency.origin | awk '{print $2}')

# 内存带宽对比
before_mem_bw=$(grep "Copy" $BEFORE_LOG/mem_bandwidth.origin | awk '{print $2}')
after_mem_bw=$(grep "Copy" $AFTER_LOG/mem_bandwidth.origin | awk '{print $2}')
mem_bw_gain=$(echo "scale=2; ($after_mem_bw - $before_mem_bw)/$before_mem_bw*100" | bc)

# 生成报告
cat << EOF
[性能对比报告]
CPU 单核计算能力提升: ${cpu_gain}%
CPU 多核计算能力提升: ${cpu_multi_gain}%
内存访问延迟变化: ${before_mem}ns -> ${after_mem}ns
内存带宽提升: ${mem_bw_gain}%

磁盘随机写 IOPS:
- 优化前: $(grep write $BEFORE_LOG/fio_origin.log | cut -d= -f2)
- 优化后: $(grep write $AFTER_LOG/fio_origin.log | cut -d= -f2)

网络吞吐量提升:
$(paste $BEFORE_LOG/iperf_origin.log $AFTER_LOG/iperf_origin.log | column -t)
EOF

四、可视化分析方法

1. 使用 gnuplot 绘制性能对比

除了 CPU 使用率对比，增加内存使用率、磁盘 I/O 等对比。

# CPU 使用率对比（sar 数据）
sar -f sar_origin.log -u | awk 'NR>3 {print $1,$3+$5}' > cpu_origin.dat
sar -f sar_tuned.log -u | awk 'NR>3 {print $1,$3+$5}' > cpu_tuned.dat

# 内存使用率对比
sar -f sar_origin.log -r | awk 'NR>3 {print $1,$4}' > mem_origin.dat
sar -f sar_tuned.log -r | awk 'NR>3 {print $1,$4}' > mem_tuned.dat

# 磁盘 I/O 对比
sar -f sar_origin.log -d | awk 'NR>3 {print $1,$3}' > disk_origin.dat
sar -f sar_tuned.log -d | awk 'NR>3 {print $1,$3}' > disk_tuned.dat

gnuplot -persist << EOF
set multiplot layout 3,1
set title "CPU Utilization Comparison"
set xlabel "Time"
set ylabel "Usage %"
plot "cpu_origin.dat" with lines title "Original", \
     "cpu_tuned.dat" with lines title "Tuned"

set title "Memory Utilization Comparison"
set xlabel "Time"
set ylabel "Usage %"
plot "mem_origin.dat" with lines title "Original", \
     "mem_tuned.dat" with lines title "Tuned"

set title "Disk I/O Comparison"
set xlabel "Time"
set ylabel "IOPS"
plot "disk_origin.dat" with lines title "Original", \
     "disk_tuned.dat" with lines title "Tuned"
unset multiplot
EOF

2. 火焰图对比分析

增加更多维度的火焰图分析，如内存分配、I/O 操作等。

# 采集优化前数据
perf record -F 99 -ag -- sleep 30
mv perf.data perf.origin.data
perf record -e mem-stores -F 99 -ag -- sleep 30
mv perf.data perf.mem.origin.data
perf record -e block:block_rq_issue -F 99 -ag -- sleep 30
mv perf.data perf.io.origin.data

# 采集优化后数据
perf record -F 99 -ag -- sleep 30
mv perf.data perf.tuned.data
perf record -e mem-stores -F 99 -ag -- sleep 30
mv perf.data perf.mem.tuned.data
perf record -e block:block_rq_issue -F 99 -ag -- sleep 30
mv perf.data perf.io.tuned.data

# 生成对比视图
difffolded.pl perf.origin.data perf.tuned.data | flamegraph.pl > diff.svg
difffolded.pl perf.mem.origin.data perf.mem.tuned.data | flamegraph.pl > diff_mem.svg
difffolded.pl perf.io.origin.data perf.io.tuned.data | flamegraph.pl > diff_io.svg

五、深度监控指标

1. 实时监控看板

使用 Grafana 和 Prometheus 搭建更强大的监控系统。

# 安装 Prometheus 和 Grafana
sudo apt-get install prometheus grafana -y

# 配置 Prometheus 监控节点
vim /etc/prometheus/prometheus.yml
# 添加以下内容
scrape_configs:
  - job_name: 'node'
    static_configs:
      - targets: ['localhost:9100']

# 启动 Prometheus 和 Grafana
sudo systemctl start prometheus grafana-server
sudo systemctl enable prometheus grafana-server

# 导入 Grafana 仪表盘模板
# 访问 http://localhost:3000，添加 Prometheus 数据源，导入预定义的仪表盘模板

2. 关键性能指标告警

完善 Prometheus 告警规则，增加更多告警指标。

# 使用 prometheus 配置规则
groups:
- name: Tuning Alerts
  rules:
  - alert: HighContextSwitch
    expr: rate(process_stat_context_switches_total[5m]) > 100000
    for: 10m
    annotations:
      description: '上下文切换过高：{{ $value }}次/秒'
  - alert: HighMemoryUsage
    expr: node_memory_MemUsed / node_memory_MemTotal * 100 > 90
    for: 10m
    annotations:
      description: '内存使用率过高：{{ $value }}%'
  - alert: HighDiskUsage
    expr: (node_filesystem_size_bytes{mountpoint="/"} - node_filesystem_free_bytes{mountpoint="/"}) / node_filesystem_size_bytes{mountpoint="/"} * 100 > 90
    for: 10m
    annotations:
      description: '磁盘使用率过高：{{ $value }}%'

六、优化回滚机制

1. 内核参数回滚

# 备份原始配置
cp /etc/sysctl.conf /etc/sysctl.conf.bak_$(date +%s)

# 快速回滚命令
sysctl -p /etc/sysctl.conf.bak

2. 文件系统回滚

# 使用 btrfs 快照
btrfs subvolume list /
btrfs subvolume set-default <原快照 ID> /
reboot

3. 网络栈配置回滚

# 备份网络配置
cp /etc/sysctl.conf /etc/sysctl.conf.net_bak_$(date +%s)
cp /etc/network/interfaces /etc/network/interfaces.bak_$(date +%s)

# 回滚网络配置
sysctl -p /etc/sysctl.conf.net_bak
cp /etc/network/interfaces.bak /etc/network/interfaces
reboot

通过以上更全面、更深入的优化方案，可以更细致地对 Linux 系统进行性能优化，并实时监控优化效果，确保系统始终处于最佳运行状态。