Linux 系统性能排查手册

top                     # 交互模式
top -b -n 3 -d 2        # 批量输出3次，间隔2秒
top -p 1234,5678        # 只看指定PID
top -u www-data         # 只看指定用户

# top 交互键
# P  按 CPU 排序
# M  按内存排序
# 1  展开每个 CPU 核
# c  显示完整命令行
# H  显示线程
# k  kill 进程
# q  退出

# 持续观察 steal
vmstat 1 10 | awk '{print $1, $15, $16, $17}'
# 输出列: r(运行队列), us, sy, id, wa, st 等视版本而定

# 用 top -1 展开所有核，看各核 st 值
top -b -n 1 | grep -E "^%Cpu|Cpu"

# 判断 iowait 是否真正因为磁盘饱和
iostat -x 1 5
# 关注 %util（设备利用率），接近 100% 说明磁盘饱和
# await 是平均 IO 等待时间(ms)，r_await/w_await 分读写

# 查看各类 softirq 的计数
cat /proc/softirqs

# 哪个 CPU 核在处理网络 softirq
watch -n 1 'grep -E "NET_RX|NET_TX" /proc/softirqs'

# 网卡多队列绑定（避免所有中断集中到 cpu0）
cat /proc/interrupts | grep eth0
# 使用 irqbalance 或手动设置 /proc/irq/N/smp_affinity

mpstat -P ALL 1 5       # 每秒输出一次，共5次，所有 CPU 核
mpstat -P 0,1,2 1       # 只看 0/1/2 号核
mpstat -I SUM 1         # 中断汇总统计

vmstat 1 10
# r  运行队列长度（持续 > CPU核数 说明 CPU 饱和）
# b  阻塞在 IO 的进程数
# us/sy/id/wa/st 同 top

free -h                 # 人类可读单位
free -m                 # MB 单位
free -s 2 -c 5         # 每2秒刷新，共5次

# 输出解析
#               total   used    free    shared  buff/cache  available
# Mem:          15Gi    8.2Gi   1.1Gi   512Mi   5.9Gi       6.8Gi
# available = free + 可回收的 buff/cache，是实际可用内存

cat /proc/meminfo

# 关键字段
# MemTotal       物理内存总量
# MemFree        完全空闲
# MemAvailable   实际可用（包含可回收缓存）
# Buffers        块设备读写缓冲
# Cached         文件系统页缓存
# SwapCached     已被 swap 但又读回内存的页
# Active(anon)   活跃匿名页（进程堆/栈）
# Inactive(anon) 不活跃匿名页（候选 swap out）
# Shmem          共享内存（包括 tmpfs）
# Slab           内核 slab 分配器使用量
# SReclaimable   可回收 slab（如 dentry cache）
# SUnreclaim     不可回收 slab
# Committed_AS   所有进程申请的虚拟内存总量
# VmallocTotal   vmalloc 区域大小

# 方法1：观察进程 RSS 是否持续增长
watch -n 5 'ps aux --sort=-%mem | head -20'

# 方法2：valgrind（需重新运行程序）
valgrind --leak-check=full ./myapp

# 方法3：smem 按 PSS 统计（更准确）
smem -tk -s pss | tail -20

# 方法4：观察 /proc/PID/status
cat /proc/$(pgrep myapp)/status | grep -E "VmRSS|VmSize|VmSwap"

# 方法5：pmap 查看进程内存映射
pmap -x $(pgrep myapp) | tail -5

# 查看 OOM kill 记录
dmesg | grep -i "oom\|killed process"
journalctl -k | grep -i oom

# 查看当前 OOM 分数
cat /proc/$(pgrep myapp)/oom_score
cat /proc/$(pgrep myapp)/oom_adj

# 保护关键进程不被 OOM kill
echo -1000 > /proc/$(pgrep sshd)/oom_score_adj

# 查看 swap 使用
swapon -s
cat /proc/swaps

# 哪些进程在用 swap
for pid in /proc/[0-9]*; do
  comm=$(cat $pid/comm 2>/dev/null)
  swap=$(grep VmSwap $pid/status 2>/dev/null | awk '{print $2}')
  [ -n "$swap" ] && [ "$swap" -gt 0 ] && echo "$comm: ${swap}kB"
done | sort -t: -k2 -rn | head -20

iostat -x 1 5           # 扩展统计，1秒间隔，5次
iostat -x -d sda 1      # 只看 sda 设备
iostat -x -m 1          # MB 单位

# 关键列说明
# r/s      每秒读请求数
# w/s      每秒写请求数
# rMB/s    读吞吐量
# wMB/s    写吞吐量
# rrqm/s   每秒合并的读请求数（合并说明顺序IO）
# wrqm/s   每秒合并的写请求数
# r_await  读平均等待时间(ms)
# w_await  写平均等待时间(ms)
# aqu-sz   平均队列深度（>1 说明设备有排队）
# %util    设备利用率（接近100%说明饱和）

iotop                   # 需要 root，实时显示
iotop -o                # 只显示有 IO 的进程
iotop -b -n 5 -d 2     # 批量输出5次
iotop -p 1234           # 只看指定 PID

dstat -cdngy 1          # cpu/disk/net/page/sys
dstat --top-io          # 显示 IO 最高进程
dstat --top-cpu --top-io --top-mem 1   # 各维度 top 进程

# 输出到文件
dstat --output /tmp/dstat.csv 1 60

# 追踪块设备 IO
blktrace -d /dev/sda -o trace
blkparse trace.blktrace.0 | head -50

# 更简单的替代
biotop-bpfcc 1          # 需要 bpfcc-tools

sar -n DEV 1 5          # 网卡吞吐量（rxpck/s, txpck/s, rxMB/s, txMB/s）
sar -n EDEV 1 5         # 网卡错误统计（丢包、错误）
sar -n SOCK 1 5         # socket 统计
sar -n TCP,ETCP 1 5     # TCP 连接/错误统计

# 查历史数据
sar -n DEV -f /var/log/sysstat/sa$(date +%d)

nethogs                 # 实时，按进程
nethogs eth0            # 指定网卡
nethogs -t -d 1 eth0   # 每秒刷新，文本模式

iftop                   # 需要 root
iftop -i eth0           # 指定网卡
iftop -n                # 不解析主机名（更快）
iftop -B                # 以字节显示

# 各状态连接数
ss -ant | awk '{print $1}' | sort | uniq -c | sort -rn

# TIME_WAIT 数量
ss -ant | grep TIME-WAIT | wc -l

# 连接数最多的远端 IP
ss -ant | awk '/ESTABLISHED/{print $5}' | cut -d: -f1 | sort | uniq -c | sort -rn | head -10

# 1. 快速全局概览（1分钟诊断脚本）
echo "=== Load ===" && uptime
echo "=== CPU ===" && mpstat 1 1 | tail -3
echo "=== Mem ===" && free -h
echo "=== Disk IO ===" && iostat -x 1 1 | tail -5
echo "=== Net ===" && sar -n DEV 1 1 | grep -v ^$

# 2. 找出 CPU 最高的10个进程
ps aux --sort=-%cpu | head -11

# 3. 找出内存最高的10个进程
ps aux --sort=-%mem | head -11

# 4. 找出最近5分钟的 OOM
dmesg -T | grep -i oom | tail -20

# 5. 磁盘 IO 热点进程（需要 root）
pidstat -d 1 5 | sort -k4 -rn | head -10

# 6. 按进程统计网络连接数
ss -antp | awk 'NR>1{print $6}' | grep -oP 'pid=\K[0-9]+' | \
  xargs -I{} sh -c 'echo $(cat /proc/{}/comm 2>/dev/null): {}' | \
  sort | uniq -c | sort -rn | head -10

# 7. 找出打开文件数最多的进程
lsof 2>/dev/null | awk '{print $2, $1}' | sort | uniq -c | sort -rn | head -10

# 8. 实时监控关键指标（每秒刷新）
watch -n 1 'echo "CPU:"; mpstat 1 1 | tail -1; echo "MEM:"; free -m | head -2'

# 9. 查看系统中断分布
watch -n 1 'cat /proc/interrupts | head -20'

# 10. 持续记录性能数据（用于事后分析）
sar -o /tmp/sar_output.bin 5 720 &   # 每5秒采集，采集1小时
# 事后分析
sar -f /tmp/sar_output.bin -u -n DEV

# RHEL/CentOS
yum install -y sysstat iotop dstat nethogs iftop procps-ng

# Debian/Ubuntu
apt install -y sysstat iotop dstat nethogs iftop procps smem

# 启用 sysstat 数据采集
systemctl enable --now sysstat
# 或修改 /etc/default/sysstat，将 ENABLED="false" 改为 ENABLED="true"