系统监控与瓶颈定位
订单导出从 2 秒变为 20 秒,CPU 却只有 40%。这不能证明“机器很闲”:服务可能被 cgroup 限流、等待磁盘、争用锁,或在等远程数据库。监控要把业务变慢的时间窗、目标进程和资源边界对应起来,再提出可验证的假设。运行位置与容量入口先见系统信息。
先给业务现象一个时间窗
先记录请求量、失败率、延迟分位数、导出文件大小及变更时间,再采集同一分钟的系统与应用证据。平均延迟可能掩盖少量长尾请求;“某天 CPU 很高”与“某次导出很慢”不在同一时间窗时,不能直接建立因果关系。下面的命令均为 Linux 常见实现;procps、sysstat 和 iproute2 的版本与可用权限要先确认。
bash
date -Is
uptime
free -h
vmstat 1 5Linux load average 通常包含可运行任务和不可中断睡眠任务的平均数量,分别覆盖约 1、5、15 分钟;它不是 CPU 使用率,也不是每核平均值。先结合允许 CPU、配额和 vmstat 的 r、b 判断排队对象。vmstat 1 5 第一份 CPU 与速率报告通常是自启动以来的平均,随后才是间隔报告;内存与进程计数仍是当时状态。不能把第一行当作最近 1 秒。
CPU:区分计算、排队与限流
top -b -d 1 -n 3 适合有限批采样,不要只取第一屏推断趋势。单个进程百分比与全机百分比的归一化方式不同,多线程进程可能超过 100%。ps 的 %CPU 通常是进程累计 CPU 时间除以生存时间,适合发现候选进程,不能替代当前采样窗口。
bash
ps -eo pid,ppid,stat,pcpu,pmem,rss,comm --sort=-pcpu | head -n 12
top -b -d 1 -n 3确定目标 PID 后,可用 sysstat 的 pidstat -u -w -p 进程号 1 5 对照 CPU 和上下文切换,用 mpstat -P ALL 1 5 查看是否少数 CPU 热点。若服务被 cgroup 限额约束,要比较 cpu.stat 的限流增量,而不是只看宿主机平均 CPU。线程持续运行但吞吐不增时,再进入应用 profiler、锁或 GC 分析,不能从高切换次数直接断言锁竞争。
交互工具只是另一种入口:htop -d 10 的延迟单位为十分之一秒,因此表示约 1 秒;htop -d 1 是约 0.1 秒。刷新越频繁不意味着证据越准确,采样本身也有开销。
内存:可用量、计费与停顿一起看
free -h 中 available 是无须交换即可供新应用使用内存的估计;free 很低但文件缓存较多并不自动构成故障。RSS、进程共享页、cgroup 计费以及宿主机内存不是同一个量,多个进程 RSS 相加可能重复计算共享页。
bash
free -h
cat /proc/pressure/memoryPSI 在内核和配置支持时提供资源停顿信息,some 表示至少部分任务受阻的时间比例,full 的含义依资源和内核接口而定;内存场景用于观察全部非空闲任务共同受阻的时间。avg10/60/300 是不同时间窗平均,total 是累计微秒,应比较增量。PSI 说明发生了停顿,不能独立定位到某个对象或证明 OOM。
若导出一启动就失败,应同时核对目标组 memory.current/max/events、应用内存曲线以及允许访问的 OOM 日志。vmstat 的 si/so 持续变化说明交换活动,不等于交换区使用量本身。修复应指向导出批量、并发、对象保留或已确认的预算;drop_caches 不能回收仍在使用的匿名内存,可能增加冷读 I/O,不作为常规“释放内存”操作。添加 swap 也不能替代容量与延迟评估。
I/O:容量与吞吐瓶颈分开
文件创建失败先查真实路径的 df -hT 与 df -i。请求能完成但变慢,再用 sysstat 做间隔采样:
bash
iostat -xz -y 1 5-x 展开指标,-z 隐藏无活动设备,-y 跳过首份自启动以来的报告。await 包含排队与服务时间;队列、吞吐和延迟应共同看。%util 是报告窗口内设备忙碌时间比例,对并行处理的 RAID、SSD、虚拟设备不能简单用“100% 就到极限”判断。CPU 的 %iowait 也不能当作某块磁盘的利用率,低 iowait 不排除应用 I/O 延迟。
先用 findmnt、lsblk 把业务路径映射到设备,再根据允许权限用 pidstat -d -p 进程号 1 5 或 iotop 查进程线索。缓冲写、回写线程、异步 I/O 和设备层聚合会使进程计数与块设备计数不同。远程卷还需核对存储端及网络延迟,不能只盯本机磁盘。
网络与日志:沿具体请求核对
bash
ss -lnt 'sport = :8080'
ip -s link监听端口过滤的是本地源端口 sport,不是 dport。ss -tin 提供 TCP 状态、重传等线索,ip -s link 的丢包/错误计数应在固定间隔取差;累计非零不代表故障仍在发生。应用连接池等待、DNS、TLS 与服务端处理时间还要通过请求日志或链路追踪区分。
iftop 按通信对显示流量,nethogs 尝试按进程归因,均受权限与捕获范围影响。nethogs -t 是文本追踪模式,刷新间隔用 -d 秒数。不要把工具某一行的速率当作请求吞吐,也不要按冒号切割 IPv6 地址来统计远端 IP。具体连通性步骤见网络命令。
日志应限定服务和时间范围,例如 journalctl -u order-api --since '10 minutes ago' --no-pager;普通文件用 tail -n 100 或按请求编号检索。采集前确认日志时间的时区、时钟偏差、轮转与权限。tail -f 跟随文件描述符,按名称跟随轮转文件的需求见文件查看。
从证据形成可验收的改动
| 同窗观察 | 待验证假设 | 有效复验 |
|---|---|---|
| 宿主 CPU 不高,目标组限流增量明显 | 服务配额或并发使计算排队 | 同样输入与负载下对比限流、吞吐、尾延迟 |
| 内存逼近组上限,导出期间OOM事件增加 | 一次装载数据或并发导出超预算 | 有界批处理后对比峰值、失败与结果完整性 |
| 导出路径对应设备await上升 | 大文件写入与在线请求争用I/O | 限制导出并发后同时验证在线延迟和导出耗时 |
| CPU和I/O平稳,连接池等待增加 | 下游慢或池预算不足 | 对照下游耗时、等待队列及重试,不直接扩池 |
改动一次只验证明确假设,并保留回退路径。sar -u 1 5 采集现在的五次间隔报告;历史数据需要提前配置采集并读取相应日期文件,不能在故障后补出过去的采样。一次命令输出也不能替代持续监控与业务验收。指标恢复后还要确认订单结果、错误率和资源成本没有转移到下游。
