系统信息与观察范围
订单导出在测试机正常,上线后却提示空间不足。先要确认它运行在哪个系统、哪个挂载点、哪个用户和资源限制内:宿主机还有 100 GB,不代表容器的临时卷还有空间;看到 32 个 CPU,也不代表服务获得 32 核的配额。本页负责确定这些边界,动态瓶颈分析见系统监控。
先确定命令看到了哪里
namespace 决定进程能看到哪些对象,cgroup 管理资源与统计,两者解决不同问题。进入容器后的 uname 通常仍报告共享的宿主内核,而 /etc/os-release 来自容器文件系统。虚拟机则通常运行自己的内核。某条命令成功,只说明当前上下文能查询相应信息,不代表它就是故障服务的上下文。
bash
uname -srm
cat /etc/os-release
id
pwd -P
date -Is
cat /proc/self/cgroup把时间、执行位置与结果一起记录。uname -m 是机器架构线索,不能单独证明某个 ELF 的指令集、动态加载器和 libc 兼容;部署失败还需核对目标程序。whoami 报告有效用户名,不等同于环境变量 $USER,也不等同于交互登录记录。who、w、last 依赖会话与日志,账号和服务身份的区别见用户管理。
区分硬件数量与服务预算
| 入口 | 查询对象与判断边界 |
|---|---|
lscpu | CPU 架构、拓扑与可见处理器,不是服务配额;虚拟化环境可能暴露虚拟拓扑 |
nproc | 当前进程可用处理单元的估计,受版本、亲和性、环境与 cgroup 支持影响,仍需核对配额 |
free -h | 与 /proc/meminfo 一起提供当前所见内存统计,容器里未必反映服务上限 |
lsmem | 内存块与在线状态,不代表进程当前可再分配多少内存 |
进程 status | /proc/进程号/status 的凭据、内存与CPU允许集只是快照,RSS不是全部成本 |
cgroup v2 环境中,先从 /proc/进程号/cgroup 的 0::路径 和 cgroup2 挂载位置定位目标组,再读取对应组文件。容器可能把自己的组映射为 /,不能把容器内路径直接拼到另一台宿主机上。若使用 cgroup v1,控制器目录与字段不同。
CPU 时间预算看 cpu.max:200000 100000 约等于 2 核时间预算,不是绑定两个核。允许 CPU 集看 cpuset.cpus.effective:0-3 允许在四个 CPU 上运行,仍可受配额限流。CPU 时间与限流看 cpu.stat,比较同一时间窗的 nr_throttled、throttled_usec 增量。
内存计费与上限看 memory.current、memory.max;max 表示该层无固定上限,仍可能受祖先组限制。事件看 memory.events,比较 high、max、oom、oom_kill 增量,不能只看是否非零。
例如导出服务 RSS 为 700 MB,cgroup 计费 950 MB、上限 1 GB,仍可能因文件页、其他进程或内核计费逼近限制。宿主机 free 还剩很多内存,不能排除该服务 OOM。限额也要向祖先组核对;相关机制见容器总览。
从实际业务路径查容量
下面只读查询当前目录,实际排查应把 . 换为服务真实写入目录,并在相同挂载命名空间中执行。
bash
findmnt -T .
df -hT .
df -i .
du -xhd1 .
lsblk -o NAME,TYPE,SIZE,FSTYPE,MOUNTPOINTSfindmnt -T 确定路径落在哪个挂载;df 查询文件系统块和 inode;GNU du -xhd1 统计本文件系统的一层目录,目录大时会产生明显 I/O,先缩小到业务目录。lsblk 展示块设备关系,不覆盖所有网络文件系统、容器 overlay 与存储服务配额。老版本 util-linux 可能只有 MOUNTPOINT 列,先查 lsblk --help。
| 现象 | 继续核对 | 不能直接得出的结论 |
|---|---|---|
| 块空间足够但无法创建文件 | inode、用户/项目配额、只读挂载、实际报错 | 一定是程序权限问题 |
df 用量高,du 合计低 | 权限失败、挂载遮盖、快照、已删除仍打开的文件 | 必须立刻清空日志 |
| 只在容器失败 | writable layer、挂载卷、namespace 与运行时存储限制 | 宿主根分区正常就排除了存储问题 |
df -x tmpfs 只排除一种文件系统类型,不能称为“仅本地磁盘”;需要本地文件系统过滤时核对 GNU df -l 的定义。lsof +L1 可以提供已删除但仍打开文件的线索,输出还受权限和namespace影响;记录数不是文件描述符数量。确认对象与服务后,应按日志轮转/重开协议释放句柄,不能把查询结果直接交给 kill。
设备与驱动查询有各自入口
GPU、网卡或 USB 音频设备不可用时,先明确设备是否在当前运行边界内可见。lspci -nnk 查看 PCI 标识与绑定驱动,lsusb -t 看 USB 拓扑与驱动;它们可能需要单独安装 pciutils/usbutils。设备出现在列表里,不代表固件、设备节点权限、运行库或容器透传已齐全。虚拟设备与受限容器内缺少硬件列表,也不能据此认定宿主硬件故障。
驱动报错可结合允许访问的内核日志与实际设备探测。dmesg 受系统权限策略约束;不要通过放宽系统安全设置来获取一份列表。查询涉及序列号等信息时,只保留排错所需字段。
把静态信息交给下一步排查
一份有用的记录应写清:订单导出失败的时间与错误、目标服务/容器、真实输出路径和挂载、运行身份、资源限额以及变化前后的配置。静态快照用来排除“看错对象”,随后在系统监控里关联延迟、吞吐、资源压力与进程活动。
进程与信号见进程管理,监听和路由见网络命令,日志截取见文件查看。不要用一组全系统命令输出代替故障假设,也不要只凭快照执行缓存清理、扩交换区、终止父进程或删除临时目录。
