内核线程
导出服务变慢时,kswapd 持续占 CPU,并不表示它是需要被终止的异常应用。内核线程执行内核后台工作,例如工作队列、内存回收、压缩、软中断与 RCU 协调;名字是排查入口,根因要由同时间窗口的活动与等待证据确定。
与用户线程的区别
内核线程不执行用户态业务代码,通常没有自己的用户地址空间。普通用户线程执行系统调用时也会进入内核态,因此“系统态 CPU 高”不等于“某个内核线程高”。系统线程结构与名称依内核配置、版本和子系统而异,不能把所有线程都假定为 PID 2 的直接子进程。
ps 的 args 列在缺少命令行时常以方括号显示 comm;这不是可靠的内核线程类型判定。容器的 PID 命名空间一般看不到宿主机内核线程,要在对应主机观测。
| 名称 | 主要工作 | 需要关联的证据 |
|---|---|---|
kthreadd | 创建许多内核线程,主机 PID 通常为 2 | 线程树与内核版本 |
kworker/* | 执行工作队列回调 | 回调热点、设备与驱动日志 |
ksoftirqd/* | 执行延后的软中断工作 | 各CPU软中断增量、包量与丢包 |
kswapd* | 后台页回收 | 扫描、回收、内存压力与换页 |
kcompactd* | 页内存整理 | 大块连续内存分配与整理计数 |
rcu_* | RCU相关协调与回收工作 | stall日志、CPU和调度上下文 |
从活动量找到压力来源
图中的箭头表示压力触发与观测路径,不表示这些线程互为父子。工作队列也可能处理非 I/O 任务;软中断不只处理网络,部分软中断会在其他上下文执行,不全由 ksoftirqd 承担。
bash
ps -eLo pid,ppid,lwp,stat,pcpu,comm --sort=-pcpu
vmstat 1 5
cat /proc/pressure/memory
cat /proc/softirqs
cat /proc/interruptsps 的 CPU 百分比是其统计口径下的历史值,不是统一的一秒采样。对累积计数应间隔读取求差;vmstat 首行通常是启动以来平均值,后续才是采样间隔值。/proc/pressure 需要内核 PSI 支持。
三种常见现象
kworker 占用升高
先记录内核与驱动版本,检查同一时间的块设备、USB或网卡错误;有权限时对明确线程做短时 CPU 采样,定位具体回调。只凭 kworker 名称无法确定驱动,不能通过杀线程解决来源。
例如外接存储反复重置,工作队列持续处理重试,应用也在等该盘。修复应针对连接、设备或驱动;仅降低应用并发可能缓和压力,但不能证明硬件恢复。
ksoftirqd 与网络延迟同时升高
比较 /proc/softirqs 中 NET_RX/NET_TX 的各CPU增量、网卡包量、丢包与队列分布,再判断是否存在热点。可以用 ss -s 查看连接概况;采样工具 sar -n DEV 1 5 需要 sysstat 包。
连接数多并不必然带来相同包速率;单个CPU热点也不必然意味着整个主机CPU耗尽。IRQ、队列和应用亲和性调整应由热点证据支持。
kswapd 活跃但 swap 没有增长
回收包括文件页,也可能涉及匿名页和交换;没有启用 swap 也会发生回收。结合 /proc/vmstat 的 pgscan/pgsteal 计数增量、PSI、可用内存及应用/cgroup限额分析。
bash
grep -E '^(pgscan|pgsteal|pswpin|pswpout)' /proc/vmstat
free -h例如大文件导出挤压页缓存,扫描量上升但回收效率低,可能造成停顿;把所有 kswapd 活动都解释成“交换区满了”会找错方向。
RCU stall 与复验
RCU stall 表示某些参与者长期没有达到所需静止状态等进展,原因可能涉及长时间关中断、调度饥饿、驱动或内核缺陷。先保存完整 stall 报告、前后日志、CPU负载、内核/模块版本和变更时间,不能把日志中的线程名直接当作根因。
读取内核日志可能需要权限;journalctl -k -b 适用于有 journal 的主机。修复后以相同设备、流量或内存负载复验活动增量、PSI和业务延迟。普通容器短实验只能验证命令与视图,不能冒充真实驱动故障复现。
