Skip to content

约 3 分钟阅读

内核线程 ​

导出服务变慢时,kswapd 持续占 CPU,并不表示它是需要被终止的异常应用。内核线程执行内核后台工作,例如工作队列、内存回收、压缩、软中断与 RCU 协调;名字是排查入口,根因要由同时间窗口的活动与等待证据确定。

与用户线程的区别 ​

内核线程不执行用户态业务代码,通常没有自己的用户地址空间。普通用户线程执行系统调用时也会进入内核态,因此“系统态 CPU 高”不等于“某个内核线程高”。系统线程结构与名称依内核配置、版本和子系统而异,不能把所有线程都假定为 PID 2 的直接子进程。

ps 的 args 列在缺少命令行时常以方括号显示 comm;这不是可靠的内核线程类型判定。容器的 PID 命名空间一般看不到宿主机内核线程,要在对应主机观测。

名称主要工作需要关联的证据
kthreadd创建许多内核线程,主机 PID 通常为 2线程树与内核版本
kworker/*执行工作队列回调回调热点、设备与驱动日志
ksoftirqd/*执行延后的软中断工作各CPU软中断增量、包量与丢包
kswapd*后台页回收扫描、回收、内存压力与换页
kcompactd*页内存整理大块连续内存分配与整理计数
rcu_*RCU相关协调与回收工作stall日志、CPU和调度上下文

从活动量找到压力来源 ​

内核后台线程与资源压力证据

图中的箭头表示压力触发与观测路径,不表示这些线程互为父子。工作队列也可能处理非 I/O 任务;软中断不只处理网络,部分软中断会在其他上下文执行,不全由 ksoftirqd 承担。

bash
ps -eLo pid,ppid,lwp,stat,pcpu,comm --sort=-pcpu
vmstat 1 5
cat /proc/pressure/memory
cat /proc/softirqs
cat /proc/interrupts

ps 的 CPU 百分比是其统计口径下的历史值,不是统一的一秒采样。对累积计数应间隔读取求差;vmstat 首行通常是启动以来平均值,后续才是采样间隔值。/proc/pressure 需要内核 PSI 支持。

三种常见现象 ​

kworker 占用升高 ​

先记录内核与驱动版本,检查同一时间的块设备、USB或网卡错误;有权限时对明确线程做短时 CPU 采样,定位具体回调。只凭 kworker 名称无法确定驱动,不能通过杀线程解决来源。

例如外接存储反复重置,工作队列持续处理重试,应用也在等该盘。修复应针对连接、设备或驱动;仅降低应用并发可能缓和压力,但不能证明硬件恢复。

ksoftirqd 与网络延迟同时升高 ​

比较 /proc/softirqs 中 NET_RX/NET_TX 的各CPU增量、网卡包量、丢包与队列分布,再判断是否存在热点。可以用 ss -s 查看连接概况;采样工具 sar -n DEV 1 5 需要 sysstat 包。

连接数多并不必然带来相同包速率;单个CPU热点也不必然意味着整个主机CPU耗尽。IRQ、队列和应用亲和性调整应由热点证据支持。

kswapd 活跃但 swap 没有增长 ​

回收包括文件页,也可能涉及匿名页和交换;没有启用 swap 也会发生回收。结合 /proc/vmstat 的 pgscan/pgsteal 计数增量、PSI、可用内存及应用/cgroup限额分析。

bash
grep -E '^(pgscan|pgsteal|pswpin|pswpout)' /proc/vmstat
free -h

例如大文件导出挤压页缓存,扫描量上升但回收效率低,可能造成停顿;把所有 kswapd 活动都解释成“交换区满了”会找错方向。

RCU stall 与复验 ​

RCU stall 表示某些参与者长期没有达到所需静止状态等进展,原因可能涉及长时间关中断、调度饥饿、驱动或内核缺陷。先保存完整 stall 报告、前后日志、CPU负载、内核/模块版本和变更时间,不能把日志中的线程名直接当作根因。

读取内核日志可能需要权限;journalctl -k -b 适用于有 journal 的主机。修复后以相同设备、流量或内存负载复验活动增量、PSI和业务延迟。普通容器短实验只能验证命令与视图,不能冒充真实驱动故障复现。

别急,先让缓存热一下。