Linux系统监控报告CPU软锁定问题（soft lockup）诊断方法

CPU软锁定问题，即软件锁定（soft lockup），是指CPU在一段时间内被一个内核进程占用而无法处理其他任务，通常是由于某个进程或驱动程序在内核空间执行了过长时间的循环或者死锁。这种情况下，系统可能无响应或响应非常缓慢。诊断和解决这类问题需要一系列的系统监控和调试工具

首先，确认是否真的发生了软件锁定。通常情况下，在发生软件锁定时会有类似以下信息出现在 dmesg日志中：

BUG: soft lockup - CPU#X stuck for Ys!

其中X代表CPU编号，Y代表卡住的秒数。

接下来可以采取以下步骤进行诊断：

查看日志：检查 /var/log/messages、dmesg以及其他相关日志文件来获取错误信息和异常行为记录。
使用perf工具：使用Linux性能分析工具perf进行分析。例如：
```
perf record -g -- sleep 10
perf report
```
这将记录10秒钟内发生的所有事件，并生成一个报告以供分析。
SysRq键功能：如果系统仍然有反应，在某些Linux发行版中可以通过SysRq键触发一些立即执行动作如打印调用栈（t）、显示运行队列（l）等来帮助诊断问题所在。
使用SystemTap: 如果你需要更深入地监控运行时系统状态及其性能数据，则SystemTap提供了强大功能。
检查硬件状态: 使用如 sar, vmstat, iostat, mpstat, 等命令检测硬件资源利用率是否异常高。
配置NMI watchdog: NMI watchdog可以配置为当某个CPU核心被长时间占用时产生中断，并尝试打印出堆栈跟踪信息到日志文件中去。
通过 /proc/sys/kernel/softlockup_panic 设置使得当检测到soft lockup时让kernel panic, 这样便于获取完整堆栈跟踪并重启机器：
```
echo 1 > /proc/sys/kernel/softlockup_panic
```
使用trace-cmd 或 ftrace 跟踪kernel function calls 和scheduling events 来帮助确定导致 soft lock 的代码路径。