IO延迟引起的虚拟机故障排查

vmware 虚拟机连上之后总感觉非常卡，查看CPU 内存资源使用率是正常的。
message 日志有cpu卡住的报错
NMI watchdog: BUG: soft lockup - CPU#8 stuck for 23s! [container-31451:45878]

在这里插入图片描述下面分析是什么导致的服务器cpu卡住。

1、打开prometheus，观察服务器IO 
	IO操作每秒占比（左下角的图）
	     node_disk_io_time_seconds_total：发现这个指标计算出的每秒IO占用时间，在服务器卡顿的时候，是100%，也就是IO存在高使用率的问题。这其实说明不了问题。但是这个服务器并不是IO密集型作业，服务器IO主要是业务系统日志，正常没有多大日志。
	每次读写IO耗时，下图右下角的图
	读和写都比较耗时。

在这里插入图片描述

2、观察uptime 的load
uptime
load average: 12.35,10.20,8.83
卡顿时load比较高，我的CPU是16个processor,（参考值16*0.7），结合cpu占用发现CPU并不忙，上下文切换也不多。问题可能出在IO上。
3、观察iostat -xm 2
发现svctm 比较高。
反馈虚拟机平台人员，查看存储IO果然延迟高。平台反馈需要换新存储lan，问题解决

在这里插入图片描述