SAN存储光纤不稳定导致系统服务缓慢
症状
某系统突然出现提供服务缓慢的症状,通过查看日志发现系统在读写message queue时耗时 似乎 非常严重。
原因分析
最开始真的以为是进程间读写message queue的速度变慢了,但是一直找不到变慢的原因。系统资源监控也没有任何问题。
直到随手敲了一个 errpt
命令才发现系统报了许多硬件临时故障。SAN存储光纤一直不稳定导致 写日志这个动作本身耗时特别严重 ,而我们在读写message queue前恰恰需要先记录日志。
这就导致从日志记录的读写时间来看似乎是读写message queue耗时严重。