ESXi ホストがストレージの問題により低速化または応答不能になり、仮想マシンが応答しなくなる
search cancel

ESXi ホストがストレージの問題により低速化または応答不能になり、仮想マシンが応答しなくなる

book

Article ID: 434184

calendar_today

Updated On:

Products

VMware vSphere ESXi

Issue/Introduction

免責事項:これは英文の記事「ESXi Host slow/unresponsive due to storage issues resulting in VMs going unresponsive.」の日本語訳です。記事はベストエフォートで翻訳を進めているため、ローカライズ化コンテンツは最新情報ではない可能性があります。最新情報は英語版の記事で参照してください。

  • vCenter を使用したホストへの操作が遅い。
  • データストア内のデータ参照に時間がかかりすぎる。
  • 一部の VM にアクセスできない。VM の電源はオンになっているが、リモートコンソールを開くことができない。
  • 最終的にホストが応答不能になる。

Environment

VMware vSphere ESXi (All Versions)

Cause

この問題は、1つ以上のデータストアのパフォーマンスが低下し、ハートビート(Heartbeat)の失敗を招き、最終的に hostd プロセスがクラッシュしてホストが完全に無反応になることによって発生します。
/var/run/log/vmkernel.log に以下のようなメッセージが大量に記録されます。

YYYY-MM-DDTHH:MM:SS.567Z cpu16:2097877)WARNING: ScsiDeviceIO: 1513: Device naa.6000d31######################03 performance has deteriorated. I/O latency increased from average value of 8645 microseconds to 195723 microseconds.
YYYY-MM-DDTHH:MM:SS.766Z cpu16:2097877)WARNING: ScsiDeviceIO: 1513: Device naa.6000d31######################03 performance has deteriorated. I/O latency increased from average value of 8645 microseconds to 392920 microseconds.
YYYY-MM-DDTHH:MM:SS.195Z cpu11:2097872)WARNING: ScsiDeviceIO: 1513: Device naa.6000d31######################03 performance has deteriorated. I/O latency increased from average value of 8645 microseconds to 192213 microseconds.
.

YYYY-MM-DDTHH:MM:SS.966Z cpu0:2097227)ScsiDeviceIO: 4087: Cmd(0x45b8e4830848) 0x2a, cmdId.initiator=0x430a81c45900 CmdSN 0x8000007f from world 2105834 to dev "naa.6000d31######################03" failed H:0x8 D:0x0 P:0x0 Cancelled from device
YYYY-MM-DDTHH:MM:SS.869Z cpu31:2097483)ScsiDeviceIO: 4154: Cmd(0x45d8d6009d08) 0x28, cmdId.initiator=0x43062f340c80 CmdSN 0x80aec4f from world 2613488 to dev "naa.6000d31######################03" failed H:0x5 D:0x0 P:0x0 Cancelled from driver layer

YYYY-MM-DDTHH:MM:SS.843Z cpu17:2098132)HBX: 294: 'SAS Datastore': HB at offset 3899392 - Reclaimed heartbeat [Timeout]:
YYYY-MM-DDTHH:MM:SS.843Z cpu17:2098132)  [HB state abcdef02 offset 3899392 gen 863 stampUS 831516988653 uuid 67bf65e0-########-326a-############ jrnl <FB 12> drv 24.82 lockImpl 4 ip 10.#.##.##]

YYYY-MM-DDTHH:MM:SS.707Z cpu36:2097483)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.6000d31######################03" state in doubt; requested fast path state update...

Resolution

ホストを再起動して機能を回復させます。その後、パフォーマンスが低下しているデータストアについて、ストレージ ベンダーまたはストレージ担当チームによる調査を行ってください。

Additional Information

Interpreting SCSI sense codes in VMware ESXi
"performance has deteriorated" messages in ESXi host logs
"state in doubt; requested fast path state update" error in ESXi
ESXi Host slow/unresponsive due to storage issues resulting in VMs going unresponsive.