ストレージデバイスのすべてのパスがダウン

Products

VMware vSphere ESXi

Issue/Introduction

免責事項：これは英文の記事「All Paths Down for a storage device」の日本語訳です。記事はベストエフォートで翻訳を進めているため、ローカライズ化コンテンツは最新情報ではない可能性があります。最新情報は英語版の記事で参照してください。

ESXiホストに接続されているストレージデバイスのAPD（All Paths Down）タイムアウトが、デバイスがAPD状態から復旧することなく経過した場合。
vCenter Server で ESXi ホストが「切断/応答なし」と表示される。
vSphere Client を使用して ESXi ホストに接続できない。
アダプタパスがデッド/エラー状態になっているように見える。
デバイス上のデータストアは使用不可になる。仮想マシンの I/O は引き続き再試行される。
デバイスが再びアクセス可能になるまで、管理エージェントからのコマンドは応答しないため、管理エージェントに影響が出る。その結果、vCenter Server で ESXi ホストがアクセス不能/応答なしになる。
/var/log/vmkernel.log ファイルに、次のようなエントリが記録される場合がある。

cpu1:2049)WARNING: NMP: nmp_IssueCommandToDevice:2954:I/O could not be issued to device "naa.60##############3" due to Not found
cpu1:2049)WARNING: NMP: nmp_DeviceRetryCommand:133:Device "naa.60##############3": awaiting fast path state update for failover with I/O blocked. No prior reservation exists on the device.cpu1:2049)WARNING: NMP: nmp_DeviceStartLoop:721:NMP Device "naa.60##############3" is blocked. Not starting I/O from device.cpu1:2642)WARNING: NMP: nmpDeviceAttemptFailover:599:Retry world failover device "naa.60##############3" - issuing command 0x4124007ba7c0cpu1:2642)WARNING: NMP: nmpDeviceAttemptFailover:658:Retry world failover device "naa.60##############3" - failed to issue command due to Not found (APD), try again...cpu1:2642)WARNING: NMP: nmpDeviceAttemptFailover:708:Logical device "naa.60##############3": awaiting fast path state update...YYYY-MM-DDThh:mm:ss fdm Db(###) Fdm[########]: [Originator@#### sub=Invt opID=placementService.cpp:###-########] Host host-####### cannot access VM's home datastore: /vmfs/volumes/########-########

APDは /var/log/vobd.log に出力されます:
YYYY-MM-DD T00:26:51.504Z: [APDCorrelator] 2682686563317us: [esx.problem.storage.apd.timeout] Device or filesystem with identifier [########-########] has entered the All Paths Down Timeout state after being in the All Paths Down state for 140 seconds. I/Os will now be fast failed.
ESXi ホストに接続されたストレージデバイスが全パスダウン (APD) 状態になると、次のイベントメッセージを受信します。
cpu4:8598)StorageApdHandler: 692: APD Handle Created with lock.

注:

このログメッセージは、システムでAPDイベントが発生したことを示していますが、現在APD状態にあることを意味するものではありません。このメッセージはホストの起動時に表示されます。
このメッセージは、システムがタイマーをオンにしたことを示しています。このタイマーにより、ESXiホストはデバイスとの接続の再確立を一定時間再試行し続けることができます。
デフォルトでは、APDタイムアウトは140秒に設定されています。
上記のログの抜粋は例です。日付、時刻、および環境変数は環境によって異なる場合があります。

Environment

VMware vSphere ESXi 7.x
VMware vSphere ESXi 8.x
VMware vSphere ESX 9.x

Cause

全パスダウン (APD) 状態は、デバイスへのすべてのパスがダウンしたときに発生します。これが永続的なデバイス損失なのか一時的なデバイス損失なのかが不明なため、ESXi ホストは接続の確立を再試行し続けます。APD のような状態は、LUN が ESXi ホストから誤って提供解除された場合によく発生します。

タイムアウト期間は、ストレージデバイスが ESXi ホストで使用できなくなり APD 状態になったときに開始されます。デフォルトでは、APD タイムアウトは 140 秒に設定されています。タイムアウトが続く間、ホストはデバイスとの接続の再確立を試行し続けます。タイムアウトが終了してもデバイスが回復しない場合、ホストは仮想マシン以外からの I/O の再試行を停止します。
APD 状態の原因としては、スイッチの故障やストレージケーブルの切断などが挙げられます。

Resolution

APD 状態の性質上、確実な復旧方法はありません。

ホストへの接続を回復するには、ストレージアレイ/ファブリック層で APD 状態を解決する必要があります。
影響を受けるすべての ESXi ホストは、APD 状態にあるデバイスへの参照をすべて削除するために再起動が必要になる場合があります。
この問題を解決するには、ストレージアレイ、SAN スイッチ、デバイス障害などの環境を確認して、切断された LUN の原因を特定します。

データストア上の仮想マシンが応答可能な場合は、仮想マシンをパワーオフするか、別のデータストアまたはホストに移行してください。

Additional Information

ブロックストレージデバイスの詳細については、「Path Redundancy to Storage Device Degraded message on the ESXi host」を参照してください。
NFSストレージデバイスの詳細については、「Troubleshooting NFS datastore connectivity issues」を参照してください。

ストレージデバイスは、ESXiホストから一定期間使用できなくなった場合、APD状態にあるとみなされます。永続的なデバイス損失（PDL）状態とは異なり、ホストはAPD状態を一時的なものと見なし、デバイスが再び使用可能になると想定します。詳細については、「一時的な APD 状態の処理」を参照してください。