ストレージのメンテナンスまたは障害発生後に ESXi 8.X のストレージパスが回復しない
Article ID: 436288
Updated On:
Products
Issue/Introduction
免責事項： これは英文の記事「ESXi 8.X storage paths fail to recover after maintenance or outage」の日本語訳です。記事はベストエフォートで翻訳を進めているため、ローカライズ化コンテンツは最新情報ではない可能性があります。最新情報は英語版の記事で参照してください。
FC のメンテナンス (FC のアップグレードやフェイルオーバー) 中、または予期せぬストレージパス障害の後、ストレージパスが復旧するはずの状況でも、ホスト上のパスが復旧しません。
新しく提示された FC LUN が表示されません。
FC LUN でバッキングされている VMFS データストアをアンマウントまたは削除できません。
- ホストにおけるストレージ再スキャンがハングするか、「An error occurred while communicating with the remote host.」というエラーで失敗する場合があります。
/var/log/vmkernel.log
####-##-##T##:##:##.###Z Wa(180) vmkwarning: cpu50:22155124) WARNING: VMW_SATP_ALUA: satp_alua_getTargetPortInfo:190: Could not get page 83 INQUIRY data for path "vmhba0:C0:T##:L##" - Transient storage condition, suggest retry (195887294)
####-##-##T##:##:##.###Z Wa(180) vmkwarning: cpu7:22155124) WARNING: VMW_SATP_ALUA: satp_alua_getTargetPortInfo:190: Could not get page 83 INQUIRY data for path "vmhba0:C0:T##:L##" - Transient storage condition, suggest retry (195887294)
- FC スイッチの起動後、対応する vmhba パスはオンラインになることが報告されるはずですが、パスは停止した状態が継続します。
/var/log/vmkernel.log に、以下のようなログが記録されます。
####-##-##T##:##:##.###Z Wa(180) vmkwarning: cpu59:2098620)WARNING: lpfc: lpfc_do_scr_ns_plogi:10301: vmhba# 3334 Delay fc port discovery for 10 seconds
####-##-##T##:##:##.###Z In(182) vmkernel: cpu59:2098620)lpfc: lpfc_cmpl_ct_cmd_fdmi:1830: vmhba# 0229 FDMI cmd 0211 failed, latt = 0 ulpStatus: x3, rid x20000004
####-##-##T##:##:##.###Z In(182) vmkernel: cpu44:2098620)lpfc: lpfc_issue_gidft:4096: vmhba# fc4 type 3
####-##-##T##:##:##.###Z In(182) vmkernel: cpu44:2098620)lpfc: lpfc_cmpl_els_prli:2425: vmhba# 0103 PRLI completes to NPort x81efc0 Data: x0 x81c800 x14 x0
####-##-##T##:##:##.###Z In(182) vmkernel: cpu44:2098620)lpfc: lpfc_cmpl_prli_prli_issue:1965: vmhba# 6082 FCP DID 81efc0 initiator 0 target 1
####-##-##T##:##:##.###Z Wa(180) vmkwarning: cpu44:2098620)WARNING: lpfc: lpfc_notify_paths_available:4531: vmhba# 3274 ScsiNotifyPathStateChangeAsyncSAdapter Num x0 TID x12, DID x81efc0.
####-##-##T##:##:##.###Z In(182) vmkernel: cpu44:2098620)lpfc: lpfc_cmpl_els_prli:2425: vmhba# 0103 PRLI completes to NPort x81ef80 Data: x0 x81c800 x14 x0
- /var/log/vmkernel.log に、FPIN (Fabric performance Impact Notifications) メモリ割り当てエラーも記録されます。
####-##-##T##:##:##.###Z Wa(180) vmkwarning: cpu43:2097930)WARNING: StorageFPIN: 521: Failed to allocate memory.
####-##-##T##:##:##.###Z Wa(180) vmkwarning: cpu51:2097930)WARNING: StorageFPIN: 521: Failed to allocate memory.
####-##-##T##:##:##.###Z Wa(180) vmkwarning: cpu51:2097930)WARNING: StorageFPIN: 521: Failed to allocate memory.
####-##-##T##:##:##.###Z Wa(180) vmkwarning: cpu111:234559778)WARNING: StorageFPIN: 521: Failed to allocate memory.
####-##-##T##:##:##.##Z Wa(180) vmkwarning: cpu111:234559778)WARNING: StorageFPIN: 286: Failed to allocate memory.
####-##-##T##:##:##.###Z Wa(180) vmkwarning: cpu83:234559864)WARNING: StorageFPIN: 521: Failed to allocate memory.
Environment
VMware vSphere ESXi 8.0U2
VMware vSphere ESXi 8.0U3
Cause
ファブリック関連の問題をより詳細に把握するため、ESXi 8.0 U2 から FPIN (Fabric Performance Impact Notifications) 機能が追加されました。StorageFPIN コードにおける不具合が原因で、FPIN がメモリを割り当てようとして失敗した際、パスに関する参照カウントを保持したままになる可能性があり、これにより FC HBA ドライバが新しいパスを割り当てたり、既存のパスを再確立したりできなくなります。
ホスト上で利用可能な FPINHeap は、以下のコマンドで確認できます。
esxcfg-info -a |grep -A3 storageFPINHeap | grep -i Max
|----Max Size........................................5247400 bytes
|----Max Available...................................1120 bytes
たとえば、以下の例では問題が発生し、FPINHeap が枯渇しています。|----Max Available...................................1120 bytes
下記の例では、Heap はまだ枯渇していません。|----Max Available...................................3219872 bytes
Resolution
これは、FPIN と、パス損失時に FC HBA ドライバが示す挙動の双方に関する既知の問題です。
FC HBA ドライバはストレージポートバインディングを保存しないため、停止やパス損失の後にストレージパスが再確立されると、単に新しいパスを作成してターゲット番号をインクリメントします。
FPIN が該当パスの参照カウントを解放しないため、FC HBA ドライバは新しいパスを確立できません。
現在、この問題の回避方法は下記の 1 つだけです。
- ESXi 8.0 Update 3e (build 24674464) にはオープン参照カウントに関する FPIN の挙動を変更する修正が適用されています。
Additional Information
FNIC を使用する Cisco サーバについては、以下の KB を参照してください。
Feedback
