単一のホストおよび HBA において、すべてのストレージアレイターゲットに対し、vCenter でデッドパスのアラームが定期的に報告される

Products

• VMware vSphere ESXi
• VMware vSphere ESX 8.x
• VMware vSphere ESXi 8.0

Issue/Introduction

免責事項： これは英文の記事 Dead paths alarms in vCenter reported periodically for a single host and HBA to all storage array targets の日本語訳です。記事はベストエフォートで翻訳を進めているため、ローカライズ化コンテンツは最新情報ではない可能性があります。最新情報は英語版の記事で参照してください。

VCF 管理者が、単一のホストおよび HBA において、ゾーニングされているすべてのストレージアレイターゲットに対してストレージパスの冗長性アラームが発生していることを観測 :

YYYY-MM-DDThh:mm:ss.nnnZ In(14) vobd[2097956]:  [scsiCorrelator] 2499017659783us: [vob.scsi.scsipath.pathstate.deadver2] scsiPath vmhba64:C0:T1:L0 changed state from on (device ID: naa.60002ac0000000000000############)
YYYY-MM-DDThh:mm:ss.nnnZ In(14) vobd[2097956]:  [scsiCorrelator] 2499039020075us: [esx.problem.storage.redundancy.degraded] Path redundancy to storage device naa.60002ac0000000000000############ degraded. Path vmhba64:C0:T1:L0 is down. Affected datastores: "<Datastore1>".
YYYY-MM-DDThh:mm:ss.nnnZ In(14) vobd[2097956]:  [scsiCorrelator] 2499017660215us: [vob.scsi.scsipath.pathstate.deadver2] scsiPath vmhba64:C0:T1:L1 changed state from on (device ID: naa.60002ac0000000000000############)
YYYY-MM-DDThh:mm:ss.nnnZ In(14) vobd[2097956]:  [scsiCorrelator] 2499039020788us: [esx.problem.storage.redundancy.degraded] Path redundancy to storage device naa.60002ac0000000000000############ degraded. Path vmhba64:C0:T1:L1 is down. Affected datastores: "<Datastore2>".

Environment

ESXi (すべてのバージョン)
Qlogic QEDF ドライバ (例として)

Cause

/var/log/vmkernel.log を確認すると、ポート ID が無効化（DISABLED）され、その直後に再びアクティブ（ACTIVE）になる事象が繰り返し報告されています :

YYYY-MM-DDThh:mm:ss.nnnZ In(182) vmkernel: cpu76:2098400)qedf:vmhba64:qedfc_cleanup_rport:1110:Info: ST(RPORT): DISABLED C_ID[0x1]:P_ID[0x3cd40]:T_ID[1]
YYYY-MM-DDThh:mm:ss.nnnZ In(182) vmkernel: cpu76:2098400)qedf:vmhba64:qedfc_cleanup_rport:1110:Info: ST(RPORT): DISABLED C_ID[0x0]:P_ID[0x3cd80]:T_ID[0]
YYYY-MM-DDThh:mm:ss.nnnZ In(182) vmkernel: cpu76:2098400)qedf:vmhba64:qedfc_alloc_conn_id:803:Info: ACTIVE, C_ID[0x1]:P_ID[0x3cd40]:T_ID[1]
YYYY-MM-DDThh:mm:ss.nnnZ In(182) vmkernel: cpu76:2098400)qedf:vmhba64:qedfc_rport_event_handler:1228:Info: ST(RPORT): OFFLOADED C_ID[0x1]:P_ID[0x3cd40]:T_ID[1]
YYYY-MM-DDThh:mm:ss.nnnZ In(182) vmkernel: cpu76:2098400)qedf:vmhba64:qedfc_queue_scsi_scan:4083:Info: C_ID[0x1]:P_ID[0x3cd40]:T_ID[1]
YYYY-MM-DDThh:mm:ss.nnnZ In(182) vmkernel: cpu76:2098400)qedf:vmhba64:qedfc_alloc_conn_id:803:Info: ACTIVE, C_ID[0x0]:P_ID[0x3cd80]:T_ID[0]
YYYY-MM-DDThh:mm:ss.nnnZ In(182) vmkernel: cpu76:2098400)qedf:vmhba64:qedfc_rport_event_handler:1228:Info: ST(RPORT): OFFLOADED C_ID[0x0]:P_ID[0x3cd80]:T_ID[0]
YYYY-MM-DDThh:mm:ss.nnnZ In(182) vmkernel: cpu76:2098400)qedf:vmhba64:qedfc_queue_scsi_scan:4083:Info: C_ID[0x0]:P_ID[0x3cd80]:T_ID[0]
YYYY-MM-DDThh:mm:ss.nnnZ In(182) vmkernel: cpu76:2098400)qedf:vmhba64:qedfc_cleanup_rport:1110:Info: ST(RPORT): DISABLED C_ID[0x1]:P_ID[0x3cd40]:T_ID[1]
YYYY-MM-DDThh:mm:ss.nnnZ In(182) vmkernel: cpu76:2098400)qedf:vmhba64:qedfc_cleanup_rport:1110:Info: ST(RPORT): DISABLED C_ID[0x0]:P_ID[0x3cd80]:T_ID[0]
YYYY-MM-DDThh:mm:ss.nnnZ In(182) vmkernel: cpu76:2098400)qedf:vmhba64:qedfc_alloc_conn_id:803:Info: ACTIVE, C_ID[0x0]:P_ID[0x3cd80]:T_ID[0]
YYYY-MM-DDThh:mm:ss.nnnZ In(182) vmkernel: cpu76:2098400)qedf:vmhba64:qedfc_rport_event_handler:1228:Info: ST(RPORT): OFFLOADED C_ID[0x0]:P_ID[0x3cd80]:T_ID[0]
YYYY-MM-DDThh:mm:ss.nnnZ In(182) vmkernel: cpu76:2098400)qedf:vmhba64:qedfc_queue_scsi_scan:4083:Info: C_ID[0x0]:P_ID[0x3cd80]:T_ID[0]
YYYY-MM-DDThh:mm:ss.nnnZ In(182) vmkernel: cpu76:2098400)qedf:vmhba64:qedfc_alloc_conn_id:803:Info: ACTIVE, C_ID[0x1]:P_ID[0x3cd40]:T_ID[1]
YYYY-MM-DDThh:mm:ss.nnnZ In(182) vmkernel: cpu76:2098400)qedf:vmhba64:qedfc_rport_event_handler:1228:Info: ST(RPORT): OFFLOADED C_ID[0x1]:P_ID[0x3cd40]:T_ID[1]
YYYY-MM-DDThh:mm:ss.nnnZ In(182) vmkernel: cpu76:2098400)qedf:vmhba64:qedfc_queue_scsi_scan:4083:Info: C_ID[0x1]:P_ID[0x3cd40]:T_ID[1]
YYYY-MM-DDThh:mm:ss.nnnZ In(182) vmkernel: cpu76:2098400)qedf:vmhba64:qedfc_cleanup_rport:1110:Info: ST(RPORT): DISABLED C_ID[0x1]:P_ID[0x3cd40]:T_ID[1]
YYYY-MM-DDThh:mm:ss.nnnZ In(182) vmkernel: cpu76:2098400)qedf:vmhba64:qedfc_cleanup_rport:1110:Info: ST(RPORT): DISABLED C_ID[0x0]:P_ID[0x3cd80]:T_ID[0]
YYYY-MM-DDThh:mm:ss.nnnZ In(182) vmkernel: cpu76:2098400)qedf:vmhba64:qedfc_alloc_conn_id:803:Info: ACTIVE, C_ID[0x1]:P_ID[0x3cd40]:T_ID[1]
YYYY-MM-DDThh:mm:ss.nnnZ In(182) vmkernel: cpu76:2098400)qedf:vmhba64:qedfc_rport_event_handler:1228:Info: ST(RPORT): OFFLOADED C_ID[0x1]:P_ID[0x3cd40]:T_ID[1]
YYYY-MM-DDThh:mm:ss.nnnZ In(182) vmkernel: cpu76:2098400)qedf:vmhba64:qedfc_queue_scsi_scan:4083:Info: C_ID[0x1]:P_ID[0x3cd40]:T_ID[1]
YYYY-MM-DDThh:mm:ss.nnnZ In(182) vmkernel: cpu76:2098400)qedf:vmhba64:qedfc_alloc_conn_id:803:Info: ACTIVE, C_ID[0x0]:P_ID[0x3cd80]:T_ID[0]
YYYY-MM-DDThh:mm:ss.nnnZ In(182) vmkernel: cpu76:2098400)qedf:vmhba64:qedfc_rport_event_handler:1228:Info: ST(RPORT): OFFLOADED C_ID[0x0]:P_ID[0x3cd80]:T_ID[0]
YYYY-MM-DDThh:mm:ss.nnnZ In(182) vmkernel: cpu76:2098400)qedf:vmhba64:qedfc_queue_scsi_scan:4083:Info: C_ID[0x0]:P_ID[0x3cd80]:T_ID[0]
YYYY-MM-DDThh:mm:ss.nnnZ In(182) vmkernel: cpu76:2098400)qedf:vmhba64:qedfc_cleanup_rport:1110:Info: ST(RPORT): DISABLED C_ID[0x1]:P_ID[0x3cd40]:T_ID[1]
YYYY-MM-DDThh:mm:ss.nnnZ In(182) vmkernel: cpu76:2098400)qedf:vmhba64:qedfc_cleanup_rport:1110:Info: ST(RPORT): DISABLED C_ID[0x0]:P_ID[0x3cd80]:T_ID[0]
YYYY-MM-DDThh:mm:ss.nnnZ In(182) vmkernel: cpu76:2098400)qedf:vmhba64:qedfc_alloc_conn_id:803:Info: ACTIVE, C_ID[0x1]:P_ID[0x3cd40]:T_ID[1]
YYYY-MM-DDThh:mm:ss.nnnZ In(182) vmkernel: cpu76:2098400)qedf:vmhba64:qedfc_rport_event_handler:1228:Info: ST(RPORT): OFFLOADED C_ID[0x1]:P_ID[0x3cd40]:T_ID[1]
YYYY-MM-DDThh:mm:ss.nnnZ In(182) vmkernel: cpu76:2098400)qedf:vmhba64:qedfc_queue_scsi_scan:4083:Info: C_ID[0x1]:P_ID[0x3cd40]:T_ID[1]
YYYY-MM-DDThh:mm:ss.nnnZ In(182) vmkernel: cpu76:2098400)qedf:vmhba64:qedfc_alloc_conn_id:803:Info: ACTIVE, C_ID[0x0]:P_ID[0x3cd80]:T_ID[0]
YYYY-MM-DDThh:mm:ss.nnnZ In(182) vmkernel: cpu76:2098400)qedf:vmhba64:qedfc_rport_event_handler:1228:Info: ST(RPORT): OFFLOADED C_ID[0x0]:P_ID[0x3cd80]:T_ID[0]
YYYY-MM-DDThh:mm:ss.nnnZ In(182) vmkernel: cpu76:2098400)qedf:vmhba64:qedfc_queue_scsi_scan:4083:Info: C_ID[0x0]:P_ID[0x3cd80]:T_ID[0]

最終的に、Qlogic QEDF ドライバで 10 秒に設定されているデバイス損失 (DEV_LOSS) タイマーが作動し、再び ACTIVE になる前にパスがデッド (dead) と宣言される様子が観察されます :

YYYY-MM-DDThh:mm:ss.nnnZ In(182) vmkernel: cpu72:2098400)qedf:vmhba64:qedfc_cleanup_rport:1110:Info: ST(RPORT): DISABLED C_ID[0x1]:P_ID[0x3cd40]:T_ID[1]
YYYY-MM-DDThh:mm:ss.nnnZ In(182) vmkernel: cpu72:2098400)qedf:vmhba64:qedfc_cleanup_rport:1110:Info: ST(RPORT): DISABLED C_ID[0x0]:P_ID[0x3cd80]:T_ID[0]

YYYY-MM-DDThh:mm:ss.nnnZ In(182) vmkernel: cpu28:2098097)qedf:vmhba64:qedfc_device_down:318:Info: ST(RPORT): DEV_LOSS C_ID[0x1]:P_ID[0x3cd40]:T_ID[1], Status = Success
YYYY-MM-DDThh:mm:ss.nnnZ In(182) vmkernel: cpu28:2098097)qedf:vmhba64:qedfc_device_down:318:Info: ST(RPORT): DEV_LOSS C_ID[0x0]:P_ID[0x3cd80]:T_ID[0], Status = Success

YYYY-MM-DDThh:mm:ss.nnnZ In(182) vmkernel: cpu72:2098400)qedf:vmhba64:qedfc_alloc_conn_id:803:Info: ACTIVE, C_ID[0x0]:P_ID[0x3cd80]:T_ID[0]
YYYY-MM-DDThh:mm:ss.nnnZ In(182) vmkernel: cpu72:2098400)qedf:vmhba64:qedfc_alloc_conn_id:803:Info: ACTIVE, C_ID[0x1]:P_ID[0x3cd40]:T_ID[1]

Resolution

Qlogic QEDF HBA ドライバでは、DEV_LOSS タイマーが 10 秒のしきい値を超えた場合に、プロアクティブにパスを Down/Dead としてマークするキープアライブ機能が利用されています。
この症状が単一の HBA で繰り返し発生している場合は、一般的にケーブルや SFP の不良、HBA とスイッチポート間の問題、またはストレージアレイポートとスイッチポート間の物理接続における光レベルの低下が原因です。
物理レイヤの観点から具体的な被疑箇所の特定を行うため、ハードウェアベンダによる詳細調査が必要です。