FC コマンドのタイムアウトとリンク障害による仮想マシンのパフォーマンス問題

Products

• VMware vSphere ESX 6.x
• VMware vSphere ESX 7.x
• VMware vSphere ESX 8.x
• VMware vSphere ESXi

Issue/Introduction

免責事項：これは英文の記事「VM performance issues due to FC command timeouts and link failures」の日本語訳です。記事はベストエフォートで翻訳を進めているため、ローカライズ化コンテンツは最新情報ではない可能性があります。最新情報は英語版の記事で参照してください。

---

仮想マシンのパフォーマンスへ影響があり、ESXi のログでは FC コマンドのタイムアウトが記録されます。ひとつの vmhba を経由したパスが対象となる場合があります。

vmkernel.log には下記に類似した出力が見られます:

cpu6:2097158)lpfc: lpfc_handle_status:5637: 1:(0):3271: FCP cmd x28 failed <1/1> sid x010700, did x010b01, oxid x25e iotag x584 Time Out Returning Host Busy
cpu14:2098209)NMP: nmp_ThrottleLogForDevice:3867: Cmd 0x89 (0x45b9432645c8, 2097209) to dev "naa.################################" on path "vmhba#:C0:T1:L#" Failed:
cpu14:2098209)NMP: nmp_ThrottleLogForDevice:3875: H:0x5 D:0x0 P:0x0 . Act:EVAL. cmdId.initiator=0x43084904ba00 CmdSN 0x14e
cpu14:2098209)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.################################" state in doubt; requested fast path state update...
cpu14:2098209)ScsiDeviceIO: 4154: Cmd(0x45b9432645c8) 0x89, cmdId.initiator=0x43084904ba00 CmdSN 0x14e from world 2097209 to dev "naa################################" failed H:0x5 D:0x0 P:0x0 Cancelled from driver layer.

FC 統計情報では Link Failure Count が 1個または複数個の HBA で高騰しています。

# esxcli storage san fc stats get 

FcStat:
   Adapter: vmhba#
   Tx Frames: 19687
   Rx Frames: 693458
   Lip Count: 0
   Error Frames: 0
   Dumped Frames: 0
   Link Failure Count: 793
   Loss of Signal Count: 0
   PrimSeq Protocol Err Count: 0
   Invalid Tx Word Count: 186
   Invalid CRC Count: 0
   Input Requests: 0
   Output Requests: 0
   Control Requests: 0

Invalid CRC Count が併せて上昇している場合もあります。

Environment

VMware vSphere ESXi 6.x
VMware vSphere ESXi 7.x
VMware vSphere ESXi 8.x

Cause

これらのエラーは FC ケーブル、 SFP または interconnect の問題である可能性を示しています。

Resolution

Fibre Channel fabric の観点で調査を実施してください。