複数の仮想マシンで遅延が報告される
Article ID: 434757
Updated On:
Products
VMware vSphere ESXi
Issue/Introduction
免責事項：これは英文の記事「Slowness/latency reported on multiple VMs.」の日本語訳です。記事はベストエフォートで翻訳を進めているため、ローカライズ化コンテンツは最新情報ではない可能性があります。最新情報は英語版の記事で参照してください。
症状：
- 複数のエンドユーザーから遅延が報告されます。
- VMkernel ログでI/O レイテンシが確認できます。
YYYY-MM-DDTHH:MM.SSSZ Wa(180) vmkwarning: cpu65:2098718)WARNING: ScsiDeviceIO: 1779: Device naa.################################ performance has deteriorated. I/O latency increased from average value of 1545 microseconds to 36483 microseconds.YYYY-MM-DDTHH:MM.SSSZ Wa(180) vmkwarning: cpu1:2098717)WARNING: ScsiDeviceIO: 1779: Device naa.################################performance has deteriorated. I/O latency increased from average value of 3009 microseconds to 84897 microseconds.YYYY-MM-DDTHH:MM.SSSZ In(182) vmkernel: cpu32:2098717)ScsiDeviceIO: 1779: Device naa.################################performance has improved. I/O latency reduced from 84897 microseconds to 12077 microseconds.YYYY-MM-DDTHH:MM.SSSZ Wa(180) vmkwarning: cpu1:2098719)WARNING: ScsiDeviceIO: 1779: Device naa.################################performance has deteriorated. I/O latency increased from average value of 3009 microseconds to 65020 microseconds.
Environment
VMware vSphere ESXi 6.x
VMware vSphere ESXi 7.x
VMware vSphere ESXi 8.x
Cause
リソース不足により LUN がイニシエータからの SCSI コマンドを受け入れることができず、I/O エラーが発生します。
原因の検証:
var/run/log/vmkernel.log:
- SCSIセンスコードD:0x28でI/O障害が報告されました。これは、リソース不足、具体的にはアレイ上のキュー深度不足のため、LUNがイニシエータからのSCSIコマンドを受け入れることができないことを示しています。
YYYY-MM-DDTHH:MM.SSSZ In(182) vmkernel: cpu1:2098726)NMP: nmp_ThrottleLogForDevice:3893: Cmd 0x8a (0x45bb4b55ce00, 14988033) to dev "naa.################################" on path "vmhba4:C0:T3:L2" Failed:YYYY-MM-DDTHH:MM.SSSZ In(182) vmkernel: cpu1:2098726)ScsiDeviceIO: 4619: Cmd(0x45bb4b55ce00) 0x8a, CmdSN 0x80000076 from world 14988033 to dev "naa.################################" failed H:0x0 D:0x28 P:0x0YYYY-MM-DDTHH:MM.SSSZ In(182) vmkernel: cpu44:2098726)ScsiDeviceIO: 4619: Cmd(0x45bb5be955c0) 0xfe, CmdSN 0x1898609 from world 2097288 to dev "naa.################################" failed H:0x0 D:0x28 P:0x0 - 読み取り (0x28) および書き込み (0x8a) I/O の失敗が、SCSI コード「H:0x5 および H0x8」で検出されました。H:0x5 は、ドライバがターゲットへの送信中にコマンドを中止する必要があることを示します。これは、コマンドのタイムアウトまたはフレーム内のパリティ エラーが原因で発生する可能性があります。H:0x8 は、HBA ドライバが I/O を中止したときに報告されます。HBA がターゲットをリセットした場合にも発生する可能性があります。
YYYY-MM-DDTHH:MM.SSSZ In(182) vmkernel: cpu49:2098726)ScsiDeviceIO: 4656: Cmd(0x45bb5414bf40) 0xfe, cmdId.initiator=0x430bba9ee080 CmdSN 0x18ebfef from world 2097288 to dev "naa.################################" failed H:0x5 D:0x0 P:0x0 . Cmd count Active:19YYYY-MM-DDTHH:MM.SSSZ In(182) vmkernel: cpu89:15375775)NMP: nmp_ThrottleLogForDevice:3893: Cmd 0x28 (0x45bb327afb40, 2099647) to dev "naa.################################" on path "vmhba4:C0:T3:L2" Failed:YYYY-MM-DDTHH:MM.SSSZ Wa(180) vmkwarning: cpu89:15375775)WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:235: NMP device "naa.################################" state in doubt; requested fast path state update...YYYY-MM-DDTHH:MM.SSSZ In(182) vmkernel: cpu89:15375775)ScsiDeviceIO: 4591: Cmd(0x45bb327afb40) 0x28, cmdId.initiator=0x430bba9ee080 CmdSN 0x18ec002 from world 2099647 to dev "naa.################################" failed H:0x8 D:0x0 P:0x0 Cancelled from path layerYYYY-MM-DDTHH:MM.SSSZ In(182) vmkernel: cpu89:15375775)ScsiDeviceIO: 4591: Cmd(0x45bb37a67400) 0x8a, cmdId.initiator=0x43108b9a2ac0 CmdSN 0x80000068 from world 14988033 to dev "naa.################################" failed H:0x8 D:0x0 P:0x0 Cancelled from path layerYYYY-MM-DDTHH:MM.SSSZ In(182) vmkernel: cpu89:15375775)ScsiDeviceIO: 4591: Cmd(0x45bb53531c00) 0x8a, cmdId.initiator=0x43108b9a2ac0 CmdSN 0x80000025 from world 14988033 to dev "naa.################################" failed H:0x8 D:0x0 P:0x0 Cancelled from path layerYYYY-MM-DDTHH:MM.SSSZ In(182) vmkernel: cpu89:15375775)ScsiDeviceIO: 4591: Cmd(0x45bb37a3c200) 0x8a, cmdId.initiator=0x43108b9a2ac0 CmdSN 0x8000007c from world 14988033 to dev "naa.################################" failed H:0x8 D:0x0 P:0x0 Cancelled from path layerYYYY-MM-DDTHH:MM.SSSZ In(182) vmkernel: cpu89:15375775)ScsiDeviceIO: 4591: Cmd(0x45bb54192740) 0x8a, cmdId.initiator=0x43108b9a2ac0 CmdSN 0x80000075 from world 14988033 to dev "naa.################################" failed H:0x8 D:0x0 P:0x0 Cancelled from path layerYYYY-MM-DDTHH:MM.SSSZ In(182) vmkernel: cpu89:15375775)ScsiDeviceIO: 4591: Cmd(0x45bb32739f40) 0x8a, cmdId.initiator=0x43108b9a2ac0 CmdSN 0x80000044 from world 14988033 to dev "naa.################################" failed H:0x8 D:0x0 P:0x0 Cancelled from path layerYYYY-MM-DDTHH:MM.SSSZ In(182) vmkernel: cpu18:2098724)ScsiDeviceIO: 4591: Cmd(0x45bb4b58fe00) 0x8a, cmdId.initiator=0x430bba9ee080 CmdSN 0x18ebff7 from world 15508927 to dev "naa.################################" failed H:0x8 D:0x0 P:0x0 Cancelled from driverYYYY-MM-DDTHH:MM.SSSZ In(182) vmkernel: cpu18:2098724)ScsiDeviceIO: 4591: Cmd(0x45bb32731540) 0x8a, cmdId.initiator=0x430bba9ee080 CmdSN 0x18ebffb from world 15508928 to dev "naa.################################" failed H:0x8 D:0x0 P:0x0 Cancelled from driver - 以下のコマンドを実行してFC統計を確認します。
# esxcli storage san fc stats getFcStat:Adapter: vmhba#Tx Frames: 19687Rx Frames: 693458Lip Count: 0Error Frames: 0Dumped Frames: 0Link Failure Count: 793Loss of Signal Count: 0PrimSeq Protocol Err Count: 0Invalid Tx Word Count: 186Invalid CRC Count: 0Input Requests: 0Output Requests: 0Control Requests: 0
Invalid CRC Countの数値も多くなっている場合があります。
Resolution
ストレージベンダーに問い合わせ、詳細な調査を実施する必要があります。
Additional Information
Broadcom互換性ガイドを使用して、ドライバ/ファームウェアの互換性を確認する必要があります。
Feedback
Yes
No
Powered by
