警告：Firmware がクラッシュしたか応答しない

Products

VMware vSphere ESXi

Issue/Introduction

免責事項：これは英文の記事「Warning: Looks like Firmware is crashed/non-responsive」の日本語訳です。記事はベストエフォートで翻訳を進めているため、ローカライズ化コンテンツは最新情報ではない可能性があります。最新情報は英語版の記事で参照してください。

NIC の Firmware のクラッシュによりランダムなサーバの NIC が応答しなくなります。
ESXi が vCenter Server のインベントリで「応答なし」として表示されます。
ネットワーク経由で ESXi にアクセスできません。
NIC は bnxtnet ドライバ / Firmware を使用しています。
LRO rx aborts が vmnic に記録されています。
アップグレードやパッチ適用後に ESXi の設定から 1 つ以上の物理ネットワークアダプタ (vmnics) が欠落したり、表示されなくなったりする場合があります。

/var/run/log/vobd.log の VOBD メッセージにて動作中のアップリンクが利用できないことを確認できます。

[esx.problem.net.dvport.redundancy.lost] Lost uplink redundancy on DVPorts ### Physical NIC vmnic0 is down.
[esx.problem.net.dvport.connectivity.lost] Lost network connectivity on DVPorts ### Physical NIC vmnic1 is down.

VMkernel ログ (/var/run/log/vmkernel.log) にて次のようなログが表示されます。

注：これらは、使用するネットワークインターフェースカードのモデルやドライバによって異なる場合があります。

WARNING: bnxtnet: hwrm_send_msg:389: [vmnic0 : 0x452106aee000] HWRM cmd resp_len timeout, cmd_type 0x106(HWRM_CFA_FLOW_STATS) seq 63810
WARNING: bnxtnet: hwrm_send_msg:389: [vmnic1 : 0x45210a38a000] HWRM cmd resp_len timeout, cmd_type 0x106(HWRM_CFA_FLOW_STATS) seq 15810
WARNING: bnxtnet: hwrm_send_msg:389: [vmnic0 : 0x452106aee000] HWRM cmd resp_len timeout, cmd_type 0x0(HWRM_VER_GET) seq 63811
WARNING: bnxtnet: hwrm_get_version:2501: [vmnic0 : 0x452106aee000] VER_GET failed- FW_STATUS_REG: 0x89021
WARNING: bnxtnet: hwrm_snd_fw_msg:538: [vmnic0 : 0x452106aee000] Looks like FW is crashed/non-responsive.
WARNING: bnxtnet: hwrm_snd_fw_msg:540: [vmnic0 : 0x452106aee000] Dumping FW trace and reporting link down to OS
bnxtnet: bnxtnet_report_link_down_to_uplink:1527: [vmnic0 : 0x452106aee000] Reporting Link down
WARNING: bnxtnet: hwrm_fill_fw_msg:935: [vmnic0 : 0x452106aee000] Sending HWRM message failed
WARNING: bnxtnet: cmd_cmpl_wait:1164: [vmnic0 : 0x452106aee000] FW went bad, stop waiting for queue flush
WARNING: bnxtnet: hwrm_send_msg:389: [vmnic1 : 0x45210a38a000] HWRM cmd resp_len timeout, cmd_type 0x0(HWRM_VER_GET) seq 15811
WARNING: bnxtnet: hwrm_get_version:2501: [vmnic1 : 0x45210a38a000] VER_GET failed- FW_STATUS_REG: 0x89021
WARNING: bnxtnet: hwrm_snd_fw_msg:538: [vmnic1 : 0x45210a38a000] Looks like FW is crashed/non-responsive.
WARNING: bnxtnet: hwrm_snd_fw_msg:540: [vmnic1 : 0x45210a38a000] Dumping FW trace and reporting link down to OS
bnxtnet: bnxtnet_report_link_down_to_uplink:1527: [vmnic1 : 0x45210a38a000] Reporting Link down
WARNING: bnxtnet: hwrm_fill_fw_msg:935: [vmnic1 : 0x45210a38a000] Sending HWRM message failed

Environment

VMware vSphere 7.x
VMware vSphere 8.x
VMware vSphere 9.x

Cause

ネットワークインターフェースカード (NIC) の Firmware がクラッシュすると、物理アダプタが故障します。ネットワークインターフェースカードが故障した場合、ESXi のネットワークトラフィックが一時的に停止する可能性があります。このような場合、構成次第では管理用 VMkernel インターフェースの有効なアップリンクが失われ、その結果サービスの停止やホストの隔離につながる恐れがあります。

Resolution

影響を受けた ESXi を再起動し、ファームウェアのクラッシュを解消してサーバを正常な動作状態に復旧します。
ハードウェアベンダに問い合わせし、ネットワークインターフェースカードの故障に関連するハードウェアレベルでの詳細な診断及び根本原因の調査を実施します。
VMware Compatibility Guide (VCG) を参照してNICのファームウェアとドライバーの組み合わせが適合しているかを確認し、環境の安定性を確保するためにサポート対象の最新リリースへアップデートします。ネットワークインターフェースカードの Firmware　及びドライバのサポート状況と利用可能性については Hardware Compatibility Guide をご参照ください。

Additional Information

ネットワークインターフェースカードの障害及び関連するサービスの停止のトラブルシューティングについての詳細は、KB Network adapter (vmnic) is down or fails with a Failed Criteria Code をご参照ください。

Performance drops on BCM5741x NICs with GENEVE traffic
Wrong GENEVE inner checksum from NIC firmware on ESXi host with BCM5741x / Broadcom 5741x NIC.