vCenter 内の複数の ESXi ホストで「ホストの接続と電源状態」または「ホスト接続失敗」アラームがトリガーされる

Products

VMware vSphere ESXi VMware vCenter Server

Issue/Introduction

免責事項：これは英文の記事「"Host Connection and Power State" or "Host Connection Failure" Alarms Triggered on Multiple ESXi Hosts in vCenter」の日本語訳です。
記事はベストエフォートで翻訳を進めているため、ローカライズ化コンテンツは最新情報ではない可能性があります。
最新情報は英語版の記事で参照してください。

vCenter 内のすべてのホストで「ホストの接続と電源状態（Host connection and power state）」または「ホスト接続失敗（Host connection failure）」アラームがトリガーされる。
すべてのホスト、仮想マシン、および vCenter 自体は正常に稼働し、正常に応答している場合があります。

vCenter のログ（例:journalctl -xe）では、接続が失われた後速やかに復旧し、自動アラームアクション（SNMPトラップなど）がトリガーされる場合があります。

YYYY-MM-DDTHH:DD:SS <FQDN_OF_VCENTER> vpxd[41972]: Event [######] [1-1] [YYYY-MM-DDTHH:DD:SS ] [vim.event.AlarmSnmpCompletedEvent] [info] [] [CLUSTER_NAME] [######] [Alarm 'Host connection failure': an SNMP trap for entity <FQDN_OF_ESXI> was sent]
YYYY-MM-DDTHH:DD:SS <FQDN_OF_VCENTER> vpxd[41972]: Event [######] [1-1] [YYYY-MM-DDTHH:DD:SS ] [vim.event.AlarmActionTriggeredEvent] [info] [] [CLUSTER_NAME] [#######] [Alarm 'Host connection failure' on <FQDN_OF_ESXI> triggered an action]

/var/log/vmware/vpxd/vpxd.log は、欠落したハートビート(Missed heartbeats)の蓄積、それに続く短時間の NO_RESPONSE 状態、およびその直後の CONNECTED 状態への復帰が記録されています。

YYYY-MM-DDTHH:DD:SS info vpxd[42493] [Originator@6876 sub=InvtHostCnx opID=HeartbeatStartHandler-5f###3bdf] Missed heartbeats for host; [vim.HostSystem:host-#####,<FQDN_OF_ESXI>], missed: 1532110, msg: {srv: 1457868, gen: 332837, ct: 1532111, bld: 23307199, cnx: 52####69-6##2-0##9-d4#d-bf5#####8c729, ip: <IP_OF_ESXI>}
YYYY-MM-DDTHH:DD:SS warning vpxd[42110] [Originator@6876 sub=MoHost opID=HB-host-####@62595-443###28] host [vim.HostSystem:host-#####,<FQDN_OF_ESXI>] connection state changed to NO_RESPONSE
YYYY-MM-DDTHH:DD:SS  info vpxd[42071] [Originator@6876 sub=MoHost opID=HB-host-###@228-2e###7d7] host [vim.HostSystem:host-#####,<FQDN_OF_ESXI>] connection state changed to CONNECTED

Cause

本事象は、ESXiホストとvCenter Server間のUDPハートビート通信（ポート902）の一時的な中断に起因します。vCenter は10秒ごとにハートビートを受信することで、ホストの状態を監視します。

ハートビートの欠落が大規模に発生するシナリオは主に以下の2つです：

vCenter Serverのアップグレードまたはメンテナンスのための再起動中、vpxd サービスがオフラインになる。オフラインの間、欠落したハートビートが蓄積されます。
サービスの初期化時、インベントリの同期に許容猶予期間以上の時間がかかると、大規模な「Missed heartbeats」カウンタがアラームを発報します。
数秒以内にホストが CONNECTED 状態に戻る動作は、これが実際のホスト障害ではなく、停止後の処理遅延であったことを裏付けています。
vCenterのメンテナンスが実行されていない場合、この動作はUDPハートビート通信の間欠的な損失を示しています。
一般的な原因は以下の通りです：
- ネットワークの輻輳またはパケットドロップ。
- ファイアウォールによる UDP ポート902トラフィックの一時的なブロック。
- vCenter Server または ESXi 管理ネットワーク上のIPアドレスの競合（重複IP）。

Resolution

必要な対応は、アラーム発生前の環境の状況に応じて実施します。

シナリオA: 予期された接続損失
vCenter Serverのアップグレード、意図的な再起動、またはvCenter VMの計画的なネットワーク変更など、予期されたイベントの直後にアラームが発生した場合、これらのアラームはサービス復旧フェーズ中に生成された誤検知です。

アクション:
アラームを確認し、緑色にリセットします。追加のトラブルシューティングは不要です。

シナリオB: 予期せぬ接続損失
vCenter Serverの再起動やアップグレードが行われていない場合、ネットワーク環境を調査し、vCenterがホストへの接続を一時的に失った原因を特定する必要があります。

アクション1: UDP 902の確認。 物理および仮想ファイアウォールが、ESXi管理IPアドレスとvCenter Server間のUDPポート902トラフィックを間欠的にドロップしていないことを確認します。

アクション2: 重複IPの確認。 vCenter Serverまたは特定のホスト宛てのトラフィックをハイジャックしている可能性のあるIPの競合がないか、ネットワークを調査します。

参照： ESXi host disconnects intermittently from vCenter Server および Duplicate IP address detected。

Additional Information

同様の特定の症状に関するガイダンスについては、以下の記事を参照してください。

"Host connection and power state" alarm when an ESXi host wakes from standby