ESXi 7.0 ホストが vCenter Server 上で "応答なし" となり、hostd.log に "SetVigorNotificationTime: Not connected" と出力される。

Products

• VMware vSphere ESXi 7.0

Issue/Introduction

免責事項： これは英文の記事 ESXi 7.0 host goes not responding in vCenter and hostd logs reporting "SetVigorNotificationTime: Not connected" (318013)の日本語訳です。
記事はベストエフォートで翻訳を進めているため、ローカライズ化コンテンツは最新情報ではない可能性があります。
最新情報は英語版の記事で参照してください。

---

Symptoms:

• ESXi 7.0 ホストが vCenter Server 上で "応答なし" となり、数分後に自動で復旧する。
• ESXi ホストの CPU 使用率が高い。
• esxtop では hostd プロセスの %RDY が高く表示される。
• hostd サービスを再起動すると CPU 使用率はもとに戻るが、しばらくすると CPU 使用率は再び高くなる。
• /var/log/hostd.log に hostd のクラッシュのログが出力される。

2023-06-08T12:33:54.583Z error hostd[2101222] [Originator@6876 sub=UW Memory checker] Current value 2106136 exceeds hard limit 2105548. Shutting down process.

2023-06-08T12:33:54.583Z panic hostd[2101222] [Originator@6876 sub=Default]

-->

--> Panic: Memory exceeds hard limit. Panic

--> Backtrace:

--> [backtrace begin] product: VMware ESX, version: 7.0.3, build: build-20842708, tag: hostd, cpu: x86_64, os: esx, buildType: release

--> backtrace[00] libvmacore.so[0x001D6812]: Vmacore::System::Stacktrace::CaptureFullWork(unsigned int)

--> backtrace[01] libvmacore.so[0x001BD35D]: Vmacore::System::SystemFactory::CreateBacktrace(Vmacore::Ref<Vmacore::System::Backtrace>&)

--> backtrace[02] libvmacore.so[0x003E64AB]

--> backtrace[03] libvmacore.so[0x003E6584]: Vmacore::PanicExit(char const*)

--> backtrace[04] libvmacore.so[0x001C5831]: Vmacore::System::ResourceChecker::DoCheck()

--> backtrace[05] libvmacore.so[0x0037EC70]

--> backtrace[06] libvmacore.so[0x002DC7CC]

--> backtrace[07] libvmacore.so[0x002E0354]

--> backtrace[08] libvmacore.so[0x003F1102]

--> backtrace[09] libpthread.so.0[0x00007D3B]

--> backtrace[10] libc.so.6[0x000ED16D]

--> backtrace[11] (no module)

--> [backtrace end]

注: すべての場合において "Memory exceeds hard limit" というログが出力されるとは限りません。

• /var/log/hostd.log に以下のようなログが大量に出力される。

2023-06-08T12:20:08.112Z warning hostd[2342313] [Originator@6876 sub=VigorStatsProvider(000000fd581cd360).GuestStats(43328) opID=lro-33028250-21bfa8b-01-01-93-2992] SetVigorNotificationTime: Not connected

Cause

この問題は仮想マシンのパワーオフと、Vigor コールバックが呼び出される瞬間の間の競合状態が原因で発生します。結果として hostd で無限ループが発生し、メモリをハードリミットまで消費します。

Resolution

この問題は VMware ESXi 7.0 Update 3o で修正されており、Broadcom Support Page よりダウンロード可能です。
ESXi 7.0 U3o のリリースノートもご覧ください:

"PR 3161690：環境内で ESXi ホストの CPU 使用率が断続的に上昇することがある
仮想マシンのパワーオフ コマンドがコールバック機能と競合する場合、まれに競合状態が発生することで、アップグレード後などに ESXi ホストの CPU 使用率が上昇することがあります。
本リリースで、この問題は修正されました。"