OpenSearch のメモリリークによる NSX UI 上の 'Search Index Out of Sync' エラー (Code 513002)
search cancel

OpenSearch のメモリリークによる NSX UI 上の 'Search Index Out of Sync' エラー (Code 513002)

book

Article ID: 447050

calendar_today

Updated On:

Products

VMware NSX

Issue/Introduction

免責事項：これは英文の記事「NSX UI 'Search Index Out of Sync' Error (Code 513002) due to OpenSearch Memory Leak」の日本語訳です。記事はベストエフォートで翻訳を進めているため、ローカライズ化コンテンツは最新情報ではない可能性があります。最新情報は英語版の記事で参照してください。

  • NSX ユーザーインターフェース (UI) でインベントリ詳細の読み込みに失敗します。
  • 詳細の確認を試みると以下エラーメッセージの内一つ以上が UI に表示されます。

    • Error: Failed to fetch Inventory details. Please contact the administrator. Error: Search index is out of sync for 'Group'. Run the 'start search resync all' CLI command on the NSX appliance to resync. If the issue persists, contact VMware Support. (Error code: 513002)

    • Failed to get report - Index out of sync. Please perform a re-sync.

    • Failed to get "Top Services by Distributed Firewall Rules" report - Index out of sync. Please perform a re-sync.

    • Failed to get "Distributed FW Rules" report - Index out of sync. Please perform a re-sync

    • Failed to get "IP ADDRESS MANAGEMENT" report - Index out of sync. Please perform a re-sync.

    • Failed to get "CONNECTIVITY" report - Index out of sync. Please perform a re-sync.

    • Failed to get "NETWORK SERVICES" report - Index out of sync. Please perform a re-sync.

  • OpenSearch ログ (/var/log/search/opensearch.log) にはガベージコレクション (GC) を繰り返しトリガーしようとしたもののほとんど成功していないことが記録されます。

[INFO ][o.o.i.b.HierarchyCircuitBreakerService] [nsx_node] attempting to trigger G1GC due to high heap usage [1918747568]
[INFO ][o.o.i.b.HierarchyCircuitBreakerService] [nsx_node] GC did bring memory usage down, before [1918747568], after [1822748288], allocations [1], duration [5]

  • "search_oom.hprof" という名前でコアダンプファイルが Manager ノードの "/image/core" 下に生成される場合があります。
  • この問題はフェデレーション環境および非フェデレーション環境のどちらでも発生する場合があります。
  • フェデレーションされた NSX インストールでは、サイト切り替えドロップダウンでローカルマネージャーを選択している場合やグローバルマネージャーを経由せず直接ローカルマネージャーへ接続している場合にこの問題が発生することがあります。

注：上記の抜粋ログはあくまで例です。日付、時刻および環境変数はご利用の環境によって異なる場合があります。

Environment

VMware NSX

Cause

OpenSearch サービスがメモリを使い果たして (OOM) クラッシュし、その結果検索インデックスが NSX データベースと同期されていない状態となることでこの問題が発生します。

これは OpenSearch 2.13.0 に同梱されている Jackson ライブラリ (バージョン 2.17.0) における既知のメモリリークによって引き起こされます。

 

Resolution

これは VMware NSX 4.2.1.X、4.2.2.X および 4.2.3.X が影響を受ける既知の問題です。VMware NSX 4.x 系では 4.2.4、9.x 系では 9.0 以降のバージョンで解決されており、Broadcom downloads からダウンロードすることができます。

ソフトウェアの検索やダウンロードに支障がある場合は Download Broadcom products and software KB をご参照ください。

回避策：
メモリをクリアしてサービスを再度初期化するため、影響を受けた NSX Manager ノード上で以下コマンドにより search サービスを再起動してください。(admin ユーザーで実行してください。)

> restart service search

search サービスの再起動後、影響を受けたクラスタ内の全 NSX Manager ノードにおいて start search resync all を実行してください。

Powered by Wolken Software