vCenter Serverでstsステータスが緑から赤に変わり、アラームがトリガーされる

Products

• VMware vCenter Server
• VMware vCenter Server 8.0

Issue/Introduction

免責事項：これは英文の記事「sts status changed from green to red alarm triggered in vCenter Server」の日本語訳です。記事はベストエフォートで翻訳を進めているため、ローカライズ化コンテンツは最新情報ではない可能性があります。最新情報は英語版の記事で参照してください。

 

• STS（セキュリティトークンサービス）サービスの健全性ステータスが一時的に「赤」（重大）に変わり、その後すぐに緑に戻ります。
• Javaランタイムのメモリ割り当てに失敗したことを示す致命的なエラー（メモリ不足）がsts-health -status.log（/var/log/vmware/sso/sts-health-status.log）に記録されます。
  

  # There is insufficient memory for the Java Runtime Environment to continue.
  # Native memory allocation (malloc) failed to allocate 32744 bytes for ChunkPool::allocate
  ...
  OpenJDK 64-Bit Server VM warning: INFO: os::commit_memory(...) failed; error='Cannot allocate memory' (errno=12)
  ...
  Failed to acquire token after 1.034682 seconds.
  Publishing health status as RED to vMon.

• STSサービスが終了コード143で終了し、その後自動的に再起動されたことを示すログは、vmon.log（/var/log/vmware/vmon/vmon.log）に記録されます。
  

  Wa(03) host-12095 <sts> Service exited. Exit code 143
  In(05) host-12095 <sts-prestart> Constructed command: ...
  In(05) host-12095 <sts> Service STARTED successfully.

• SSOログディレクトリ（/var/log/vmware/sso/）には、以下の命名規則に従って複数のJava Runtime Environment（JRE）クラッシュレポートファイルが見つかります。

  hs_err_sts_pid<PID>.log
  hs_err_stsinstaller_pid<PID>.log

   これらの hs_err ファイル内には、ネイティブメモリ割り当ての失敗を示す致命的なエラーが存在します。

  # There is insufficient memory for the Java Runtime Environment to continue.
  # Native memory allocation (malloc) failed to allocate xxxxx bytes for Chunk::new
  # Possible reasons:
  #   The system is out of physical RAM or swap space
  #   The process is running with CompressedOops enabled, and the Java Heap may be blocking the growth of the native heap

Environment

VMware vCenter Server

Cause

この問題は、vCenter Server Appliance (VCSA) が急激なワークロードの増加により一時的なメモリ不足 (OOM) 状態になった場合に発生します。

物理メモリの枯渇により、STS Javaプロセスが必要なメモリを割り当てられなくなり、クラッシュして「RED」のヘルスステータスを報告します。
さらに、この問題が発生している環境では、スワップ領域の使用率が高くなることが多く、慢性的なメモリ不足を示しています。

 

Resolution

vCenter Serverのサービス管理（vMon）は、STSサービスを自動的に再起動して、正常な状態（緑色）に戻します。

回避策：
これが単発的な事象であれば、サービスが正常に稼働し始めたら、アラームは無視しても問題ありません。

解決策（推奨）：
VCSAが常に高いスワップ領域を使用している場合、慢性的なメモリ不足を示しています。再発防止のため、VCSAの物理メモリ（RAM）を増設することを強くお勧めします。