Cloud Director セルパーティションの空き容量枯渇

Products

VMware Cloud Director

Issue/Introduction

免責事項：これは英文記事「Cloud Director Cell Partition Full」の日本語訳です。記事はベストエフォートで翻訳を進めているため、ローカライズ化コンテンツは最新情報ではない可能性があります。最新情報は英語版の記事で参照してください。

VMware Cloud Director (VCD) プロバイダ/テナントポータルへアクセスができない。
SSH 経由で VCD セルアプライアンスを確認すると、以下のような症状が確認される。

df -h コマンドを実行すると、ルート(/) または /opt パーティション使用率がほぼ 100% となっている。
vmware-vcd サービスが起動/応答できない、またはクラッシュしている。
ログファイルに新しい出力が記録されない。
プロバイダポータルで、セルが "無効" ("Inactive") と表示される。
ログバンドル生成が失敗する。

Environment

VMware Cloud Director 10.4 以降

Cause

基本的にはログファイル、ログバンドル、またはシステムダンプのローテーション/削除が適切に実施されず、それらが過剰に蓄積されることによりこの問題が発生します。

Resolution

原因の特定

まず、どのファイルが容量を消費しているかを特定します。最も大きなファイルを特定するのに、以下コマンドが有用です。

du -aShx / | sort -rh | head -20

ディスクスペースを消費しているファイルに応じて、各解消策に関する以下記事をご参照ください。

ルートパーティション空き容量枯渇を引き起こす既知事例

ログ保持ポリシー

症状：The /opt/vmware/vcloud-director/logs/ directory is full of many request.log files (e.g., yyyy_mm_dd.request.log).
解消策：Cloud Director cell disk space is full due to the accumulation of request.log files (KB 325687)

`.hprof` Java ダンプファイル

症状：You find large java_pid****.hprof files in the /opt/vmware/vcloud-director/logs/ directory, which are Java memory dumps.
解消策：Cloud Director root partition full due to hprof files (KB 330107)

`rsyslog` ローテーション設定の不備

症状：The /var/log/messages file is not rotating correctly, especially in VCD 10.6 and later where auth.log is merged.
解消策：Log files consuming excess amount of storage space in VMware Cloud Director 10.5 and 10.6 (KB 328001)

単一の `cell.log` ファイルの肥大化

症状：The main cell.log file has grown to an excessively large size and is not being rotated.
解消策：VMware Cloud Director root partition full due to cell.log (KB 374009)

`logrotate` 構成の不備

症状：The /opt/vmware/var/log/vcd/vcd_ova_ui_uwsgi.log or /var/log/nginx/access.log files are excessively large due to frequent API calls and improper log rotation settings.
解消策：VMware Cloud Director root ("/") partition becomes full due to large /opt/vmware/var/log/vcd/vcd_ova_ui_uwsgi.log and /var/log/nginx/access.log. (KB 411155)

代替策：パーティション拡張

ファイル削除のみでは不十分でパーティションサイズが小さいと考えられる場合は、仮想ディスクを拡張する必要があります。

推奨記事：Extending root disk of Cloud Director appliance (KB 380554)

Additional Information

ログバンドル生成

リスク：ログバンドル生成コマンド (vmware-vcd-support -m -l) は、コマンド実行時のカレントディレクトリ下にログバンドルを生成します。このコマンドをルートパーティション (例：/ または /root) で実行すると、ルートパーティション空き容量が完全になくなり、セルがクラッシュする恐れがあります。

セルのルートパーティションの空き容量が数 GB の場合、スクリプト実行前にカレントディレクトリを transfer パーティションへ変更することを推奨します。transfer パーティションは通常、ルートパーティションより大きなサイズで構成されます。セル間の転送やテンプレートアップロードへ影響を与えないように、十分な空き容量 (例、10 GB 以上) があることを確認してください。

cd /opt/vmware/vcloud-director/data/transfer

df -h コマンドを実行することで、空き容量を表示可能です。

参照：Collecting diagnostic information for VMware Cloud Director (KB 320409)