SDDC Manager の /data パーティションが繰り返し使用率 100% に達する

Products

VMware SDDC Manager / VCF Installer VMware Cloud Foundation

Issue/Introduction

免責事項：これは英文の記事「 SDDC Manager /data partition repeatedly reaches 100% utilization 」の日本語訳です。記事はベストエフォートで翻訳を進めているため、ローカライズ化コンテンツは最新情報ではない可能性があります。最新情報は英語版の記事で参照してください。

SDDC Manager の /data パーティションが頻繁に 100% に達します。
SDDC Manager の UI にアクセスできなくなり、「502 Bad Gateway」エラーが表示されます。
SoS ログ (/var/log/vmware/vcf/sddc-support/vcf-sos-svcs.log) に以下のエラーが記録されます。

sosrest[####]: sqlite3.DatabaseError: database disk image is malformed
SDDC Manager への接続と切断が繰り返されます。auth.log には、ユーザーによる切断を示す以下のようなログが表示されます。

sshd[######]: Received disconnect from x.x.x.x port #####:##: disconnected by user
sshd[######]: Received disconnect from x.x.x.x port #####:##: disconnected by user
sshd[######]: Received disconnect from x.x.x.x port #####:##: disconnected by user
SDDC データベース内の Session テーブルのサイズが、他のテーブルと比較して著しく大きくなります。

usr/pgsql/13/bin/psql -U postgres -h localhost --dbname sddc_manager_ui -c "\dt+"
psql -U postgres -h localhost --dbname sddc_manager_ui -c "\dt+"

Schema | Name | Type | Owner | Persistence | Access method | Size |
--------+----------------------+-------+-------+-------------+---------------+--------+
public | application_settings | table | vcfui | permanent | heap | 16 kB |
public | persistent_state | table | vcfui | permanent | heap | 16 kB |
public | session | table | vcfui | permanent | heap | 44 GB |
public | user_preferences | table | vcfui | permanent | heap | 176 kB |

Environment

VMware Cloud Foundation

Cause

SDDC Manager への頻繁な接続と切断が発生すると、Session テーブルが非常に高い頻度で更新されます。これにより、Session テーブルのサイズが急激に増大し、結果として /data パーティションの使用率が高くなります。

Resolution

この問題を解決するためには、Session テーブルの autovacuum 設定をより積極的に（アグレッシブに）調整し、不要な領域の回収効率を向上させます。

重要 - 作業を開始する前に、SDDC Manager のスナップショットを取得してください。

vcf アカウントを使用して SDDC Manager に SSH 接続し、root ユーザーに昇格します。
以下のコマンドを実行して、データベースに接続してください。
/usr/pgsql/13/bin/psql -h localhost -U postgres -d sddc_manager_ui
以下のコマンドを実行して、autovacuum の構成を変更します。
ALTER TABLE session SET(autovacuum_vacuum_threshold=20, autovacuum_vacuum_scale_factor=0.1);
データベースの接続を終了します。- \q
以下のスクリプトを実行し、すべての SDDC Manager サービスを再起動してください。
/opt/vmware/vcf/operationsmanager/scripts/cli/sddcmanager_restart_services.sh
パーティションの使用率が改善されたか確認します。- df -h

Additional Information

Session テーブル自体が破損している場合にもこの問題が発生することがあります。上記の手順で空き容量が確保されない場合は、テーブルの TRUNCATE または VACUUM FULL が必要になることがあります。SDDC Manager /data partition filling up to 100% frequently の KB を参照してください。

SDDC Manager /data partition repeatedly reaches 100% utilization