vCenter Server が不安定になり、df コマンドの結果で十分な空き容量があるにもかかわらず "no space left on device" というエラーでサービスの起動に失敗する

Products

• VMware vCenter Server

Issue/Introduction

免責事項: これは英文の記事 vCenter Server becomes unstable and services fail to start with "no space left on device" error despite the df command showing sufficient free space. の日本語訳です。記事はベストエフォートで翻訳を進めているため、ローカライズ化コンテンツは最新情報ではない可能性があります。最新情報は英語版の記事で参照してください。

---

Symptoms:

• vCenter Server を再起動すると、幾つかのサービスが起動に失敗することがあります。
• df コマンドでは十分な空き領域があるにもかかわらず、ファイルの作成が "No space left on device" (デバイスに空き領域がありません) というエラーで失敗します。
  例:

• root@vcsa [ ~ ]# df .
  Filesystem                      1K-blocks     Used Available Use% Mounted on
  /dev/mapper/vg_root_0-lv_root_0  49222292 33944412  12745120  73% /
  root@vcsa [ ~ ]# echo test > test.txt
  bash: echo: write error: No space left on device

• df コマンドの結果に /storage/lvm_snapshot のマウントポイントがありません。
• lvs コマンドの結果に LVM スナップショットが表示され、 幾つかの領域で Snap% (スナップショット領域の使用率) が 100% に達しています。
  例:

  root@vcsa [ ~ ]# lvs -o lv_name ,vg_name,lsv_size,snap_percent,origin
    LV                                VG              LSize    Snap%  Origin      
    archive                           archive_vg        49.99g                    
    archive_vg_archive_snap           archive_vg         4.71g 0.01   archive     
  ...
    lv_root_0                         vg_root_0        <48.00g                    
    vg_root_0_lv_root_0_snap          vg_root_0        <10.30g 100.00 lv_root_0
  ...

  LV の名前に *_snap というサフィックスが付いている場合は  vCenter Server に LVM スナップショットが存在することを示します。 上記の例ではvg_root_0_lv_root_0_snap の Snap% が 100% に達しており、ルートファイルシステムへ新しいデータが書き込めない状態となっています。

Environment

VMware vCenter Server 7.0 U3

VMware vCenter Server 8.0

Cause

この問題は vCenter Server のパッチ適用中に作成される LVM スナップショットベースの自動バックアップが正しく削除できていない場合に発生します。この LVM スナップショットはロールバックポイントとして使用され、本来はパッチ適用後に自動的に削除されます。しかし何らかの要因でスナップショットが残っていると、スナップショットの容量が最終的に 100% に達し、ファイルシステムへの新しいデータの書き込みができなくなります。

 

Resolution

影響を受けるファイルシステムによっては vCenter Server が回復不能になる可能性があり、バックアップから vCenter Server を復元する必要がある場合があります。手動での復旧を試みる場合は、以下の手順に従ってください。

1. vCenter Server のオフラインスナップショットを作成します。 スナップショット作成時の注意点は Snapshot Best practices for vCenter Server Virtual Machines をご覧ください。
2. 次の KB 記事に添付されているスクリプトを使用して LVM スナップショットを削除します:  "LVM Snapshot based auto-backup of vCenter Server will not be taken during vcenter patching", pre-check warning message during vCenter Server patching
3. LVM スナップショットが削除されたら、vCenter Server のサービスが正常に起動していることを確認し、vCenter Server 管理 (VAMI) や vSphere Client へアクセスできることを確認します。

注: スナップショットを削除した後も vCenter Server が不安定な状態が続く場合、またはサービスが起動しない場合は、ファイルベースのバックアップから復元が必要になることがあります。サポートが必要な場合は、Broadcom テクニカルサポートにお問い合わせください。