vCenter Server Appliance のディスク容量が不足する

Products

• VMware vCenter Server

Issue/Introduction

免責事項： これは英文の記事 「vCenter Server Appliance disk space is full」の日本語訳です。記事はベストエフォートで翻訳を進めているため、ローカライズ化コンテンツは最新情報ではない可能性があります。最新情報は英語版の記事で参照してください。

この記事では、vCenter Server Appliance (VCSA) の仮想ディスク使用量が多い事象のトラブルシューティングについての情報を提供します。

• 次のようなエラーメッセージが vCenter Server に表示されます。
  • vSphere UI 健全性アラーム, "Log disk exhaustion on <vCenter名>"
  • データベース 健全性アラーム, "Core and Inventory Disk Exhaustion on <vCenter名>"
• デフォルトでは、ディスク使用率が 80% を越えるとエラーメッセージを出力します。
  • バージョン 6.7 以降のバージョンでは、設計により /storage/archive の使用率が 100% まで使用できることに注意してください。
• デフォルトでは、ディスク使用率が 95% を越えるとメインの vCenter サービス (vmware-vpxd) が自動的に停止されます。
  • これはデータベースの破損を防ぐためです。
  • この問題によって エラー 503 Service Unavailable で vCenter Server に接続できなくなります。

特定のディスクパーティションの容量が不足する原因は複数あります。例えば以下のような要因が挙げられます。

• パーティションサイズが適切ではない。
• パーティション内に大容量ファイルが存在する。
• データベース内のテーブルが容量を消費している。
• サービスがファイルのクリーンアップに失敗している。

Environment

VMware vCenter Server

Resolution

問題のあるパーティションを特定する

• vCenter GUI 上での確認方法:

1. vCenter Server Appliance  管理インターフェース(Vami) にログインします。
2.  [監視] > [ディスク] を選択します。
3. ディスク使用率が78％以上のディスクを確認します。
   "archive" ディスクの使用率は仕様上 80％ 以上となるため、無視しても問題ありません。

• vCenter コマンドライン での確認方法:

1. root ユーザで SSH または 仮想マシンコンソール経由で vCenter Server Appliance に接続します。
   
   注：vCenter Server Appliance にログインできない場合には /dev/sda3 "root パーティション" がフルになっている可能性があります。その場合は下記 KB 322247 のステップ1 からステップ7 を参照し、シングルユーザモードでシェルにアクセスしてください。
   Resetting root password in vCenter Server Appliance 6.5 / 6.7 / 7.x (322247)
   
   
2. shellと入力して、BASHシェルに切り替えます。（SSHおよびBashシェルアクセスの有効化または無効化の詳細については、Enable or Disable SSH and Bash Shell Access を参照してください。)
   
   
3. 警告をトリガーさせる要因となるフル状態のパーティションを確認します。下記コマンドを使用して、78% 以上のパーティションを確認します。 ​​​​​​

         df -h       

         フル状態に近づいているパーティションのみを表示するコマンドを以下に示します：

         df -h |awk '0+$5 >= 78 {print}'


注: 多くの場合、パーティションが78〜79％の場合、警告をトリガーするために必要な80％を超えている可能性があるため、78% 以上の消費しているパーティションを探しています。同様に、93％の場合、vmware-vpxd サービスがシャットダウンする 95％を超え、その後低いパーセンテージまで回復している可能性があります。

• フル状態のパーティションに応じて下記のリストより記事のリンクを選択します。

Filesystem	Mounted on	Resolution
/dev/sda3	"/"	/dev/sda3 - root partition 100% full due to Audit.log files not being rotated in vCenter Server Appliance(318911)
/dev/mapper/log_vg-log	/storage/log	Troubleshooting vCenter Appliance /storage/log directory is 80% or more full(313077)
/dev/mapper/core_vg-core	/storage/core	/storage/core partition full due to core files in vCenter Server Appliance(318750)
/dev/mapper/db_vg-db	/storage/db	VCSA database storage "/storage/db" is full or nearly full(318880)
/dev/mapper/seat_vg-seat	/storage/seat	/storage/seat disk 100% full on vCenter Server Appliance 6.x/7.x/8.x(318931)
/dev/mapper/archive_vg-archive	/storage/archive	メモ: このパーティションが満杯になるのは、vCenter 6.7 以降のバージョンでは正常で予期される動作です。 "File system /storage/archive is low on storage space" warning in vCenter Server Appliance 6.7/7.x/8.x(318803)

追加のトラブルシューティング:

1. 上記リンクで問題を解決できない場合は、パーティション内のサイズの大きいファイルを特定します。

vCenter Server Appliance のディスク容量使用率が高い場合、影響を受けているパーティションを特定することから始まります。

• root ユーザで SSH または 仮想マシンコンソール経由で vCenter Server Appliance に接続します。
• shellと入力して、BASHシェルに切り替えます。 （SSHおよびBashシェルアクセスの有効化または無効化の詳細については、Enable or Disable SSH and Bash Shell Access を参照してください。）
• df -h コマンドを使用して、vCenter Server Appliance のディスク使用量の統計情報を取得します。
  
  注：ディスク容量の少ないパーティションが特定されたら、以下の手順に従って、各パーティションで作成されたサイズの大きなファイルを特定します。ただし、データベース ファイルを格納するパーティションを除きます。

vCenter Server Appliance のパーティションとマウントについては下記を参照してください:

• List of VMDKs/Partitions for a vCenter Server Appliance 7.0 - Size Mount point and Purpose

• List of VMDKs/Partitions for a vCenter Server 8.0 - Size Mount point and Purpose

2.  影響を受けるパーティション内で次のコマンドを使用して、ディスク使用量の多い上位 20 のファイルを特定します。

          du -a <Path> | sort -n -r | head -n 20 

          実行例: 

          du -a /storage/log/ | sort -n -r | head -n 20

3. ここでリストされた疑いのある大きなサイズのディレクトリに変更し、次のコマンドを使用して大容量のファイルを探します。

          ls -lha

100MB を超えるファイルを検索するための、より複雑なコマンドを使用した強力な検索方法もあります：

find ./ -type f -size +100M |less

大きなファイルによって容量が枯渇していない場合は、サイズの小さいファイルが大量にあることが原因かもしれません。
下記コマンドはもっとも多くのファイルを格納しているサブディレクトリを表示することができます。

find ./ -type d -exec sh -c 'echo -n "{}: " && find "{}" -type f | wc -l' \; | awk '$2 > 100' | sort -k2,2nr |less

※このコマンドには実行が完了するまでに数分程度かかる場合があります。

空き容量を増やすためにファイルを削除することを決定する前に、vCenterの信頼できるバックアップがあることを確認してください。

注: *.tgz ファイルはログバンドルに関連するファイルであるため、削除できます。

vCenter の仮想ディスクのサイズを変更する

これまでの全ての対応で十分な空きを確保できない場合は、vCenter の通常のアクティビティが既存のディスクサイズのサポートを超えているため、仮想ディスクのサイズを変更する必要がある可能性があります。

• VAMI の [監視] > [ディスク] に、拡張を行う仮想ディスクが表示されていることを確認してください。

  • 確認できなかった場合は、上述の「List of VMDKs for a vCenter Server」の記事を参照してください。

• 仮想マシンスナップショットがある場合、vCenter Server 仮想マシンのディスクサイズは変更できないことに注意してください

  • 仮想ディスクのサイズを変更する前に、vCenterの適切なバックアップがあることを確認してください。

• Increasing the disk space for the vCenter Server Appliance in vSphere 6.5, 6.7, 7.0 and 8.0