NSX Manager のアラーム「マネージャのディスク使用量が高い」

Products

• VMware NSX

Issue/Introduction

免責事項：これは英文の記事「Alarm on NSX Manager "Manager Disk usage High"」の日本語訳です。記事はベストエフォートで翻訳を進めているため、ローカライズ化コンテンツは最新情報ではない可能性があります。最新情報は英語版の記事で参照してください。

NSX Manager Web GUIに、「マネージャ ノードのディスク パーティション / のディスク使用率が 80% に達しています。これは、80% の高しきい値に達しているか、超えています。」という説明のアラームが表示されます。

root@NSXTMGR:~# df -h
Filesystem Size Used Avail Use% Mounted on
udev 24G 0 24G 0% /dev
tmpfs 4.8G 1.6M 4.8G 1% /run
/dev/sda2 11G 6.4G 3.3G 66% /
tmpfs 24G 50M 24G 1% /dev/shm
tmpfs 5.0M 0 5.0M 0% /run/lock
tmpfs 24G 0 24G 0% /sys/fs/cgroup
/dev/sda1 942M 7.1M 870M 1% /boot
/dev/sda3 11G 24K 9.7G 1% /os_bak
/dev/mapper/nsx-config 29G 114M 28G 1% /config
/dev/mapper/nsx-config__bak 29G 24K 28G 1% /config_bak
/dev/mapper/nsx-image 42G 16G 25G 39% /image
/dev/mapper/nsx-repository 31G 9.0G 21G 31% /repository
/dev/mapper/nsx-secondary 98G 3.3G 90G 4% /nonconfig
/dev/mapper/nsx-tmp 3.7G 14M 3.5G 1% /tmp
/dev/mapper/nsx-var+dump 9.3G 24K 8.8G 1% /var/dump
/dev/mapper/nsx-var+log 27G 24G 2.3G 92% /var/log ----------> 27GBのうち約24GB使用
tmpfs 4.8G 0 4.8G 0% /run/user/1007

root@NSXTMGR:~# du -hsx /var/log/* | sort -rh | head -15
14G /var/log/cloudnet <------------ Cloudnetディレクトリの消費量が増加している
2.8G /var/log/journal
1.1G /var/log/vmware
1014M /var/log/corfu
821M /var/log/proton
502M /var/log/proxy
475M /var/log/messaging-manager
430M /var/log/async-replicator
378M /var/log/search
289M /var/log/idps-reporting
286M /var/log/site-manager
266M /var/log/cbm
176M /var/log/corfu-nonconfig
175M /var/log/cm-inventory
150M /var/log/stats

nsx-ccp ログはローテーションされておらず、.gz ファイルが見当たりません。

root@NSXTMGR:/var/log/cloudnet# ls -lthr
-rw-r----- 1 nsx nsx 101M Jan 23 19:55 nsx-ccp-20250123-195552954.log
-rw-r----- 1 nsx nsx 101M Jan 23 19:56 nsx-ccp-20250123-195602167.log
-rw-r----- 1 nsx nsx 101M Jan 23 19:56 nsx-ccp-20250123-195611827.log
-rw-r----- 1 nsx nsx 101M Jan 23 19:56 nsx-ccp-20250123-195621245.log
-rw-r----- 1 nsx nsx 101M Jan 23 19:56 nsx-ccp-20250123-195631156.log
-rw-r----- 1 nsx nsx 101M Jan 23 19:56 nsx-ccp-20250123-195641663.log
-rw-r----- 1 nsx nsx 101M Jan 23 19:56 nsx-ccp-20250123-195651234.log
-rw-r----- 1 nsx nsx 101M Jan 23 19:57 nsx-ccp-20250123-195700565.log
-rw-r----- 1 nsx nsx 101M Jan 23 19:57 nsx-ccp-20250123-195710860.log
-rw-r----- 1 nsx nsx 101M Jan 23 19:57 nsx-ccp-metrics-20250123-195720149.log
-rw-r----- 1 nsx nsx 101M Jan 23 19:57 nsx-ccp-20250123-195721033.log
-rw-r----- 1 nsx nsx 101M Jan 23 19:57 nsx-ccp-20250123-195730390.log
-rw-r----- 1 nsx nsx 101M Jan 24 01:51 nsx-ccp-20250124-015129679.log
-rw-r----- 1 nsx nsx 101M Jan 24 07:38 nsx-ccp-metrics-20250124-073820148.log
-rw-r----- 1 nsx nsx 101M Jan 24 09:30 nsx-ccp-20250124-093010104.log
-rw-r----- 1 nsx nsx 101M Jan 24 13:31 nsx-ccp-metrics-20250124-133120113.log
-rw-r----- 1 nsx nsx 101M Jan 24 17:21 nsx-ccp-20250124-172148655.log
-rw-r----- 1 nsx nsx 101M Jan 24 19:24 nsx-ccp-metrics-20250124-192420110.log
-rw-r----- 1 nsx nsx 101M Jan 25 01:16 nsx-ccp-20250125-011652028.log
-rw-r----- 1 nsx nsx 101M Jan 25 01:17 nsx-ccp-metrics-20250125-011720086.log
-rw-r----- 1 nsx nsx 101M Jan 25 07:09 nsx-ccp-metrics-20250125-070920173.log
-rw-r----- 1 nsx nsx 101M Jan 25 09:13 nsx-ccp-20250125-091335828.log
-rw-r----- 1 nsx nsx 101M Jan 25 13:02 nsx-ccp-metrics-20250125-130220162.log
-rw-r----- 1 nsx nsx 101M Jan 25 17:12 nsx-ccp-20250125-171216615.log
-rw-r----- 1 nsx nsx 101M Jan 25 18:55 nsx-ccp-metrics-20250125-185520128.log
-rw-r----- 1 nsx nsx 101M Jan 25 23:57 nsx-ccp-20250125-235722385.log
-rw-r----- 1 nsx nsx 101M Jan 26 00:48 nsx-ccp-metrics-20250126-004820113.log
----
----
-rw-r----- 1 nsx nsx 101M Feb 6 03:03 nsx-ccp-20250206-030350197.log
-rw-r----- 1 nsx nsx 101M Feb 6 03:28 nsx-ccp-metrics-20250206-032820152.log

 

 

Environment

VMware NSX

Cause

->nsx-ccp.log に失敗例外が記録されています :(var/log/cloudnet)

2025-02-06T00:39:51.503Z INFO CCP-######-9919-4fd6-9404-######:worker-1 NettyConnection 1512 - [nsx@6876 comp="nsx-manager" level="INFO" subcomp="ccp"] Closing NettyConnection NettyConnection(NettyChannel(local=10.#.#.#:1235, remote=10.#.#.#:39834), active=false)
2025-02-06T00:39:52.506Z WARN CCP-######-9919-4fd6-9404-#####:boss-0 DefaultChannelPipeline 1512 An exceptionCaught() event was fired, and it reached at the tail of the pipeline. It usually means the last handler in the pipeline did not handle the exception.
io.netty.channel.unix.Errors$NativeIoException: accept(..) failed: Too many open files

#nsx-ccp.log に "Too many open files" という警告が継続的に表示されます。

io.netty.channel.unix.Errors$NativeIoException: accept(..) failed: Too many open files
io.netty.channel.unix.Errors$NativeIoException: accept(..) failed: Too many open files
io.netty.channel.unix.Errors$NativeIoException: accept(..) failed: Too many open files
io.netty.channel.unix.Errors$NativeIoException: accept(..) failed: Too many open files
io.netty.channel.unix.Errors$NativeIoException: accept(..) failed: Too many open files
io.netty.channel.unix.Errors$NativeIoException: accept(..) failed: Too many open files

 

Resolution

これは NSX バージョン4.2未満で発生する既知の問題であり、NSX 4.2以降では修正されています。

一時的な回避策は、コントローラサービスを再起動することです。

注：サービスを再起動する前に、「/var/log/cloudnet」フォルダ内の古いログがクリーンアップされていることを確認してください。

root@NSXTMGR:~# /etc/init.d/nsx-ccp restart