对 vCenter Appliance /storage/log 目录已满 80% 或更多的情况进行故障排除

Products

• VMware vCenter Server

Issue/Introduction

本文提供了有关如何对 vCenter Appliance 上的 /storage/log 分区已满问题进行故障排除/解决的信息。

Symptoms:
免责声明：本文是 Troubleshooting vCenter Appliance /storage/log directory is 80% or more full 的翻译版本。尽管我们会不断努力为本文提供最佳翻译版本，但本地化的内容可能会过时。有关最新内容，请参见英文版本。
 

• vCenter Server 报告类似于以下内容的错误：
  • vSphere UI Health Alarm", "Log disk exhaustion on vcenter name
  • Database Health Alarm", "Core and Inventory Disk Exhaustion on vcenter name
• vCenter Server 可能无法访问，并显示 503 Service Unavailable 错误。
• vSphere Appliance 管理界面 (VAMI) 的监控 > 磁盘显示 /storage/log 的使用率已达到 80% 或更多

Environment

VMware vCenter Server Appliance 6.5.x
VMware vCenter Server 7.0.x
VMware vCenter Server Appliance 6.7.x
VMware vCenter Server 8.0
VMware vCenter Server Appliance 6.0.x

Cause

潜在原因包括：

• vCenter Server 日志包在生成后不被清除
• 非常高频率的事件填满日志
• 诸如 Apache Tomcat Java Servlet 这样的服务未能清理文件
• /storage/log 分区设置过小

Resolution

1. 验证这些已知问题是否不是导致问题的原因：

• 影响 vSphere vCenter Appliance 6.0：

/storage/log partition full due to cloudvm-ram-size.log file rotation is not working in vCenter Server Appliance

• 影响 Update 3 之前版本的 vCenter Server Appliance 6.0 以及 Update 1 之前版本的 Appliance 6.5：

/storage/log partition full due to SSO log files are not compressed in vCenter Server Appliance
 

• 所有版本：
• /storage/log partition full due to Large Java dump files created under /storage/log/vmware/perfcharts in vCenter Server Appliance
• /storage/log becomes 100% full when exporting the vCenter Appliance log bundles
• vCenter Appliance /storage/log partition full due to excessive pod-startup.log files
• VCSA /storage/log/ partition runs out of space due to java hprof dumps created by VMware Analytics service
• vCenter Server Appliance 7.0.x /storage/log partition runs out of space due to VMware Analytics service log file (analytics-runtime.log.stderr) (85468)

2. 如果已知问题无法确定问题，请看在分区中是否存在过多的 Tomcat 日志文件。
   1. 通过 SSH 或通过 vCenter 虚拟机控制台连接到 vCenter Server Appliance
   2. 键入 shell 以切换到 BASH Shell

有关启用或禁用 SSH 和 Bash Shell 访问权限的详细信息，请参阅 Enable or Disable SSH and Bash Shell Access

3. 使用以下命令列出以下路径下的 Apache Tomcat 服务日志文件：

/storage/log/vmware/sso/tomcat/
/storage/log/vmware/eam/web/
/storage/log/vmware/lookupsvc/tomcat/ (vCenter 7.0 only)

4. 如果有很多，可以删除它们以释放空间

ls -lha catalina*log
rm catalina*log

5. 检查空间是否已显着改善。如果是，驱动器可能太小，无法处理日志流量。您可以按照 vCenter Server Appliance disk space is full 增加 /storage/log 虚拟磁盘的大小

df -h

3. 检查并移除过多的 PostgreSQL 服务运行状况警报日志文件
   1. 在 /storage/log/vmware/sso/tomcat/, /storage/log/vmware/eam/web/ & /storage/log/vmware/lookupsvc/tomcat/ (vCenter 7.0 only) 目录中，运行以下命令：

ls -lha localhost_access*
rm localhost_access*

2. 再次检查空间是否已显着改善。如果是，驱动器可能太小，无法处理日志流量。您可以按照 vCenter Server Appliance disk space is full 增加 /storage/log 虚拟磁盘的大小

4. 检查并移除过多的存储配置文件服务访问日志

cd /var/log/vmware/vmware-sps
ls -lha sps-access*log
rm sps-access*log
 
再次检查空间是否已显着改善。如果是，驱动器可能太小，无法处理日志流量。您可以按照 vCenter Server Appliance disk space is full 增加 /storage/log 虚拟磁盘的大小

5. 如果前面的步骤没有确定出问题，请查找分区中的大文件
   1. 运行以下命令查看最大的目录：

cd /storage/log
du -a |sort -n -r |head -n 20

2. 然后，进入任何可疑的大目录，将斜体文本替换为目录名称，并使用以下命令查找大文件：

cd directory_name
ls -lha
 
警告：从 vCenter Appliance 中删除任何文件之前，请首先确保您具有 vCenter 的良好备份。

6. 您可以按照 vCenter Server Appliance disk space is full 决定调整分区的大小

Additional Information

vCenter Server Appliance disk space is full

Impact/Risks:
在默认设置下，当分区使用率达到 80% 时：

• 您将看到触发警报。
• 操作系统将阻止主 vmware-vpxd 服务启动以设法防止文件损坏。

删除关键文件可能会导致 vCenter Server Appliance 无法正常工作。
调整 vCenter Appliance 虚拟磁盘大小会带来数据损坏风险。

警告：在删除文件或调整磁盘大小之前，请确保具有 vCenter Appliance 的良好备份。