VMware Cloud Foundation sos tool returns a failed status for health check

Products

• VMware Cloud Foundation

Issue/Introduction

Symptoms:

• VMware Cloud Foundation sos tool returns a failed status for health-check. A message similar to the following is seen at the end of the sos commands output:

Operation failed for : [HEALTH-CHECK]

• Running the /opt/vmware/sddc-support/sos --health-check command shows that one or more ESXi hosts are in a RED state:

General : RED
+-----+-----------------------------------------+-------------------------------------------------------------+--------+
| SL# |                   Area                  |                            Title                            | State  |
+-----+-----------------------------------------+-------------------------------------------------------------+--------+
|  1  |          ESXi : 192.168.100.103         |               ESXi entries across all sources               |  RED   |
|  2  |     ESXi : host0.vrack.vsphere.local     |               ESXi entries across all sources               | GREEN  |
|     |                                         |                Check for error dumps in ESXi                | YELLOW |
|     |                                         |                      Operational status                     | GREEN  |
|  3  |     ESXi : host1.vrack.vsphere.local     |               ESXi entries across all sources               | GREEN  |
|     |                                         |                Check for error dumps in ESXi                | YELLOW |
|     |                                         |                      Operational status                     | GREEN  |
|  4  |     ESXi : host2.vrack.vsphere.local     |               ESXi entries across all sources               | GREEN  |
|     |                                         |                Check for error dumps in ESXi                | YELLOW |
|     |                                         |                      Operational status                     | GREEN  |
|  5  |     ESXi : host4.vrack.vsphere.local     |               ESXi entries across all sources               | GREEN  |
|     |                                         |                Check for error dumps in ESXi                | GREEN  |
|     |                                         |                      Operational status                     | GREEN  |
|  6  |     ESXi : host5.vrack.vsphere.local     |               ESXi entries across all sources               | GREEN  |
|     |                                         |                Check for error dumps in ESXi                | GREEN  |
|     |                                         |                      Operational status                     | GREEN  |
|  7  |     ESXi : host6.vrack.vsphere.local     |               ESXi entries across all sources               | GREEN  |
|     |                                         |                Check for error dumps in ESXi                | GREEN  |
|     |                                         |                      Operational status                     | GREEN  |
|  8  | NSX : nsx1.vrack.vsphere.local |           Cluster status [10.6.0.21 -> 10.6.0.22]           | GREEN  |
|     |                                         |           Cluster status [10.6.0.22 -> 10.6.0.20]           | GREEN  |
|     |                                         |           Cluster status [10.6.0.22 -> 10.6.0.21]           | GREEN  |
|     |                                         | Controller Node-d021215e-63dc-####-####-########78d status | GREEN  |
|     |                                         | Controller Node-017744b8-5df6-####-####-########4e9 status | GREEN  |
|     |                                         | Controller Node-fda74fae-6d56-####-####-########e8f status | GREEN  |
|     |                                         |                      NSX Manager Status                     | GREEN  |
|     |                                         |   NSX Host Preparation status for Cluster : vRack-Cluster   | GREEN  |
+-----+-----------------------------------------+-------------------------------------------------------------+--------+

• The host in question has been decommissioned from VMware Cloud Foundation.

Cause

This issue occurs when the decommissioned host is not removed from the postgres database.

Resolution

This is a known issue affecting VMware Cloud Foundation 2.2. Currently, there is no resolution.

Workaround:
To work around this issue:

1. In the SDDC Manager UI> Status > Workflow Tasks page, verify that there are no Decommission workflow tasks in process.
2. Download the attached 000051992_decommission_cleanup.zip file. Use a file transfer program to copy the file to the /tmp folder on the SDDC Manager Controller virtual machine.
3. Log in to the SDDC Manager Controller virtual machine as the root user and extract the contents of the /tmp/000051992_decommission_cleanup.zip file:

unzip -d /tmp /tmp/000051992_decommission_cleanup.zip 

4. Execute the extracted /tmp/decommission_cleanup.py script to remove the offending database entry related to the decommissioned host:

python /tmp/decommission_cleanup.py

Note: The following prompt will be displayed:

This operation has to be performed when there is no Decommission workflow in progress.

Enter y to proceed with running the script.

Note: At this point, running the sos command should not produce the error noted in the Symptoms section.