All TKR's versions are in status False in supervisor. We can't deploy new nodes or tkc.

Products

• Tanzu Kubernetes Runtime

Issue/Introduction

All TKr versions are in a READY=False status:

# kubectl get tkr -n dev-dom-b
NAME                                      VERSION                                 READY   COMPATIBLE   CREATED
v1.16.12---vmware.1-tkg.1.da7afe7         v1.16.12+vmware.1-tkg.1.da7afe7        False   False        552d
v1.16.14---vmware.1-tkg.1.ada4837         v1.16.14+vmware.1-tkg.1.ada4837         False   False        552d
v1.16.8---vmware.1-tkg.3.60d2ffd          v1.16.8+vmware.1-tkg.3.60d2ffd          False   False        552d
v1.17.11---vmware.1-tkg.1.15f1e18         v1.17.11+vmware.1-tkg.1.15f1e18         False   False        552d
v1.17.11---vmware.1-tkg.2.ad3d374         v1.17.11+vmware.1-tkg.2.ad3d374         False   False        552d
v1.17.13---vmware.1-tkg.2.2c133ed         v1.17.13+vmware.1-tkg.2.2c133ed         False   False        552d
v1.17.17---vmware.1-tkg.1.d44d45a         v1.17.17+vmware.1-tkg.1.d44d45a         False   False        552d
v1.17.7---vmware.1-tkg.1.154236c          v1.17.7+vmware.1-tkg.1.154236c          False   False        552d
v1.17.8---vmware.1-tkg.1.5417466          v1.17.8+vmware.1-tkg.1.5417466          False   False        552d
v1.18.10---vmware.1-tkg.1.3a6cd48         v1.18.10+vmware.1-tkg.1.3a6cd48         False   False        552d
v1.18.15---vmware.1-tkg.1.600e412         v1.18.15+vmware.1-tkg.1.600e412         False   False        552d
v1.18.15---vmware.1-tkg.2.ebf6117         v1.18.15+vmware.1-tkg.2.ebf6117         False   False        552d
v1.18.19---vmware.1-tkg.1.17af790         v1.18.19+vmware.1-tkg.1.17af790         False   False        552d
v1.18.5---vmware.1-tkg.1.c40d30d          v1.18.5+vmware.1-tkg.1.c40d30d          False   False        552d
v1.19.11---vmware.1-tkg.1.9d9b236         v1.19.11+vmware.1-tkg.1.9d9b236         False   False        552d
v1.19.14---vmware.1-tkg.1.8753786         v1.19.14+vmware.1-tkg.1.8753786         False   False        552d
v1.19.16---vmware.1-tkg.1.df910e2         v1.19.16+vmware.1-tkg.1.df910e2         False   False        552d
v1.19.7---vmware.1-tkg.1.fc82c41          v1.19.7+vmware.1-tkg.1.fc82c41          False   False        552d
v1.19.7---vmware.1-tkg.2.f52f85a          v1.19.7+vmware.1-tkg.2.f52f85a          False   False        552d
v1.20.12---vmware.1-tkg.1.b9a42f3         v1.20.12+vmware.1-tkg.1.b9a42f3         False   False        552d
v1.20.2---vmware.1-tkg.1.1d4f79a          v1.20.2+vmware.1-tkg.1.1d4f79a          False   False        552d
v1.20.2---vmware.1-tkg.2.3e10706          v1.20.2+vmware.1-tkg.2.3e10706          False   False        552d
v1.20.7---vmware.1-tkg.1.7fb9067          v1.20.7+vmware.1-tkg.1.7fb9067          False   False        552d
v1.20.8---vmware.1-tkg.2                  v1.20.8+vmware.1-tkg.2                  False   False        552d
v1.20.9---vmware.1-tkg.1.a4cee5b          v1.20.9+vmware.1-tkg.1.a4cee5b          False   False        552d
v1.21.2---vmware.1-tkg.1.ee25d55          v1.21.2+vmware.1-tkg.1.ee25d55          False   False        552d
v1.21.6---vmware.1-tkg.1                  v1.21.6+vmware.1-tkg.1                  False   False        552d
v1.21.6---vmware.1-tkg.1.b3d708a          v1.21.6+vmware.1-tkg.1.b3d708a          False   False        552d
v1.22.9---vmware.1-tkg.1                  v1.22.9+vmware.1-tkg.1                  False   False        552d
v1.22.9---vmware.1-tkg.1.cc71bc8          v1.22.9+vmware.1-tkg.1.cc71bc8          False   False        552d
v1.23.15---vmware.1-tkg.4                 v1.23.15+vmware.1-tkg.4                 False   False        529d
v1.23.8---vmware.2-tkg.2-zshippable       v1.23.8+vmware.2-tkg.2-zshippable       False   False        529d
v1.23.8---vmware.3-tkg.1                  v1.23.8+vmware.3-tkg.1                  False   False        552d
v1.23.8---vmware.3-tkg.1.ubuntu           v1.23.8+vmware.3-tkg.1.ubuntu           False   False        364d
v1.24.11---vmware.1-fips.1-tkg.1          v1.24.11+vmware.1-fips.1-tkg.1          False   False        364d
v1.24.11---vmware.1-fips.1-tkg.1.ubuntu   v1.24.11+vmware.1-fips.1-tkg.1.ubuntu   False   False        364d
v1.24.9---vmware.1-tkg.4                  v1.24.9+vmware.1-tkg.4                  False   False        529d
v1.25.13---vmware.1-fips.1-tkg.1          v1.25.13+vmware.1-fips.1-tkg.1          False   False        358d
v1.25.13---vmware.1-fips.1-tkg.1.ubuntu   v1.25.13+vmware.1-fips.1-tkg.1.ubuntu   False   False        358d
v1.25.7---vmware.3-fips.1-tkg.1           v1.25.7+vmware.3-fips.1-tkg.1           False   False        364d
v1.26.10---vmware.1-fips.1-tkg.1          v1.26.10+vmware.1-fips.1-tkg.1          False   False        358d
v1.26.10---vmware.1-fips.1-tkg.1.ubuntu   v1.26.10+vmware.1-fips.1-tkg.1.ubuntu   False   False        358d
v1.26.12---vmware.2-fips.1-tkg.2          v1.26.12+vmware.2-fips.1-tkg.2          False   False        8d
v1.26.12---vmware.2-fips.1-tkg.2.ubuntu   v1.26.12+vmware.2-fips.1-tkg.2.ubuntu   False   False        8d
v1.26.13---vmware.1-fips.1-tkg.3          v1.26.13+vmware.1-fips.1-tkg.3          False   False        8d
v1.26.5---vmware.2-fips.1-tkg.1           v1.26.5+vmware.2-fips.1-tkg.1           False   False        364d
v1.27.10---vmware.1-fips.1-tkg.1          v1.27.10+vmware.1-fips.1-tkg.1          False   False        8d
v1.27.10---vmware.1-fips.1-tkg.1.ubuntu   v1.27.10+vmware.1-fips.1-tkg.1.ubuntu   False   False        8d
v1.27.11---vmware.1-fips.1-tkg.2          v1.27.11+vmware.1-fips.1-tkg.2          False   False        8d
v1.27.6---vmware.1-fips.1-tkg.1           v1.27.6+vmware.1-fips.1-tkg.1           False   False        314d
v1.27.6---vmware.1-fips.1-tkg.1.ubuntu    v1.27.6+vmware.1-fips.1-tkg.1.ubuntu    False   False        314d
v1.28.7---vmware.1-fips.1-tkg.1           v1.28.7+vmware.1-fips.1-tkg.1           False   False        8d
v1.28.7---vmware.1-fips.1-tkg.1.ubuntu    v1.28.7+vmware.1-fips.1-tkg.1.ubuntu    False   False        8d
v1.28.8---vmware.1-fips.1-tkg.2           v1.28.8+vmware.1-fips.1-tkg.2           False   False        8d
v1.29.4---vmware.3-fips.1-tkg.1           v1.29.4+vmware.3-fips.1-tkg.1           False   False        8d
v1.30.1---vmware.1-fips-tkg.5             v1.30.1+vmware.1-fips-tkg.5             False   False        8d
v1.31.1---vmware.2-fips-vkr.2             v1.31.1+vmware.2-fips-vkr.2             False   False        8d

Cause

TKr's are not ready because new Supervisor Control Plane nodes were deployed with newer version without undergoing the actual Supervisor k8s upgrade process.

 

Resolution

To fix TKr and get them into compatible state, copy gciscompatibility-1.25.13.yaml from vCenter to the Supervisor Control Plane node. Edit it and remove the namespace from the metadata. Next, apply the yaml file:

   kubectl apply -f gciscompatibility-1.25.13.yaml  -n vmware-system-ucs

 

Then, restart TKG Controller pod. This will reconcile all TKR's and update compatibility state for them.