TKC 仮想マシンまたは Service VM への PVC のアタッチが正常に動作せず、あわせて vSphere Namespace のイベントに 「ReconcileCnsVolumeMetadata: Failed to delete entry in CNS for instance with name」

Products

• VMware vSphere Kubernetes Service

Issue/Introduction

免責事項：これは英文の記事「Attaching of PVCs to TKC VMs or Service VMs does not work and also error "ReconcileCnsVolumeMetadata: Failed to delete entry in CNS for instance with name" is seen in vSphere Namespace's Events」の日本語訳です。記事はベストエフォートで翻訳を進めているため、ローカライズ化コンテンツは最新情報ではない可能性があります。最新情報は英語版の記事で参照してください。

• PVC を TKC または Service VM にアタッチする処理が動作しなくなっており、その結果、TKC ノードをプロビジョニングできない状態となっています。
• 影響を受けている vSphere Namespace に固有のイベントを確認すると、以下のエラーが確認されます。

  root@SV [ ~ ]# kubectl get events -n <vsphere-namespace>
  LAST SEEN   TYPE       REASON         OBJECT                     MESSAGE
  1m          Warning    UpdateFailed   cnsvolumemetadata/[...]     ReconcileCnsVolumeMetadata: Failed to delete entry in CNS for instance with name "<TKC>-etcd-0" and entity type "POD" in the guest cluster "#######-####-####-####-############". Requeuing request.
  2m          Warning    UpdateFailed   cnsvolumemetadata/[...]     ReconcileCnsVolumeMetadata: Failed to delete entry in CNS for instance with name "<TKC>-etcd-1" and entity type "POD" in the guest cluster "#######-####-####-####-############". Requeuing request.
  3m          Warning    UpdateFailed   cnsvolumemetadata/[...]     ReconcileCnsVolumeMetadata: Failed to delete entry in CNS for instance with name "<TKC>-etcd-2" and entity type "POD" in the guest cluster "#######-####-####-####-############". Requeuing request.

• vsphere-csi-controller の vsphere-sync コンテナのログを確認すると、以下のログが出力されています。
  

  root@SV [ ~ ]# kubectl logs -n vmware-system-csi vsphere-csi-controller-#########-##### vsphere-syncer | grep "op timeout"
  {"level":"info","time":"####-##-##T##:##:##.000Z","caller":"volume/listview.go:253","msg":"op timeout. context deadline exceeded. using listview context without a timeout","TraceId":"########-####-####-####-############"}

Environment

VMware vSphere 8.0 / 9.0

VMware vSphere Kubernetes Service

Cause

vsphere-csi-controller は、まれな状況においてタスクの完了を検知できない場合があります。

Resolution

本問題は、将来の vCenter リリースにて修正される予定です。

回避策

本問題の回避策として、Supervisor 上で vsphere-csi-controller を再起動してください。

# kubectl rollout restart deployment -n vmware-system-csi vsphere-csi-controller

環境の規模によっては、処理が追いつくまでに数分（約 5～15 分）程度お待ちください。

Additional Information

本問題は、Kubernetes における将来の upstream 版 vsphere-csi-driver においても修正されています。詳細については、以下をご参照ください。https://github.com/kubernetes-sigs/vsphere-csi-driver/pull/3584