ゲスト クラスタを v1.31.4+vmware.1-fips にアップグレードすると、pinniped-concierge-kube-cert-agent は ImagePullBackOff 状態になります。

Products

• VMware vSphere Kubernetes Service

Issue/Introduction

免責事項：これは英文の記事「pinniped-concierge-kube-cert-agent is in ImagePullBackOff when upgrading Guest cluster to v1.31.4+vmware.1-fips」の日本語訳です。記事はベストエフォートで翻訳を進めているため、ローカライズ化コンテンツは最新情報ではない可能性があります。最新情報は英語版の記事で参照してください。 2.

• Guest クラスタをバージョン v1.31.4 にアップグレードすると、新しい CP ノードがデプロイされ、Guest クラスタのノード一覧に参加します。
  
  
• すべての Pod は新しいノードへ移行されますが、pinniped-concierge-kube-cert-agent Pod のみ移行されません。
  
  
• 新しい CP ノード上では、pinniped-concierge-kube-cert-agent Pod が ImagePullBackOff 状態となり、describe コマンドの出力に以下のエラーが表示されます。

Warning Failed 11m (x4 over 12m) kubelet Failed to pull image "localhost:5000/tkg/packages/core/pinniped@sha256:<#################################>": rpc error: code = NotFound desc = failed to pull and unpack image "localhost:5000/tkg/packages/core/pinniped@sha256:<#################################>": failed to resolve reference "localhost:5000/tkg/packages/core/pinniped@sha256:<#################################>": localhost:5000/tkg/packages/core/pinniped@sha256:<#################################>: not found
Warning Failed 11m (x4 over 12m) kubelet Error: ErrImagePull
Warning Failed 11m (x6 over 12m) kubelet Error: ImagePullBackOff

• 以下のコマンドを実行すると、Guest クラスタの CP ノード上にイメージが存在していることが確認できます。
  
  ctr -n k8s.io images list | grep pin

上記コマンドの結果から、CP ノード上に存在するイメージの sha<ID> と、Pod が取得しようとしているイメージの sha<ID> が一致していないことが確認できます。

Environment

vSphere with Tanzu
VMware vSphere Kubernetes service

Cause

アップグレード中に、新しく追加されたコントロールプレーン（CP）ノードでは、以前のノードのイメージロケーションを参照する Pod デプロイメントが設定されています。しかし、Guest クラスタの CP ノード上に存在するイメージはより新しいバージョンであるため、Pod が ImagePullBackOff エラーに遭遇します。
Pod のデプロイメントが古いイメージ参照を指しているため、そのデプロイメントを参照する ReplicaSet も古いイメージを参照してデプロイされます。

Resolution

• Pod のデプロイメントを確認し、「image」フィールドで参照されているイメージを検証してください。
  
  kubectl get deployment -A | grep pinniped
kubectl get deployment pinniped-concierge-kube-cert-agent -n pinniped-concierge -o yaml | less


• 新しい CP ノードに存在するイメージを一覧表示します。
  
ctr -n k8s.io images list | grep pinniped


• 上記 2 つの出力結果を比較し、デプロイメントで参照されているイメージが新しい CP ノード上に存在するイメージと異なる場合は、Broadcom Support へお問い合わせください。