vSphere Supervisor のアップグレード中に、「コンポーネント AKOUpgrade が失敗しました」というエラー メッセージが表示されます。

Products

• VMware vSphere Kubernetes Service

Issue/Introduction

免責事項：これは英文の記事「During a vSphere Supervisor upgrade, and "Component AKOUpgrade failed" error message is received.」の日本語訳です。記事はベストエフォートで翻訳を進めているため、ローカライズ化コンテンツは最新情報ではない可能性があります。最新情報は英語版の記事で参照してください。

vSphere Supervisor を次のインクリメンタルバージョンへアップグレード中に、「Component AKOUpgrade failed」という設定エラーが表示されます：

• A general system error occurred. Error message: Component AKOUpgrade failed: Failed to run command: ['kubectl', 'rollout', 'status', 'deployment', 'vmware-system-ako-ako-controller-manager', '-n', 'vmware-system-ako', '--timeout=3m', '--watch=true'] ret=1 out=Waiting for deployment "vmware-system-ako-ako-controller-manager" rollout to finish: 0 of 1 updated replicas are available... err=error: timed out waiting for the condition Component upgrade failed..

• 
• vmware-system-ako-ako-controller-manager pod が再起動を繰り返し、最終的に CrashLoopBackOff 状態になります：
  • NAMESPACE NAME READY STATUS RESTARTS AGE
    vmware-system-ako vmware-system-ako-ako-controller-manager-##########-##### 1/2 CrashLoopBackOff 51 (2m6s ago) 3h58m

Environment

• vSphere Supervisor with NSX-T and AVI-ALB

Cause

"avi-secret" が見つからないため Avi Controller 情報が欠落しており、そのことは vmware-system-ako-ako-controller-manager のログに記録されています。

• vmware-system-ako-ako-controller-manager のログには、以下のようなエントリが含まれる場合があります：
  • 2025-##-##T##:##:##.#########Z stdout F 2025-##-##T##:##:##.###Z ESC[31mERRORESC[0m lib/lib.go:1720 secrets "avi-secret" not found
2025-##-##T##:##:##.#########Z stdout F 2025-##-##T##:##:##.###Z ESC[33mWARNESC[0m ako-main/main.go:237 AKO ブートストラップ用シークレットの取得中にエラーが発生しました secrets "avi-secret" not found
2025-##-##T##:##:##.#########Z stdout F 2025-##-##T##:##:##.###Z ESC[34mINFOESC[0m api/api.go:68 API サーバーをシャットダウンしています
2025-##-##T##:##:##.#########Z stdout F 2025-##-##T##:##:##.###Z ESC[31mFATALESC[0m cache/avi_ctrl_clients.go:52 Avi Controller 情報が欠落しています (username: , password: , authToken: , controller: ###.###.###.###)。これらを更新してください

 

この問題は、Avi Load Balancer にカスタム証明書を適用している場合に発生することがあり、その証明書チェーンが NSX Manager 内に存在しないことが原因となる場合があります。

• nsx-ncp pod のログには、以下のようなエントリが含まれます：
  • 2025-##-##T##:##:##.#########Z stderr F [ncp GreenThread-132 W] vmware_nsxlib.v3.client The HTTP request returned error code 400, whereas 201/200 response codes were expected. Response body {'httpStatus': 'BAD_REQUEST', 'error_code': 500016, 'module_name': 'Policy', 'error_message': 'Error: I/O error on GET request for \"https://###.###.###.###/api/user\": PKIX path building failed: java.security.cert.CertPathBuilderException: Unable to find certificate chain.; nested exception is javax.net.ssl.SSLHandshakeException: PKIX path building failed: java.security.cert.CertPathBuilderException: Unable to find certificate chain.'}","annotations":{"last-sync":"##########.#######","prometheus.io/port":"8001","prometheus.io/scrape":"true"},"namespace_name":"vmware-system-nsx","pod_id":"########-####-####-####-############","labels":{"pod-template-hash":"#########","tier":"nsx-networking","component":"nsx-ncp","version":"v1"},"procid":"nsx-ncp-#########-#####"}]

Resolution

本事象の詳細および解決手順につきましては、KB 記事 385435 をご確認ください：

• Avi Controller の証明書が変更／更新された際に、NSX-T で証明書チェーンを更新する方法