vmkernel ログにエラー "Failed to open file 'hpilo-d0ccbXX" が多量に出力されて ESXi が応答なしとなる

Products

• VMware vSphere ESXi

Issue/Introduction

免責事項：これは英文の記事「Error: "Failed to open file 'hpilo-d0ccbXX" floods vmkernel logs and ESXi hosts become unresponsive」の日本語訳です。記事はベストエフォートで翻訳を進めているため、ローカライズ化コンテンツは最新情報ではない可能性があります。最新情報は英語版の記事で参照してください。

• 1 秒間に複数回、vmkernel ログに次のようなエラーが出力されます。
  

  • YYYY-MM-DDTHH:MM:SS.483Z cpu51:2108940)FSS: 7441: Failed to open file 'hpilo-d0ccb##'; Requested flags 0x5, world: 2108940 [sut], (Existing flags 0x0, world: 0 [unknown]): Busy
    YYYY-MM-DDTHH:MM:SS.496Z cpu51:2108940)ilo : Open could not dequeue a packet

• このメッセージは、1 秒間に複数回出力されます。注：このメッセージが 30 秒ごとに出力されるのは、正常です。しかし、ログの頻度が高くなるとストレージが切断される場合があります。
• ESXi がハング、あるいは応答なしの状態になる場合があります。
• 仮想マシンは引き続きホストメモリで稼働しますが、最終的には無効と表示されます。
• 環境によって下記エラーが発生する場合があります。

  • 503 Service Unavailable (Failed to connect to endpoint:.. 

• 設定済みのスクラッチ領域を消去し、デフォルトの設定に戻すことが可能です。

Environment

• VMware vSphere 8.0.X
• VMware vSphere 7.0.X

Cause

• HPE のドキュメントに基づくと、HPE WBEM Provider は 30 秒ごとに HPE Integrated Lights-Out (iLO) とのチャネルを開こうとします。
• これは、未使用の hpilo チャネルを検索しようとした際に、HPE Agentless Management Service (AMS) や  HPE Smart Update Tool (iSUT) でも出力される通常のメッセージです。
• これは、ネイティブ版の hpilo ドライバを実行する全ての VMware ESXi バージョン (例：ESXi6.5, 6.7, 7.x 等) で確認されます。
• ilo ドライバが既に使用中のチャネルに対してコマンドを開くことに失敗した場合、これらのメッセージはオペレーティングシステムによって vmkernel.log に出力されます。詳細については HPE Support Center をご確認ください。
• この場合、ログの頻度が予想以上に高くなる、すなわち 1 秒あたりに過剰なログの出力となります (チャネルあたり 3 件、後継 15 チャネル)。
• ESXi - /var/log/vmkernel.log
  

  YYYY-MM-DDTHH:MM:SS.483Z cpu51:2108940)FSS: 7441: Failed to open file 'hpilo-d0ccb##'; Requested flags 0x5, world: 2108940 [sut], (Existing flags 0x0, world: 0 [unknown]): Busy
  YYYY-MM-DDTHH:MM:SS.496Z cpu51:2108940)ilo : Open could not dequeue a packet
  
  YYYY-MM-DDTHH:MM:SS.496Z cpu51:2108940)FSS: 7441: Failed to open file 'hpilo-d0ccb##'; Requested flags 0x5, world: 2108940 [sut], (Existing flags 0x0, world: 0 [unknown]): Busy
  YYYY-MM-DDTHH:MM:SS.509Z cpu51:2108940)ilo : Open could not dequeue a packet
  
  YYYY-MM-DDTHH:MM:SS.509Z cpu51:2108940)FSS: 7441: Failed to open file 'hpilo-d0ccb##'; Requested flags 0x5, world: 2108940 [sut], (Existing flags 0x0, world: 0 [unknown]): Busy
  YYYY-MM-DDTHH:MM:SS.521Z cpu51:2108940)ilo : Open could not dequeue a packet

• 注：設計上、15 個の iLO チャネルのログは、時系列順に番号が割り当てられます。具体的には hpilo-d0ccb01, hpilo-d0ccb02 から hpilo-d0ccb15 までとなります。15 個のチャネルすべての 1 サイクル完了すると、プローブが 1 回繰り返されます。
• 通常、これらのメッセージは、1 秒間に複数回出力されない限り、無視して問題ありません。複数回出力される場合は、これが原因で I/O が詰まり、ストレージの切断や仮想マシンの遅延、あるいは障害が発生する場合があります。

Resolution

• HPE のドライバとファームウェアを互換性のある最新バージョンへアップデートし、ホストを再起動します。
• この問題に関する詳細については、HPE のハードウェアサポートへ確認することを推奨します。