iSCSI 接続での 'offline' と 'online' 間のフラッピング
search cancel

iSCSI 接続での 'offline' と 'online' 間のフラッピング

book

Article ID: 410618

calendar_today

Updated On:

Products

VMware vSphere ESXi

Issue/Introduction

Symptoms:

免責事項：これは英文の記事「 iSCSI connection flapping between 'offline' and 'online' 」の日本語訳です。記事はベストエフォートで翻訳を進めているため、ローカライズ化コンテンツは最新情報ではない可能性があります。最新情報は英語版の記事で参照してください。

  • VMware ESXi でソフトウェア iSCSI イニシエータを使用しています。ESX/ESXi での iSCSI LUN 接続の問題となります。

  • 同じサブネットに複数の VMkernel ポートグループがあり、同じ iSCSI ターゲットにアクセスしています。

  • iSCSI 接続が頻繁にオフラインとしてマークされるが、すべての接続が再びオンラインになるわけではありません。

  • 複数のデッドパスが時間経過とともに蓄積されます。

  • 実際のネットワークトラフィックの損失は発生しません。

  • iSCSI イニシエータが再起動後にランダムに再接続されます。

  • KAVG/cmd と QAVG/cmd が高く、レイテンシーの問題が観測されます。

  • ESXi サーバーの  /var/log/vmkernel.log に以下のような警告が頻繁に表示されます:

    vmkernel: 57:14:42:01.498 cpu5:4321)WARNING: iscsi_vmk: iscsivmk_ConnReceiveAtomic: vmhba34:CH:0 T:6 CN:0: Failed to receive data: Connection closed by peer
    vmkernel: 57:14:42:01.498 cpu5:4321)iscsi_vmk: iscsivmk_ConnRxNotifyFailure: vmhba34:CH:0 T:6 CN:0: Connection rx notifying failure: Failed to Receive. State=Online
    vmkernel: 57:14:42:01.498 cpu5:4321)WARNING: iscsi_vmk: iscsivmk_StopConnection: vmhba34:CH:0 T:6 CN:0: Processing CLEANUP event
    vmkernel: 57:14:42:01.748 cpu4:4321)WARNING: iscsi_vmk: iscsivmk_StopConnection: vmhba34:CH:0 T:6 CN:0: iSCSI connection is being marked "OFFLINE"
    [...]
    vmkernel: 57:14:42:07.835 cpu1:4321)WARNING: iscsi_vmk: iscsivmk_StartConnection: vmhba34:CH:0 T:6 CN:0: iSCSI connection is being marked "ONLINE"

  • ログに登録された iSCSI フラッピングのメッセージの数により、ホストのリソースが使用できなくなり、その結果、ESX iホストとその上で動作している VM が応答しなくなったり、ハングアップします。

  • 状況によっては、ESXi ホストの CPU 使用率が非常に高くなります。

Environment

VMware vSphere ESXi 6.x
VMware vSphere ESXi 7.x
VMware vSphere ESXi 8.x

Cause

  • iSCSI 接続は iSCSI ターゲットによってクローズされ、ピアによってクローズされた接続は、ターゲットストレージから ESXi ホストに送信される TCP セッションのリセット/クローズを示します。

  • クライアントでサーバーからデータを受信中にネットワークエラーが発生します。

  • この問題は、ストレージアレイの構成、ホストのネットワーク構成、もしくは、環境全体で設定されている MTU サイズを含む VMware ESXi 製品が不適切なために発生します。サーバーは接続を受け入れ、要求を処理し、クライアントに応答を送信します。

  • サーバーがソケットをクローズすると、ソケットの実装上、 TCP リセットセグメントを送信し、クライアントにデータを捨ててエラーを報告するように指示するため、クライアント側では接続が異常終了したと認識されます。

  • SAN または SAN アレイの過飽和により、通信が切断されたり、ESXi ホストがタイムアウトによりタスクを停止した後にストレージ・タスクが完了します。 (5000 ms)

  • SAN ターゲットの IP アドレスが重複し、断続的な接続損失やその他の異常動作が発生します。

  • SAN ターゲット接続のロードバランシング VMware ESXi ソフトウェア iSCSI イニシエータを使用する場合は、接続ロードバランシングを無効にします。ラウンドロビンマルチパスポリシーを使用してロードバランシングを構成できます。

Resolution

この問題を解決するには、ストレージアレイの構成とホストのネットワーク構成を確認します。

VMkernelネットワークの設定ミスを修正します :

それでも問題が解決しない場合は、これらのメッセージの TCP ダンプを収集し、ストレージ OEM にて原因の特定を行います。

Additional Information

Powered by Wolken Software