VMware 環境で管理されている仮想マシンにて I/O エラーが発生する

Products

VMware vSphere ESXi

Issue/Introduction

免責事項：これは英文の記事「Facing an I/O error on a VM which is hosted on VMware Environment.」の日本語訳です。記事はベストエフォートで翻訳を進めているため、ローカライズ化コンテンツは最新情報ではない可能性があります。最新情報は英語版の記事で参照してください。

仮想マシンの /var/log/messages にて、下記のようなメッセージが表示される場合があります。

YYYY-MM-DDTHH:MM:SS VM-NAME kernel: JBD2: Detected IO errors while flushing file data on dm-2-8
YYYY-MM-DDTHH:MM:SS VM-NAME kernel: JBD2: Detected IO errors while flushing file data on dm-2-8
YYYY-MM-DDTHH:MM:SS VM-NAME kernel: JBD2: Detected IO errors while flushing file data on dm-2-8

影響を受ける仮想マシンが存在する ESXi の /var/log/vmkernel.log では、仮想マシンのファイルが存在するデータストアに関連した下記のようなエラーが表示される場合があります。

YYYY-MM-DDTHH:MM:SSZ In(182) vmkernel: cpu52:136841550)Fil6: 4179: 'DATASTORE-NAME': Fil6 file IO (<FD c60 r110>) : Limit exceeded
YYYY-MM-DDTHH:MM:SSZ In(182) vmkernel: cpu60:147041128)Fil6: 4179: 'DATASTORE-NAME': Fil6 file IO (<FD c60 r110>) : Limit exceeded
YYYY-MM-DDTHH:MM:SSZ In(182) vmkernel: cpu48:147071119)Fil6: 4179: 'DATASTORE-NAME': Fil6 file IO (<FD c60 r110>) : Limit exceeded
YYYY-MM-DDTHH:MM:SSZ In(182) vmkernel: cpu82:147041126)Fil6: 4179: 'DATASTORE-NAME': Fil6 file IO (<FD c60 r110>) : Limit exceeded
YYYY-MM-DDTHH:MM:SSZ In(182) vmkernel: cpu3:147041137)Fil6: 4179: 'DATASTORE-NAME': Fil6 file IO (<FD c60 r110>) : Limit exceeded
YYYY-MM-DDTHH:MM:SSZ In(182) vmkernel: cpu79:147041125)Fil6: 4179: 'DATASTORE-NAME': Fil6 file IO (<FD c60 r110>) : Limit exceeded
YYYY-MM-DDTHH:MM:SSZ In(182) vmkernel: cpu55:146964280)Fil6: 4179: 'DATASTORE-NAME': Fil6 file IO (<FD c60 r110>) : Limit exceeded

上記メッセージのデータストアは、エラー / 問題が発生する前にサイズ変更されています。
データストアの LUN がシンプロビジョニングであり、バッキングストレージプールの容量が枯渇している場合、データストアの空き容量を確保した後でも同エラーで仮想マシンの I/O が失敗する場合があります。

Environment

VMware vSphere ESXi 7.x

VMware vSphere ESXi 8.x

Cause

仮想マシンのファイルが存在するデータストアが拡張されていますが、データストアに接続されている全ての ESXi が新しい情報で更新されているわけではなく、データストアの新しいサイズを認識していません。そのため、仮想マシンはホストがデータストアの外側にあると認識しているブロックに I/O を試み、問題が発生します。ストレージの再スキャンが実施されていない、あるいはホストで再スキャンが失敗する場合、ホストがボリュームメタデータへクエリすると拡張ボリュームサイズとキャッシュされた元のデバイスサイズとの間に不一致が見つかります。

Resolution

このデータストアに接続されている全てのホストでストレージの再スキャンを実施し、全てのホストで新しいサイズ情報を更新します。

Additional Information

Performing a rescan of the storage on an ESXi host
データストアが拡張された際にストレージの再スキャンを実施していない、あるいはホストで再スキャンが失敗した場合、その他のエラーや症状も発生する場合があります。参考：After a datastore is expanded from the ESXi host client or CLI, one or more hosts report "Device shrank" and the datastore becomes inaccessible