物理存储阵列之间启用卷复制后，ESXi 主机在开机时无法自动挂载使用 ATS-only 锁定模式的 VMFS卷
Article ID: 321976
Updated On:
Products
VMware vSphere ESXi
Issue/Introduction
Symptoms:
1 数据中心使用了vSphere Metro Storage Cluster (vMSC) 架构。 2 物理存储配置了存储阵列之间的卷复制，与未启用卷复制功能时相比，主机上访问这些卷的路径会较之前有所增加； 其中一部分路径状态为待机模式，另一部分路径状态为活动模式。 3 在挂载 VMFS 卷遇到问题的 ESXi主机的 vmkernel.log 文件中，记录了以下内容： 2020-10-12T03:24:11.884Z cpu32:68241)WARNING: FSAts: 1519: Denying reservation access on an ATS-only vol 'P067A02R5P600L100_3T_RC_P056' 2020-10-12T03:24:11.884Z cpu32:68241)WARNING: HBX: 2342: ATS-Only VMFS volume 'P067A02R5P600L100_3T_RC_P056' is not mounted. This host does not support ATS, or ATS initialization failed. 2020-10-12T03:24:11.884Z cpu32:68241)WARNING: HBX: 2356: Failed to initialize VMFS distributed locking on volume 5df09822-9957dfd9-635b-10604bab6528: Not supported 在挂载 VMFS 卷遇到问题的 ESXi主机的 /var/run/log/boot.gz 文件中，记录了以下内容， 开机后可以在vCenter中看到挂载时使用的路径为待机路径： 2020-10-12T03:18:48.995Z cpu34:66343)StorageApdHandler: 977: APD Handle Created with lock[StorageApd-0x4306b3f2a070] 2020-10-12T03:18:48.995Z cpu34:66343)ScsiEvents: 501: Event Subsystem: Device Events, Created! 2020-10-12T03:18:48.995Z cpu34:66343)VMWARE SCSI Id: Id for vmhba68:C0:T2:L1 0x60 0x00 0x2a 0xc0 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x1d 0x00 0x01 0xb4 0xeb 0x56 0x56 0x20 0x20 0x20 0x20 2020-10-12T03:18:48.995Z cpu34:66343)WARNING: NMP: nmp_SelectPathAndIssueCommand:4616: PSP selected path "vmhba68:C0:T2:L1" in a bad state (standby) on device "naa.60002ac0000000000000001d0001b4eb". 2020-10-12T03:18:48.995Z cpu34:66343)NMP: nmp_ThrottleLogForDevice:3630: Cmd 0x12 (0x439d817ffbc0, 0) to dev "naa.60002ac0000000000000001d0001b4eb" on path "vmhba68:C0:T2:L1" Failed: H:0x1 D:0x0 P:0x0 Invalid sense data: 0x0 0x0 0x0. Act:FAILOVER 2020-10-12T03:18:48.995Z cpu34:66343)WARNING: NMP: nmp_DeviceRetryCommand:133: Device "naa.60002ac0000000000000001d0001b4eb": awaiting fast path state update for failover with I/O blocked. No prior reservation exists on the device. 2020-10-12T03:18:48.995Z cpu34:66343)WARNING: NMP: nmp_DeviceStartLoop:729: NMP Device "naa.60002ac0000000000000001d0001b4eb" is blocked. Not starting I/O from device. 2020-10-12T03:18:49.031Z cpu34:65987)WARNING: NMP: nmp_RegisterDeviceEvents:937: Could not register events 0x180 on device "naa.60002ac0000000000000001d0001b4eb", Status: Not found. Event Registration will be retried on next path eval. 2020-10-12T03:18:49.031Z cpu13:66362)WARNING: NMP: nmpDeviceAttemptFailover:640: Retry world failover device "naa.60002ac0000000000000001d0001b4eb" - issuing command 0x439d817ffbc0 2020-10-12T03:18:49.031Z cpu13:66362)WARNING: NMP: nmp_SelectPathAndIssueCommand:4616: PSP selected path "vmhba68:C0:T2:L1" in a bad state (standby) on device "naa.60002ac0000000000000001d0001b4eb". 2020-10-12T03:18:49.031Z cpu13:66362)WARNING: NMP: nmpCompleteRetryForPath:357: Retry cmd 0x12 (0x439d817ffbc0) to dev "naa.60002ac0000000000000001d0001b4eb" failed on path "vmhba68:C0:T2:L1" H:0x1 D:0x0 P:0x0 Invalid sense data: 0x0 0x0 0x0. 注意： 上述日志摘录仅为示例。 日期、时间和环境变量可能会因环境而有所不同。 4 主机开机后如果再次手动扫描存储，VMFS通常可以正常挂载。 5 该问题可能会在集群中固定的几台主机上发生。
1 数据中心使用了vSphere Metro Storage Cluster (vMSC) 架构。 2 物理存储配置了存储阵列之间的卷复制，与未启用卷复制功能时相比，主机上访问这些卷的路径会较之前有所增加； 其中一部分路径状态为待机模式，另一部分路径状态为活动模式。 3 在挂载 VMFS 卷遇到问题的 ESXi主机的 vmkernel.log 文件中，记录了以下内容： 2020-10-12T03:24:11.884Z cpu32:68241)WARNING: FSAts: 1519: Denying reservation access on an ATS-only vol 'P067A02R5P600L100_3T_RC_P056' 2020-10-12T03:24:11.884Z cpu32:68241)WARNING: HBX: 2342: ATS-Only VMFS volume 'P067A02R5P600L100_3T_RC_P056' is not mounted. This host does not support ATS, or ATS initialization failed. 2020-10-12T03:24:11.884Z cpu32:68241)WARNING: HBX: 2356: Failed to initialize VMFS distributed locking on volume 5df09822-9957dfd9-635b-10604bab6528: Not supported 在挂载 VMFS 卷遇到问题的 ESXi主机的 /var/run/log/boot.gz 文件中，记录了以下内容， 开机后可以在vCenter中看到挂载时使用的路径为待机路径： 2020-10-12T03:18:48.995Z cpu34:66343)StorageApdHandler: 977: APD Handle Created with lock[StorageApd-0x4306b3f2a070] 2020-10-12T03:18:48.995Z cpu34:66343)ScsiEvents: 501: Event Subsystem: Device Events, Created! 2020-10-12T03:18:48.995Z cpu34:66343)VMWARE SCSI Id: Id for vmhba68:C0:T2:L1 0x60 0x00 0x2a 0xc0 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x1d 0x00 0x01 0xb4 0xeb 0x56 0x56 0x20 0x20 0x20 0x20 2020-10-12T03:18:48.995Z cpu34:66343)WARNING: NMP: nmp_SelectPathAndIssueCommand:4616: PSP selected path "vmhba68:C0:T2:L1" in a bad state (standby) on device "naa.60002ac0000000000000001d0001b4eb". 2020-10-12T03:18:48.995Z cpu34:66343)NMP: nmp_ThrottleLogForDevice:3630: Cmd 0x12 (0x439d817ffbc0, 0) to dev "naa.60002ac0000000000000001d0001b4eb" on path "vmhba68:C0:T2:L1" Failed: H:0x1 D:0x0 P:0x0 Invalid sense data: 0x0 0x0 0x0. Act:FAILOVER 2020-10-12T03:18:48.995Z cpu34:66343)WARNING: NMP: nmp_DeviceRetryCommand:133: Device "naa.60002ac0000000000000001d0001b4eb": awaiting fast path state update for failover with I/O blocked. No prior reservation exists on the device. 2020-10-12T03:18:48.995Z cpu34:66343)WARNING: NMP: nmp_DeviceStartLoop:729: NMP Device "naa.60002ac0000000000000001d0001b4eb" is blocked. Not starting I/O from device. 2020-10-12T03:18:49.031Z cpu34:65987)WARNING: NMP: nmp_RegisterDeviceEvents:937: Could not register events 0x180 on device "naa.60002ac0000000000000001d0001b4eb", Status: Not found. Event Registration will be retried on next path eval. 2020-10-12T03:18:49.031Z cpu13:66362)WARNING: NMP: nmpDeviceAttemptFailover:640: Retry world failover device "naa.60002ac0000000000000001d0001b4eb" - issuing command 0x439d817ffbc0 2020-10-12T03:18:49.031Z cpu13:66362)WARNING: NMP: nmp_SelectPathAndIssueCommand:4616: PSP selected path "vmhba68:C0:T2:L1" in a bad state (standby) on device "naa.60002ac0000000000000001d0001b4eb". 2020-10-12T03:18:49.031Z cpu13:66362)WARNING: NMP: nmpCompleteRetryForPath:357: Retry cmd 0x12 (0x439d817ffbc0) to dev "naa.60002ac0000000000000001d0001b4eb" failed on path "vmhba68:C0:T2:L1" H:0x1 D:0x0 P:0x0 Invalid sense data: 0x0 0x0 0x0. 注意： 上述日志摘录仅为示例。 日期、时间和环境变量可能会因环境而有所不同。 4 主机开机后如果再次手动扫描存储，VMFS通常可以正常挂载。 5 该问题可能会在集群中固定的几台主机上发生。
Environment
VMware vSphere ESXi 6.5
Resolution
1 VMware 在 ESXi 6.5U1 以及更高的ESXi版本中，提供了 /Disk/FailDiskRegistration 参数，默认该参数值为 0。
在启用了存储阵列间卷复制的数据中心中，可以通过在ESXi中启用该参数来实现开机过程中正常挂载VMFS卷。
#esxcli system settings advanced set -o /Disk/FailDiskRegistration -i 1
启用了 /Disk/FailDiskRegistration 后，重启主机即可生效。
关于 /Disk/FailDiskRegistration 的详细说明，可以参考 ESXi 6.5U1的文档：
VMware ESXi 6.5 Update 1 Release Notes
2 可以通过以下命令确认物理存储类型是否为 implicit ALUA：
#localcli storage nmp device list
naa.60002ac0000000000000001d0001b4eb:
Device Display Name: 3PARdata Fibre Channel Disk (naa.60002ac0000000000000001d0001b4eb)
Storage Array Type: VMW_SATP_ALUA
Storage Array Type Device Config: {implicit_support=on; explicit_support=off; explicit_allow=on; alua_followover=on; action_OnRetryErrors=off; {TPG_id=257,TPG_state=AO}{TPG_id=258,TPG_state=STBY}}
Path Selection Policy: VMW_PSP_RR
Path Selection Policy Device Config: {policy=rr,iops=1,bytes=10485760,useANO=0; lastPathIndex=6: NumIOsPending=0,numBytesPending=0}
Path Selection Policy Device Custom Config:
Working Paths: vmhba68:C0:T6:L100, vmhba68:C0:T7:L100, vmhba69:C0:T5:L100, vmhba69:C0:T7:L100
Is USB: false
如果命令输出显示 implicit_support=on， 表明存储类型为 implicit ALUA。
这时如果需要使用存储间的卷复制，可以预先为ESXi 启用 /Disk/FailDiskRegistration 。
在启用了存储阵列间卷复制的数据中心中，可以通过在ESXi中启用该参数来实现开机过程中正常挂载VMFS卷。
#esxcli system settings advanced set -o /Disk/FailDiskRegistration -i 1
启用了 /Disk/FailDiskRegistration 后，重启主机即可生效。
关于 /Disk/FailDiskRegistration 的详细说明，可以参考 ESXi 6.5U1的文档：
VMware ESXi 6.5 Update 1 Release Notes
2 可以通过以下命令确认物理存储类型是否为 implicit ALUA：
#localcli storage nmp device list
naa.60002ac0000000000000001d0001b4eb:
Device Display Name: 3PARdata Fibre Channel Disk (naa.60002ac0000000000000001d0001b4eb)
Storage Array Type: VMW_SATP_ALUA
Storage Array Type Device Config: {implicit_support=on; explicit_support=off; explicit_allow=on; alua_followover=on; action_OnRetryErrors=off; {TPG_id=257,TPG_state=AO}{TPG_id=258,TPG_state=STBY}}
Path Selection Policy: VMW_PSP_RR
Path Selection Policy Device Config: {policy=rr,iops=1,bytes=10485760,useANO=0; lastPathIndex=6: NumIOsPending=0,numBytesPending=0}
Path Selection Policy Device Custom Config:
Working Paths: vmhba68:C0:T6:L100, vmhba68:C0:T7:L100, vmhba69:C0:T5:L100, vmhba69:C0:T7:L100
Is USB: false
如果命令输出显示 implicit_support=on， 表明存储类型为 implicit ALUA。
这时如果需要使用存储间的卷复制，可以预先为ESXi 启用 /Disk/FailDiskRegistration 。
Feedback
Yes
No
Powered by
