Intermittent PSODs (Purple Diagnostic Screens) observed during reboot operations on vSphere ESXi 8.0 U3 hosts

Products

• VMware vSphere ESXi

Issue/Introduction

• ESXi hosts utilizing Emulex Host Bus Adapters (HBAs) may intermittently encounter a Purple Screen of Death (PSOD) during shutdown or reboot sequences.
  
  
• The PSOD screen captures the following crash information on the affected host console:
  

  VMware ESXi 8.0.3 [Releasebuild-######## x86_64] 
  PANIC bora/vmkernel/main/dlmalloc.c:4944 - Usage error in dlmalloc 
  
  Module(s) involved in panic: [lpfc 14.4.0.42-35vmw.803.0.95.######## (External)] 
  cr0=0x######## cr2=0x########## cr3=0x######## cr4=0x######## 
  FMS=06/ad/1 uCode=0x####### 
  *PCPU##:#######/devlayer parallel teardown 
  PCPU 0: ISSSSSSSSSSSSSSISSSISSISSSSSISSSSISISSISSIIISIIIISIISIIIIIISIIII 
  Code start: 0x############ VMK uptime: #:##:##:##.### 
  0x############:[0x############]PanicvPanicInt@vmkernel#nover+0x20c stack: 0x################ 
  0x############:[0x############]Panic_NoSave@vmkernel#nover+0x4d stack: 0x############ 
  0x############:[0x############]DLM_free@vmkernel#nover+0x15c stack: 0x############ 
  0x############:[0x############]Heap_Free@vmkernel#nover+0xb2 stack: 0x60 
  0x############:[0x############]lpfc_sli4_queue_free@(lpfc)#+0xdf stack: 0x60 
  0x############:[0x############]lpfc_sli4_queue_destroy@(lpfc)#+0x2e0 stack: 0x############ 
  0x############:[0x############]lpfc_sli4_hba_unset@(lpfc)#+0x15b stack: 0x############ 
  0x############:[0x############]lpfc_pci_remove_one_s4@(lpfc)#+0x105 stack: 0x################ 
  0x############:[0x############]lpfc_detachDevice@(lpfc)#+0x8f stack: 0x############ 
  0x############:[0x############]Driver_DetachDevice@vmkernel#nover+0x122 stack: 0x############ 
  0x############:[0x############]DeviceDetach@vmkernel#nover+0xae stack: 0x############ 
  0x############:[0x############]DeviceRemoveCB@vmkernel#nover+0x25 stack: 0x0 
  0x############:[0x############]DeviceTreeWalk@vmkernel#nover+0xf4 stack: 0x################ 
  0x############:[0x############]DeviceTeardownHelperRemoveCB@vmkernel#nover+0x36 stack: 0x############ 
  0x############:[0x############]HelperQueueFunc@vmkernel#nover+0x19d stack: 0x############ 
  0x############:[0x############]CpuSched_StartWorld@vmkernel#nover+0xbf stack: 0x0 
  0x############:[0x############]Debug_IsInitialized@vmkernel#nover+0xc stack: 0x0

Environment

vSphere ESXi 8.x

Cause

• The host bus adapter port remains in the Link Speed Negotiation phase when a function reset is triggered.
• An extended delay during this negotiation process causes the function reset to time out.
• This behavior indicates an underlying physical or interoperability hardware fault involving the mezzanine host bus adapter, the chassis backplane, or the backplane switch.

Resolution

HPE Engineering is aware of this issue and is investigating further. 
Please engage HPE/Emulex support for additional guidance and troubleshooting.