Traffic failover when NSX Edge is placed in NSX Maintenance Mode (MM).
search cancel

Traffic failover when NSX Edge is placed in NSX Maintenance Mode (MM).

book

Article ID: 374750

calendar_today

Updated On:

Products

VMware NSX

Issue/Introduction

When an Edge is placed in NSX MM, traffic failover (SR failover) happens with switching of Backplane IP.

Environment

NSX-T
NSX Data Center

Resolution

Lab validation :


Edge 01 :

    Interface     : 440f1f52-9e37-43ac-83dc-d6de52c3ddae
    Ifuid         : 292
    Name          : bp-sr0-port
    Fwd-mode      : IPV4_ONLY
    Internal name : backplane-292
    Mode          : lif
    Port-type     : backplane
    IP/Mask       : 169.254.0.2/25;fe80::50:56ff:fe56:5300/64(NA)
    MAC           : 02:50:56:56:53:00
    VNI           : 74753
    Access-VLAN   : untagged
    LS port       : 804bca63-a4ca-4a7e-bd02-fe21e4b5b434
    Urpf-mode     : NONE
    DAD-mode      : LOOSE
    RA-mode       : RA_INVALID
    Admin         : up
    Op_state      : up
    Enable-mcast  : True
    MTU           : 1500
    arp_proxy     :

 

Edge 02 :

    Interface     : b596aab8-185e-4d42-adb2-61aa297ddc4a
    Ifuid         : 275
    Name          : bp-sr1-port
    Fwd-mode      : IPV4_ONLY
    Internal name : backplane-275
    Mode          : lif
    Port-type     : backplane
    IP/Mask       : 169.254.0.3/25;fe80::50:56ff:fe56:5301/64(NA)
    MAC           : 02:50:56:56:53:01
    VNI           : 74753
    Access-VLAN   : untagged
    LS port       : 36ea801f-2325-4b55-a7e4-08f8b053ef6a
    Urpf-mode     : NONE
    DAD-mode      : LOOSE
    RA-mode       : RA_INVALID
    Admin         : up
    Op_state      : up
    Enable-mcast  : True
    MTU           : 1500
    arp_proxy     :


The tenant ESXi host has both the Edges in its neighbor table pointing to its respective SR backplane interface mac-address.

esxi> get logical-router 7a714355-4354-4c28-8b29-e906f1c211bc neighbor

Thu Aug 01 2024 UTC 11:43:12.474
                                                    Logical Routers Neighbors
----------------------------------------------------------------------------------------------------------------------------------
Flags Legend: [S: Static], [V: Valid], [P: Proxy], [I: Interface]
[N: Nascent], [L: Local], [D: Deleted], [K: linKlif], [A: AutoRefresh]

                Network                         Mac          Flags      State      Uptime     SrcPort    Refcnt                Lif UUID
========================================================================================================================================
169.254.0.3                              02:50:56:56:53:01     V      453           147     2214592526     2     4b25efaa-3520-4437-b8d8-7f3762085b86
169.254.0.2                              02:50:56:56:53:00     V      536           2417    2214592526     2     4b25efaa-3520-4437-b8d8-7f3762085b86


Tier-0 gateway in active-active mode showing two default routes in the forwarding table with gateway pointing to both edges.

esxi> get logical-router 7a714355-4354-4c28-8b29-e906f1c211bc forwarding

Thu Aug 01 2024 UTC 11:43:41.136
                                       Logical Routers Forwarding Table
--------------------------------------------------------------------------------------------------------------
Flags Legend: [U: Up], [G: Gateway], [C: Connected], [I: Interface]
[H: Host], [R: Reject], [B: Blackhole], [F: Soft Flush], [E: ECMP]

                   Network                               Gateway                Type               Interface UUID
==============================================================================================================
0.0.0.0/0                                              169.254.0.2              UGE     4b25efaa-3520-4437-b8d8-7f3762085b86
0.0.0.0/0                                              169.254.0.3              UGE     4b25efaa-3520-4437-b8d8-7f3762085b86


Edge 01 is now placed in NSX MM :

Edge 02 takes over Backplane Interface IP from Edge 01. The new IP-MAC association (169.254.0.2/25 & 02:50:56:56:53:01) will be broadcasted to the tenant ESXi host using GARP.

Edge 02 :

    Interface     : b596aab8-185e-4d42-adb2-61aa297ddc4a
    Ifuid         : 275
    Name          : bp-sr1-port
    Fwd-mode      : IPV4_ONLY
    Internal name : backplane-275
    Mode          : lif
    Port-type     : backplane
    IP/Mask       : 169.254.0.2/25;169.254.0.3/25;fe80::50:56ff:fe56:5300/64(NA);fe80::50:56ff:fe56:5301/64(NA)
    MAC           : 02:50:56:56:53:01
    VNI           : 74753
    Access-VLAN   : untagged
    LS port       : 36ea801f-2325-4b55-a7e4-08f8b053ef6a
    Urpf-mode     : NONE
    DAD-mode      : LOOSE
    RA-mode       : RA_INVALID
    Admin         : up
    Op_state      : up
    Enable-mcast  : True
    MTU           : 1500
    arp_proxy     :

The tenant ESXi host updated its neighbor table using GARP broadcast.

esxi> get logical-router 7a714355-4354-4c28-8b29-e906f1c211bc neighbor
Thu Aug 01 2024 UTC 11:48:20.224
                                                    Logical Routers Neighbors
----------------------------------------------------------------------------------------------------------------------------------
Flags Legend: [S: Static], [V: Valid], [P: Proxy], [I: Interface]
[N: Nascent], [L: Local], [D: Deleted], [K: linKlif], [A: AutoRefresh]

                Network                         Mac          Flags      State      Uptime     SrcPort    Refcnt                Lif UUID
========================================================================================================================================
169.254.0.3                              02:50:56:56:53:01     V      507           455     2214592526     2     4b25efaa-3520-4437-b8d8-7f3762085b86
169.254.0.2                              02:50:56:56:53:01     V      590           2725    2214592526     2     4b25efaa-3520-4437-b8d8-7f3762085b86

Powered by Wolken Software