Failed のステータスとなったセルの再デプロイ後、VCD の runtime topology 上のセルのノード数が、稼働中のノード数と一致しない

Products

• VMware Cloud Director

Issue/Introduction

免責事項：これは英文の記事「After redeploying the failed cell, the number of nodes in the VCD runtime topology does not match the number of running nodes.」の日本語訳です。記事はベストエフォートで翻訳を進めているため、ローカライズ化コンテンツは最新情報ではない可能性があります。最新情報は英語版の記事で参照してください。

 

VCD のセルが Failed 状態となり、対象ノードの再デプロイを行った後、/opt/vmware/vcloud-director/logs/cell-runtime.log に出力するセルのノード数が稼働数のノード数と一致しなくなります。

2025-10-05 13:21:38,181 | DEBUG    | Message Broker Topology Snapshotter | BrokerContext                  | Updated the last effective date of the latest topology state from 2025-10-05T13:20:48.033854Z | 
2025-10-05 13:21:38,966 | DEBUG    | Message Broker Topology Logger | BrokerContext                  | 
defaultTopology=topology on Topology@5a9665be[owner=ServerLocatorImpl [initialConnectors=[TransportConfiguration(name=netty-connector, factory=org-apache-activemq-artemis-core-remoting-impl-netty-NettyConnectorFactory)?port=61616&host=###-###-###-###, TransportConfiguration(name=netty-connector, factory=org-apache-activemq-artemis-core-remoting-impl-netty-NettyConnectorFactory)?port=61616&host=###-###-###-###, TransportConfiguration(name=netty-connector, factory=org-apache-activemq-artemis-core-remoting-impl-netty-NettyConnectorFactory)?port=61616&host=###-###-###-###, TransportConfiguration(name=netty-connector, factory=org-apache-activemq-artemis-core-remoting-impl-netty-NettyConnectorFactory)?port=61616&host=###-###-###-###], discoveryGroupConfiguration=DiscoveryGroupConfiguration{name='vcd-discovery-group', refreshTimeout=10000, discoveryInitialWaitTimeout=1000}]]:
        b493####-####-####-####-########ddf3 => TopologyMember[id=b493####-####-####-####-########ddf3, connector=Pair[a=TransportConfiguration(name=netty-connector, factory=org-apache-activemq-artemis-core-remoting-impl-netty-NettyConnectorFactory)?port=61616&host=172-###-###-12, b=null], backupGroupName=null, scaleDownGroupName=null]
        209d####-####-####-####-########21e1 => TopologyMember[id=209d####-####-####-####-########21e1, connector=Pair[a=TransportConfiguration(name=netty-connector, factory=org-apache-activemq-artemis-core-remoting-impl-netty-NettyConnectorFactory)?port=61616&host=172-###-###-15, b=null], backupGroupName=null, scaleDownGroupName=null]
        bf65####-####-####-####-########61b5 => TopologyMember[id=bf65####-####-####-####-########61b5, connector=Pair[a=TransportConfiguration(name=netty-connector, factory=org-apache-activemq-artemis-core-remoting-impl-netty-NettyConnectorFactory)?port=61616&host=172-###-###-11, b=null], backupGroupName=null, scaleDownGroupName=null]
        cf72####-####-####-####-########6dff => TopologyMember[id=cf72####-####-####-####-########6dff, connector=Pair[a=TransportConfiguration(name=netty-connector, factory=org-apache-activemq-artemis-core-remoting-impl-netty-NettyConnectorFactory)?port=61616&host=172-###-###-13, b=null], backupGroupName=null, scaleDownGroupName=null]
        ba65####-####-####-####-########5568 => TopologyMember[id=ba65####-####-####-####-########5568, connector=Pair[a=TransportConfiguration(name=netty-connector, factory=org-apache-activemq-artemis-core-remoting-impl-netty-NettyConnectorFactory)?port=61616&host=172-###-###-11, b=null], backupGroupName=null, scaleDownGroupName=null]
        3796####-####-####-####-########f52c => TopologyMember[id=3796####-####-####-####-########f52c, connector=Pair[a=TransportConfiguration(name=netty-connector, factory=org-apache-activemq-artemis-core-remoting-impl-netty-NettyConnectorFactory)?port=61616&host=172-###-###-14, b=null], backupGroupName=null, scaleDownGroupName=null]
        nodes=6 members=6,
-----------------------------------
vcd-cluster=topology on Topology@ccb6a32[owner=ClusterConnectionImpl@400456800[nodeUUID=b493####-####-####-####-########ddf3, connector=TransportConfiguration(name=netty-connector, factory=org-apache-activemq-artemis-core-remoting-impl-netty-NettyConnectorFactory)?port=61616&host=###-###-###-###, address=, server=ActiveMQServerImpl::name=b493####-####-####-####-########ddf3]]:
        b493####-####-####-####-########ddf3 => TopologyMember[id=b493####-####-####-####-########ddf3, connector=Pair[a=TransportConfiguration(name=netty-connector, factory=org-apache-activemq-artemis-core-remoting-impl-netty-NettyConnectorFactory)?port=61616&host=172-###-###-12, b=null], backupGroupName=null, scaleDownGroupName=null]
        209d####-####-####-####-########21e1 => TopologyMember[id=209d####-####-####-####-########21e1, connector=Pair[a=TransportConfiguration(name=netty-connector, factory=org-apache-activemq-artemis-core-remoting-impl-netty-NettyConnectorFactory)?port=61616&host=172-###-###-15, b=null], backupGroupName=null, scaleDownGroupName=null]
        bf65####-####-####-####-########61b5 => TopologyMember[id=bf65####-####-####-####-########61b5, connector=Pair[a=TransportConfiguration(name=netty-connector, factory=org-apache-activemq-artemis-core-remoting-impl-netty-NettyConnectorFactory)?port=61616&host=172-###-###-11, b=null], backupGroupName=null, scaleDownGroupName=null]
        cf72####-####-####-####-########6dff => TopologyMember[id=cf72####-####-####-####-########6dff, connector=Pair[a=TransportConfiguration(name=netty-connector, factory=org-apache-activemq-artemis-core-remoting-impl-netty-NettyConnectorFactory)?port=61616&host=172-###-###-13, b=null], backupGroupName=null, scaleDownGroupName=null]
        ba65####-####-####-####-########5568 => TopologyMember[id=ba65####-####-####-####-########5568, connector=Pair[a=TransportConfiguration(name=netty-connector, factory=org-apache-activemq-artemis-core-remoting-impl-netty-NettyConnectorFactory)?port=61616&host=172-###-###-11, b=null], backupGroupName=null, scaleDownGroupName=null]
        3796####-####-####-####-########f52c => TopologyMember[id=3796####-####-####-####-########f52c, connector=Pair[a=TransportConfiguration(name=netty-connector, factory=org-apache-activemq-artemis-core-remoting-impl-netty-NettyConnectorFactory)?port=61616&host=172-###-###-14, b=null], backupGroupName=null, scaleDownGroupName=null]
        nodes=6 members=6 | 

 

この例ではプライマリセル 1 台、スタンバイセル 2 台、アプリケーションセル 2 台が稼働しており、ノード数は 5 となるはずですが、cell-runtime.log 上での値は 6 となっています。

Environment

VMware Cloud Director 10.5.x
VMware Cloud Director 10.6.x

Cause

再デプロイするノードの IP アドレスについて、Failed 状態となり削除したノードと同じ IP アドレスを設定した場合、再デプロイしたノードと削除したノードの両方が検出されてしまい、稼働中のノード数と runtime topology 上のノード数が一致しなくなります。

Issue/Introduction に例として記載したログでは、172-###-###-11 の IP アドレスが再デプロイしたものです。

この事象は VCD サービスのパフォーマンス低下を起こす可能性があります。

Resolution

Broadcom はこの事象を把握し、現在修正を進めています。

 

ワークアラウンド : 

下記のどちらかの方法で、cell-runtime.log 内のノード数を修正することが可能です。

1. 再デプロイするノードの IP アドレスを、Failed 状態となったノードの IP アドレスと異なるものにする

または

2. すべてのセルを停止し、その後すべてのセルを起動する

VCD のすべてのセルの停止手順は下記のドキュメントをご参照ください。

Perform an Orderly Shutdown and Startup of Your VMware Cloud Director Appliance Cluster