Windows Agent not communicating with scheduler or autopings

Products

• Workload Automation Agent

Issue/Introduction

autoping -M agent-name

CAUAJM_I_50023 AutoPinging Machine [agent-name]
CAUAJM_E_10229 Communication attempt with the CA WAAE Agent has failed! [agent-name:7520]
CAUAJM_E_50281 AutoPing from the Scheduler WAS NOT SUCCESSFUL.

CAUAJM_E_10229 Communication attempt with the CA WAAE Agent has failed! [agent-name:7520]
CAUAJM_E_50283 AutoPing from the Application Server WAS NOT SUCCESSFUL.

CAUAJM_E_50026 ERROR: AutoPing WAS NOT SUCCESSFUL.

Environment

Release : 11.5, 12.0

Component : Workload Automation System Agent

Cause

The receiver.log showed errors like this, basically indicating that the connectivity between agent and scheduler was being interrupted or broken by something external (like firewall for example)

09/29/2022 14:08:59.216 EDT-0400 2 TCP/IP Controller Plugin.Receiver pool thread <Regular:1>.CybReceiverChannel.receive[:157] - Conversation from ##.##.#.#:51396 to 10.0.0.1:7520 arrived
09/29/2022 14:08:59.216 EDT-0400 1 TCP/IP Controller Plugin.Receiver pool thread <Regular:1>.CybReceiverChannel.receive[:233] - cybermation.library.communications.CybConversationException: Connection reset
                                                                                                                                 at cybermation.library.communications.protocol.CybCommunicationProtocolRevisionTwo.receiveData(CybCommunicationProtocolRevisionTwo.java:622)
                                                                                                                                 at cybermation.library.communications.protocol.CybCommunicationProtocolRevisionTwo.receiveMessage(CybCommunicationProtocolRevisionTwo.java:315)
                                                                                                                                 at cybermation.library.communications.CybConversation.receiveMessage(CybConversation.java:429)
                                                                                                                                 at cybermation.commplugins.tcpip.receiver.CybReceiverChannel.receive(CybReceiverChannel.java:173)
                                                                                                                                 at cybermation.commplugins.tcpip.receiver.CybReceiverChannel.call(CybReceiverChannel.java:138)
                                                                                                                                 at cybermation.commplugins.tcpip.receiver.CybReceiverChannel.call(CybReceiverChannel.java:50)
                                                                                                                                 at cybermation.commplugins.tcpip.receiver.CybReceiverScheduler$CallableWrapper.call(CybReceiverScheduler$CallableWrapper.java:352)
                                                                                                                                 at cybermation.commplugins.tcpip.receiver.CybReceiverScheduler$CallableWrapper.call(CybReceiverScheduler$CallableWrapper.java:316)
                                                                                                                                 at java.util.concurrent.FutureTask$Sync.innerRun(Unknown Source)
                                                                                                                                 at java.util.concurrent.FutureTask.run(Unknown Source)
                                                                                                                                 at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(Unknown Source)
                                                                                                                                 at java.util.concurrent.ThreadPoolExecutor$Worker.run(Unknown Source)
                                                                                                                                 at java.lang.Thread.run(Unknown Source)
                                                                                                                                Caused by: java.net.SocketException: Connection reset
                                                                                                                                 at java.net.SocketInputStream.read(Unknown Source)
                                                                                                                                 at cybermation.library.communications.protocol.CybCommunicationProtocol.receiveLength(CybCommunicationProtocol.java:386)
                                                                                                                                 at cybermation.library.communications.protocol.CybCommunicationProtocolRevisionTwo.receiveData(CybCommunicationProtocolRevisionTwo.java:444)
                                                                                                                                 at cybermation.library.communications.protocol.CybCommunicationProtocolRevisionTwo.receiveMessage(CybCommunicationProtocolRevisionTwo.java:315)
                                                                                                                                 at cybermation.library.communications.CybConversation.receiveMessage(CybConversation.java:429)
                                                                                                                                 at cybermation.commplugins.tcpip.receiver.CybReceiverChannel.receive(CybReceiverChannel.java:173)
                                                                                                                                 at cybermation.commplugins.tcpip.receiver.CybReceiverChannel.call(CybReceiverChannel.java:138)
                                                                                                                                 at cybermation.commplugins.tcpip.receiver.CybReceiverChannel.call(CybReceiverChannel.java:50)
                                                                                                                                 at cybermation.commplugins.tcpip.receiver.CybReceiverScheduler$CallableWrapper.call(CybReceiverScheduler$CallableWrapper.java:352)
                                                                                                                                 at cybermation.commplugins.tcpip.receiver.CybReceiverScheduler$CallableWrapper.call(CybReceiverScheduler$CallableWrapper.java:316)
                                                                                                                                 at java.util.concurrent.FutureTask$Sync.innerRun(Unknown Source)
                                                                                                                                 at java.util.concurrent.FutureTask.run(Unknown Source)
                                                                                                                                 at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(Unknown Source)
                                                                                                                                 at java.util.concurrent.ThreadPoolExecutor$Worker.run(Unknown Source)
                                                                                                                                 at java.lang.Thread.run(Unknown Source)
09/29/2022 14:08:59.216 EDT-0400 2 TCP/IP Controller Plugin.Receiver pool thread <Regular:1>.CybReceiverChannel.receive[:252] - Exiting conversation

 

Resolution

Capturing network packets from the Agent side,  example:    tcpdump -s 65535 -i any -w dump.pcap dst ##.##.#.# or  src  ##.##.#.#   where. ##.##.#.# is the IP address (From agent, capturing all packets going to/from scheduler) it was seen that the 3 way handshake on the communication was being interrupted and was being reset (RST).

Network teams identified a firewall change that was made which started this problem, adjustments were made so the communication was allowed properly between the two hosts and that resolved the issue