Proxy Client cannot connect to Proxy server with certificate error

Products

• CA Automic Workload Automation - Automation Engine

Issue/Introduction

The Proxy Server is started, but the Proxy Client cannot connect and shows the following error in its log:

20230913/152305.603 - U02100044 Verbindungsaufbau zum Proxy-Server 'wss://<server>:4321/service' wurde eingeleitet.
20230913/152305.604 - U02000378 Zertifikate werden aus dem Ordner: '/opt/automic/proxy/bin/./certificates' geladen.\
20230913/152305.605 - U02000377 Das Zertifikat aus der Datei 'proxy.cer' wurde geladen.
20230913/152305.607 - U02000377 Das Zertifikat aus der Datei 'jcp.crt' wurde geladen.
20230913/152305.607 - U02000378 Zertifikate werden aus dem Ordner: '/opt/automic/proxy/bin/./security' geladen.\
20230913/152305.609 - U02000377 Das Zertifikat aus der Datei 'AUTOMIC_PROXY01_ca.pem' wurde geladen.
20230913/152305.635 - Jetty: x509=X509@923ebb(jetty,h=[automic_proxy01],a=[],w=[]) for CompositeSslContextFactory@1c3e77dc[provider=null,keyStore=null,trustStore=null]
20230913/152305.646 - U02000407 Verbindung '8' zu Server wird mit der Web Socket URI 'wss://<server>:4321/service' gestartet.\
20230913/152305.659 - U02000327 Unerwarteter Fehler ist aufgetreten, Verbindung '*8[*unknown*]' (Socket-Handle = '8'), Ursache 'Received fatal alert: handshake_failure'.
20230913/152305.660 - javax.net.ssl.SSLHandshakeException: Received fatal alert: handshake_failure
20230913/152305.660 - Caused by javax.net.ssl.SSLException: Received fatal alert: handshake_failure
20230913/152305.661 - U02100051 Web Socket-Verbindung '*8[*unknown*]' wurde mit Status Code 'No code present (1005)' geschlossen, Ursache '-'.\

Cause

The Proxy Server certificate has a CN that doesn't correspond to the actual server name or to the server name as it is known by the Proxy Client.

Resolution

Create a certificate that contains the appropriate CN and SANs, for instance, like this (note the part in bold):

keytool -genkey -keyalg RSA -alias jetty -keystore keystore.p12 -storepass ****** -validity 365 -keysize 2048 -storetype PKCS12 -dname "cn=<servername>, ou=**,  o=**, l=**, c=**" -ext "SAN=DNS:<servername>.<suffix>,DNS:<servername>,IP:<IP>"