vCenterにおいて、vmware-postgres-archiverサービスによりPSCのヘルス状態が緑から赤に変化します

Products

VMware vCenter Server 8.0

Issue/Introduction

免責事項:
これは英文の記事「PSC Health Status changes from Green to Red in the vCenter due to vmware-postgres-archiver service」の日本語訳です。
記事はベストエフォートで翻訳を進めているため、ローカライズ化コンテンツは最新情報ではない可能性があります。最新情報は英語版の記事を参照してください。

pschealth が vmware-postgres-archiver サービスにより health status を red として報告される事があります。

vCenter server の journalctl.log に以下イベントが確認される事があります

MM DD HH:MM:SS <vCenter server fqdn> vpxd[<process ID>]: Event [<Event ID>] [1-1] [YYYY-MM-DDTHH:MM:SS.SSSSSZ] [vim.event.HealthStatusChangedEvent] [info] [Vmonuser] [] [<Event ID>] [pschealth status changed from green to red]
MM DD HH:MM:SS <vCenter server fqdn> vpxd[<process ID>]: Event [<Event ID>] [1-1] [YYYY-MM-DDTHH:MM:SS.SSSSSZ] [vim.event.EventEx] [info] [] [] [<Event ID>] [Alarm 'Health status changed alarm' on Datacenters triggered by event <Event ID> 'pschealth status changed from green to red']
MM DD HH:MM:SS <vCenter server fqdn> vpxd[<process ID>]: Event [<Event ID>] [1-1] [YYYY-MM-DDTHH:MM:SS.SSSSSZ] [vim.event.HealthStatusChangedEvent] [info] [Vmonuser] [] [<Event ID>] [pschealth status changed from red to green]
MM DD HH:MM:SS <vCenter server fqdn> vpxd[<process ID>]: Event [<Event ID>] [1-1] [YYYY-MM-DDTHH:MM:SS.SSSSSZ] [vim.event.EventEx] [info] [] [] [<Event ID>] [Alarm 'Health status changed alarm' on Datacenters triggered by event <Event ID> 'pschealth status changed from red to green']
vCenter server の /var/log/vmware/vmon/vmon.log に以下イベントが確認される事があります

YYYY-MM-DDTHH:MM:SS.SSSSSZ Wa(03) host-####<vmware-postgres-archiver> Service api-health command's stderr: Service health xml file is stale. Current time: 5978037, expiration time: 5978030. Treating service health state RED.
YYYY-MM-DDTHH:MM:SS.SSSSSZ Wa(03)+ host-####
YYYY-MM-DDTHH:MM:SS.SSSSSZ Wa(03) host-#### <vmware-postgres-archiver> Service api-health command's stderr: <?xml version="1.0" encoding="UTF-8" standalone="yes"?><healthStatus schemaVersion="1.0" xmlns="http:/
/www.vmware.com/cis/cm/common/jaxb/healthstatus"><status>GREEN</status><message messageKey="cis.vmware-postgres-archiver.health.healthy" defaultMessage="VMware Archiver service is healthy."></message><expirationMonoSec>####</expirationMonoSec></healthStatus>
YYYY-MM-DDTHH:MM:SS.SSSSSZ Wa(03) host-#### <vmware-postgres-archiver> Health of service failed. Health data: {"localizable_msgs": [{"id": "com.vmware.vmon.svc_health_timeout", "default_message": "Service is in an unhealthy state.", "args": []}], "_service_name": "vmware-postgres-archiver", "_trigger_threaddump_on_failure": 0}
YYYY-MM-DDTHH:MM:SS.SSSSSZ In(05) host-#### <vmware-postgres-archiver> Recover from service api health check failure. Fail count 0
YYYY-MM-DDTHH:MM:SS.SSSSSZ In(05) host-#### <vmware-postgres-archiver> Restarting service.
YYYY-MM-DDTHH:MM:SS.SSSSSZ In(05) host-#### <event-pub> Constructed command: /usr/bin/python /usr/lib/vmware-vmon/vmonEventPublisher.py --eventdata vmware-postgres-archiver,UNHEALTHY,HEALTHY,1
YYYY-MM-DDTHH:MM:SS.SSSSSZ Wa(03) host-#### <pschealth> Health of service failed. Health data:
YYYY-MM-DDTHH:MM:SS.SSSSSZ In(05) host-#### <pschealth> Recover from service api health check failure. Fail count 0
YYYY-MM-DDTHH:MM:SS.SSSSSZ In(05) host-#### <event-pub> Constructed command: /usr/bin/python /usr/lib/vmware-vmon/vmonEventPublisher.py --eventdata pschealth,UNHEALTHY,HEALTHY,1
vCenter server の /var/log/vmware/envoy/envoy.log に以下イベントが確認される事があります

YYYY-MM-DDTHH:MM:SS.SSSSSZ info envoy[####] [Originator@6876 sub=Default] YYYY-MM-DDTHH:MM:SS.SSSSSZ POST /sdk 500 via_upstream - 540 585 - 5034 5033 0 <Monitoring/Backup Solution IP>:33868 HTTP/1.1 TLSv1.2 <vCenter server IP>:443 127.0.0.1:38422 HTTP/2 - 127.0.0.1:8085 - "ns1:Login>
YYYY-MM-DDTHH:MM:SS.SSSSSZ info envoy[####] [Originator@6876 sub=Default] YYYY-MM-DDTHH:MM:SS.SSSSSZ POST /sdk 500 via_upstream - 540 585 - 4035 4034 0 <Monitoring/Backup Solution IP>:48724 HTTP/1.1 TLSv1.2 <vCenter server IP>:443 127.0.0.1:38422 HTTP/2 - 127.0.0.1:8085 - "ns1:Login>
YYYY-MM-DDTHH:MM:SS.SSSSSZ info envoy[####] [Originator@6876 sub=Default] YYYY-MM-DDTHH:MM:SS.SSSSSZ POST /sdk 500 via_upstream - 540 585 - 5026 5026 0 <Monitoring/Backup Solution IP>:35214 HTTP/1.1 TLSv1.2 <vCenter server IP>:443 127.0.0.1:38436 HTTP/2 - 127.0.0.1:8085 - "ns1:Login>
YYYY-MM-DDTHH:MM:SS.SSSSSZ info envoy[####] [Originator@6876 sub=Default] YYYY-MM-DDTHH:MM:SS.SSSSSZ POST /sdk 500 via_upstream - 540 585 - 5034 5034 0 <Monitoring/Backup Solution IP>:50060 HTTP/1.1 TLSv1.2 <vCenter server IP>:443 127.0.0.1:38422 HTTP/2 - 127.0.0.1:8085 - "ns1:Login>
YYYY-MM-DDTHH:MM:SS.SSSSSZ info envoy[####] [Originator@6876 sub=Default] YYYY-MM-DDTHH:MM:SS.SSSSSZ POST /sdk 500 via_upstream - 540 585 - 4035 4034 0 <Monitoring/Backup Solution IP>:36568 HTTP/1.1 TLSv1.2 <vCenter server IP>:443 127.0.0.1:38436 HTTP/2 - 127.0.0.1:8085 - "ns1:Login>

Environment

vCenter Server 8.0

Cause

この問題は、サードパーティの監視ツールやバックアップソリューションが、
vCenter Server に対して高頻度で API 呼び出しを実行する際に発生する事が確認されています。

Resolution

問題を解決するには、監視やバックアップの IP アドレスと関連するソリューションを特定し、
各ベンダーと連携頂き、ベンダー側で API セッション数を管理するもしくは高頻度の問い合わせが異常動作の場合は、その原因の調査をご実施下さい。

ベンダー側で問題が解決された後、vmware-postgres-archiver のサービスを再起動し、状態をクリアしてください。

# service-control --stop vmware-postgres-archiver
# service-control --start vmware-postgres-archiver

回避策

もしサードパーティ製ツール側で直ちに調整できない場合、
ネットワークファイアウォールまたは vCenter Appliance Firewall（VAMI > Firewall）経由で一時的に送信元 IP をブロックし、
vmware-postgres-archiver サービスの回復をお試し下さい。