「Admission failure in path: host/vim/vmvisor/etcd:etcd」：ESXi ホスト上での頻繁な Etcd クラッシュにより、過剰な DNS クエリが発生する
search cancel

「Admission failure in path: host/vim/vmvisor/etcd:etcd」：ESXi ホスト上での頻繁な Etcd クラッシュにより、過剰な DNS クエリが発生する

book

Article ID: 449647

calendar_today

Updated On:

Products

VMware vSphere ESXi

Issue/Introduction

免責事項：これは英文の記事「"Admission failure in path: host/vim/vmvisor/etcd:etcd", frequent Etcd crash on the ESXi host causing too many DNS queries」の日本語訳です。記事はベストエフォートで翻訳を進めているため、ローカライズ化コンテンツは最新情報ではない可能性があります。最新情報は英語版の記事で参照してください。

  • 1 つまたは複数の ESXi ホストからの大量の DNS クエリが流入し、DNS サーバーに過負荷がかかっています。
  • 問題のあるホストでは、Etcd サービスが起動直後にクラッシュし続けます。
  • 問題のあるホストの clusterAgent ログには、「connection reset by peer」というエラーが表示されます。

    /var/run/log/clusterAgent.log

     No(5) clusterAgent[3931896]: INFO  Etcd client started watch       {"opID": "kvwatch-tlspeertrust", "cli": "0xc0001e81a0", "key": "root/tlspeertrust"}
     No(5) clusterAgent[3931896]: INFO  Etcd client started watch       {"opID": "kvwatch-votingmembersupdated", "cli": "0xc0001e81a0", "key": "root/votingmembersupdated"}
     No(5) clusterAgent[3931896]: WARN  grpc: addrConn.createTransport failed to connect to {ESXi-FQDN:2379  <nil> 0 <nil>}. Err :connection error: desc = "transport: authentication handshake failed: read tcp ESXi-FQDN-IP:28383->ESXi-FQDN-IP:2379: read: connection reset by peer". Reconnecting...
     No(5) clusterAgent[3931896]: WARN  grpc: addrConn.createTransport failed to connect to {ESXi-FQDN:2379  <nil> 0 <nil>}. Err :connection error: desc = "transport: authentication handshake failed: read tcp ESXi-FQDN-IP:36502->ESXi-FQDN-IP:2379: read: connection reset by peer". Reconnecting...

  • watchdog.log を見ると、サービスが繰り返し再起動していることがわかります。


    /var/run/log/watchdog.log

watchdog[#######]: Started etcdmain with PID=3931911
watchdog[#######]: Restarting etcdmain
watchdog[#######]: Started etcdmain with PID=3931929
watchdog[#######]: Restarting etcdmain
watchdog[#######]: Started etcdmain with PID=3931943
watchdog[#######]: Restarting etcdmain
watchdog[#######]: Started etcdmain with PID=3931969
watchdog[#######]: Restarting etcdmain
watchdog[#######]: Started etcdmain with PID=3931985
watchdog[#######]: Restarting etcdmain
watchdog[#######]: Started etcdmain with PID=3931999

  • etcd.log には以下のようなエントリが表示されます。

    /var/run/log/etcd.log

In(6) etcd[#######]: added member 9e8cfbf3dbf0e555 [https://ESXi-FQDN:2380] to cluster 2fbf9a482d65ed67
In(6) etcd[#######]: starting peer 9e8cfbf3dbf0e555...
In(6) etcd[#######]: started HTTP pipelining with peer 9e8cfbf3dbf0e555

In(6) etcd[#######]: started streaming with peer 9e8cfbf3dbf0e555 (writer)
In(6) etcd[#######]: removed member 9e8cfbf3dbf0e555 from cluster 2fbf9a482d65ed67
In(6) etcd[#######]: stopping peer 9e8cfbf3dbf0e555...
In(6) etcd[#######]: stopped streaming with peer 9e8cfbf3dbf0e555 (writer)
In(6) etcd[#######]: stopped streaming with peer 9e8cfbf3dbf0e555 (writer)
In(6) etcd[#######]: started streaming with peer 9e8cfbf3dbf0e555 (stream MsgApp v2 reader)
In(6) etcd[#######]: stopped HTTP pipelining with peer 9e8cfbf3dbf0e555
In(6) etcd[#######]: stopped streaming with peer 9e8cfbf3dbf0e555 (stream MsgApp v2 reader)
In(6) etcd[#######]: started streaming with peer 9e8cfbf3dbf0e555 (stream Message reader)
In(6) etcd[#######]: stopped streaming with peer 9e8cfbf3dbf0e555 (stream Message reader)
In(6) etcd[#######]: stopped peer 9e8cfbf3dbf0e555
In(6) etcd[#######]: removed peer 9e8cfbf3dbf0e555

  • 同時に、vmkernel.log には「Admission failure in path: host/vim/vmvisor/etcd:etcd」というエラーが表示されます。


    /var/run/log/vmkernel.log

vmkernel: cpu12:3932082)Admission failure in path: host/vim/vmvisor/etcd:etcd.3932076:uw.3932076
vmkernel: cpu12:3932082)UserWorld 'etcd' 3932076 with cmdline '/usr/lib/vmware/etcd/bin/etcd --config-file=/var/cache/datafiles/esx#cluster_agent_data/etcd.yml', parent 2097917
vmkernel: cpu12:3932082)started from 'init' 2097917 with cmdline '/bin/init', parent 0
vmkernel: cpu12:3932082)uw.3932076 (10380427) requires 4096 KB, asked 4096 KB from etcd (6977) which has 193788 KB occupied and 2820 KB available.
vmkernel: cpu84:3932095)Admission failure in path: host/vim/vmvisor/etcd:etcd.3932093:uw.3932093
vmkernel: cpu84:3932095)UserWorld 'etcd' 3932093 with cmdline '/usr/lib/vmware/etcd/bin/etcd --config-file=/var/cache/datafiles/esx#cluster_agent_data/etcd.yml', parent 2097917
vmkernel: cpu84:3932095)started from 'init' 2097917 with cmdline '/bin/init', parent 0
vmkernel: cpu84:3932095)uw.3932093 (10380454) requires 4096 KB, asked 4096 KB from etcd (6977) which has 192872 KB occupied and 3736 KB available

  • 問題のある ESXi のクラスタステータスでは、到達可能ステータスが False と表示されています。
      

/usr/lib/vmware/clusterAgent/bin/clusterAdmin cluster status

"state": "hosted"
"cluster_id": "########-####-####-####-############: domain-c######",
"is_in_alarm": false,
"alarm_cause": "",
"is_in_cluster": true,
"members": {
"available": true
},
"namespaces": [
{
"name": "root",
"up_to_date": true,
"members": [
"peer_address": "ESXi1:2380",
"api_address": "ESXi1:2379",
"reachable": true,
"primary": "yes",
"learner": false
},
{
"peer_address": "ESXi2:2380",
"api_address":
"ESXi2:2379",
"reachable": true,
"primary": "no",
"learner": false
},
{
"peer_address": "ESXi3:2388",
"api_address": "ESXi3:2379",
"reachable": false,
"primary": "unknown",

"learner": false
}

  • これは、ホスト上でメモリ不足に関する複数のアラートが表示されるシナリオにも適用されます。

/var/run/log/vmkwarning.log

YYYY-MM-DDT06:32:00.578Z ###### vmkwarning: cpu15:23788530)WARNING: World: 3234: Could not allocate new world handle for world ID: 23801192: Out of memory

Environment

vSphere ESXi 8.0U3f or earlier

vSphere ESX 9.0

Cause

Etcd サービスがメモリ不足になり、クラッシュを繰り返します。

Resolution

これは ESXi 8.0 (Update 3f 以前) に影響する既知の問題で、ESXi 8.0U3g で解決されています。また、ESX 9.0 については ESX 9.0.1 で修正されています。

回避策:

この問題を回避するには、以下の KB 記事を参考に ESXi サービスを再起動する必要があります。

Powered by Wolken Software