ESXi Host verliest Vmotion netwerk verbinding na upgrade

[Trumpske]

Hopelijk heeft iemand dit eerder meegemaakt of kan mij in de juiste directie wijzen.

Wij hebben twee ESXi Hosts verbonden met HA (vMotion) welke ongeveer 50 virtuele servers bevatten. Nu heb ik vaker deze upgrades uitgevoerd en eigenlijk stelt dit weinig voor, tot deze keer.

De update was van versie 703.0.0.10.9.0-11 naar 703.0.0.11.2.0-9 (HP Images aangezien ze HP Proliant servers zijn). Alles ging prima en de host was snel up-to-date en na het booten kwam alles tot leven. Ik dacht snel de virtuele servers op te starten en wat servers vanaf de andere host te migreren zodat ik de tweede host kon upgraden. Alleen, toen kwam ik erachter dat geen een virtuele server verbonden was met het netwerk en vMotion niet werkte.

Alle "nodige" servers draaien inmiddels op de tweede host en alles werkt momenteel.

Na wat fault finding heb ik het volgende gevonden. Het management netwerk werkt prima en ik kan de host dan ook met vSphere bedien en en instellingen aanpassen. Als ik inlog met SSH via Putty kan ik doormiddel van het volgende commando de host zijn eigen vMotion IP address pingen. Maar, ik kan de gateway of andere host niet pingen.

vmkping -4 -v -I vmk1 ipaddress

vmk1 is het vMotion network.

Als ik op de aangesloten Cisco switch kijk is alles up and kan ik vanaf daar de gateway en host 2 pingen, host 1 niet.

Dit zelfde zie ik gebeuren met de netwerken waarop de virutele servers zijn verbonden. Het lijkt erop dat de VLAN instellingen of ineens verdwenen zijn of niet meer werken. Als ik op de virtuele switch kijk dan zijn deze instellingen precies hetzelfde als op de andere host. Natuurlijk is er tijdens deze upgrade niks aan de Cisco switch instellingen gewijzigd dus ligt het probleem echt bij deze host.

Ik zat er zelf aan te denken om de virtuele switch te verwijderen en opnieuw toe te voegen maar aangezien ik dit nog nooit heb gedaan weet ik niet of dit veel schade kan veroorzaken en of dit überhaupt zin heeft.

Iemand enig idee wat ik eventueel zou kunnen nakijken en wat ik over het hoofd zie?


Extra achtergrond info:
2 x ESXi Host welke beide verbonden zijn met 4 x fiber naar twee Cisco core switches. 2 x fiber per server voor storage en de overige twee worden gebruikt voor vMotion, Management en alle andere vLANs.

[redfons]

Is dit iets wat je kan helpen?
Het gaat om een grotere upgrade maar het geeft misschien een idee.

https://communities.vmwar...ible-bug-and/td-p/2853035

Of een probleem met IPv6

https://communities.vmwar...h-Dual-stack/td-p/2891129

[beOnt]

Ik denk dat deze info eigenlijk niet voldoende is om echt te troubleshooten.
Gebruik je voor vMotion en VM network active/standy uplinks? Ben je zeker dat de VLAN configuratie op de cisco switches voor deze poorten op de 2 hosts en op alle 4 de poorten dezelfde is? Is de configuratie hetzelfde voor de virtuele switches en de port groups voor vMotion en VM network ed? (dus ook in de port groups het order, active/standby, lacp of wat je ook gebruikt nakijken) Zijn er ook updates gedaan van de switches? (kan soms een niet opslagen config zijn ofzo die weg is)

Kan ook ipv6 zijn zoals hierboven aangehaald.

Als je een vmware contract hebt, kan het sneller zijn om een case te loggen bij hen om dit snel uit te zoeken.

[ Voor 3% gewijzigd door beOnt op 09-04-2023 10:49 ]

[Trumpske]

Bedankt voor beide reacties. Ik had inderdaad de forums al gezien en gisteren geprobeerd. Helaas werkte beide niet. Heb ook VMware al een case aangemaakt maar lijkt erop dat ons contract niet zo hoog is dus moeten we een paar dagen wachten helaas..

Ik weet 100% zeker dat de Cisco switches geen update of iets gewijzigd hebben. Ook zijn deze niet offline geweest of iets dergelijks. Het enige wat is veranderd is de update op host 1.

Heb voor alle zekerheid nog even de configs nagekeken en alles staat hetzelfde.

Ik kan wat screenshots maken as dat het makkelijker maakt?

[Aschtra]

ik zou gewoon je case afwachten. Ook voor jezelf inschatten hoe hoog dit risico is. Anders opnieuw installeren naar vorige versie. Wel logs veilig stellen vooraf en mogelijke schiet je jezelf hiermee in de voeten met je case maar dat kan je zelf het beste bepalen

[Trumpske]

Vreemd maar denk dat ik het gevonden heb. Nog maar een keer door alle netwerk instellingen gegaan en toen kwam ik erachter dat bij alle networks in de load balancing settings een override aan stond. Deze stond op "Route based on originating virtual port", dit terwijl de werkende host de override uit had staan en dus op "Route based on IP hash". Nadat ik dit overal "terug" heb gezet, host opnieuw heb gestart en uit maintenance mode heb gehaald werkte alles!