XenServer 5.5 HA gefaald

[Shaidar]

Gisteren heb ik in het bedrijf een panne gehad van Exchange en de Citrix secure gateway omdat de High Availability van onze XenServers niet gewerkt heeft - die 2 servers zijn heel de voormiddag onbeschikbaar geweest.

We hebben een C3000 blade met 3 DL480g1 bladeservers in, geinstalleerd met XenServer 5.5 en hier zo'n 15 VMs op. De XenServers zijn geinstalleerd met licentie voor de HA functionaliteit te hebben.

Eén van die XenServers is zijn netwerkconfiguratie kwijtgespeeld, maar was wel nog bereikbaar via ILO en zijn management interface op SSH. Als we dan in de "xsconsole" keken, dan had de VM geen netwerkkaarten meer, zelfs die management interface die wel werkte stond er niet meer tussen.

Als we in XenCenter keken, dan stond die XenServer aangegeven met een groen bolletje, dus precies alsof er niets aan de hand was. Als we die XenServer herstarten, dan bleef die aangegeven als "online". VMs die hierop draaide (exchange en de csg) konden niet gemigreerd worden naar een andere XenServer ...

Dit had de HA daemon van Xen moeten opvangen, maar dat is dus niet gebeurd

Als we dan HA uitschakelde, dan zag het systeem opeens dat die server niet beschikbaar was, en is dan zelf begonnen met de VMs te migreren naar andere XenServers ... Duh! Het systeem dat dat dus eigelijk zelf moet doen, zorgt ervoor dat dat dus net niet gebeurd!!

Ik heb de crashdumps van de oude XenServer bewaard, en deze dan geherinstalleerd als een nieuwe server met nieuwe IP addressen.

Support op XenServer gaat op z'n minst moeizaam, via Citrix is het al niet mogelijk om dat product te kiezen bij het aanmelden van een case. De leverancier in Belgie zei me doodleuk "herstart dan eens alles", wat geen optie was...

Is er hier iemand die veel kennis heeft van XenServer, en de logs eens wilt doorspitten? Ik ga hier geen link zetten, maar ik wil ze wel doorsturen als er een specialist is ...

[Question Mark]

Welke versie van Xenserver draai je? De versie van Citrix, of de OEM-HP versie?

Hoe is je heartbeat LUN aangesloten en was deze nog te benaderen vanaf de Xenserver? Maak je verder gebruik van virtual connect in je enclosure?

[Shaidar]

Versie 5.5 en de versie van Citrix.

Heartbeat LUN is via Fiber, en tijdens de setup gewoon gekozen voor de eerste beschikbare.
De xenserver zag niets meer van netwerkkaarten, en ook niet van storage repositories, en dus vermoedelijk ook niets meer van de heartbeat lun - of een rare kroklel dat de LUN er nog was, maar dat er geen verkeer meer over kon ...

En geen Virtual Connect nee...

[Question Mark]

Vreemd, ik heb zelf wel eens een paar keer meegemaakt met een Xenserver installatie in VMWare workstation dat Nic's verdwenen waren. Ik moest dan een rescan uitvoeren om ze weer zichtbaar te krijgen.

Beetje vreemd probleem: Xenserver controleert of een host aanwezig is door te controleren of deze nog verbinding heeft via het netwerk en of deze het heartbeat lun nog kan bereiken.

Aanhezien het heartbeat lun verbonden is via FC, was deze gewoon beschikbaar. Ook de console reageerde nog (je kon immers nog verbinden), dus de host was nog via het netwerk te bereiken. Dit zal de reden zijn waarom er geen failover plaats heeft gevonden.

Het probleem met de wegvallende Nic's zal echter wel opgelost moeten worden...

Waarom stap je niet over op versie 5.6?

[Shaidar]

Ik stap over naar VMware. Heb via de leverancier een ticket bij Citrix opengedaan, en zoals ik al zei zei de leverancier zelf "herstart dan eens alles, dan zal het hopelijk terug werken"... en dat voor een machines die in productie draaien...

[ Voor 12% gewijzigd door Shaidar op 28-08-2010 20:36 ]

[Question Mark]

Dan heb je een verkeerde leverancier..... Waarom heb je overigens niet zelf je supportticket aangemaakt?

[Cybje]

Als er een server is die niks doet en de management interfaces niet laat zien, kun je ook proberen de toolstack te herstarten via SSH. Soms helpt dat wel.

[Zwelgje]

Shaidar schreef op zaterdag 28 augustus 2010 @ 20:36:
Ik stap over naar VMware. Heb via de leverancier een ticket bij Citrix opengedaan, en zoals ik al zei zei de leverancier zelf "herstart dan eens alles, dan zal het hopelijk terug werken"... en dat voor een machines die in productie draaien...

wie is je leverancier en waarom direct overstappen op VMware ook VMware heeft zo zijn problemen hoor, ook daar heb je dit soort issue's (nog niet eens zo lang geleden een soortgelijk probleem, is dat dan ook direct een reden om over te stappen op iets anders

...en dan hebben we het niet eens over de bedragen die je door de plee spoelt als je nu je XenServer licenses door de wc spoelt...

ticket uitzetten bij Citrix zelf en niet via CDG of ETC+ (want dat zijn de enigste 2 leveranciers van citrix in nederland) met CDG heb ik zelf overigens prima ervaringen als het aankomt op support

je komt uit belgie zie ik..

[Shaidar]

Nee, maar dat is wel al de derde keer dat er iets niet in de haak is met de HA van XenServer. Elke keer al zorgt dat er net voor dat er problemen ontstaan ipv grote problemen opgevangen worden...

XenServer werkt an sich wel goed, ik heb helemaal geen klagen over performantie of incompatibiliteit of dergelijken, het is gewoon al 3 keer raak geweest met de HA - en dat is net waar we de licenties voor aangekocht hebben.

Op een andere vestiging heb ik 1 DL380g6 draaien met een free ESXi op. Hout vasthouden natuurlijk, maar daar heb ik nog niets mee aan de hand gehad...

[powerboat]

Effe vraag tussendoor waarom niet Linux KVM ? ben je meteen van je licenties af

[Question Mark]

Zeker weten dat de problemen niet door hardware veroorzaakt worden, of een combinatie van de gebruikte hard- en software? Persoonlijk zou ik kiezen voor de HP versie van Xenserver. Die is gratis te downloaden van de HP-site, en dan weet je zeker dat de hardware ondersteund wordt.

[Keiichi]

ljarutten schreef op maandag 30 augustus 2010 @ 08:54:
Effe vraag tussendoor waarom niet Linux KVM ? ben je meteen van je licenties af

Mag jij mij vertellen hoe je HA zonder guest-additions op KVM doet

[Ultra]

Question Mark schreef op maandag 30 augustus 2010 @ 09:12:
...
Persoonlijk zou ik kiezen voor de HP versie van Xenserver. Die is gratis te downloaden van de HP-site, en dan weet je zeker dat de hardware ondersteund wordt.

Daar is HP van afgestapt sinds 5.6, zie Citrix XenServer Supported Matrix - HP ProLiant & BladeSystem Server.

[Question Mark]

Klopt, maar TS gebruikt (waarschijnlijk vanwege licenties) nog versie 5.5

[powerboat]

Keiichi schreef op maandag 30 augustus 2010 @ 09:14:
[...]


Mag jij mij vertellen hoe je HA zonder guest-additions op KVM doet

sorry was maar een id zag toevallig zo'n demo van proxmox en redhat

[Shaidar]

iets over Kogel en kerk en de eene door de andere ...

Voor EUR3000 heb je tegenwoordig een Essential plus bundle, waar vMotion ook inzit! Net besteld, dus bye XenServer!

[Question Mark]

En wat als het probleem nu hardware gerelateerd is?

[MADG0BLIN]

En als je nu ooit een blade erbij wilt, dan heb je volgens mij ook het probleem dat je deze bundle niet optimaal kan gebruiken omdat je maximaal 3 hosts kan bedienen is het niet? Tenminste, dat dacht ik altijd.

[ Voor 5% gewijzigd door MADG0BLIN op 31-08-2010 19:35 ]

[Zwelgje]

Question Mark schreef op dinsdag 31 augustus 2010 @ 19:22:
En wat als het probleem nu hardware gerelateerd is?

idd, lekker kort door de bocht 'oplossing' (want dat is het niet eens)

ben benieuwd als straks blijkt dat de hardware niet ondersteund wordt of de controller staat niet op de hcl , then what are you gonna do

essentials is idd beperkt tot 3 hosts

No, you can't upgrade or add features to Essentials/Essentials Plus.
If you will eventually need to add 4-th ESX/ESXi server or need any features not included in those bundles (e.g. VMotion), take a look at vSphere 4 Acceleration Kits.

even de geldbuidel trekken als je wilt upgraden dus, ach TS heeft toch centen zat aangezien ie niet een XenServer enterprise license overbodig heeft gemaakt

[ Voor 36% gewijzigd door Zwelgje op 31-08-2010 19:45 ]

[Shaidar]

Eerlijk gezegd heb ik wat moeilijkheden met het sfeertje hier ...

"En wat als het probleem nu hardware gerelateerd is?", dus het falen van hardware moet dan ineens niet door HA opgevangen worden? Voorwat betaal ik dan die dure XenServer enterprise license? Waarvoor dient die HA dan?

En over de HCL van VMware: http://www.vmware.com/res...ores=&min_memory=&rorre=0

En die HP BL480c G1 is niet meer leverbaar door HP, dus een 4de blade installeren is zowiezo al niet mogelijk.

We beginnen nu met de Essentials Plus bundle, om net de kosten inderdaad wat te temperen. Wat zin heeft het om nu al een dik pakket te kopen, als er toch niet gepland is om een 4de host erbij te nemen...

Licenties van XenServer zouden toch in november vernieuwd moeten worden, dus zoveel verlies ik er niet op.

Upgraden naar een VMware Standard zit er mee in gecalculeerd voor in 2013, wanneer de carepacks van deze Blades, Enclosure en MSA aflopen.

Nee, ik zal even zonder nadenken zomaar iets beslissen ...

[Question Mark]

Shaidar schreef op dinsdag 31 augustus 2010 @ 23:20:
Eerlijk gezegd heb ik wat moeilijkheden met het sfeertje hier ...

Let even op dat men enkel gewoon kritisch is. De enige twee zaken die genoemd worden zijn:

• Je vervangt software, terwijl de hardware niet uitgesloten is als oorzaak.
• Er wordt terecht opgemerkt dat je met je huidige licenties niet kunt uitbreiden naar een 4e ESX host.

Stel dat de issue's met je NIC's veroorzaakt worden door een bug in de firmware van de Enclosure, dan gaat de HA van ESX je ook niet helpen. Zolang VCenter kan communiceren met de host, vind er geen failover plaats.

[Shaidar]

On-der-tussen zijn we een half jaar verder ... en draait de vCenter met zijn 3 ESXi hosts als een vrouwenborst!