OS Virtualisatie hosten op een cluster

[Verwijderd]

Ik heb vandaag een groot deel van mijn tijd besteed aan het verzamelen van informatie over het opzetten van een virtualisatieomgeving voor onze servers. Het gaat om fileservers, een applicatieserver (die intensief queries doet op een database die op een IBM iSeries as400 draait) en een webserver.

Ik ben aan het zoeken geweest naar een clusteromgeving die als host dient voor het virtualisatieplatvorm.
De reden dat ik naar een cluster omgeving ben gaan zoeken is dat ik zowel een vorm van redundancy (bij 3 nodes in het cluster zou er gedimensioneerd worden op maximaal 66% belasting zodat bij uitvallen van 1 node de overige 2 nodes de volledige belastign KUNNEN overnemen) als schaalbaarheid (bij conequent overschrijden van de maximale belasting kan er een server aan het cluster worden toegevoegd zodat er meer processor/geheugen capaciteit gecreeerd wordt) in processor/geheugen capaciteit wil inbouwen in de host van mijn virtualisatie platvorm.

Het virtualisatieplatvorm zou VMWare of MSVirtualServer kunnen zijn omdat er W2k3 Server guests gebruikt gaan worden.

Nu kom ik vrijwel geen informatie tegen over de mogelijkheid om een cluster van meerdere fysieke servers te gebruiken als host voor de virtuele omgeving.

Zijn er ervaringen met bovenstaand scenario?
Wat zijn de bezwaren om een dergelijk systeem op te zetten? (omdat er vrijwel niets over terug te vinden is, vermoed ik dat er zwaarwegende argumenten zijn om een virtualisatieomgeveing niet op een cluster te hosten)

[ Voor 22% gewijzigd door Verwijderd op 22-11-2007 21:58 ]

[bazkar]

Meerdere ESX servers (als we het even over VMWare hebben) die samen onder 1 management server (Virtual Center) vallen, en onderling machines kunnen 'uitwisselen' worden inderdaad een cluster of een farm genoemd. Echter is er geen clustering 'sec' op de machines zelf.

Je installeert gewoon 2 of meer fysieke machines met ESX en vervolgens definieer je binnen je Virtual management omgeving dat de machines samen een cluster vormen. Binnen deze omgeving kun je dan ook failover e.d. configureren.

[shaowoo]

Ik zit nu zelf ook in een ontwerp fase van een nieuwe architectuur waarin aantal core applicatie een hoge beschikbaarheid moet hebben.
Voor VMware heb je HA (high availability) module, dit betekend dat als een ESX server fysiek uitvalt dan zal een ander ESX server de VM's (die op de uitgevallen ESX server stond) opstarten. Het is niet zo rap als een cluster config.

Je zal dan moeten denken aan ms clustering op VMWare (cluster in a box), let wel op dat dit onder bepaalde voorwaarden door VMware ondersteund wordt. Hier vang je wel een OS / hardware failure van een esx server snel op.

[Verwijderd]

Het gaat me in eerste instantie niet zozeer om het high availability aspect van het verhaal, maar eerder om de schaalbaarheid van de implementatie.
Wat ik zoek is een mogelijkheid door met relatief lichte servers toch de nodige capaciteit te verwezenlijken.

Mijn gedachte was om de te creeeren VM's op een cluster te laten draaien omdat zo de load netjes over de fysieke servers in het cluster verdeeld zou worden. Zo kan optimaal gebruik gemaakt worden van de recources (geheugen en processors)

Mijn gedachtengang en 'logica' kan ik echter nergens terugvinden met praktijkvoorbeelden en zoals bazkar aangeeft blijkt het dus zo te werken (althans bij VMWare) dat de fysieke servers via een management server met elkaar 'praten' en er VM's onderling uitgewisseld kunnen worden.

Is het dan dusdanig in te stellen dat VM's die op een bepaalde een server in een VMWare farm draaien automatisch overgeheveld worden naar een andere server in die farm als de load van die specifieke server boven ingestelde waarden komt?

En hoe is dit bij MS Virtual Server geregeld?

[Asteroid9]

Met DRS van VMware kun je inderdaad resource pools instellen en on demand servers automatisch laten verplaatsen naar een host met voldoende resources.
Voor kleinere farms is dit al snel overkill, hangt er ook nogal vanaf hoe erg de load van je servers varieert.

Een ding is wel zeker: Virtualserver van MS loopt op vele punten, en zeker met HA/DRS/Vmotion nog knap achter op VMware.

[Verwijderd]

Ik realiseer me terdege dat MS Virtual Server een behoorlijke achterstand heeft ten opzichte van VMWare. Echter ook Microsoft is hard bezig om hier stappen te maken en in Windows Server 2008 worden de virtualisatiemogelijkheden al weer een stuk groter dan in W2K3.

Waar ik dan enigzins tegen aan hik is, dat als er eenmaal voor VMWare wordt gekozen, er eigenlijk geen weg meer terug is. (niet dat dit een reden is om daar niet voor te gaan)

Daar komt bij dat ik bij MS Virtual Server voor 100% terug kan vallen op support van Microsoft.

Ondertussen ben ik me aan het inlezen in de opties maar hoor ook graag hints, tips en valkuilen uit de praktijk. (op beide platvorms)

[Asteroid9]

Ach, er is altijd een weg terug, welke richting je ook kiest.

De support vind ik als argument niet opgaan: VMware levert ook een volledig supported oplossing en heeft een beduidend betere staat van dienst dan Microsoft.
Waar het om problemen binnen de VM zelf gaat blijft de support van Microsoft hoe dan ook geldig, welk virtualisatieplatform je ook kiest.

Officieel kan gevraagd worden een probleem op fysieke hardware te reproduceren, maar daar heb ik nog nooit een geval van gehoord.
Een onderliggend host OS vind ik hoe dan ook geen prettige oplossing, bij ESX draait alles via een kleine kernel - MS komt daar pas mee met de hypervisor wat nog een tijdje gaat duren.

[GoeGie]

Denk er wel aan, dat VMWare ESX alleen ondersteunt wordt als je gebruik maakt van gecertificeerde hardware.

Daarnaast moet je rekening houden met Shared Storage, vooral als je virtuele machines wilt verplaatsen van ESX server 1 naar ESX Server 2 en v.v. Deze shared storage (Lees NAS/SAN) kost flink wat eurootjes.

[Asteroid9]

Hardware moet op de compatibility list staan ja, maar vrijwel alle redelijk recente servers van de grote leveranciers staan daar op.
Shared storage is nooit echt goedkoop, maar bied natuurlijk wel aardig wat voordelen.

Sinds ESX 3.0 is ook iScsi storage mogelijk, wat een stuk goedkoper is dan FC.
Niet voor ieder scenario geschikt, maar het overwegen waard.

[bigfoot1942]

Asteroid9 schreef op donderdag 22 november 2007 @ 22:41:
Officieel kan gevraagd worden een probleem op fysieke hardware te reproduceren, maar daar heb ik nog nooit een geval van gehoord.
Een onderliggend host OS vind ik hoe dan ook geen prettige oplossing, bij ESX draait alles via een kleine kernel - MS komt daar pas mee met de hypervisor wat nog een tijdje gaat duren.

fyi, een collega belde met MS voor support, zodra het woord 'virteel' gevallen was, vroeg de MS medewerker direct welke software dat dan wel niet was, en van wat hij achteraf van de MS medewerker begreep hadden we anders geen directe support kunnen vragen.
Overigens was dit een niet-VM gerelateerd probleem.

Voor de TS: bedrijf waar ik werk doet ook virtualisatie, en dan inderdaad door de VM's t clusteren binnen Windows. Mbt Windows Server 2008 heb je helemaal gelijk, futureproof dus.
Overigens levert een Windows host OS helemaal geen extra performanceverlies met de huidige processoren, mits deze intel VT of AMD variant heeft (behalve dat t 1 extra os is) maar los daarvan kan je je 'fysieke' cluster perfect gebruiken voor bv MSSQL of Exchange (zeker enterprise level oplossing)

Wat wel grappig is (of juist niet) zijn de systeembeheerders die genoeg VMWare propaganda voor ESX gezien hebben, en vallen voor de kleine kernel e.d. alsof die 300MB aan geheugenbesparing een extra VM oplevert... (en idem dito met een idle windows OS van max 2% CPU verbruik)

[shaowoo]

heb je het over verschillende typen servers?.. als dat zo is dan moeten deze aan een aantal voorwaarden voldoen (processor type en derg) alvorens DRS (van VMware) werkt.

trouwens welke oplossing je ook kiest (microsoft, vmware, xen enz) je zal zowieso een shared storage nodig hebben, en inderdaad zoals asteroid9 al aangeeft, esx 3.x ondersteund ISCSI. Je hoeft dus niet perse een SAN met fc aan te schaffen.

je kan je afvragen of je eigenlijk uberhaupt wel een virtuele omgeving moet hebben.. je hebt het over 3 servers? de vraag is waarom wil je virtualiseren.

Het verdelen van load over servers zal niet gebeuren in beide oplossingen, want jouw virtuele server draait op 1 server, de gegenereerde load wordt niet over de servers verdeeld. Of is virtualisatie een strategische keuze? want dat betekend een investering in een storage oplossing voor jouw virtuele omgeving. Hierdoor kan je de kosten verantwoorden.

@bigfoot1942:
ik meende dat virtual server van microsoft veel overhead had met diskacces. Ik weet niet of dit nog zo is met met w2k8.. imo is ESX op basis van Redhat getuned, w2k8 is een gehele OS met de extra functionaliteit: virtualisatie.

[ Voor 11% gewijzigd door shaowoo op 22-11-2007 23:54 ]

[Verwijderd]

bigfoot1942 schreef op donderdag 22 november 2007 @ 23:43:
[...]

fyi, een collega belde met MS voor support, zodra het woord 'virteel' gevallen was, vroeg de MS medewerker direct welke software dat dan wel niet was, en van wat hij achteraf van de MS medewerker begreep hadden we anders geen directe support kunnen vragen.
Overigens was dit een niet-VM gerelateerd probleem.

Voor de TS: bedrijf waar ik werk doet ook virtualisatie, en dan inderdaad door de VM's t clusteren binnen Windows. Mbt Windows Server 2008 heb je helemaal gelijk, futureproof dus.
Overigens levert een Windows host OS helemaal geen extra performanceverlies met de huidige processoren, mits deze intel VT of AMD variant heeft (behalve dat t 1 extra os is) maar los daarvan kan je je 'fysieke' cluster perfect gebruiken voor bv MSSQL of Exchange (zeker enterprise level oplossing)

Wat wel grappig is (of juist niet) zijn de systeembeheerders die genoeg VMWare propaganda voor ESX gezien hebben, en vallen voor de kleine kernel e.d. alsof die 300MB aan geheugenbesparing een extra VM oplevert... (en idem dito met een idle windows OS van max 2% CPU verbruik)

300M kan best een extra VM opleveren hoor, alleen geen Windows VM. Maar ik denk niet, dat dit nou echt de killer-feature van VMware is waar mensen voor gaan vallen. Wij hebben overigens nog nooit problemen gehad met OS- en software-support op onze Windows VM's. Die enkele keer dat we vragen hadden, werden we gewoon geholpen.

Naar wat ik van leveranciers gehoord heb, zou Windows 2008 voor MS een grote stap vooruit op het gebied van hardware virtualisatie moeten worden. Nou ze mogen van mij met een demo komen...

[DJ]

Ik zou altijd gaan voor VMWare Infrastructure 3. Ik werk bij een Microsoft Gold Partner en ik ben ook al bij een aantal seminars geweest van Microsoft over Longhorn (Windows Server 2008) en zijn Virtualisatie mogelijkheden. Allemaal mooie woorden worden er verteld, maar als het puntje bij het paaltje komt duurt het nog wel tot ver in 2008 of zelfs 2009 voordat echte Virtualisatie zoals ESX dat kan (dus met HA, DRS en VMotion) er in zit. De Hypervisor die Microsoft bedacht heeft voor Longhorn wordt in de 'Gold' release (voor zover ik nu weet) gestript beschikbaar gemaakt (dus zonder HA, DRS en VMotion wat Microsoft Live Migration noemt).

VMWare heeft een voorsprong op Microsoft van jaren. Dat gegeven alleen al moet voldoende zijn om een keuze te kunnen maken.

Verder uit de praktijk: ik heb klanten waar ik met Microsoft Virtual Server 2005 draait en klanten waar ik met VMWare Server (gratis versie) draai. Als ik de hardware vergelijk (allemaal HP DL360 of DL380 Servers) en dan kijk hoe de performance is dan wint VMWare dat glansrijk! Met name op disk IO gebiedt. Als je dan de VMWare Server zou vervangen door een ESX omgeving dan win je nog veel meer. ESX is wel degelijk sneller dan VMWare Server. Alleen al door het feit dat de VMKernel in ESX direct op de hardware zit.

Wat shared storage betreft: ik heb redelijk wat ervaring met iSCSI appliances (met name van Equallogic) en ik moet zeggen dat de performance daarvan zich kan meten de echte FC SAN's. Er zijn zelfs al onafhankelijke tests gedaan met Exchange 2007 die melden dat een iSCSI SAN van Equallogic sneller is dan een FC SAN die veel duurder is. Verder heb je ook veel minder kosten bij een iSCSI SAN. Alleen al de aanschaf prijs is lager. Ik kan je hier alle voordelen van zo'n SAN oplossing vermelden, maar dan wordt het een lang verhaal. Als je meer wilt weten check dan de Equallogic site.

Bovenstaande klinkt een beetje als een sales verhaaltje, dat geef ik toe, maar de ervaringen die ik er inmiddels mee heb ondersteunen dit verhaal wel.

[Asteroid9]

bigfoot1942 schreef op donderdag 22 november 2007 @ 23:43:
[...]

Voor de TS: bedrijf waar ik werk doet ook virtualisatie, en dan inderdaad door de VM's t clusteren binnen Windows. Mbt Windows Server 2008 heb je helemaal gelijk, futureproof dus.
Overigens levert een Windows host OS helemaal geen extra performanceverlies met de huidige processoren, mits deze intel VT of AMD variant heeft (behalve dat t 1 extra os is) maar los daarvan kan je je 'fysieke' cluster perfect gebruiken voor bv MSSQL of Exchange (zeker enterprise level oplossing)

Wat wel grappig is (of juist niet) zijn de systeembeheerders die genoeg VMWare propaganda voor ESX gezien hebben, en vallen voor de kleine kernel e.d. alsof die 300MB aan geheugenbesparing een extra VM oplevert... (en idem dito met een idle windows OS van max 2% CPU verbruik)

Die 300MB geheugenbesparing maakt werkelijk helemaal niets uit, maar een compleet tussenliggend OS wel degelijk.

En nee, ESX is niet gebaseerd op RedHat of welke Linux distributie dan ook.
De service console is Linux, maar de eigenlijke virtualisatielaag zit in de kernel.

Je laatste alinea vind ik op zijn minst denigrerend te noemen, en bijzonder slecht onderbouwd.
Kijk ook maar naar de reacties hier net boven, ook ik heb ruim voldoende praktijkervaring met implementaties om het onderscheid tussen MS en VMware te kennen.
Daar heb ik absoluut geen 'propaganda' voor nodig.

[Verwijderd]

Asteroid9 schreef op vrijdag 23 november 2007 @ 09:35:
[...]


En nee, ESX is niet gebaseerd op RedHat of welke Linux distributie dan ook.
De service console is Linux, maar de eigenlijke virtualisatielaag zit in de kernel.

[...]

Precies. Waar het uiteindelijk om draait bij ESX is de VMkernel. De service-console is enkel een soort van "doorgeefluik" naar de VMkernel.

[Verwijderd]

Sinds ESX 3.0 is ook iScsi storage mogelijk, wat een stuk goedkoper is dan FC.
Niet voor ieder scenario geschikt, maar het overwegen waard.

Ik had eigenlijk al besloten dat er een iSCSI storage moest komen mede door de hoge kosten van FC. De externe opslag (in de vorm van iSCSI storage) komt er in ieder geval omdat de strategische keuze al gemaakt is om alle clients over te zetten naar thin clients en Terminal Server. De verspreide fileservers komen dan centraal te staan bij de Terminal Server wat een flink aantal fysieke servers scheelt en met name het backupprobleem moet oplossen.
Ik moet nog wel nagaan wat de gootte van de storage moet worden (zowel datacapaciteit als hoeveelheid schijven) Ik ben aan het kijken bij EqualLogic, HP en DotHill. Ook hier geldt weer dat het belangrijk is dat het schaalbaar is. Is er overigens een 'best practice' voor het aantal schijven dat per (virtuele) server aanwezig moet zijn in een storagekabinet? (nu bedoel ik dus niet de capaciteit die een server nodig heeft maar het aantal schijven dat toegewezen wordt aan een (virtuele) server)

Er werd in een eerdere post door shaowoo afgevraagd of virtualisatie wel wat voor mij is. Wel, naast de genoemde fileserver, applicatieserver en webserver, zijn er nog 2 kandidaten die misschien nog wel veel meer in aanmerking komen voor virtualisatie omdat deze 2 servers een gemiddelde belasting van 2% hebben met pieken van 10%. Het gaat om een blackberry server en een server die scans van multifunctionals op verschillende locaties op een vastgestelde locatie op de fileserver plaatst.
Als laatste hebben we nog een ISA server draaien. Alhoewel, ik er nog niet van overtuigd ben dat die ISA server wel gevirtualiseerd moet gaan worden. Gevoelsmatig hou ik die liever op een fysieke server.

In ieder geval dank voor de info en tips. Ik ervaar het project in ieder geval als een hele leuke uitdaging die me de gelegenheid biedt om met veel nieuwe technologie te werken.

[shaowoo]

is inderdaad een hele leuke + leerzame traject... succes ermee.

paar punten bij gebruik van esx / andere visualisatie product is het van belang dat je veel disks spindels hebt. Bij ons hebben we netapp met 144 gb disks, terwijl eigenlijk 300 gb disks mogelijk zijn.. wij hebben practisch alles gevirtualiseerd (incl ISA,mbt VLan tagging scheiden we de netwerken (DMZ ,en LAN)

[Verwijderd]

DJ schreef op vrijdag 23 november 2007 @ 07:36:

Wat shared storage betreft: ik heb redelijk wat ervaring met iSCSI appliances (met name van Equallogic) en ik moet zeggen dat de performance daarvan zich kan meten de echte FC SAN's. Er zijn zelfs al onafhankelijke tests gedaan met Exchange 2007 die melden dat een iSCSI SAN van Equallogic sneller is dan een FC SAN die veel duurder is. Verder heb je ook veel minder kosten bij een iSCSI SAN. Alleen al de aanschaf prijs is lager. Ik kan je hier alle voordelen van zo'n SAN oplossing vermelden, maar dan wordt het een lang verhaal. Als je meer wilt weten check dan de Equallogic site.

Bovenstaande klinkt een beetje als een sales verhaaltje, dat geef ik toe, maar de ervaringen die ik er inmiddels mee heb ondersteunen dit verhaal wel.

Equallogic heeft een aantal voordelen (bijvoorbeeld dat het in theorie lineair schaalt) maar van de prijzen schrok ik wel een beetje. Een midrange FC oplossing (bijvoorbeeld EMC CX3-40) is dan echt een stuk goedkoper (tot een factor 2). En als je de performance niet nodig hebt dan is het al gauw een factor 5 duurder per GB; als je het bijvoorbeeld tegen een HP MSA 1510i wegzet. Ik weet het appels met peren, maar ik vind Equallogic absoluut niet goedkoop, sterker nog ik denk dat het op dit moment een van de duurdere oplossingen is in het midden segment.

[DJ]

Verwijderd schreef op vrijdag 23 november 2007 @ 22:58:
[...]


Equallogic heeft een aantal voordelen (bijvoorbeeld dat het in theorie lineair schaalt) maar van de prijzen schrok ik wel een beetje. Een midrange FC oplossing (bijvoorbeeld EMC CX3-40) is dan echt een stuk goedkoper (tot een factor 2). En als je de performance niet nodig hebt dan is het al gauw een factor 5 duurder per GB; als je het bijvoorbeeld tegen een HP MSA 1510i wegzet. Ik weet het appels met peren, maar ik vind Equallogic absoluut niet goedkoop, sterker nog ik denk dat het op dit moment een van de duurdere oplossingen is in het midden segment.

Maar als je dan de beheerskosten mee neemt van de 'concurrentie' ten opzichte van de Equallogic . . . ik bedoel: in 20 minuten heb je hem draaiend 'out-of-the-box' . . . (been there done that). Ok, dan moet de RAID configuratie op de achtergrond nog afronden, maar je kunt al wel gaan beginnen aan het inrichten van je volumes en installeren van je VM's of Servers applicaties.

Als je een change op je SAN wilt doorvoeren (uitbreidig bijvoorbeeld) hoef je je SAN niet down te brengen . . . alles gaat echt online en on-the-fly! Zelfs als je twee verschillende Equallogic boxen hebt (één SATA model bv PS100E en één SAS model bv PS3600X) dan zoeken de boxen onderling uit welke 'volumes' IO intensief zijn en die gaan dan op de snellere SAS unit staan. Je kunt ook zelf kiezen, maar dan moet je wel weten wat je doet. De Equallogic doet dat standaard en zonder verdere kennis nodig te hebben. Je hebt alleen kennis nodig van IP netwerken en basis iSCSI begrippen. SAN kennis is niet noodzakelijk! En dat scheelt ook centen . . .

Om een volwaardig FC SAN te beheren moet je toch wel weten wat je moet doen (zoning, etc.). Dat betekend dus dat je kennis moet hebben en eventueel ook een training moet gaan volgen. Die kosten worden vaak vergeten bij een vergelijk.

Een ander vergelijk is dat je niet extra licenties hoeft te kopen om bijvoorbeeld Thin Provisioning te hebben. Alle functionaliteit die je kunt verzinnen zit erin, en als men nieuwe functionaliteit bedenkt dan zit die in de volgende firmware update. Geen extra licentie kosten (wel een onderhouds contract nodig natuurlijk).

Je hebt geen speciale FC kaarten nodig (ik adviseer wel om extra GigaBit kaarten in je Server te plaatsen om je Storage netwerk verkeer te scheiden van het overige netwerk verkeer en om VLAN's te gebruiken) dus dat scheelt ook in de kosten. En je kunt tegenwoordig ook iSCSI SAN Booten (middels iSCSI HBA's).

[Verwijderd]

bigfoot1942 schreef op donderdag 22 november 2007 @ 23:43:
[...]

Voor de TS: bedrijf waar ik werk doet ook virtualisatie, en dan inderdaad door de VM's t clusteren binnen Windows.

Zou je hier eens wat meer info over willen geven? Dit is toch nog steeds iets wat ik in mijn achterhoofd heb om de virtualisatieomgeving schaalbaar te krijgen. (Of lees ik je post verkeerd en heb je een cluster draaien binnen de virtuele omgeving? wat IMO niet logisch is omdat je dan simpelweg je VM groter moet dimensioneren)

Ik zie het eigenlijk zo dat er 2 opties zijn: OF je loopt het pad van de zware host server waarop je meerdere VM's laat draaien. In een grotere omgeving kan je dan meerdere zware host servers met elkaar laten praten bijv dmv ESX server. (btw... hoe praten host servers onder MSVS met elkaar of is dat gewoon niet mogelijk en is dat meer een VMWare Server clone?)

Het alternatief waar ik aan loop te denken is de zware host server te creeeren dmv het clusteren van een aantal lichtere servers. Dit heeft als voordeel dat dit enorm schaalbaar is en dat de initiele investering in hardware beperkt blijft. Ook lijkt het me eenvoudiger om zonder de VM's down te hoeven brengen, de hosts gepatched kunnen worden door deze een voor een te patchen terwijl de overige servers in het cluster de taken overnemen.

[ Voor 7% gewijzigd door Verwijderd op 24-11-2007 10:40 ]

[Verwijderd]

DJ schreef op vrijdag 23 november 2007 @ 23:28:
[...]


Maar als je dan de beheerskosten mee neemt van de 'concurrentie' ten opzichte van de Equallogic . . . ik bedoel: in 20 minuten heb je hem draaiend 'out-of-the-box' . . . (been there done that). Ok, dan moet de RAID configuratie op de achtergrond nog afronden, maar je kunt al wel gaan beginnen aan het inrichten van je volumes en installeren van je VM's of Servers applicaties.

Als je een change op je SAN wilt doorvoeren (uitbreidig bijvoorbeeld) hoef je je SAN niet down te brengen . . . alles gaat echt online en on-the-fly! Zelfs als je twee verschillende Equallogic boxen hebt (één SATA model bv PS100E en één SAS model bv PS3600X) dan zoeken de boxen onderling uit welke 'volumes' IO intensief zijn en die gaan dan op de snellere SAS unit staan. Je kunt ook zelf kiezen, maar dan moet je wel weten wat je doet. De Equallogic doet dat standaard en zonder verdere kennis nodig te hebben. Je hebt alleen kennis nodig van IP netwerken en basis iSCSI begrippen. SAN kennis is niet noodzakelijk! En dat scheelt ook centen . . .

Om een volwaardig FC SAN te beheren moet je toch wel weten wat je moet doen (zoning, etc.). Dat betekend dus dat je kennis moet hebben en eventueel ook een training moet gaan volgen. Die kosten worden vaak vergeten bij een vergelijk.

Een ander vergelijk is dat je niet extra licenties hoeft te kopen om bijvoorbeeld Thin Provisioning te hebben. Alle functionaliteit die je kunt verzinnen zit erin, en als men nieuwe functionaliteit bedenkt dan zit die in de volgende firmware update. Geen extra licentie kosten (wel een onderhouds contract nodig natuurlijk).

Je hebt geen speciale FC kaarten nodig (ik adviseer wel om extra GigaBit kaarten in je Server te plaatsen om je Storage netwerk verkeer te scheiden van het overige netwerk verkeer en om VLAN's te gebruiken) dus dat scheelt ook in de kosten. En je kunt tegenwoordig ook iSCSI SAN Booten (middels iSCSI HBA's).

Ik weet niet welke SAN je down moet brengen om ruimte uit te breiden maar die vallen bij wel in de speelgoed categorie. In de tijd dat wij ons FC SAN hebben staan hebben we 0 minuten downtijd gehad (en ja, dat is inclusief software upgrades op SP's, uitbreiding en incidenten). Op ethernet niveau is dat in mijn ogen veel moeilijker haalbaar. Stop maar eens nieuwe software in een switch stack. Je moet je netwerktopologie dus wel volledig aanpassen aan je iSCSI gebruik en zorgen dat je bijvoorbeeld geen Spanning Tree gebruikt. Want 30 seconden outage vanwege een ST reconfig is natuurlijk wel vervelend.

Op zich misschien allemaal waar. Een hoop beheerders snappen veel meer van ethernet dan van FC. Het maakt mij persoonlijk niet zo veel uit. Als ik een FC connected server toevoeg dan moet ik kabels in orde maken, zones aanpassen, wat met de masking doen en de server bekend maken in het SAN. Als ik een iSCSI server aansluit dan moet ik kabels trekken, wat in de VLAN switches doen, wat met de masking doen en de server bekend maken in het SAN. FC kost mij misschien iets meer tijd maar daar krijg ik ook iets meer voor terug (betrouwbaarheid). Voor mij maakt dat dus niet zoveel verschil.

Nadeel van het licentiemodel is dat je voor alles betaald ook al heb je het niet nodig.

Heb je wel eens bekeken wat bijvoorbeeld een QLA4050 iSCSI hba kost (een van de weinigen op de VMWare HCL)? Die doet meer dan de gemiddelde 2 Gbit FC hba. En daar heb je er dus twee van nodig als je redundantie wil of eigenlijk 4 als je gelijke aansluitsnelheden wil.

Ik vind de Equallogic en andere iSCSI producten mooi in elkaar zitten, maar ik vind Equallogic veels te duur voor wat ik ervoor krijg.

[Verwijderd]

Verwijderd schreef op zaterdag 24 november 2007 @ 10:37:
[...]


Zou je hier eens wat meer info over willen geven? Dit is toch nog steeds iets wat ik in mijn achterhoofd heb om de virtualisatieomgeving schaalbaar te krijgen. (Of lees ik je post verkeerd en heb je een cluster draaien binnen de virtuele omgeving? wat IMO niet logisch is omdat je dan simpelweg je VM groter moet dimensioneren)

Ik zie het eigenlijk zo dat er 2 opties zijn: OF je loopt het pad van de zware host server waarop je meerdere VM's laat draaien. In een grotere omgeving kan je dan meerdere zware host servers met elkaar laten praten bijv dmv ESX server. (btw... hoe praten host servers onder MSVS met elkaar of is dat gewoon niet mogelijk en is dat meer een VMWare Server clone?)

Het alternatief waar ik aan loop te denken is de zware host server te creeeren dmv het clusteren van een aantal lichtere servers. Dit heeft als voordeel dat dit enorm schaalbaar is en dat de initiele investering in hardware beperkt blijft. Ook lijkt het me eenvoudiger om zonder de VM's down te hoeven brengen, de hosts gepatched kunnen worden door deze een voor een te patchen terwijl de overige servers in het cluster de taken overnemen.

Een VMWare ESX omgeving is schaalbaar. Als je extra servers toevoegt aan de farm dan kun je die gebruiken. Eventueel kan je met DRS de resources automatisch slim laten verdelen. Je moet hiervoor natuurlijk wel iets van shared storage gebruiken (SAN, iSCSI, of als je een hekel aan jezelf hebt NAS). Om je te wapenen tegen het uitvallen van een ESX server kan je de High Availability licentie kopen. Op het moment dat dan een ESX server uitvalt worden de virtuele machines die op deze host draaiden automatisch op andere ESX servers opnieuw opgestart. Dit is in feite het idee dat je in de laatste alinea schetst. VMWare werkt tegenwoordig met CPU licenties en het maakt dus niets meer
uit of je 32 single CPU hosts neerzet of een 32 CPU host.

[Verwijderd]

Helemaal mee eens, maar als we het hebben over een omgeving die eigenlijk te klein is voor ESX, maar te groot om op 1 server te laten draaien en er toch behoefte is aan schaalbaarheid...

Ik ben op dit moment geneigd om te kiezen voor OF Vmware Server, OF voor MSVS omdat ik denk dat onze omgeving (nog) niet groot genoeg is om de investering in ESX te rechtvaardigen. Er is echter wel behoefte aan meer dan 1 host server... Je begrijpt waarschijnlijk mijn dilemma wel. En dat is dus ook de reden dat ik explciciet vraag naar ervaringen met het hosten van een virtuele omgeving op een cluster (op basis van W2K3 Server Enterprise)

[Verwijderd]

Aangezien "budget" hier jouw grootste probleem is vermoedelijk zoek je dus naar een goedkope HA omgeving ? Hetgene je voorstelt, VMWare Server op een Windows Cluster is eigenlijk niet mogelijk ! Ook MSVS ondersteund niet de functionaliteiten die je wilt.

Ik heb ooit eens voor een vorige werkgever een gelijkaardige situatie moeten uitdenken om HA te leveren met open-source (lees gratis) componenten. Heb hier ook een howto over gemaakt, maar ... het onderliggende Host OS is wel linux !!

Hier vind je m'n howto: http://www.howtoforge.com...ilover_vmware_debian_etch
(opgelet: deze tutorial is niet copy/paste, enige vorm van gezond verstand en een beetje netwerk/linux kennis is nodig).

[Erhnam]

Als je nog even wacht kan je dit allemaal met Windows 2008 doen. Ik ben vorige week in Barcelona op TechEd geweest en daar heb ik verschillende demonstraties gezien. Een daarvan was Hyper-V. Twee verschillende machines, cluster en daar bovenop Virtual Machines. Met shared storage was het zelfs mogelijk fail-over te doen (kan ook met ESX!).

Waar je ook voor kon kiezen was een cluster configuratie waarbij er geen shared storage is. Je moet dan wel een vlan maken en kiezen voor een samba share. Daar bovenop kan je ook weer clusteren (clustered virtual machines over long distance!!!). Erg mooie demonstratie vond ik twee torens met virtual machines. Viel er eentje om, dns werd automatisch aangepast de boel ging draaien op de andere toren en binnen 15 min (afhankelijk van TTL) draaide alles weer! Goedkoper dan ESX maar je moet wel even wachten en het is wel Microsoft

[ Voor 3% gewijzigd door Erhnam op 27-11-2007 14:17 ]

[Verwijderd]

Uiteraard kijk ik met een schuin oog naar W2K8 en HyperV technieken. Echter kan ik niet wachten totdat W2K8 uit beta gaat. Daar komt bij dat ik wel enigzins huiverig ben om vanaf dag 1 W2K8 in een productieomgeving te draaien.

Alle nieuwe hardware wordt in ieder geval wel dusdanig gekozen dat W2K8 met HyperV er op KAN draaien. (x64 processoren bijvoorbeeld).

Ondertussen wordt de keuze al wel iets duidelijker.
Ik zal offertes aanvragen voor Netapp, Equallogic en HP voor de storage oplossing.
De virtualisatie omgeving zal op een failover cluster komen te draaien. Dit om downtime bij regulier onderhoud te beperken en in geval van falen van active node, downtime tot een minimum te reduceren.

Het mooist zou zijn als er een failover cluster gecreeerd kan worden met meerdere active nodes.

[deef-]

Verwijderd schreef op zaterdag 24 november 2007 @ 19:17:
Aangezien "budget" hier jouw grootste probleem is vermoedelijk zoek je dus naar een goedkope HA omgeving ? Hetgene je voorstelt, VMWare Server op een Windows Cluster is eigenlijk niet mogelijk ! Ook MSVS ondersteund niet de functionaliteiten die je wilt.

Ik heb ooit eens voor een vorige werkgever een gelijkaardige situatie moeten uitdenken om HA te leveren met open-source (lees gratis) componenten. Heb hier ook een howto over gemaakt, maar ... het onderliggende Host OS is wel linux !!

Hier vind je m'n howto: http://www.howtoforge.com...ilover_vmware_debian_etch
(opgelet: deze tutorial is niet copy/paste, enige vorm van gezond verstand en een beetje netwerk/linux kennis is nodig).

Ik gebruik een soortgelijke oplossing, maar dan wel met drbd8 en KVM ipv VMware. Werkt redelijk, hoewel live migration niet mogelijk is.

[bigfoot1942]

Verwijderd schreef op zaterdag 24 november 2007 @ 19:17:
Aangezien "budget" hier jouw grootste probleem is vermoedelijk zoek je dus naar een goedkope HA omgeving ? Hetgene je voorstelt, VMWare Server op een Windows Cluster is eigenlijk niet mogelijk ! Ook MSVS ondersteund niet de functionaliteiten die je wilt.

VMWare server in een Windows Cluster kan perfect, evenals MSVS in een Windows Cluster.
Hierbij heb je wel een paar kleine failover-scripts nodig.
Wat kan MSVS niet?

Verwijderd schreef op vrijdag 30 november 2007 @ 12:41:Ondertussen wordt de keuze al wel iets duidelijker.
Ik zal offertes aanvragen voor Netapp, Equallogic en HP voor de storage oplossing.
De virtualisatie omgeving zal op een failover cluster komen te draaien. Dit om downtime bij regulier onderhoud te beperken en in geval van falen van active node, downtime tot een minimum te reduceren.

1 tip, door schade en schande geleerd: regel demo's, ga performance tests doen voordat je tot aanschaf overgaat. Niet alle storage is in real life performance direct vergelijkbaar, terwijl deze dit op papier wel zouden moeten zijn.

[Verwijderd]

Verwijderd schreef op vrijdag 30 november 2007 @ 12:41:
Ik zal offertes aanvragen voor Netapp, Equallogic en HP voor de storage oplossing.
De virtualisatie omgeving zal op een failover cluster komen te draaien. Dit om downtime bij regulier onderhoud te beperken en in geval van falen van active node, downtime tot een minimum te reduceren.

Het mooist zou zijn als er een failover cluster gecreeerd kan worden met meerdere active nodes.

Waarom geen aanvraag voor IBM storage? Die hebben ook heel leuke oplossingen... En het hoeft niet duur te zijn. Als je aan de verkopenden partij meedeelt dat er concurrentie is van (vooral) HP, kunnen ze vaak bij IBM een speciale prijs aanvragen.

De situatie die je bovenstaand schetst, dus een failover cluster met meerdere actieve nodes, is uitstekend te bereiken met bijv. VMware ESX. Wij hebben inmiddels een aantal van die omgevingen ingericht, en het werkt erg prettig!

[bigfoot1942]

Verwijderd schreef op zaterdag 24 november 2007 @ 10:37:
[...]


Zou je hier eens wat meer info over willen geven? Dit is toch nog steeds iets wat ik in mijn achterhoofd heb om de virtualisatieomgeving schaalbaar te krijgen. (Of lees ik je post verkeerd en heb je een cluster draaien binnen de virtuele omgeving? wat IMO niet logisch is omdat je dan simpelweg je VM groter moet dimensioneren)

Ik zie het eigenlijk zo dat er 2 opties zijn: OF je loopt het pad van de zware host server waarop je meerdere VM's laat draaien. In een grotere omgeving kan je dan meerdere zware host servers met elkaar laten praten bijv dmv ESX server. (btw... hoe praten host servers onder MSVS met elkaar of is dat gewoon niet mogelijk en is dat meer een VMWare Server clone?)

Het alternatief waar ik aan loop te denken is de zware host server te creeeren dmv het clusteren van een aantal lichtere servers. Dit heeft als voordeel dat dit enorm schaalbaar is en dat de initiele investering in hardware beperkt blijft. Ook lijkt het me eenvoudiger om zonder de VM's down te hoeven brengen, de hosts gepatched kunnen worden door deze een voor een te patchen terwijl de overige servers in het cluster de taken overnemen.

Vergeet niet dat je altijd ruimte moet houden qua resources dat er een host uit mag vallen zonder dat VM's hierdoor niet meer gestart kunnen worden
Lichte servers moet je niet gebruiken, minimaal Intel VT of AMD Pacifica met ruim geheugen (altijd goed voor databaseperformance e.d., schaalbaarheid). Zorg ook dat je genoeg cores hebt, niet teveel overboeken. Als je medewerkers merken dat t gevirtualiseerd is aan de performance is e.e.a. misgegaan

Google eens op "Virtual Server Host Clustering", MS heeft hier gewoon whitepapers voor.