Opzetten ESX netwerk ( 2x node, 2x switch, 1xNAS/SAN)

[Arnoldtwt]

Al een tijdje spelen we met de gedachten om ons netwerk verder te optimaliseren.
Op dit moment maken we gebruik van 4 servers die allemaal zo'n 3 á 4 VM's draaien op ESXi

Omdat we qua failover een andere oplossing willen bieden hebben we gemeend eens te moeten kijken naar een oplossing met 2 nodes en een NAS/SAN

Graag willen we graag gebruik blijven maken van ESX(i) om zo onze huidige VM's over te kunnen zetten.

Omdat we gebruik kunnen maken van 2 stroom feeds en 2 netwerken willen we het graag dubbel uitvoeren dus met 2 switches die alleen voor het "interne" verkeer van en naar de nodes/Nas wordt gebruikt.

Het verkeer naar de netwerken zal door de nodes af worden gehandeld, nu is onze bedoeling om een 2x2 netwerkkaart in de nodes te zetten, en daarbij ESX(i) op een USB stick te laten draaien, dus verder geen HD's in de nodes.

Echter heb ik nog een aantal vragen:

Heeft iemand hier ervaring mee en ben je tegen bepaalde zaken aan gelopen waar je niet op hebt gerekend ?

[ Voor 4% gewijzigd door Arnoldtwt op 18-09-2010 07:53 ]

[Dronium]

De beschreven opzet werkt uitstekend! en word door mezelf regelmatig zo geimplementeerd. Verder nog 2 dingen:
1) Zorg voor een goede interconnect tussen je switches dmv Stacking of of een gebundelde link.
2) Kies je Storage zorgvuldig uit, de performance van je storage bepaald immers voor een groot deel de performance van je VM's

[Ethirty]

Gezien je verhaal en je huidige situatie vermoed ik dat je nu 4x de gratis ESXi gebruikt. In je nieuwe opzet zou ik dan vSphere Essentials adviseren. Kost wat, maar dat geeft je gelijk een aantal mooie failover en monitoring opties die je nu (waarschijnlijk) mist.

En uiteraard moeten je 2 nieuwe nodes voldoende krachtig zijn om je bestaande 4 nodes te vervangen. Hoewel 6-8 VM's per node normaal geen enkele probleem zou moeten weet ik niks over de performance die elke van je VM's vereist.

[MADG0BLIN]

Enige SPOF is dan nog je SAN, maar zelfs die zou je dubbel kunnen uitvoeren mocht je dat willen.
Voor de rest zou het goed moeten werken ja.
En qua kosten, kijk niet alleen naar VMWare, ik vind zelf voor een hoop omgevingen Hyper-V of Xenserver prima voldoen. Enige nadeel is dat je dan alles moet overzetten.

[Verwijderd]

Mocht er voldoende budget zijn, dan raad ik zeker VMware Essentials Plus Kit aan:

http://www.vmware.com/vmw...e_smbpurchaseoptions.html

[Arnoldtwt]

Bedankt voor jullie reactie, ik ben natuurlijk gelijk even doorgegaan met lezen en zoeken naar een NAS/SAN oplossing.
Ik denk dat een NAS (iSCSI) prima zal voldoen, alleen zijn er natuurlijk veel soorten te vinden.
Qua NAS zitten we al een tijd te zoeken naar een QNAP TS-439U-RP, Nodes zullen Dell R410 gaan worden.
Alleen de switchen zijn we nog niet uit, we hebben tot nu toe alleen HP in ons netwerk gehad, echter heb ik nog geen goede kunnen vinden.

Het gebruik van vSphere Essentials daar zullen we niet aan ontkomen !?

Misschien is het een idee, om jullie gebruikte cfg's eens te posten.

[CAPSLOCK2000]

Op sommige moderne servers kun je een flash kaartje direct op het moederbord prikken. Veel leveranciers (oa HP & Dell) verkopen servers met ESXi voorgeinstalleerd op zo'n kaartje.

Zet voldoende schijven in je NAS/SAN, als je nu 4 servers hebt met 2 schijven per server zou ik ook 8 schijven voor je NAS/SAN stoppen.

Kijk ook eens naar HBA's, dat zijn een soort netwerkkaarten die (bv) iSCSI snappen, dat is snel en betrouwbaar.

[Verwijderd]

Nog een heel belangrijke tip als je nieuwe hardware uit gaat zoeken. Zorg dat het door VMware ondersteunde hardware is. Wij hebben in het verleden zeer grote storage problemen gehad doordat wij een Enterprise NAS gebruikten die nu net niet op de Hardware Compatibility list stond

Op de site van VMware staan deze Vsphere Hardware Compatibility lijsten.

Tip nummer twee. Bestel deze 2 boeken je zult daar echt heel veel profijt van hebben:

VMware vSphere 4 Implementation: http://www.amazon.com/VMw...ke-Laverick/dp/0071664521

Mastering VMware vSphere 4: http://www.amazon.com/Mas...mputer-Tech/dp/0470481382

[ Voor 30% gewijzigd door Verwijderd op 18-09-2010 19:06 ]

[Arnoldtwt]

Boeken, gaan er zeker komen...

NAS is inmiddels al veranderd, eerder genoemde NAS staan niet als ondersteunend voor VMware, dus vandaar aangepast naar : QNAP TS-859U-RP

Ik zit alleen nog even te zoeken naar het goede licentiemodel voor VMware vSphere 4 Essentials (plus), en kan ik op de nodes "gewoon" ESXi gaan draaien, of moet ik daarin ook gebruik maken van een betaalde variant,

Zoals al eerder aangeven ben ik gaan zoeken in de Dell R410 reeks, alleen hebben deze machines slechts 2 sockets, ik heb nu R200 machines, deze hebben dus 1 CPU, dus het zou theoretisch genoeg moeten zijn, zeker als ik ze uitrust met 2 Quad Core processoren..... ( wie kan dit beamen !?)

[MADG0BLIN]

Kijk voordat je servers gaat aanschaffen even naar welke licenties je gaat gebruiken. Sommige versies moet je per socket aanschaffen, de essentials bundel mag je volgens mij 2 sockets per server gebruiken tot 6 cores. Maar dat is uit mijn hoofd en moet je misschien even naar kijken.

Hier een redelijk recent document over licensing. Maar voor de zekerheid kan je altijd beter contact opnemen met een verkoper.
http://www.vmware.com/files/pdf/vsphere_pricing.pdf

[ Voor 24% gewijzigd door MADG0BLIN op 18-09-2010 19:51 ]

[Verwijderd]

Arnoldtwt schreef op zaterdag 18 september 2010 @ 19:41:
Ik zit alleen nog even te zoeken naar het goede licentiemodel voor VMware vSphere 4 Essentials (plus), en kan ik op de nodes "gewoon" ESXi gaan draaien, of moet ik daarin ook gebruik maken van een betaalde variant,

Zoals al eerder aangeven ben ik gaan zoeken in de Dell R410 reeks, alleen hebben deze machines slechts 2 sockets, ik heb nu R200 machines, deze hebben dus 1 CPU, dus het zou theoretisch genoeg moeten zijn, zeker als ik ze uitrust met 2 Quad Core processoren..... ( wie kan dit beamen !?)

Dat staat toch duidelijk hier:

http://www.vmware.com/vmw...e_smbpurchaseoptions.html

ESXi is er niet in een betaalde variant, je kunt met Essentials Plus op maximaal 3 servers ESXi gebruiken. Overigens moet je nog extra kosten rekenen voor het volgende. Om een beetje leuk Vcenter 4.1 te draaien heb je nodig:

Windows 2008 64bit Server (Standard of Enterprise)
MS SQL 2008 64bit Server (Standard of Enterprise)

Ik pak meestal Standard ipv Enterprise en draai altijd de Vcenter server als VM

[Arnoldtwt]

Bedankt voor de info, ik kreeg zojuist nog een TIP om toch eens naar XEN te kijken, die zijn qua licenties een andere benadering te hebben, waarbij het ook mogelijk is om onze VM's om te zetten naar een XEN VM?

Ik moet dit allemaal nog even uitzoeken, maar als het daadwerkelijk 8k aan overstapkosten en 2k jaarlijks aan licentiekosten goedkoper is, dan moeten we hier nog maar even een studie van maken !?

Ik ken alleen de beheer tools van XEN niet goed, mogelijk maar even een oude stofzuiger installeren met XEN.

[ZeRoC00L]

Verwijderd schreef op zaterdag 18 september 2010 @ 21:46:
ESXi is er niet in een betaalde variant, je kunt met Essentials Plus op maximaal 3 servers ESXi gebruiken. Overigens moet je nog extra kosten rekenen voor het volgende. Om een beetje leuk Vcenter 4.1 te draaien heb je nodig:

Windows 2008 64bit Server (Standard of Enterprise)
MS SQL 2008 64bit Server (Standard of Enterprise)

Ik pak meestal Standard ipv Enterprise en draai altijd de Vcenter server als VM

Voor een Essentials bundel, met maximaal 3 hosts, kun je prima op SQL Express draaien hoor, wordt ook prima ondersteund.

Arnoldtwt schreef op zondag 19 september 2010 @ 09:09:
Bedankt voor de info, ik kreeg zojuist nog een TIP om toch eens naar XEN te kijken, die zijn qua licenties een andere benadering te hebben, waarbij het ook mogelijk is om onze VM's om te zetten naar een XEN VM?

Ik moet dit allemaal nog even uitzoeken, maar als het daadwerkelijk 8k aan overstapkosten en 2k jaarlijks aan licentiekosten goedkoper is, dan moeten we hier nog maar even een studie van maken !?

Ik ken alleen de beheer tools van XEN niet goed, mogelijk maar even een oude stofzuiger installeren met XEN.

XenServer is ook een leuk product, maar zeker nog niet zo volwassen als vSphere.
Snapshots werken niet helemaal lekker (storage wordt niet vrijgegeven bij deleten van snapshot). Beheersinterface is redelijk beperkt. Upgrade van XenServer 5.5 naar 5.6 veroorzaakt dat de NIC's niet goed herkend werden, via de Gui kun je er niet meer bij, dus moest ik commandline gaan knoeien.....

[ Voor 43% gewijzigd door ZeRoC00L op 19-09-2010 10:35 ]

[Arnoldtwt]

Ga vandaag in overleg met een collega om toch eens naar XEN te gaan kijken.
De opzet zou hetzelfde kunnen zijn, dus met een Q-NAP alleen het beheer schijnt veel makkelijker te zijn ?

Goed we gaan kijken !!

[PeterPan]

Arnoldtwt schreef op zaterdag 18 september 2010 @ 17:43:
Alleen de switchen zijn we nog niet uit, we hebben tot nu toe alleen HP in ons netwerk gehad, echter heb ik nog geen goede kunnen vinden.

Dell heeft voor relatief eenvoudige iSCSI omgevingen een prima switch: de PowerConnect 6224, dit is gewoon een Cisco met een Dell labeltje. Als je er twee koopt kun je ze ook stacken met een speciale module voor redundantie.

[Zwelgje]

Arnoldtwt schreef op maandag 20 september 2010 @ 11:40:
Ga vandaag in overleg met een collega om toch eens naar XEN te gaan kijken.
De opzet zou hetzelfde kunnen zijn, dus met een Q-NAP alleen het beheer schijnt veel makkelijker te zijn ?

Goed we gaan kijken !!

wat heet makkelijker de centrale database is niet opgeslagen op een dedicated machine maar distributed op alle XenServers. de gui heeft ook minder toeters en bellen (en dus minder knoppen om je op blind te staren)

Xen kan dingen die je met ESXi alleen kan als je de betaalde versie koopt (xenotion tov vMotion)

@zerocool: dat snapshot probleem is al opgelost hoor (versie 5.6)

[ Voor 5% gewijzigd door Zwelgje op 21-09-2010 15:55 ]

[squaddie]

Moeilijk van afstand te zeggen hoeveel IOPS de omgeving vraagt, maar hou rekening mee dat QNAPs en gelijksoortige modellen voorzichting uitgedrukt niet sterk zijn in random IOs. Een enkele ESX-host kan met gemak een QNAP op de knieën krijgen met de voornamelijk random IO die het loslaat op de NAS. Mijn advies is probeer de betreffende QNAP voor test te krijgen en probeer uit of hij daadwerkelijk voldoende prestaties kan leveren voor jouw omgeving.

Onze ervaring is bij dergelijke hoeveelheid guests per host een enkele quadcore voldoende is, uiteraard kan dit in jouw omgeving afwijken. Hoeveelheid geheugen is vaak een grotere issue dan processor is onze ervaring. Let trouwens wel op dat als je van 4 naar 2 hosts gaat de twee voldoende capaciteit hebben om alle VMs redelijk op een machine te kunnen draaien ivm uitval van een host.

In principe kan je ook in shared storage omgeving werken met de gratis ESXi hosts, uiteraard kan je dan afvragen of het handig te investeren in shared storage. Pas als je de features zoals centaal beheer (vCenter), backuppen van guests dmv APIs, vMotion of HA is het noodzakelijk over te gaan naar een betaalde ESXi server. Hiervoor is geen herinstallatie van de omgeving noodzakelijk, het is praktisch een kwestie van vCenter opzetten, licenties invoeren en de hosts connecten met vCenter. Overigens ben je niet verplicht na het eerste jaar de support te verlengen, uiteraard is het wel verstandig te onderzoeken of de kosten van de support opwegen tegen de nadelen van het niet hebben van support.

[deadlock2k]

-

[ Voor 102% gewijzigd door deadlock2k op 06-08-2021 16:26 ]

[-TAZZ-]

Verwijderd schreef op zaterdag 18 september 2010 @ 21:46:
[...]

ESXi is er niet in een betaalde variant, je kunt met Essentials Plus op maximaal 3 servers ESXi gebruiken.

Even voor de duidelijkheid, ESXi is er wel degelijk in een 'betaalde variant'. Ik zet ESXi regelmatig in bij het bouwen van virtuele infrastructuren. Het 'unlocken' van additionele features in ESXi (of ESX) gebeurt door het opvoeren van een VMware licentie (standaard, essentials, essentials plus, advanced, enterprise, enterprise plus).

deadlock2k schreef op vrijdag 24 september 2010 @ 12:33:
[...]

In een dusdanig kleine omgeving zou ik niet voor de grote boze MSSQLserver gaan maar volstaat de Express Edition die meegeleverd wordt. Dat scheelt enorm veel centen aan licentiekosten.

Idd voor een dusdanig kleine omgeving kan SQL Express prima. In combinatie met vCenter Foundation (max 3 hosts) bespaar je dan ook aardig op de kosten.

[ Voor 28% gewijzigd door -TAZZ- op 25-09-2010 20:50 ]

[PcDealer]

Inmiddels is vMotion ook in de Essentials Plus kit beschikbaar.

[Crazius]

Waarom een Qnap. Kijk eens naar Openfiler. Dit is een opensource NAS oplossing met mogelijkheden voor failover. Je heb alleen een goede raid controller nodig.

Wat ik je nog kan aanraden is een switch te nemen met Jumboframes support. Dit verhoogt de IO tussen je NAS en je ESX nodes. Maar voor het gebruik van Jumbo frames word wel en aparte switch aangeraden omdat je anders ip defragmentation gaat krijgen op je overige netwerk verkeer.

Jumbo frames hebben een MTU van 9000