ESX (i) Whitebox Performance

[vakantieman]

Ik sta op het punt om een Hyper-V Whitebox aan te schaffen. In deze whitebox komt de volgende Hardware:

1 x AMD Phenom II X4 945
1 x Scythe Mugen 2 rev.B SCMG-2100
1 x ASUS M4A785T-M
2 x 4GB DDR3 - 1333 MHz / PC3-10600
1 x 1TB SpinPoint F3 Desktop Class HD103SJ
1 x Intel PRO/1000 GT Desktop Adapter

Op deze fysieke host komen dan 3 machines te draaien, namelijk de volgende:

1 x OpenFiler SAN t.b.v. het aanbieden van iSCSI luns aan Hyper-V
2 x Hyper-V R2

Doormiddel van bovenstaande machines wordt dan een Hyper-V Cluster gemaakt waarop mijn overige virtuele machines komen te draaien, dit zullen voornamelijk Windows 2008 R2 machines zijn. Over de keuze waarom ik gekozen heb voor AMD kan ik simpel zijn, de kosten. Waar ik nog niet helemaal zeker van ben is de performance en dan met name van de HDD. Ik heb nu ook een whitebox draaien op een E6600 met 4GB en een SATAII disk en ik merk dat de HDD het gewoon niet meer aan kan. Nu vraag ik mij af of dit op bovenstaande configuratie het beter gaat.


offtopic : Als dit topic in het bestaande ESX(i) whitbox topic moet hoor ik het wel. Ik wist even niet of ik hiervoor een apart topic mocht openen.

[MADG0BLIN]

Ik zou het niet zo snel op 1 schijfje draaien. Waarom niet 3 of 4 schijven en dan bijvoorbeeld raid 5 of raid 1 + 0 draaien. Dat verschil ga je wel merken.

[Question Mark]

Controleer eerst eens of dit wel gaat werken. Hyper-V heeft nl. verplicht VT nodig om te kunnen draaien. Ik vraag me af of dit wel doorgegeven wordt door ESX/Vsphere host naar de guest.

Ik weet dat dit bij ESX 3.5 nog niet mogelijk was, maar misschien wel met VSphere.

[Verwijderd]

Ik zou er toch nog wat meer geheugen in zetten. W2008 vraagt best wel behoorlijk wat om het soepel te laten draaien. Als je 2 x HV hebt als basis ben je al een groot deel van je beschikbare geheugen kwijt. Daarna nog meerdere VM's binnen je cluster.... reken op 1GB per VM (indien W2k8) en je bent al snel uitgepraat met 8GB.

@? Je kan prima ESX3.5 binnen ESX(i) of Workstation draaien. Ikzelf heb 2 maal ESX binnen Workstation draaien en dat gaat perfect.

[ Voor 17% gewijzigd door Verwijderd op 07-06-2010 09:05 ]

[Question Mark]

Verwijderd schreef op maandag 07 juni 2010 @ 09:03:
@? Je kan prima ESX3.5 binnen ESX(i) of Workstation draaien. Ikzelf heb 2 maal ESX binnen Workstation draaien en dat gaat perfect.

De topicstarter gaat Hyper-V gebruiken en die heeft hardware assisted virtualization nodig (in tegenstelling tot ESX 3.5).

[Freezerator]

Je gebruikt nog nogsteeds een zelfde soort schijf, dus dat gaat niet super veel sneller zijn. Waarschijnlijk zal je zien dat je momenteel ook voldoende cpu/mem hebt. Mijn ervaring is dat je pas echt plezier hebt als je het op snelle storage zet (raid 10/sas)

[vakantieman]

@? De AMD proc ondersteund AMD-V, welke in vSphere dan ervoor zorgt dat je Hardware-Assisted Virtualization kan uitvoeren. Dus dat zou goed moeten komen

Algemeen: Mijn idee van een whitebox is dat je voor een eigen thuis testomgeving je een zo'n gunstig mogelijk afweging maakt tussen performance en de prijs.

Geheugen: Op dit moment is het geheugen in grote hoeveelheden niet te betalen. 8GB in bankjes van 2GB zoals ik nu gekozen heb is nog een beetje te betalen. Als je naar hogere hoeveelheden wil heb je of een moederbord nodig met meer dan 4 bankjes, deze zijn niet te vinden of je moet naar geheugenbankjes van 4GB die weer idioot duur zijn. Of weet iemand we een moederbord met 6 geheugen bankjes?

HDD: Natuurlijk zal een RAID 5 of 10 de beste performance geven, hiervoor zijn wel 3 of meer schijven plus een extra HW RAID kaartje voor nodig. Naast de aanschaf kosten zal dit ook weer wat stroom vragen in het dagelijks gebruik. Levert een HW RAID kaartje met bijvoorbeeld RAID0 ook al een goed performance op?

[Question Mark]

vakantieman schreef op maandag 07 juni 2010 @ 09:39:
@? De AMD proc ondersteund AMD-V, welke in vSphere dan ervoor zorgt dat je Hardware-Assisted Virtualization kan uitvoeren. Dus dat zou goed moeten komen

Da's niet helemaal wat ik bedoel. VSphere heeft VT nodig, maar je Hyper-V guests ook. Het is even de vraag of je virtuele CPU's van je Guest dan ook VT aan kunnen bieden.

Zie ook dit topic op de VM Community site. Daar wordt al aangegeven dat het niet mogelijk is Hyper-V op Vsphere te draaien vanwege het niet beschikbaar zijn van VT binnen je guest.

[ Voor 21% gewijzigd door Question Mark op 07-06-2010 10:05 ]

[vakantieman]

Bedankt voor het omzeep helpen van mijn intenties ;-).

Maar goed de plannen gewijzigd. Ik ga gewoon Hyper-V draaien op mijn host systeem. Wel wil ik nog wat met de andere 2 punten door jullie aangestipt...

Memory: Ik wil graag uitbreiden naar minimaal naar 12GB, alleen het probleem zit hem erin dat het geheugen duur is op dit moment. Dus het lieft zou ik 3 x 4GB Dual Channel Memory, maar ik heb tot nu toe nog geen moederbord kunnen vinden met 6 Memory slots. Iemand toevallig wel?

HDD: Ik zit te denken om een RAID kaartje erin te zetten en dan 2 Disken in RAID 1 te gaan draaien. Als het goed is verhoogd dit de snelheid in tegenstelling tot 1 disk op de SATA controller van het moederbord?

_{offtopic: Kan de topictitel misschien aangepast worden naar Hyper-V Server Performance}

[ Voor 6% gewijzigd door vakantieman op 07-06-2010 13:49 ]

[krijn1985]

vakantieman schreef op maandag 07 juni 2010 @ 13:31:
*knip*

HDD: Ik zit te denken om een RAID kaartje erin te zetten en dan 2 Disken in RAID 1 te gaan draaien. Als het goed is verhoogd dit de snelheid in tegenstelling tot 1 disk op de SATA controller van het moederbord?

_{offtopic: Kan de topictitel misschien aangepast worden naar Hyper-V Server Performance}

Raid1 is 1 op 1 copy, zal de snelheid (naar mijn weten) niet verhogen. Dan moet je toch raid0 gebruiken. Maar heb je perse een HW raid kaartje nodig? volgens mij kom je voor thuis gebruik met de onboard raid mogelijkheden toch ook al een aardig eindje? (ik heb er zelf geen ervaring mee, dus pin me er niet op vast)

[analog_]

Ik zit een beetje met dezelfde issues kwa geheugen en ben nog geen moederbord tegengekomen met meer dan 4 slots. Ik denk dat er mogelijk borden zijn van bv. tyan en supermicro, dat zijn merken die wel zoiets durven te fabriceren. Er zijn nu eigenlijk twee oplossingen mogelijk: hardware raid of software raid. De eerste is de most obvious one, zoek op de HCL lijst of op ultimatewhitebox.com of vm-help.com naar een geschikte kaart. Alternatief is met Openfiler/dergelijke een aantal s-ata disks via RDM aanspreken en deze aanbieden als NFS share of iSCSI target. Performance wise trek je die gigabit wel vol met beide oplossingen. Voordeel van de software oplossing is dat als je meer IOPS nodig hebt je met ZFS een SSD cache disk de performantie serieus kunt boosten (en veel storage aanbieden tegelijkertijd).

[ Voor 12% gewijzigd door analog_ op 07-06-2010 14:02 ]

[Question Mark]

Wat wil je met je VM's gaan doen? Welke applicaties wil je aan gaan bieden?

Is het puur voor testen, of wil je er (gedeeltelijk) produktie op draaien (hoeveel users).

[vakantieman]

Ik houd me voornamelijk bezig met de System Center producten. Dit is het globale plaatje wat ik wil gaan draaien, met daarachter het geheugen wat ik in gedachte had:

- Fysieke Hyper-V Host (1 GB)
- AD, DNS Server (512 MB)
- Microsoft SQL 2008 R2 (1 GB)
- System Center Configuration Manager (1 GB)
- System Center Operations Manager (1 GB)
- System Center Virtual Machine Manager (1 GB)
- System Center Data Protection Manager (1 GB)
- Opalis (1 GB)
- Windows 7 Client (1 GB)
- Exchange 2010 Server ( 2GB)

Totaal kom ik dan op 10,5 GB aan geheugen, eventueel kan ik de Windows 7 Client nog laten vervallen en de Exchange server maar 1 GB geven maar dan is 8GB dus gelijk al minimaal.

Het is mijn thuis testomgeving dus het hoeft niet super te performen maar ik moet er wel gewoon demo's op kunnen geven. Dus het moet wel gewoon een beetje peformen.

[hans_lenze]

Na lang prutsen met een raid 0 setup heb ik het opgegeven en ben ik voor een Kingston SSD gegaan (128GB voor 260 euro). Het hele spul reageert eindelijk lekker!

Mijn tip: koop een SSD en zet daar alleen de OS/database schijven van je VM's op. Het is namelijk niet de sequentiële lees/schrijf snelheid die je virtuele machines gaat nekken (en die je met een raid 0 of 10 opstelling kan verbeteren) maar je moet zoveel mogelijk pure IOPS hebben.
Voor de statische/weinig gebruikte data en ISO's in je vm's zet je dan een gewone HDD in omdat de IOPS niet zo belangrijk zijn voor deze gegevens.

[Question Mark]

vakantieman schreef op maandag 07 juni 2010 @ 14:24:
Het is mijn thuis testomgeving dus het hoeft niet super te performen maar ik moet er wel gewoon demo's op kunnen geven. Dus het moet wel gewoon een beetje peformen.

Tja, je hebt 9 VM's die allemaal met de minimale geheugenspec's moeten gaan draaien. Je kunt er dus een beetje van uitgaan dat deze VM's redelijk veel gaan swappen (wat ook weer disk I/O veroorzaakt).

Om dat allemaal op één disk te laten draaien is een beetje vragen om I/O problemen. De optie om dan inderdaad een gedeelte vanaf een ssd te laten lijkt me dan niet zo verkeerd.

[Verwijderd]

Borden met meer geheugenslots zijn er meer dan genoeg, echter kom je dan uit bij de workstation en server borden. Ik heb zelf een Intel 5000 serie moederbord met 8 geheugensloten, hier zit momenteel 4x4 GB en 4x2 GB op. Voor zoveel mogelijk sloten moet je richting de server borden met dual sockets, Asus heeft zelfs een moederbord met 18 geheugensloten.

[vakantieman]

Mijn definitieve boodschappenlijst ziet er nu alsvolgt uit:

- AMD Phenom II X4 945
- 8GB (4 x 2GB) 1333Mhz PC3-10600 CL9 (KVR1333D3N9K2/4G)
- ASUS M4A785T-M
- Samsung SpinPoint F3 Desktop Class HD103SJ 1TB (2x)
- Intel PRO/1000 GT Desktop Adapter
- Adaptec AAR-1220SA (2x SATA300 RAID, NCQ, PCI-e)
- Kingston DataTraveler 102 16GB Wit
- AOpen ES 45F

Het idee is om Hyper-V te booten vanaf de USB Stick en de 2 Samsung schijven middels de Adaptec kaart in een RAID 1 of JBOD configuratie te gaan draaien. Ik betwijfel alleen nog of de Adaptec kaart een toegevoegde waarde heeft t.o.v. de onboar RAID mogelijkheden van het moederbord. De kosten komen nu rond de 700 euro voor het volledige systeem. Iets boven budget maar ik denk dat het qua prijs/performance wel goed zit... Wat denken jullie?

[Verwijderd]

Raid1 en JBOD geven beiden geen snelheidswinst tov losse schijven.
óf raid5 met 3 schijven, óf raid 0 met minimaal 2 schijven, anders kan je net zo goed geen raid draaien. (afgezien van de data security dan)
Ikzelf heb 6 schijven van 320gb in raid5 draaien; het aantal schijven (in al dan niet je raidset) is veel belangrijker dan de grootte.
Als je het niet in raid gooit ga je toch je vm's verdelen onder de schijven, gooi je het wel in een raidset dan knal je alle storage op je array.

[ Voor 40% gewijzigd door Verwijderd op 08-06-2010 15:00 ]

[hans_lenze]

vakantieman schreef op dinsdag 08 juni 2010 @ 14:54:
Het idee is om Hyper-V te booten vanaf de USB Stick en de 2 Samsung schijven middels de Adaptec kaart in een RAID 1 of JBOD configuratie te gaan draaien. Ik betwijfel alleen nog of de Adaptec kaart een toegevoegde waarde heeft t.o.v. de onboar RAID mogelijkheden van het moederbord. De kosten komen nu rond de 700 euro voor het volledige systeem. Iets boven budget maar ik denk dat het qua prijs/performance wel goed zit... Wat denken jullie?

Ik denk dat je keihard IOPS en geheugen gaat missen.

Heb je een handleiding om Hyper-V server op een USB stick te installeren? (Windows doet het normaal erg slecht met een USB stick als boot schijf maar als het werkt wil ik het ook wel!)
En wat voor versie van Hyper-V ga je installeren?

Edit: Ziet er goed uit vanaf een usb stick! Maar lijkt alleen te kunnen met Hyper-V server 2008 R2.

[ Voor 12% gewijzigd door hans_lenze op 08-06-2010 16:32 ]

[vakantieman]

hans_lenze schreef op dinsdag 08 juni 2010 @ 16:27:
[...]


Ik denk dat je keihard IOPS en geheugen gaat missen.

Heb je een handleiding om Hyper-V server op een USB stick te installeren? (Windows doet het normaal erg slecht met een USB stick als boot schijf maar als het werkt wil ik het ook wel!)
En wat voor versie van Hyper-V ga je installeren?

Edit: Ziet er goed uit vanaf een usb stick! Maar lijkt alleen te kunnen met Hyper-V server 2008 R2.

Dit was inderdaad de Hyper-V versie die ik wilde gaan gebruiken. Wat betreft de opmerking over IOPS en geheugen. Dit is een kostenoverweging, in de toekomst wil ik misschien nog uitbreiden naar 16GB en een RAID config, voor nu ga ik proberen of dit performt. Ik kan altijd nog kiezen voor meer geheugen en/of storage