[ESX / VirtualBox] I/O Optimalisatie Virtual Machines

[FireDrunk]

Vanwege een aantal nadelen van VirtualBox wil ik misschien overstappen op ESXi.
Omdat ik _heel_ veel download, en veel fileserver verkeer heb, wil ik graag een uitmuntende I/O performance.
Ik heb een HP Smart Array P400 Controller met een flink aantal harde schijven eraan.

Als test heb ik JeOS geinstalleerd op VirtualBox, maar als ik daar een IO Test uitvoer met DD krijg ik een schrijfsnelheid van 50mb/s op mijn RAID5 array (die onder windows >350mb/s haalt)
(lezen is overigens geen touw aan vast te knopen omdat er cache in de weg zit..)

Graag wil ik er achter komen hoe ik dit kan optimaliseren.

Wie van jullie heeft dit probleem?, en hoe hebben jullie dit opgelost?

Onder ESXi zal de performance uiteraard beter zijn, maar ik wil eigenlijk wel minimaal 200MB/s
Zijn er mensen die dit halen? of is dit te hoog gegrepen?

- Thijs

[FireDrunk]

Niemand?

[FireDrunk]

Geen ESX Expert die hier iets over te vertellen heeft?

[TheBorg]

Misschien heb je er al lang naar gekeken, maar ondersteund je mobo/processor hardware assisted virtualisation (Intel VT of AMD-V)? Zo ja staat dit dan wel in het BIOS ingeschakeld?

[FireDrunk]

Ja, en Ja... Ook geeft VirtualBox keurig aan hier gebruik van te maken (logotje onderin).

[TheBorg]

Is je virtual disk een sparse file?

1. Volgensmij is het performance verschil tussen ESXi en VirtualBox minimaal (VirtualBox is erg snel).
2. Benchmarks doen altijd raar in een VM. Soms is het aantal IO/sec hoger dan native.
3. 50MB/s is nog niet eens zo gek voor een VM. Wat is de CPU load tijdens de benchmark?

Disclaimer:
Ik weet er geen zak van. Heb me er slechts een korte tijd in verdiept om IE6 - 8 in VM's te draaien.

[Microkid]

Ook binnen ESXi zal de snelheid nooit de volledige snelheid zijn van je controller. Maar binnen ESXi 4.0 kan je nu wel voor een paravirtualized SCSI controller kiezen (pvscsi), die bijna rechtstreeks met de hardware praat. Hierdoor is de performance nog beter. Dit werkt echter niet met een boot disk, dus je zal altijd een 2e virtuele disk aan je VM moeten koppelen waar je data op staat. Zelf heb ik een Dell Perc 5/i en met ESXi 4.0 haal ik zo'n 60MB/sec (voorheen 40MB/sec) op een RAID-5 disk.
Maar waarom wil je zulke hoge snelheden? Je zegt dat je veel download, maar een download komt bij 20Mbit niet veel verder dan 2MB/sec. Dan is zelfs 50MB/sec meer dan voldoende

[FireDrunk]

Microkid schreef op zondag 26 juli 2009 @ 22:29:
Ook binnen ESXi zal de snelheid nooit de volledige snelheid zijn van je controller. Maar binnen ESXi 4.0 kan je nu wel voor een paravirtualized SCSI controller kiezen (pvscsi), die bijna rechtstreeks met de hardware praat. Hierdoor is de performance nog beter. Dit werkt echter niet met een boot disk, dus je zal altijd een 2e virtuele disk aan je VM moeten koppelen waar je data op staat. Zelf heb ik een Dell Perc 5/i en met ESXi 4.0 haal ik zo'n 60MB/sec (voorheen 40MB/sec) op een RAID-5 disk.
Maar waarom wil je zulke hoge snelheden? Je zegt dat je veel download, maar een download komt bij 20Mbit niet veel verder dan 2MB/sec. Dan is zelfs 50MB/sec meer dan voldoende

Ik heb 60mbit, en de vm's moeten gaan Parren, Repareren, en Uitpakken...
Tegen de tijd dat dat klaar is, zijn de volgende downloads vaak al binnen...

[FireDrunk]

TheBorg schreef op zondag 26 juli 2009 @ 22:27:
Is je virtual disk een sparse file?

1. Volgensmij is het performance verschil tussen ESXi en VirtualBox minimaal (VirtualBox is erg snel).
2. Benchmarks doen altijd raar in een VM. Soms is het aantal IO/sec hoger dan native.
3. 50MB/s is nog niet eens zo gek voor een VM. Wat is de CPU load tijdens de benchmark?

Disclaimer:
Ik weet er geen zak van. Heb me er slechts een korte tijd in verdiept om IE6 - 8 in VM's te draaien.

Net even getest, ligt een beetje aan de test... Lezen is zeer weinig, en schrijven iets meer... maar ik heb een dual-quad-core dus veel merk ik er niet van

[Liam]

thijs_cramer schreef op zondag 26 juli 2009 @ 22:51:
[...]


Ik heb 60mbit, en de vm's moeten gaan Parren, Repareren, en Uitpakken...
Tegen de tijd dat dat klaar is, zijn de volgende downloads vaak al binnen...

Volgens mij is het een beetje overkill. Ook als je "_heel_ veel download" ga je bij lange na die disks niet vol trekken. Waarom zou je 200MB/s willen in een VM terwijl je zelf aangeeft maar 350Mbit (?) /s te halen onder native windows?

Als je filesystem performance (i/o) zo ontzettend belangrijk is, sla dan die virtualisatie over? Wat is de toegevoegde waarde? Waarom wil je het nou eigenlijk? Ik heb hier meerdere bakken op ESXi draaien, o.a. DL360's en een custom build machine, o.a. fileserver, en ik gebruik een HP 6402 controller. Qua performance heb ik nergens last van. Die 6 tot 7,5MB die jij over je 60Mbit lijn naar binnentrekt, is nog uit te pakken op een 5400 toeren schijf, dus ik zie je probleem niet zo? Je geeft aan dat het gaat over parren en repairen, maar kom op zeg, je link staat echt niet 24/7 7,5MB binnen te harken, hoop ik iig ook voor je ISP. Ga eens kijken met MRTG wat je link nou daadwerkelijk doet... ik sta niet meer dan 13 - 30% te verbruiken average, en dat vond ik al vrij aardig. Ik kan me niet voorstellen dat je continue je lijn flatlined met traffic, maar als ik er naast zit zou ik het wel eens willen zien in een grafiek van je.

Kortom, geef eens antwoord op de volgende vragen:
- Hoeveel verstook je nou echt aan b/w ? (neem een maand sampling minimaal) (ik heb zelf het volgende: Total Uptime: 866d 9h:42m:25s genomen voor bovenstaande meeting)
- Hoeveel disk I/O heb je nou werkelijk nodig?
- in een VM slaan benchmark soms helemaal nergens op, wat je d'r ook aan doet. Hoe staat het met de "feeling" performance? Voelt het snel aan of dikke stront?
- Gebruik je wel de juiste drivers?

[FireDrunk]

Liam schreef op maandag 27 juli 2009 @ 01:20:
[...]

Volgens mij is het een beetje overkill. Ook als je "_heel_ veel download" ga je bij lange na die disks niet vol trekken. Waarom zou je 200MB/s willen in een VM terwijl je zelf aangeeft maar 350Mbit (?) /s te halen onder native windows?

Als je filesystem performance (i/o) zo ontzettend belangrijk is, sla dan die virtualisatie over? Wat is de toegevoegde waarde? Waarom wil je het nou eigenlijk? Ik heb hier meerdere bakken op ESXi draaien, o.a. DL360's en een custom build machine, o.a. fileserver, en ik gebruik een HP 6402 controller. Qua performance heb ik nergens last van. Die 6 tot 7,5MB die jij over je 60Mbit lijn naar binnentrekt, is nog uit te pakken op een 5400 toeren schijf, dus ik zie je probleem niet zo? Je geeft aan dat het gaat over parren en repairen, maar kom op zeg, je link staat echt niet 24/7 7,5MB binnen te harken, hoop ik iig ook voor je ISP. Ga eens kijken met MRTG wat je link nou daadwerkelijk doet... ik sta niet meer dan 13 - 30% te verbruiken average, en dat vond ik al vrij aardig. Ik kan me niet voorstellen dat je continue je lijn flatlined met traffic, maar als ik er naast zit zou ik het wel eens willen zien in een grafiek van je.

Kortom, geef eens antwoord op de volgende vragen:
- Hoeveel verstook je nou echt aan b/w ? (neem een maand sampling minimaal) (ik heb zelf het volgende: Total Uptime: 866d 9h:42m:25s genomen voor bovenstaande meeting)
- Hoeveel disk I/O heb je nou werkelijk nodig?
- in een VM slaan benchmark soms helemaal nergens op, wat je d'r ook aan doet. Hoe staat het met de "feeling" performance? Voelt het snel aan of dikke stront?
- Gebruik je wel de juiste drivers?

Je situatieschets klopt wel ongeveer, en ik ben ook zeker wel fanatiek in mijn I/O, dat klopt.
Ik haal 350MB/s in windows, niet 350Mbit... dus het verschil is echt factor 7.. of het aanvoelt als dikke stront?
Niet echt, het werkt... Maar snel is echt anders.

Waarom wil ik ESX? Omdat ik mijn Small Business server graag gescheiden wil houden van mijn File server.
Nu is de fileserver het host OS en de Small Business server zijn Guest OS. Dat werkt op zich prima. Maar ik wil toch wel eens kijken naar iets met meer beheersmogelijkheden (omdat VirtualBox qua beheer hard zuigt)

Ook heeft ESXi natuurlijk een leuke wannahave-factor. Het is gewoon een mooi en leuk systeem om mee te knutselen. Ik test/probeer vaak vele andere systemen (Windows 7, Linux varianten), en daarvoor heb ik ook graag wat snelheid... VirtualBox doet het niet echt lekker daarin, maar als ik hoor dat het verschil met ESX weinig is, dan hoeft het voor mij ook niet.

Vanuit andere kanalen heb ik namelijk vernomen dat ESX vele malen sneller is dan VirtualBox vanwege de HyperVisor architectuur....

Momenteel kan ik niet echt een gemiddelde van mijn downloadverkeer trekken omdat mijn schijven vol zijn, en ik dus niet zoveel download. Nieuwe schijven zijn onderweg, dus ik wil daar natuurlijk ook snel weer mee aan de slag.

[Microkid]

Ik zou zeggen: zet gewoon ESXi eens op een 1GB usb stick en start daar van op. (natuurlijk wel eerst je data veilig stellen). Kijk of ESXi start en of ie je raid partitie herkend. Zo ja, dan zou je met ESXi kunnen gaan werken. Blijft wel dat je je data eerst veilig moet stellen, dan ESXi configureren en een VM maken met W2K3 ofzo waarin je je data weer terugzet.
Voor je download acties zal dat meer dan snel dan voldoende zijn met een P400 denk ik zo.

[ Voor 11% gewijzigd door Microkid op 27-07-2009 19:08 ]

[FireDrunk]

Om mijn verhaal maar even af te maken..

Ik heb ESXi geprobeerd, maar het rammelde aan alle kanten met de hardware die ik gebruikte...

* De onboard Intel RAID werd niet ondersteund...
* ESXi heeft een 2TB limiet
* Physical pass-through werkt niet op een P400, (dus ik kon het volume ook niet doorgeven)

Het zorgde voor een dike BSOD op mijn client toen ik per ongeluk een 64bit installatie wilde doen op een VM die op 32bit stond...

Dan maar weer terug naar iets anders...

[Microkid]

thijs_cramer schreef op zaterdag 01 augustus 2009 @ 22:27:
Om mijn verhaal maar even af te maken..

Ik heb ESXi geprobeerd, maar het rammelde aan alle kanten met de hardware die ik gebruikte...

* De onboard Intel RAID werd niet ondersteund...

Klopt, meeste ICHxx controllers worden alleen als losse disken herkend, niet als RAID. Als je raid wilt zal je een ondersteunde raid controller moeten kopen. o.a. Dell Perc 5/i, HP 400 enz.

* ESXi heeft een 2TB limiet
Per Datastore. Je kan natuurlijk gewoon een aantal 2TB datastores maken.

* Physical pass-through werkt niet op een P400, (dus ik kon het volume ook niet doorgeven)

Klopt, daar moet je speciale hardware voor hebben.

Het zorgde voor een dike BSOD op mijn client toen ik per ongeluk een 64bit installatie wilde doen op een VM die op 32bit stond...

Dan maar weer terug naar iets anders...

Dus kies je even een 64-bit client en probeer opnieuw . Alhoewel ESX daar eigenlijk geen eens onderscheid in maakt. Welke client was dat dan?

btw, wat wil je nu bereiken? Welk OS wil je draaien? Hoeveel data? Ik heb hier een ESXi server draaien met W2K8 met een 2TB datastore en dat werkt vlekkeloos. Als je een algemeen ondersteund OS intalleerd (windows, linux, e.d) werkt dat gewoon prima op ESX.

[ Voor 11% gewijzigd door Microkid op 01-08-2009 22:56 ]

[silentsnake]

Die 6 tot 7,5MB die jij over je 60Mbit lijn naar binnentrekt, is nog uit te pakken op een 5400 toeren schijf, dus ik zie je probleem niet zo? Je geeft aan dat het gaat over parren en repairen, maar kom op zeg, je link staat echt niet 24/7 7,5MB binnen te harken, hoop ik iig ook voor je ISP.

Ik pak dit stuk er nog een keertje bij omdat dit ook exact mijn gedachten is. Sta je je niet gewoon een beetje druk te maken om niks? En ookal trek je je 60MB/s vol, wat ik overgens niet geloof, so what? Wat maakt het nou uit dat je 5 minuten langer moet wachten? Je zal 60 MB/s als piek halen wellicht, maar echt niet dat je constant daar aan zit.

Wees eens een realist naar mijn mening. Ben je nou een publieke FTP server waar je 24/7 100en concurrent users hebt is het wat anders, maar ik denk dat je het jezelf veel te ingewikkeld maakt.

[FireDrunk]

Wat ik graag wil is die 5 minuten elimineren... Als ik 5 minuten kon wachten had ik ook wel met een AMD LE-1640 toegekund... Ik heb nou eenmaal een dual quadcore opstelling om lekker door te kunnen gassen...
Heeft niet zoveel met realist te maken, het heeft te maken met wat je graag wil kunnen bereiken.

Sommige mensen willen op FullHD met 50 FPS op de allerhoogste settings GTAIV kunnen spelen...
Ik wil graag zonder enige moeite in een paar seconden een HD film van 25GB kunnen repareren, uitpakken, en gelijk kunnen kijken, als ik daar zin in heb

Het is maar waar je je prioriteiten legt...

[Q]

thijs_cramer schreef op dinsdag 04 augustus 2009 @ 15:09:
Wat ik graag wil is die 5 minuten elimineren... Als ik 5 minuten kon wachten had ik ook wel met een AMD LE-1640 toegekund... Ik heb nou eenmaal een dual quadcore opstelling om lekker door te kunnen gassen...
Heeft niet zoveel met realist te maken, het heeft te maken met wat je graag wil kunnen bereiken.

Sommige mensen willen op FullHD met 50 FPS op de allerhoogste settings GTAIV kunnen spelen...
Ik wil graag zonder enige moeite in een paar seconden een HD film van 25GB kunnen repareren, uitpakken, en gelijk kunnen kijken, als ik daar zin in heb

Het is maar waar je je prioriteiten legt...

Als je snel wilt, doe het dan gewoon op de hardware zelf. Virtueel is leuk, maar je merkt zelf al tegen welk geneuzel je aanloopt. Je kunt VMware 'server' draaien op een gewoon os. Dat gewone os kun je dan voor je downloads gebruiken.

Zelf gooi ik soms mijn mac mini even aan de kant en haal ik mijn server uit het vet om even snel wat naar binnen te halen en dat maakt uit, dus ik begrijp de wens wel. En het is gewoon frustrerend als je weet dat de power er is maar niet benut wordt.

/einde geneuzel.

[ Voor 16% gewijzigd door Q op 04-08-2009 23:05 ]

[FireDrunk]

Precies, jij snapt het

Heb nu Debian draaien, en ben bezig daar VMWare op te zetten...
Eens kijken of de performance daar goed in is