Virtualisatie server benchmarks

[OruBLMsFrl]

Naar aanleiding van de blog http://ronaldmade.tweakbl...virtualisatie-aanpak.html leek er interesse te bestaan voor benchmarking van diverse virtualisatiesoftware. Ik ben zelf met name geinteresseerd in web-, database- en mailserver benchmarks voor een server die een stuk of 6 virtual hosts moet gaan draaien. Er bestaan wel al wat benchmarks her en der, maar meestal met verouderde platforms of weinig achtergrondinformatie.

Wat ik tot zover zou willen vergelijken, gekozen is voor Ubuntu 8.04 LTS guests en hosts voor zover van toepassing:

- Ubuntu host met Xen 3.3
- Ubuntu host met VMWare server 2.0
- Ubuntu host met VirtualBox 2.0.2 *slechts 1 vCPU mogelijk
- VMWare ESXi 3.5
- Ubuntu met KVM
- Hyper-V als optie
- OpenVZ als optie

Alle guests zouden in eerste instantie worden opgezet met 2vCPU's en 1GB ram. Om daarna nog een test te doen met 1vCPU en 1GB ram. Dit om te kijken of 2vCPU's onder stress winst opleveren of juist verlies. Het lijkt handig daarbij zowel slechts 1 virtual machine te stressen als meerdere, om te kijken hoe de scheduler van de diverse virtualiseerlagen zich houdt als er echt veel werk is.

Bovenstaande oplossingen brengen geen licentiekosten met zich mee, eventueel zou Hyper-V ook nog kunnen. Ik heb alleen niet erg veel tijd om te benchmarken, want de nieuwe server moet binnenkort productie gaan draaien.

Benchmarks zouden bij mij gedraaid worden op een Supermicro 6015C-M3B barebone met een Intel Xeon L5420 Quadcore, 2x4GB Registered ECC 667MHz geheugen en een tweetal Seagate Cheetah 15.5k schijven in RAID 1 op de ingebouwde LSI 1068e SAS controller. Geen tweede processor, 24GB ram en een dikke RAID controller dus, maar het budget was met het bovenstaande al aardig opgerekt

Voorlopig ben ik niet veel verder dan het idee om een bestaande website te kopieren naar de virtual hosts en deze vervolgens met JMeter te belasten. Daarbij zou ik enkele productoverzicht pagina's willen opvragen, waarbij Apache, PHP5 en MySQL aan het werk worden gezet. Een test met puur statische bestanden is daarbij ook zo in elkaar te klikken ter vergelijking.
Verder wil ik met de harddisk benchmark postmark een idee krijgen hoe mailserver performance ongeveer zou zijn. Dit neemt natuurlijk geen spamfilters en dergelijke mee, maar alleen het basiswerk van mail queuen en weer uitlezen of afleveren in een lokale file-based mailbox.
Als er meer tijd over is zal ik ook Windows installeren en Login VSI draaien om te kijken hoe goed virtuele desktops geserveerd kunnen worden, maar het meerwerk ten opzichte van alleen linux guests opzetten is fors. Dat is ook de hoofdreden om niet naar VMMark te grijpen.
Voor betere benchmarktools en tips houd ik me aanbevolen.

Als het nodig is zal ik de TS wel updaten.

[ Voor 28% gewijzigd door OruBLMsFrl op 23-10-2008 14:19 ]

[Verwijderd]

Interessant. Maar mag ik vragen waarom je OpenVZ niet meeneemt in je test? Juist in zo'n setup waar je toch alleen maar Linux host en vm's hebt zou dat best weleens een voordeel kunnen opleveren door minder overhead.

[[ash]]

Dit is inderdaad wel interessant.
Wat is alleen de reden dat de je de virtuele machines met 2 CPU's uitrust?
Het hebben van meerdere virtuele CPU's brengt namelijk meer scheduling overhead met zich mee en hoeft in de praktijk niet sneller te zijn dan 1 virtuele CPU.
Dus als je de tijd hebt zou het interessant zijn om dit in de testen mee te nemen.

[OruBLMsFrl]

Verwijderd schreef op zaterdag 18 oktober 2008 @ 21:33:
Interessant. Maar mag ik vragen waarom je OpenVZ niet meeneemt in je test? Juist in zo'n setup waar je toch alleen maar Linux host en vm's hebt zou dat best weleens een voordeel kunnen opleveren door minder overhead.

Ik ben voorlopig inderdaad alleen van plan om Linux hosts te draaien, maar een shared kernel systeem als OpenVZ kan voor bepaalde zaken toch beperkend zijn (nieuwe distributie met bijvoorbeeld nieuwe mailserver software). Ook zou ik de mogelijkheid graag open houden om een ander OS te virtualiseren, Windows, FreeBSD, of een appliance virtual machine met bijvoorbeeld router software.
Neemt niet weg dat het best mogelijk is een OpenVZ benchmark te draaien als daar meer interesse voor is. Het moet dan wel snel en eenvoudig op te zetten zijn, want ik doe de benchmarks in avonden en weekenden. VMWare ken ik wel een beetje, maar Xen wordt al een avontuur...

[OruBLMsFrl]

[ash] schreef op zaterdag 18 oktober 2008 @ 21:46:
Dit is inderdaad wel interessant.
Wat is alleen de reden dat de je de virtuele machines met 2 CPU's uitrust?
Het hebben van meerdere virtuele CPU's brengt namelijk meer scheduling overhead met zich mee en hoeft in de praktijk niet sneller te zijn dan 1 virtuele CPU.
Dus als je de tijd hebt zou het interessant zijn om dit in de testen mee te nemen.

Als je helemaal geen winst zou halen met 2vCPU's en alleen maar verlies is dat zeker iets om mee te nemen. Ik wilde juist naar een opstelling toe waarbij de afzonderlijke virtual machines relatief veel power zouden kunnen gebruiken als er even wat meer te doen is vanwege een geslaagde PR actie of een mailing.
Geheugen toevoegen aan een VM is natuurlijk kinderspel, voor extra CPU's moet je natuurlijk ook kernel ondersteuning hebben, het leek me daarom makkelijk maar direct al meerdere CPU's aan de virtuele machines aan te bieden.

[ Voor 12% gewijzigd door OruBLMsFrl op 18-10-2008 23:13 ]

[Verwijderd]

Verwijderd schreef op zaterdag 18 oktober 2008 @ 21:33:
Interessant. Maar mag ik vragen waarom je OpenVZ niet meeneemt in je test? Juist in zo'n setup waar je toch alleen maar Linux host en vm's hebt zou dat best weleens een voordeel kunnen opleveren door minder overhead.

Of KVM.

[lckarssen]

Ik weet niet of je al geprobeerd hebt om Xen op Ubuntu 8.10 aan de praat te krijgen, maar ik ben er vandaag achter gekomen dat Canonical Xen niet meer (als dom0) ondersteunt vanaf 8.10 . Ze gaan nu alleen nog voor KVM.

Bron: Xen in 8.10 op de ubuntuforums

[_JGC_]

Wat weerhoudt je ervan om de 2.6.24.3 kernels te gebruiken om te testen? Die worden nog zo'n 4 jaar onderhouden omdat het in de LTS versie zit. Ik gebruik de sources van deze kernels ook voor debian machines die ik heb draaien met Xen.

[Johny58]

Ik zou toch graag zien dat HyperV wordt meegenomen in de test. Hoewel MS zoals gebruikelijk too little too late instapt bestaat er natuurlijk wel een kans dat HyperV met een aantal Service Packs/Releases een soortgelijke feature set kan bieden als een aantal van de andere grote spelers op dit moment. Wat betreft basisfunctionaliteit, die nodig is voor deze tests, draait HyperV overigens stabiel genoeg.

offtopic:
Ben hier (nog) niet op zoek naar een inhoudelijke discussie over HyperV vs. "de rest". Eerst maar eens zien hoe de platforms ten opzichte van elkaar performen

Los daarvan:
Is het niet een idee om traditionele (hardware) benchmark tools te gebruiken? Dus het testen van wat de processor, het geheugen en de hardeschijfen scoren?

Volgens mij zijn we met deze tests namelijk op zoek naar de verschillen in latency die door de verschillende Virtualisatie platforms worden toegevoegd. Maw we willen de Virtuele hardware benchmarken (toch?).
Hoewel een aantal van de tests niet 100% representatief zullen zijn voor de applicaties en het soort belasting die uiteindelijk op Virtuele servers komen te draaien geeft het denk ik wel een goed beeld van het performance verlies door de verschillende soorten Virtualisatie lagen heen.

Ik heb het dan over het gebruik van PCMark, PiFast, SiSoftware Sandra. Eventueel nog zoiets als een WinRAR benchmark.

[backupdevice]

Zou ook eens naar deze tool kijken

http://www.vmware.com/download/vmmark/

[OruBLMsFrl]

Xen lijkt dan inderdaad voor 8.04 te pleiten. Ik wil uiteindelijk zelf wel 8.10 gaan draaien voor in ieder geval de mailservers, vanwege bepaalde mail features in die versie. Maar goed, benchen op 8.04 is geen probleem.

Ook even naar VMMark gekeken, maar de hoeveelheid werk om de servers daarvan op te zetten is toch wel enorm. Nog even los van de hoeveelheid software die gedownload moet worden: letterlijk tientallen pakketten, waaronder Windows 2003 en Exchange 2003 enterprise versies waar je ook maar even aan moet zien te komen. Deze hoeveelheid werk zou je krijgen per te testen virtualisatieplatform. VMMark lijkt me voorlopig alleen haalbaar als er hier mensen zijn die met het hele proces ervaring hebben en wat kunnen helpen. Met een weekend per virtualisatieplatform zou ik het niet redden qua tijd als ik het zo lees.

Wat betreft OpenVZ, KVM en HyperV moet ik nog even kijken. HyperV vind ik van die drie zelf het meest interessant omdat je daarbij ook meerdere besturingssystemen door elkaar heen kunt gebruiken. Een benchmark suite als VMMark zou je daarop wel kunnen draaien en op OpenVZ en KVM niet. Dat brengt nog een probleem aan het licht, namelijk de uniformiteit van het benchmarken.

Aangezien alle voorgestelde virtualisatieplatforms ubuntu 8.04 kunnen draaien lijkt het meest makkelijk benchmarks te zoeken die daarop kunnen werken. Ik wil ook het liefst server applicatiebenchmarks als Jmeter draaien in plaats van low-level spul als disk en cpu benchmarks, omdat dat vaak een vertekend beeld geeft. Bij servers gaat het uiteindelijk om clients van de gevraagde diensten te voorzien, niet om MB's per seconde of CPU overhead (een beetje meer overhead maar betere scheduling kan veel winst opleveren, etc). Throughput op een desktop machine is vaak slecht, terwijl desktops op veel benchmarks beter scoren dan servers. Meer input op benchmarkgebied is welkom/nodig.

[woutur]

Ik ben zelf wat aan het knoeien geweest met VirtualBox. Is er een reden (stabiliteit, maturiteit e.d.) dat deze niet meegenomen wordt? Vond het zelf best goed werken namelijk op mijn Gentoo box. Daar kreeg ik vmware niet zo goed aan het werken vanwege een wireless netwerk kaart. Met virtualbox was dat geen probleem.

[OruBLMsFrl]

VirtualBox ziet er ook wel goed uit inderdaad, mist alleen ondersteuning voor meerdere vCPU's, dus dat deel van de test zou dan buiten beschouwing blijven. Met ondersteuning voor VMWare images zou de setup tijd voor VirtualBox misschien ook wel ernstig verkort kunnen worden. Ik heb nog niet gezien of je een VMWare image ook naar een 'normal disk' in hun eigen format kunt converteren, dat zou als ik het zo snel even lees nog een marginale prestatieverbetering kunnen verzorgen.
Na de VMWare Server 2.0 test zou dan VirtualBox geïnstalleerd kunnen worden, disk image aankoppelen en/of converteren, tests op VirtualBox draaien en verder naar het volgende platform. Lijkt me niet echt een probleem om mee te nemen dus, mits VirtualBox prettig draait op de hardware en Ubuntu 8.04 natuurlijk.
Wat ik me wel net bedenk is of zoiets handig is, de guest installatie heeft dan niet de mogelijkheden zich optimaal in te stellen voor de door VirtualBox geboden virtualisatie omdat hij is geinstalleerd op VMWare, of maakt dat niet heel veel uit?

[ Voor 13% gewijzigd door OruBLMsFrl op 20-10-2008 18:03 . Reden: Bedenkingen ]

[woutur]

1) Ik heb een howto gevonden voor het converteren van een vmdk (vmware) bestand naar vdi (VirtualBox) bestand: https://wiki.ubuntu.com/U....vdi_Using_Qemu_+_VdiTool
2) Vermoedelijk werkt VirtualBox wel goed op Ubuntu, neem wel de laatste versie: 2.0.2
3) Dat is een goede vraag. Je guest installatie is natuurlijk geinstalleerd met ondersteuning voor hardware zoals dat aangegeven is bij VMware (bijv. multicore of cpu ondersteuning en andere specifieke hardware). Ik heb echter zelf probleemloos (wat niet wil zeggen zonder prestatieverlies, ik heb dat niet gemeten) een guest installatie van VMWare onder VirtualBox geboot en gebruikt. Leek wel soepel te gaan.

[wzzrd]

Bas van der Doorn schreef op maandag 20 oktober 2008 @ 12:20:
Wat betreft OpenVZ, KVM en HyperV moet ik nog even kijken. HyperV vind ik van die drie zelf het meest interessant omdat je daarbij ook meerdere besturingssystemen door elkaar heen kunt gebruiken. Een benchmark suite als VMMark zou je daarop wel kunnen draaien en op OpenVZ en KVM niet. Dat brengt nog een probleem aan het licht, namelijk de uniformiteit van het benchmarken.

Waarom kun je VMMark niet op KVM draaien? Op welke manier is het kunnen draaien van meerdere OS'en door elkaar een voorwaarde voor VMMark? KVM kan dat overigens prima (als ik goed begrijp wat je bedoelt): je kunt prima Windows en Linux op een KVM host draaien. Installeer maar eens een Fedora 10 doos. Dat heeft ook een aardige GUI voor KVM, voor als je je niet op je gemak voelt met virsh.

De producten die je wilt vergelijken, zijn eigenlijk niet helemaal vergelijkbaar. KVM, ESX en in mindere mate Xen zijn namelijk virtualisatieplatformen op zichzelf. VMware workstation, VMware server, Virtualbox en dergelijke bieden virtualisatiediensten op een ander platform. Anders gezegd: bij bijvoorbeeld KVM is de kernel je virtualisatieplatform, VMware Workstation is een een laag tussen je guest en de kernel van je host. Het is dus te verwachten (en volgens mij is het ook zo, hoewel ik geen harde data heb), dat KVM betere prestaties levert dan VMware Workstation of VMware server.

Waarschijnlijk zegt VMware dat ESX beter presteert en zegt Red Hat momenteel dat je Xen moet hebben. Waarschijnlijk hebben ze allebei ook statistiekjes waaruit blijkt dat ze gelijk hebben. Het is maar welke metrics je neemt.

Tot slot: Xen wordt nog steeds ontwikkeld voor kernel 2.6.18. Fedora 10 zal daarom alleen DomU support hebben voor Xen en geen Dom0. Dat geldt ook voor Intrepid, lees ik. Patches om Dom0 support in de recentere kernels te krijgen zijn nog niet gemerged, iirc. Je kunt er dus rustig op rekenen, dat RHEL6 zich zal richten op KVM en niet op Xen. (Ik verwacht nl. dat Fedora 10 als basis zal gaan dienen voor RHEL6). Op korte termijn kun dus je nog wel inzetten op Xen, op langere termijn zou ik eerder naar KVM kijken. Naar verluidt zou KVM overigens qua prestaties Xen vrij ruim moeten kunnen verslaan.

Mijn persoonlijke ervaringen met KVM zijn erg goed en KVM lijkt aanmerkelijk beter dan VMware Workstation te presteren, ook met de nieuwste versie van dat laatste product.

Ik ben benieuwd naar je ervaringen. Ga je ook de prestatieverschillen tussen paravirtualisatie en full virtualisation voor de verschillende producten in kaart brengen?

[OruBLMsFrl]

Wat betreft KVM zat ik even fout, dacht dat dat ook een container virtualisatie systeem was. Op zich zou KVM moeten kunnen meedraaien in de test, maar ik moet nog even kijken hoe ik het allemaal aan de praat kan krijgen. Liefst draai ik natuurlijk geen complete GUI omgeving alleen om een console te hebben van de VM's, anders heb je wel oneerlijk veel overhead.

Ik heb op wikipedia een overzicht gevonden van allerlei virtualisatieplatformen: Wikipedia: Comparison of virtual machines
Best een handige tabel, kun je alles makkelijker uit elkaar houden. Daar ook nog een leuk paper gevonden over native vs linux-vsever vs xen. Niet meer de laatste versies, maar toch een aardig beeld, waaronder een hoop low-level benchmarks: http://www.cs.princeton.edu/~mef/research/vserver/paper.pdf

VMMark gebruikt onder andere een Windows server 2003 + Exchange 2003 virtual server en je moet alle tests draaien om een geldige score te hebben, althans zo heb ik begrepen uit de documentatie. Op zich is VMMark een goed initiatief, maar voorgeïnstalleerde virtual servers of scripts om alles op te zetten waren wel handiger geweest om een beetje snel aan de slag te gaan ermee.

[Speedfight]

Je kan ook Login VSI gebruiken: http://www.brianmadden.co...and-VDI-benchmarking-tool is wel enkel alleen voor het Windows platform en nog in beta.

[wzzrd]

Ik verwacht dat VMMark engiszins bevooroordeeld is (what's in a name...).
Probeer KVM mee te nemen, als dat kan. KVM is nl. de toekomst denk ik.

[Bierkameel]

Door mijn vele ervaring met VMware ESX en later ook ESXi dus ik wel bijna met zekerheid te zeggen dat ESXi het snelst gaat zijn.
Baremetal virtualisatie is gewoon veel sneller dan een host OS.

Toch ben ik wel benieuwd naar de resultaten.

[wzzrd]

Bierkameel schreef op woensdag 22 oktober 2008 @ 14:18:
Door mijn vele ervaring met VMware ESX en later ook ESXi dus ik wel bijna met zekerheid te zeggen dat ESXi het snelst gaat zijn.
Baremetal virtualisatie is gewoon veel sneller dan een host OS.

Dat laatste is waar, maar ik ben dan op mijn beurt weer benieuwd hoe je iets over een vergelijking kunt zeggen door ervaring met _een_ product ;-)

Anyway, zowel KVM als Xen kunnen doorgaan voor bare metal virt. KVM is in-kernel virtualisatie en dus in theorie net zo snel als ESX en met een erg lage overhead. Xen biedt een kleine hypervisor 'onder' dom0, en is daardoor ook aan te merken als bare metal. Met name het principe van KVM is misschien even lastig, omdat je gewend bent om de hypervisor als apart stukje software te zien, terwijl met KVM de Linux kernel de hypervisor wordt, met alle voordelen van dien. KVM is dus geen tussenlaag, en Xen eigenlijk ook niet.

Hoe HyperV werkt, weet ik niet (boeit me ook niet), maar VMware Server, WS, Virtualbox en zo zullen idd. hoogstwaarschijnlijk minder snel zijn...

[OruBLMsFrl]

Ik denk dat VMMark inderdaad niet is wat ik zoek voor mijn benchmarks, maar dat bevooroordeeld zijn kan ik niet echt inzien gegeven de installatie handleiding. Je maakt een zestal virtuele machines aan met een berg applicaties erop waar je vervolgens vanaf clients verzoeken op afvuurt. Server side is er niets van VMWare nodig en client side alleen het VMMark framework. De clients kunnen naar mijn idee niet weten wat voor soort hypervisor je draait en gebruiken bovendien ook veel standaard benchmarks. Al met al zouden ze hoogstens wat benchmarks gekozen kunnen hebben waar ze zelf toevallig goed uitkomen, maar met zoveel verschillende server applicaties en OS'en doen ze het dan toch in praktijk goed, niet alleen in 'die ene benchmark'.

Maar goed, VMMark is zeer veel werk om op te zetten en dat dan voor ieder platform, ik zoek iets laagdrempeligers dat vooral ook dichter bij mijn eigen doeleinden ligt, want het is leuk dat op een bepaalde hypervisor Tomcat performance met Java enterprise beans goed is op Windows Server 2003 enterprise, maar ik wil zelf vooral graag weten hoe Apache en PHP het doen onder Ubuntu 8.04

Wat dat betreft sluit Login VSI ook niet echt op mijn wensen aan, omdat dat een benchmark is voor hoeveel virtuele Windows desktops je kunt draaien op een server. Wel interessant, maar een PDF maken in Office op een virtuele desktop is toch weer een heel ander soort belasting dan een web- of databaseserver. Op zich daardoor ook wel weer interessant, misschien dat ik het eens probeer als alles voorspoedig loopt.

Als iedereen hier warmloopt voor KVM lijkt het nuttig die ook mee te nemen, maar dan zit ik voor mijn gevoel ook meteen vol qua tijd, met niet minder dan 5 hypervisors

Blijft naast discussie of dit de 'juiste' hypervisors zijn over de benchmarks. Jmeter en eventueel Login VSI heb ik tot nu toe, maar weet iemand bijvoorbeeld waar je een goede database benchmark voor MySQL kunt vinden, tweakers draait zoiets toch ook zelf voor storage tests?

Ik heb zelf al een toevoeging gevonden in postmark, een disk benchmark die een indicatie geeft van news- en mailserver performance. Kwam ook voor in dat paper dat ik laatst linkte, lijkt me wel een aardige kandidaat.

[OruBLMsFrl]

Xen, Hyper-V en VirtualBox zijn komen te vervallen wegens tijdsproblemen. De oorzaak was een niet goed werkend systeem met de onboard SAS controller, er is nu een Adaptec 5405 SAS RAID controller toegevoegd. Daarmee boot alles en loopt het als een zonnetje, jammergenoeg wel wat later dan gepland.
Ik zal binnenkort nog even een aparte post maken met de cijfers, heb KVM en VMWare Server al binnen, ben nu druk ESX aan het benchmarken. Daar ook weer wat problemen met vmware-tools modules die niet willen bouwen tegen de Ubuntu 8.10 kernel, maar je zou ook eens geluk hebben met zo'n project natuurlijk

[OruBLMsFrl]

Postmark blijkt een disk benchmark die teveel tussen verschillende runs op hetzelfde systeem afwijkt om er echt veel mee te kunnen. Verder is de benchmark erg afhankelijk van de onderliggende storage regels. Zo kwam ESX als veruit de slechtste uit de bus met ongeveer een factor 10 achterstand. Ik denk dat dit in mijn geval komt door het niet/minder benutten van de 256MB cache op de RAID controller door ESX of een harde policy binnen ESX om alle reads van de disk zelf te doen, maar dat zou me ten zeerste verbazen. Ik heb daarom besloten de cijfers van postmark niet naar voren te brengen, omdat ze naar mijn idee geen goed beeld geven van de werkelijke performance.
De andere benchmark die ik heb gedraaid is op basis van de website http://www.de8enopbouw.nl/ in normale HTTP modus, waarbij op de front-page enkele boeken worden getoond en op een tweetal zoekopdrachten naast een productomschrijving uit de database ook productfoto's voor zover aanwezig. De site draaide op Ubuntu 8.10 met de volgende componenten.

Kernel 2.6.27-7
Apache 2.2.9
MySQL 5.0.67
PHP 5.2.6
Eaccelerator 0.9.5.3

Ik heb met JMeter 2.3.2 een set van ongeveer 30 URLs via de proxy cache gelogd en deze als benchmark gebruikt door met 16 threads 100 maal te loopen. Hieronder volgen het aantal requests per seconde voor alle geteste platformen die gebruik hebben gemaakt van hun geoptimaliseerde netwerkdriver, 1024MB RAM en een 10GB virtuele schijf. Er is altijd eerst een droge run gedaan, om de caches te vullen, voordat cijfers werden vastgelegd. Alle cijfers zijn het resultaat van drie metingen, waarvan een gemiddelde is genomen.
Mijn eigen PC, met een Q9450 en 8GB RAM geen lichte machine, lijkt het niet helemaal meer te trekken rond de 1400 requests per seconde. Vandaar ook dat native niet echt uitsteekt qua prestaties. Ik heb nog van alles geprobeerd, maar het viel met de setup hier niet beter te krijgen dan dit. Waarschijnlijk was het vele verkeer voor de Windows Vista network stack toch wat te hoog gegrepen.

Native 1357

Ubuntu 8.10 KVM 1cpu 593
Ubuntu 8.10 KVM 2cpu 959
Ubuntu 8.10 KVM 4cpu 1408

Ubuntu 8.10 VMWare Server 2.0 1cpu 560
Ubuntu 8.10 VMWare Server 2.0 2cpu 787

ESXi 3.5 1cpu 608
ESXi 3.5 2cpu 988
ESXi 3.5 4cpu 1412

Ik zou de scores van native en 4cpu met een korrel zout nemen, maar wat wel goed te zien is blijft het gedrag met minder cores, veruit het meest gangbare scenario bij virtualisatie. Ook het schaalgedrag van 2 naar 4 virtuele cpu's valt gedeeltelijk te zien, er is in ieder geval een aardige prestatieverbetering zichtbaar. KVM en ESX ontlopen elkaar niet veel, hoewel ESX een paar procent voordeel lijkt te hebben.
Mijn conclusie is dat VMWare Server voor het serieuze werk geen optie is. KVM en ESX doen het toch duidelijk beter, zeker met 2 virtuele processoren. Daarnaast beiden beide de optie naar 4 virtuele processoren op te schalen, terwijl VMWare Server bij 2 blijft steken. Het prestatieverschil tussen ESX en KVM is met een paar procent te klein om puur op basis daarvan een beslissing te nemen naar mijn idee.

Ten slot nog wat persoonlijke bevindingen over de diverse oplossingen. Virtualisatie heeft in Ubuntu 8.10 goede tool support, met onder andere vmbuilder dat volautomatisch virtuele linux machines voor je kan aanmaken (heb ik ook gebruikt voor mijn VMWare virtuele machine, echte aanrader). Voor KVM zijn virt-manager dat grafisch beperkte beheermogelijkheden en een goede geintegreerde virtuele console in de vorm van virt-viewer. Daar tegenover stelt VMWare een mooie tool als VMWare Infrastructure Client die ook onder Windows werkt en het gratis ESXi dat doorgroeimogelijkheden biedt naar de volwaardige maar helaas dure versie van ESX/Virtual Center met VMotion en automatische loadbalancing.
Voorlopig ziet VMWare er een stuk gepolijster uit en heeft het nog een kleine voorsprong qua prestaties, maar KVM voelt meer dan verwacht als een serieus alternatief aan.

[wzzrd]

Bas van der Doorn schreef op zaterdag 15 november 2008 @ 23:24:
[...] maar KVM voelt meer dan verwacht als een serieus alternatief aan.

* wzzrd is blij met de bevestiging, maar niet verrast.

[wzzrd]

http://techworld.nl/rss/a...line-benchmarker-vms.html

[OruBLMsFrl]

Best een aardige zet om VMWare wat meer onder druk te zetten, maar wel jammer dat het alleen om VMWare ESX gaat en er nog steeds geen performance cijfers gepubliceerd worden. Nu weet je alleen dat igolikov een apache server heeft draaien voor 750-1000 users en daaraan 2GB ram en maximaal 540 Mhz heeft toegewezen.
Ik zou op basis van deze data in ieder geval niets durven besluiten, daarvoor heb je toch echt wat meer details nodig. Het probleem is vooral dat bij mijn eigen benchmarks de data en setup in ieder geval nog identiek waren van alle VM's, dat levert dus binnen alle beperkingen toch vergelijkbare cijfers op. Bij CompareMyVM weet je niet om welke data en setup het gaat en lees je ook nog niet eens of ze te vreden zijn over de performance van hun VM. Een apache server met 100 users die statische pagina's downloaden kan aan 256MB RAM en 500MHz genoeg hebben. Downloaden die users echter continu PDF bestanden die door php on-demand gebouwd worden, dan heb je al snel het tienvoudige nodig. Als ik niet weet wat er gedraaid wordt, hoe moet ik dan stemmen op een VM met Apache en 512 MB RAM, is dat goed of juist niet goed?
Dus eigenlijk is het alleen interessant om een basisidee te krijgen van de allocatie voor een bepaalde machine. Stel je wilt een Windows 2008 Domain controller gaan draaien voor 100 users en je stelt een allocatie voor van slechts 500MHz en 512MB RAM, dan zou die dus een zeer slechte beoordeling moeten krijgen omdat dat nooit genoeg zal kunnen zijn. Daar houdt het wat mij betreft dan ook op, iets zeggen over wat je moet toewijzen aan een VM blijft teveel afhankelijk van de 'details' en het is ook nog eens helemaal de vraag wat voor publiek er op die site aan het stemmen is.

[lammert]

Een beetje late suggestie wellicht, maar heb je XenExpress wel eens overwogen? De limitatie die in versie 4.1 zat (max 4GB RAM en max 4 VM's) is komen te vervallen in XenExpress 5 (ok, niet helemaal: max. RAM is nu 128GB). Mijn ervaringen zijn uiterst positief: het hostsysteem zelf is een getunede CentOS install (vrij transparant), en de performance is ruim 90% van wat je op een fysieke server zou halen.