[ESXi4] Welke CPU/MB voor VMDirectPath met PERC 6/i

[X1pheR]

Hallo iedereen. Ik gebruik thuis nu al jaren vmware server naar volle tevredenheid maar ik wil nu een nieuwe server gaan bouwen voor gebruik met esxi4 en meer vm's. Tevens ivm toekomstige opleidingen vanuit de werkgever.

Het probleem is echter de keuze van CPU en moederbord. Er zullen iets van max 5 a 6 VM's (ongeveer 3 a 4 continu) gedraaid worden. Gewoon thuisgebruik voor active directory, exchange etc en testomgevingen. Een van de VM's wordt een storage server. Hiervoor heb ik een Dell PERC 6/i incl BBU met 6x 1.5TB in RAID6. Gezien de datastore max van 2TB en ik de set als een gehele partitie wil gebruiken kwam ik als enige optie uit op het gebruik van VMDirectPath. Zodoende kan ik de Perc geflashed met LSI firmware ook monitoren met de LSI software. Extends gebruiken is van wat ik heb gelezen geen oplossing in mijn situatie.

Nu heb ik zitten zoeken maar ben nergens een werkende combo in samenwerking met een PERC tegengekomen. De HCL bied hierin ook geen oplossing. Op fora wel werkende CPU/MB combo's maar dat zou niet betekenen dat alle hardware gelijk via VMDirectPath kan worden gebruikt. Dus wellicht zou zo'n combo nog steeds niet werken met een PERC.

Daarom vroeg ik mij af of iemand tips heeft, uit ervaringen wellicht, van welke CPU/MB te gebruiken welke gegarandeerd werken met een PERC en dat met goede transferrates. Ik heb gelezen dat een intel CPU met VT-d meestal beter werkt (compatibel) met VMDirectPath? Kijkende naar DEZE link dan zou ik voor een i5 gaan. Die is wat betaalbaarder dan een i7. Als het onzin is en AMD werkt ook prima dan is een AMD met IOMMU wellicht beter omdat deze goedkoper is qua prijs/performance gezien. IOMMU ondersteuning kon ik echter niet op selecteren via de AMD website.

Ik hoop dat jullie kunnen helpen en alvast bedankt...

[EdwinW]

Je kunt op http://www.vmware.com/resources/compatibility/search.php de lijst opvragen van de CPU's die worden ondersteund. Dan kun je een bijbehorende moederbord gaan zoeken. Voor je VCP certificering heb je overigens geen VMDirectPath configuratie nodig. Het geeft daarnaast nogal de nodige nadelen. Je zou ook een wat oudere oudere server op Marktplaats kunnen zoeken, bijvoorbeeld een PowerEdge 2950 en kijken of de hardware wordt ondersteund bij ESX4. De gehele hardware kun je dan monitoren met Dell OpenManage. Ben je van plan naast de lokale storage nog andere soort storage te gaan gebruiken op die ESX host?

[X1pheR]

Bedankt voor de reactie. Die search had ik ook gezien idd. Alleen wil ik het draaien op een desktop proc aangezien dat voldoende is en vooral ook prijstechnisch gezien. Bijkomend is dat een desktop setup om het zo maar te zeggen ook wat minder stroom vreet. Dus die search bied daarin helaas geen oplossing. Daarom had ik ook gekeken op de onofficiele lijsten maar er is helaas nergens iets waar je cpu/mb kunt checken gefilterd op wat werkt met vmdirectpath samen met een perc 5 of 6.

Ik heb een poweredge 2900 staan waar esxi op te draaien is. alleen idle vreet dat ding al jaarlijks bijna 1000 euro aan stroom. Ik heb ook nog een andere server welke ik op dit moment gebruik. gewoon samengestelde desktop wat prima werkt. ook met esxi. alleen het hele probleem is dat de datastores met esxi maar 2 TB max mogen zijn qua grootte. Aangezien ik een raid6 set van 6 TB heb gaat dit niet lukken. Ik wil deze ook niet opdelen. Ik wil gewoon een grote 6 TB partitie kunnen gebruiken als opslag.

Nu kan dit als ik windows installeer en dan weer vmware server. maar dat draait vele malen langzamer als esxi gebruiken. En ik ga ook voor het werk esxi gebruiken en wil er zo ook meer bekend mee raken en als eigen testsetup gebruiken. vmdirectpath is daar idd niet voor nodig maar wel in mijn gewenste thuissituatie qua opslag.

Het plan is dus om een enkele server te draaien met esxi, een stripeset voor de vm's en de raid6 set voor de data. verder geen andere storage. ik vrees alleen dat het juiste cpu/mb zoeken niet gaat lukken. ik ben er al een tijdje mee bezig zonder enig resultaat. enige andere oplossing is dan denk ik om 2 servers te gaan gebruiken. een zuinige met enkel de raid6 set er in en als iscsi te gaan gebruiken op de andere server waar esxi en de vm's op staan.

[EdwinW]

Ik weet niet welk type harde schijven je nu hebt, maar je zou kunnen overwegen de schijven in een NAS systeem te plaatsen. O.a. de NAS systemen van Synology met de bijbehorende firmware (beter bekend als DSM 3.0) bieden allerlei geweldige mogelijkheden, o.a. iSCSI (tot maximum van 1 ExaByte). Deze zijn behoorlijk energiezuinig en heel geschikt als data-opslag. Die iSCSI LUNs kun je dan weer vanuit ESX benaderen. Ik heb geen ervaring met deze setup, dan zou je denk ik beter die vraag kunnen stellen in de forums van VMware (http://communities.vmware.com). Op beide forums wordt melding gemaakt dat VMware ESX en Synology iSCSI / NFS wel werkt.

[X1pheR]

Ik heb op het moment 6x Samsung Ecogreen HD154UI 1.5TB schijven. Ik heb er idd over nagedacht om een aparte NAS te gebruiken totdat ik de prijzen van die dingen zag. Een aparte "kleine" server te maken met een core i3 ofzo is dan nog goedkoper. En dat is wellicht ook wat ik beter kan gaan doen aangezien ik nu een behoorlijke tijd al bezig ben geweest om dit uit te zoeken zonder resultaat (geschikte cpu/mb vinden voor vmdirectpath).

Wat waren trouwens de nadelen dan waar je over sprak met het gebruiken van vmdirectpath? ik meende alleen vmotion. maar nog meer?

[EdwinW]

Features die je verliest met VMdirectpath:

• VMotion
• FT
• Storage VMotion
• Device hot add
• Suspend and resume
• Record and replay

Op zich kun je hier in een thuissituatie wel mee leven, voor studiedoeleinden kan het in een paar gevallen onhandig zijn. Zie verder ook: http://communities.vmware...DF03047399720D0E0D0A44883

Nb. de NAS behuizingen van o.a. Synology worden geleverd zonder harde schijven, vandaar mijn vraag. De Samsung schijven (SATA) worden door diverse 4-bay NAS systemen (circa 300 Euro) ondersteund. De 5-bay NAS systemen zijn helaas aanmerkelijk duurder. Je kunt dan helaas niet over de volledige opslagcapaciteit beschikken.

[ Voor 9% gewijzigd door EdwinW op 26-12-2010 10:36 ]

[Razwer]

RAID6 voor je storage voor 5 a 6 VM's met 6 SATA schijven? Waarom zo "veilig" en traag voor een host die voor trainingsbakken wordt ingezet? Dat is de eerste vraag die bij mij op komt...

[hans_lenze]

Ik kan je aanraden om er lekker Windows op te zetten en de VM's te gaan draaien in VMware Workstation. Hierdoor is je volledige 6TB gewoon te gebruiken en krijg je de mooie features van Workstation voor in je thuislab.

Zelf ben ik bijzonder blij met de Linked Clones en Teams omdat ik hierdoor mijn testomgevingen sneller kan bouwen/gebruiken en ze minder ruimte innemen. (Linked Clones icm een SSD is echt heel fijn.) De mogelijkheid om van buitenaf via RDP te kunnen spelen in mijn lab is ook erg handig.

Voor je het vraagt: Ja, een vSphere clustertje is prima virtueel te bouwen in Workstation. Hierbij mis je wel een aantal features die op de hardware steunen (bv VMDirectPath en FT). vMotion en Storage vMotion werken zonder problemen. Zelfs een vCloud Director omgeving is er op in te richten met meerdere vSphere clustertjes.

[X1pheR]

EdwinW schreef op zondag 26 december 2010 @ 10:29:
Features die je verliest met VMdirectpath:

• VMotion
• FT
• Storage VMotion
• Device hot add
• Suspend and resume
• Record and replay

i

Op zich kun je hier in een thuissituatie wel mee leven, voor studiedoeleinden kan het in een paar gevallen onhandig zijn. Zie verder ook: http://communities.vmware...DF03047399720D0E0D0A44883

Nb. de NAS behuizingen van o.a. Synology worden geleverd zonder harde schijven, vandaar mijn vraag. De Samsung schijven (SATA) worden door diverse 4-bay NAS systemen (circa 300 Euro) ondersteund. De 5-bay NAS systemen zijn helaas aanmerkelijk duurder. Je kunt dan helaas niet over de volledige opslagcapaciteit beschikken.

Thanks even doorgelezen. Ja het wordt bij whiteboxes ook blijkbaar niet veel gebruikt want kan er bijna niks over vinden. Ik heb het ook al een beetje opgegeven daardoor. Het is al zo'n lange zoektoch geweest naar relatief niks. Aangezien de QNAP, Synology, etc nasjes allemaal zo duur zijn zal ik gewoon zelf een gaan samenstellen in een Fractal Design Define R3 of Define XL behuizing. Dat zal mijn nieuwe server gaan worden dan. Binnenkort zal ik er dan nog een aparte server bij bouwen waar esxi op gaat draaien. Dan zal ik wellicht nu maar in eerste instantie op deze eerste server welke ik aan het samenstellen ben gewoon vmware server installeren en de paar vm's draaien.

Denkende aan een beetje performance maar toch energiezuinigheid, zou een core i3 voldoende zijn? of is een amd variant beter? of misschien te laag gegrepen? Met 4 of 8 gig er in denk ik zo. Zit er zelfs over na te denken om linux te gaan draaien er op. misschien ubuntu ofzo. ik weet het niet. heb totaal geen ervaring er mee maar heb onderhand wel gemerkt dat de mogelijkheden met linux veel groter zijn. alleen al qua monitoring van je server.

Razwer schreef op zondag 26 december 2010 @ 12:57:
RAID6 voor je storage voor 5 a 6 VM's met 6 SATA schijven? Waarom zo "veilig" en traag voor een host die voor trainingsbakken wordt ingezet? Dat is de eerste vraag die bij mij op komt...

De reden is omdat op de raid set geen trainingsmateriaal/vm's komt. maar puur m'n totale storage is. voornamelijk staan er allemaal arcade en console roms met media packs op wat heeeeel lang heeft geduurd om compleet te krijgen en ik absoluut niet kwijt wil. vandaar de extra zekerheid met raid 6. mede omdat de schijven TLER op 0 sec hebben en ik nog aan het uitzoeken ben of ik dit kan oplossen met smartmontools. maar zoals hierboven gezegd. op windows wordt het moeilijk. dus mede voor dit misschien verstandig om me te gaan verdiepen in linux. verder is alles wel linux maar als ik dit in linux zou gaan opzetten kan ik de raid set partitie gewoon sharen via het netwerk.

[Razwer]

RAID6 is zonde van de performance vs redundancy, zeker met "maar" 6 schijven. Ga dan voor RAID10, zie je spectaculaire winst in snelheid met minimaal ruimte verlies. Niet alleen totale throughput, maar ook iops wat bij RAID6 echt schandalig slecht is.
Zelf een NASje bouwen is altijd goedkoper. Waarom core i3 als AMD stukken goedkoper is? AM3 bordje met een athlon of zelfs een phenom ben je in 100% van de gevallen cheaper uit voor betere performance. AMD bouw je zo voor rond de 200 euro (ex schijven) een complete bak met kast, voeding en 4gb ram. Bij intel spul ben je dat alleen al kwijt aan je bord+cpu vaak. Ik heb een hyper-v doos gebouwd van een phenom x4 met 8gb ram voor <400 eu (1tb storage).

Anyways, als je een nasje bouwt en er een extra dual port nic in propt kun je nog leuke dingen doen met iscsi --> vmotion etc. voor de prijs die je stort voor de gemiddelde core i7 bak bouw je met amd een NASje en een hypervisor cluster. 1100 euro als je alles nieuw koopt. Daar koop je net een Netgear 2100 NAS voor met 2tb.

voor de duidelijkheid, ik ben geen AMD fanboy, maar een portemonaie fanboy. De prijsverschillen zijn gewoon asociaal, vooral op "low end" gebied.

Ik ben benieuwd wat je gaat doen.

Zoals ik hier duidelijk laat merken, ik zou met AMD spul zelf dingen bouwen. Je kan hele wilde clusters bouwen als je wilt met het gebruiken wat je hebt en wat cheap AMD spul. Paar honderd euro en je hebt een gekke enterprise opstelling thuis staan. Je kan het zo gek maken als je zelf wilt (en kan betalen) zonder dat je alle dure "out-of-the-box" oplossingen koopt. Leuke van ESX is dat je het van USB stick kan booten op je hosts en je dus bakken zonder hdd kan laten draaien en de vm's puur van je NAS.

[ Voor 7% gewijzigd door Razwer op 27-12-2010 01:25 ]

[EdwinW]

Met een i3 of een vergelijkbare AMD kun je wel mee uit de voeten, zeker als je deze setup in een thuissituatie gebruikt. Voor de hoeveelheid geheugen kun je beter 8 Gb gebruiken bij gelijktijdig gebruik van meerdere VM's (bv Exchange). vSphere ESX gebruikt zelf al 1,3 Gb standaard (ESXi weet ik niet). Bij elke VM heb je immers ook nog wat extra overhead. Bij gebruik van een Linux distro (o.a. Fedora of Ubuntu) met grafische desktop, Apache en MySQL kun je ook rekenen op 512 Mb / VM.

[silentsnake]

X1pheR schreef op woensdag 22 december 2010 @ 17:03:
Gezien de datastore max van 2TB en ik de set als een gehele partitie wil gebruiken kwam ik als enige optie uit op het gebruik van VMDirectPath. Zodoende kan ik de Perc geflashed met LSI firmware ook monitoren met de LSI software. Extends gebruiken is van wat ik heb gelezen geen oplossing in mijn situatie.

Waarom is extends geen oplossing? Kijk eens of je meerdere virtual disks kan maken met die PERC, dan kan je van de eerste virtual disk je datastore maken en van de andere virtual disks kan je extends toevoegen aan je datastore. Als alternatief kan je altijd nog meerdere datastores maken en de virtual disks over je datastores verspreiden. Lijkt mij stukken simpeler dan dat je je helemaal blind staart op VMDirectPath.

En zoals andere al zeggen, staar je niet blind op RAID6. Bied geen enkele toegevoegde waarde met die paar diskjes van je. Ik snap ook niet helemaal waarom je het zo moeilijk voor jezelf wilt maken als het maar om een test doosje gaat. Als je dingen als FT en VMotion wilt moet je ook eerst een Virtual Center hebben, met een losse ESXi server kan dat allemaal niet. 'Tis allemaal vrij beperkt wat je kan zonder een VC in ieder geval.

FWIW, ik draai ESX op een Asus M3N WS, AMD Athlon X2 235e, Areca 1110 en 8GB OCZ memory zonder problemen. Het enige probleem wat ik had is dat de VMkernel geen driver heeft voor de on-board SATA controller, dus installeren met een SATA CD speler gaat niet. Ik moet dus installeren met een PATA CD speler.

[mieJas]

Razwer schreef op maandag 27 december 2010 @ 01:23:
Zoals ik hier duidelijk laat merken, ik zou met AMD spul zelf dingen bouwen.

Kan ik alleen maar beamen. Maak dat je opslag in orde is, zorg voor genoeg RAM (8 - 16 GB) en zoek dan pas een moederbord+cpu. Voordeel aan AMD is dat zelfs het goedkoopste spul 16 GB RAM, x86_64 en AMD-V ondersteuning biedt. Dat is bij Intel wel wat anders...

[Extera]

Even een crosspost uit het DIY NAS topic.
Hier iemand die dit alles voor elkaar heeft gekregen.

Echter niet met een PERC 6/i maar ik vermoed dat de gebruikte hardware weinig uitmaakt.

Welke combi's heb jij gevonden? (bronnen).
Ik ben erg benieuwd, vooral naar zuinigere / goedkopere oplossingen.

[ Voor 16% gewijzigd door Extera op 28-12-2010 17:12 ]