snelle local storage voor xenserver

[chr1st14n]

Ik gebruik al enige tijd xenserver als basis op mijn servers (vaak 2-3 kleine vm's per server). Dit werkt altijd super.

Maar nu ben ik bezig om een zwaardere server te maken voor testomgevingen, maar ik vind de snelheid zwaar beneden pijl voor de hardware..

Specs:
Intel Xeon E3-1230 V2 (passief gekoeld door een scythe mugen 4)
2x 8GB DDR3-1600 ECC (word later 32GB)
Supermicro moederbord (type moet ik even opzoeken, heeft de intel c204 chip)
LSI MEGARAID 9266-81 (Met batterij / cachevault)
4x1TB (7200rpm, 32mb cache)
En een 150gb WD velociraptor (10.000rpm)
En een CoolerMaster M850w hybrid voeding (zwaar overkill, maar deze had ik nog liggen)
En dit alles zit in een Antec Threehundred v1

Ik had eerst xen op een usb stick geinstalleerd om zo de maximale aantal schijven in de case te kunnen doen straks. Maar omdat het traag reageerde heb ik een andere schijf gepakt (velociraptor) en hier xen op geinstalleerd, maar dit gaf weinig verschil.

Verder had ik eerst een raid5 array gemaakt met de 4x1TB, maar als ik 2 a 3 VM's vond ik de preformance lezen/schrijven redelijk beneden pijl. Daarna heb ik er een raid 10 config van gemaakt, dit gaf een kleine boost in preformance, maat nog niet dat wat ik gehoopt had.

Het was mijn bedoeling om hier aardig wat vm' op te gaan draaien (volledige omgevingen in test), maar als ik het zo zie, dat bied ik het weinig kans...

Nu hoop ik dat er hier een paar tweakers zijn die mij verder kunnen helpen, want met google kom ik niet veel verder..

[Bl@ckbird]

SATA schijven zijn erg traag. SAS schijven is al wat beter, maar zet nog geen zoden aan de dijk.
Wat je wil hebben zijn SSD's. Eventueel in een RAID setup. Als je VDI wil doen en je bijvoorbeeld bootstorms verwacht kan je naar gespecialiseerde oplossingen kijken, zoals Fusion IO kaarten. IOPs is wat je nodig hebt. Je kan ook met tiered storage werken. SATA of SAS schijven als datastore en SSD's als bootdisk.

[chr1st14n]

Bl@ckbird schreef op donderdag 27 februari 2014 @ 21:24:
SATA schijven zijn erg traag. SAS schijven is al wat beter, maar zet nog geen zoden aan de dijk.
Wat je wil hebben zijn SSD's. Eventueel in een RAID setup. Als je VDI wil doen en je bijvoorbeeld bootstorms verwacht kan je naar gespecialiseerde oplossingen kijken, zoals Fusion IO kaarten. IOPs is wat je nodig hebt. Je kan ook met tiered storage werken. SATA of SAS schijven als datastore en SSD's als bootdisk.

Dat SATA trager was dan SAS en SSD dat wist ik, maar ik had gehoopt dat als ik er een paar in raid zou zetten dat het dan nog wel een enigsinds acceptabele snelheid etc uit te halen zou zijn.

Dan denk ik toch dat ik eens ga kijken naar ssd (of ssd's in raid ) voor de boot disken van de vm's en dan de 4x1TB gebruiken voor de data schijven van de vm's.

Maar wat zou dan beter zijn?? 4x1TB in RAID5 of RAID10.

En zijn er nog dingen te "finetunen" voor betere preformance??? en zit er ook nog verschil tussen LVM en EXT3 als local storage?? (dit kan ik ook niet echt vinden op google..

[wagenveld]

Het maakt 0,0 uit waar je hypervisor op staat, USB stick is prima. Daar was je al achter.
Met HW RAID zou er niet veel verschil tussen 10 en 5 moeten zitten, wat vind jij dan beneden pijl?

Voor random read/write zal een enkele SSD al beter presteren natuurlijk.

[Bl@ckbird]

RAID geeft wat verbetering, maar verreweg het beste is een SSD. Ik heb nu een laptop met SSD en wil nooit meer terug. Het is de beste investering die je kan doen om performance te verbeteren. (Memory / CPU is toch al groot genoeg / snel zat.) Voor een overzichtje aan IOPs, zie: Wikipedia: IOPS

Je ziet dat je heel wat disks in een RAID moet hebben om de performance van een enkele SSD te kunnen evenaren.

[chr1st14n]

Bl@ckbird schreef op vrijdag 28 februari 2014 @ 00:51:
RAID geeft wat verbetering, maar verreweg het beste is een SSD. Ik heb nu een laptop met SSD en wil nooit meer terug. Het is de beste investering die je kan doen om performance te verbeteren. (Memory / CPU is toch al groot genoeg / snel zat.) Voor een overzichtje aan IOPs, zie: Wikipedia: IOPS

Je ziet dat je heel wat disks in een RAID moet hebben om de performance van een enkele SSD te kunnen evenaren.

Het was meer van dat ik het een klein beetje zonde vind om zo een paar 100,- uit te geven aan ssd's. Zelf heb ik ook in al mijn pc's en laptops een ssd, en hier wil ik ook niet meer terug naar gewone schijven.

Maar ik zal dan eens gaan kijken welke ssd's het dan worden.

In ieder geval nog bedankt voor de hulp.

En nog suggesties voor ssd's voor storage?? Of is een samsung/kingston goed genoeg?

Mvg,
Christian

[Jazzy]

Als je afstapt van Xenserver en naar Server 2012 R2 met Hyper-V gaat dan kun je storage spaces gebruiken met tiers. Dan pak je de vier SATA disken en voegt daar 2 kleine SSD's aan toe en Windows verplaatst de veelgebruikte sectoren (hot spots) zelf naar SSD. Dan heb je dus redundancy, veel opslag en hoge performance in één. Denk dat dit de goedkoopste manier is om dit voor elkaar te krijgen.

[chr1st14n]

Jazzy schreef op vrijdag 28 februari 2014 @ 08:24:
Als je afstapt van Xenserver en naar Server 2012 R2 met Hyper-V gaat dan kun je storage spaces gebruiken met tiers. Dan pak je de vier SATA disken en voegt daar 2 kleine SSD's aan toe en Windows verplaatst de veelgebruikte sectoren (hot spots) zelf naar SSD. Dan heb je dus redundancy, veel opslag en hoge performance in één. Denk dat dit de goedkoopste manier is om dit voor elkaar te krijgen.

Dit zou ik eventueel ook met mijn raidcontroller kunnen doen, een extra SSD als caching voor die raid array. Dan moet ik alleen een stukje software in de raidcontroller activeren geloof ik.

Maar omdat ik xen redelijk onder de knie heb en het overal heb draaien, wil ik graag bij xen blijven (is wat makkelijker met vm's verplaatsen etc)

[Hoicks]

Ik gebruik in mijn n36L microserver een enkele SSD om mijn 3 Windows 2012 VM's te draaien en dat werkt fantastisch. Data staat weer op een RAID 5 setup van 4x1TB 5400 disks en dat is goed te doen. Het is geen snelheidsmonster, maar de VM's zijn wel snappy. (ondanks dat er maar 1 dualcore cpu in de esx host zit). Als je meer performance wilt, dan zul je inderdaad een RAID10 SSD setup moeten maken.

Ik boot trouwens ESX van een oude USB stick. Booten hoeft dat ding vrijwel nooit en het heeft geen effect op de performance van je VM's. Ik ben dan niet zo bekend met XEN server, maar ik verwacht dat het daar niet heel anders is.

[ Voor 23% gewijzigd door Hoicks op 28-02-2014 09:46 ]

[chr1st14n]

Hoicks schreef op vrijdag 28 februari 2014 @ 09:44:
Ik gebruik in mijn n36L microserver een enkele SSD om mijn 3 Windows 2012 VM's te draaien en dat werkt fantastisch. Data staat weer op een RAID 5 setup van 4x1TB 5400 disks en dat is goed te doen. Het is geen snelheidsmonster, maar de VM's zijn wel snappy. (ondanks dat er maar 1 dualcore cpu in de esx host zit). Als je meer performance wilt, dan zul je inderdaad een RAID10 SSD setup moeten maken.

Ik boot trouwens ESX van een oude USB stick. Booten hoeft dat ding vrijwel nooit en het heeft geen effect op de performance van je VM's. Ik ben dan niet zo bekend met XEN server, maar ik verwacht dat het daar niet heel anders is.

XEN gaat ook weer naar USBstick, maar was meer omdat ik het voorheen altijd vanaf een schijf draaide dat het want sneller "voelde", dus vandaar dat ik het nu op een gewone HDD heb draaien (en had toevallig nog een Velociraptor liggen).

[bigfoot1942]

Terug naar de basis, enkele vm's zonder zware load zouden in RAID10 toch wel aardig soepel moeten draaien.

Wil je meer VM's draaien dan heb je disks nodig die beter zijn met veel parallel IO (dus SAS of SSD). Ga je met sata disks veel tegelijkertijd doen dan is de heads vooral bezig data aan het zoeken en te weinig aan het lezen. Ergo, je performance voor random IO knalt omlaag.

Voor boot disks (van een testomgeving) SSD gebruiken lijkt me wel erg doorschieten en zonde van het geld, en in 99,99% van de gevallen onnodig.

[Yarisken]

Bl@ckbird schreef op donderdag 27 februari 2014 @ 21:24:
SATA schijven zijn erg traag. SAS schijven is al wat beter, maar zet nog geen zoden aan de dijk.
Wat je wil hebben zijn SSD's. Eventueel in een RAID setup. Als je VDI wil doen en je bijvoorbeeld bootstorms verwacht kan je naar gespecialiseerde oplossingen kijken, zoals Fusion IO kaarten. IOPs is wat je nodig hebt. Je kan ook met tiered storage werken. SATA of SAS schijven als datastore en SSD's als bootdisk.

? wij draaien enkel op sas met onze storage. 150 vm's.
Mijn testomgeving ( 4 x sata in raid 10 ) draait een 8-tal vms's zonder probleem. Wel geen zware load.

[Dennism]

bigfoot1942 schreef op vrijdag 07 maart 2014 @ 15:37:
Terug naar de basis, enkele vm's zonder zware load zouden in RAID10 toch wel aardig soepel moeten draaien.

Wil je meer VM's draaien dan heb je disks nodig die beter zijn met veel parallel IO (dus SAS of SSD). Ga je met sata disks veel tegelijkertijd doen dan is de heads vooral bezig data aan het zoeken en te weinig aan het lezen. Ergo, je performance voor random IO knalt omlaag.

Volgens mij is dat alleen het geval wanneer je SAS schijven daadwerkelijk meer RPM hebben dan de sata schijven die je gebruikt.

Onderstaande review laat bijv. zien dat een SAS schijf uitdezelfde serie (enkel andere interface) niet per definitie een stuk beter presteerd dan een SATA schijf. In sommige benchmarks wel iets beter, maar in anderen weer wat slechter en regelmatig is de performance exact gelijk.

http://www.storagereview....ion_es2_hard_drive_review

Yarisken schreef op vrijdag 07 maart 2014 @ 16:39:
[...]


? wij draaien enkel op sas met onze storage. 150 vm's.
Mijn testomgeving ( 4 x sata in raid 10 ) draait een 8-tal vms's zonder probleem. Wel geen zware load.

Als je maar genoeg nodes/disks hebt in je SAN zal dat zonder problemen gaan, wel zal je zien dat je met SSD's een stuk minder nodes/SSD's (en dus ook een stuk minder rack ruimte) nodig hebt voor dezelfde of hogere performance wanneer je uit kan met de vaak nog lagere capaciteit per SSD. Andere oplossingen zijn bijv. tiered storage, een relatief kleine en dure maar supersnelle SSD storage voor de VM's/data die het daadwerkelijk nodig hebben en een tragere SAS of soms zelfs SATA storage (of een combinatie van SAS en SATA) voor VM's/data die minder performance gebonden is, en daardoor op een goedkopere storage kan staan (GB per euro).

[ Voor 31% gewijzigd door Dennism op 07-03-2014 17:00 ]

[chr1st14n]

ik heb nu een samsung SSD van 250gb voor alle boot diskjes van de VM's en 4x1tb in raid 10 op een raidcontroller voor alle data schijfjes en de minder belangrijke VM's.

Maar ik had zal ook al waar ik een klein foutje maakte, ik probeerde ten tijde dat 1 of 2 vm's nog aan het installeren/updaten waren op de andere vm's wat in te stellen, en toen was het niet vooruit te branden.

Maar nu draait het super. misschien later nog een keer een SSD'tje erbij, maar voor nu kan ik in ieder geval weer even verder.

iedereen hier in ieder geval bedankt voor de hulp/tips.

[chaoscontrol]

Als het een test omgeving is waarom dan niet RAID 0? Ik heb zelf een test server en voor de perfomance VM's 2x 256GB SSD in RAID 0 en 2x 2TB HDD voor de niet zo veeleissende (IO) VM's.

Overige hw is een AMD FX-8350 met wat ander consumenten meuk. Gebruik ook gewoon de onboard raid en werkt allemaal prima.

[kaaas]

Ik zat zelf te denken en ga dat komende week proberen het volgende.
Virtual machine met een zfs os er op. Daar 2 ssd's als cache gebruiken voor een aantal gewone schijven.
Vervolgens dit via iscsi weer aan esxi aanbieden als storage en daar al je opslag in regelen dus ook de locatie installatie van je vm's
Heb je de snelheid van ssd's en de capaciteit van gewone schijven in 1

Hier beter uitgelegd
http://www.napp-it.org/napp-it/all-in-one/index_en.html

[ Voor 9% gewijzigd door kaaas op 24-03-2014 22:40 ]