XenServer i.c.m. SSD

[Rob Krauts]

Dag allemaal,


Ik heb een XenServer waar recent twee SSD's zijn ingeprikt om de snelheid te verhogen (voor database VM), maar de prestaties vallen tegen.

Het betreft een Fujitsu Primergy TX300 S6 met de volgende specs:

CPU: 2x Xeon E5620
RAM: 24GB
HDD: 1x RAID 5 (3x sas 10k) en 1x RAID 1 (2x Hitachi Enterprise SSD)
RAID Controller: LSI MegaRAID (met BBU)
OS: XenServer 6.0.2 (met alle Recommended Updates)

Het scenario is als volgt:
De guest servers draaien allen op Windows Server 2008 R2, Xen Tools allemaal geïnstalleerd en up-to-date.
De servers draaiden op de RAID 5 set en dat werkte prima. Nu eist de database een hoge schrijf-snelheid op 4k blocks. Met de gewenste benchmark (atto disk mark 2.46) heb ik getest en haalde 55MB/s. Dat was voldoende, maar sneller was gewenst.
Op aanraden van de leverancier SSD's besteld om in RAID 1 te draaien. Netjes geïnstalleerd, test servertje erop (ook Server 2008 R2), Xen Tools geïnstalleerd en toen de benchmark gedraaid. De 4k blocks komen niet hoger dan 50MB/s. Na allerhande veranderingen op de RAID Controller te hebben gemaakt (Direct IO, Cached, WB, WT, RA, NORA) is dat het allerhoogste dat gehaald werd.

Om dingen uit te sluiten heb ik ook de SSD's in de XenServer getest met dd (bs=4k) en daar haal ik zo'n 268MB/s. update: Ook heb ik een Ubuntu server geïnstalleerd en deze haalt ook zo'n 260MB/s.
Thuis draai ik ook SSD's en dus ook hier atto disk 2.46 gedraaid en haal dan 156MB/s.

De SSD's halen niet de gewenste performance, ik weet dat ze makkelijk 150MB/s moeten kunnen halen. Heeft iemand hier ervaring mee, of kan iemand mij misschien wegwijs maken hoe ik de prestaties verbeter?

Als er informatie ontbreekt dan hoor ik het graag!

Groetjes Rob

[Nano2009]

Begrijp ik het goed dat je een datbase op twee SSD's in een RAID 1 configuratie wilt draaien?

[Rob Krauts]

Correct. Ik gebruik de RAID 1 om de Server 2008 R2 guest op te draaien.

[ExploitSolo]

*Oeps, foutje*

[ Voor 91% gewijzigd door ExploitSolo op 21-05-2014 15:24 ]

[Paul]

ExploitSolo: Het is niet de RAID-vorm die voor snelheid moet zorgen, dat doen de SSD's Dat wordt imho ook nergens gesuggereerd...

Is de LSI MegaRAID niet de bottleneck? Je hebt de SSD's "in de XenServer" getest, nog altijd aangesloten op de LSI MegaRAID?

Het lijkt er dan op dat de overhead van XenServer -> Guest of de drivers roet in het eten gooien. Die Ubuntu server, was dat ook een VM op diezelfde server? In dat geval zou het de (virtuele) controller of de driver zijn die voor problemen zorgt. Onder VMware heb je de ParaVirtual controller, heeft XenServer iets soortgelijks?

[johnkeates]

Ik heb een vergelijkbare configuratie en dat loopt probleemloos, zoveel PV als HVM guests. Heb alleen de SSD's niet aan de RAID controller hangen maar doe RAID1 met MDADM en geef LVM volumes door aan mijn guest.

Windows 2008 R2 en Windows 2012 R2 (heb geen andere Windows OSsen draaien op die hypervisor) hebben er in elk geval geen moeite mee. Ik weet niet of Xen Tools hetzelfde is als GPLPV drivers, maar die moet je in elk geval hebben; je Windows moet doorhebben dat storage, netwerk enz. via Xen PV channels gaat en niet via virtuele adapters enz.

Verder gebruik ik niet XenServer maar normale Xen, vers uit de repo's, dat heeft altijd betere performance opgeleverd bij mijn machines dan XenServer. Nadeel is dat je daar moeilijker een SLA voor kan krijgen, maar het is de performance waard.

Kan je anders misschien je VM config posten? (Het liefste in SXP formaat voor XM of XL, of XE)
En heb je viridian aan staan?

Je kan in elk geval al je hypervisor, drivers, RAID config en DomU config uitsluiten (behalve die van je Windows DomU), dat maakt het al makkelijker. Als test zou je in /dev/mem een ramdisk kunnen maken van 1GB en die aan Windows passen en daar dan nog een keer op benchen. Je zou ook even een screenshot van je device manager binnen windows kunnen sturen met netwerk opengeklapt, storage/disks en controllers opengeklapt en systeem devices open.

[ Voor 26% gewijzigd door johnkeates op 21-05-2014 15:25 ]

[Rob Krauts]

Paul schreef op woensdag 21 mei 2014 @ 15:07:
ExploitSolo: Het is niet de RAID-vorm die voor snelheid moet zorgen, dat doen de SSD's Dat wordt imho ook nergens gesuggereerd...

Is de LSI MegaRAID niet de bottleneck? Je hebt de SSD's "in de XenServer" getest, nog altijd aangesloten op de LSI MegaRAID?

Het lijkt er dan op dat de overhead van XenServer -> Guest of de drivers roet in het eten gooien. Die Ubuntu server, was dat ook een VM op diezelfde server? In dat geval zou het de (virtuele) controller of de driver zijn die voor problemen zorgt. Onder VMware heb je de ParaVirtual controller, heeft XenServer iets soortgelijks?

De Ubuntu machine is inderdaad ook op dezelfde RAID Controller op dezelfde RAID 1 set.

Kan je anders misschien je VM config posten? (Het liefste in SXP formaat voor XM of XL, of XE)
En heb je viridian aan staan?

Ik zal proberen de config te bemachtigen. Viridian heb ik nog niet aangezeten, moet dat aan of uit?

Je kan in elk geval al je hypervisor, drivers, RAID config en DomU config uitsluiten (behalve die van je Windows DomU), dat maakt het al makkelijker. Als test zou je in /dev/mem een ramdisk kunnen maken van 1GB en die aan Windows passen en daar dan nog een keer op benchen. Je zou ook even een screenshot van je device manager binnen windows kunnen sturen met netwerk opengeklapt, storage/disks en controllers opengeklapt en systeem devices open.

Ik zal op jouw advies een ramdisk maken en deze benchen en de resultaten een dezer dagen posten.


Device Manager lijst.

[Question Mark]

Eeeuh... Dit screenshot laat een PVS disk zien (Citrix Provisioning Server). (te zien aan de disknaam en de virtuele PVS scsi controller)

Je was toch aan het testen met een disk op de SSD Storage Repository?

[polu]

Volgens mij heb ik redelijk een vergelijkbare setup:

CPU: 1x Xeon E3-2110
RAM: 16GB
HDD: 1x RAID-1 (2x Crucial M500 SSD)
RAID Controller: LSI MegaRAID 9260-8i (met BBU)
OS: XenServer 6.2 SP1

Van de instellingen van Atto Disk Benchmark kon ik geen kaas maken dus heb maar gewoon op "Start" gedrukt. In een Windows 2008R2 VM kom ik op:

Question Mark schreef op woensdag 21 mei 2014 @ 19:28:
Eeeuh... Dit screenshot laat een PVS disk zien (Citrix Provisioning Server). (te zien aan de disknaam en de virtuele PVS scsi controller)

Je was toch aan het testen met een disk op de SSD Storage Repository?

Zo heten de devices bij mij ook, althans de storage controller is iets anders:

[Rob Krauts]

Question Mark schreef op woensdag 21 mei 2014 @ 19:28:
Eeeuh... Dit screenshot laat een PVS disk zien (Citrix Provisioning Server). (te zien aan de disknaam en de virtuele PVS scsi controller)

Je was toch aan het testen met een disk op de SSD Storage Repository?

De XenServer beheert de disks, dus vandaar de naam. In XenServer kun je zien dat hij op de SSD draait.

Van de instellingen van Atto Disk Benchmark kon ik geen kaas maken dus heb maar gewoon op "Start" gedrukt. In een Windows 2008R2 VM kom ik op:

Dat is ongeveer hetzelfde als wat ik haal, het gaat dus om die 4.0 (4k block size). Ik zie echter wel dat je op 6.2 SP1 draait, dat geeft in ieder geval voor mij al aan dat ik die upgrade niet hoef uit te voeren Er zijn natuurlijk oplossingen zoals een andere hypervisor gebruiken, maar we willen het liefst roeien met de riemen die we hebben.

[Zwelgje]

Question Mark schreef op woensdag 21 mei 2014 @ 19:28:
Eeeuh... Dit screenshot laat een PVS disk zien (Citrix Provisioning Server). (te zien aan de disknaam en de virtuele PVS scsi controller)

Je was toch aan het testen met een disk op de SSD Storage Repository?

Eh nee hoor, PV staat in dit geval voor 'paravirtual' en laat zien dat de xentools iig goed geinstalleerd zijn

[pinockio]

In een niet helemaal vergelijkbare setup heb ik draaien:

IBM X3650 M3 met IBM Serveraid 8k
2x CPU 2,4 GHz quad core (hyperthreading uitgeschakeld)
81Y9670 IBM 300GB 15K 6Gbps 2.5in SFF Slim HotSwap SAS
32 GB RAM

Momenteel draait hierop:


ESXi 5.1
SBS 2008 R2 RDP server
ca. 30 gebruikers
Office 365 (Office 2010) met caching vanwege de te lage snelheid van online werken
De mailboxen (OST files) samen zijn al ongeveer ca. 200 GB.
Er is een tweede VM (Ubuntu) op een apart schijfpaar maar die wordt niet gebruikt.
CPU-gebruik is meestal minder dan 25% en geheugengebruik is OK.
Er zijn weinig klachten over de performance, hoewel dit iets toegenomen is sinds het gebruik van Office 365.


Gek genoeg zijn de Atto disk benchmarkcijfers erg laag (ca. 30 MB/s). Dit zou kunnen komen doordat de server momenteel gebruikt wordt met ca. 20 gelijktijdige gebruiikers (kent pieken van 30).

Omdat de huidige schijven (2x 300 GB (effectief 278 GB) SAS 15K5 in RAID1) vol beginnen te raken wil ik de hoeveelheid schijfruimte vergroten.

Het dilemma is het volgende:

1. 600 GB SAS 15K5 schijven van IBM zijn niet verkrijgbaar (dit zou mijn eerste keus zijn)
2. Ik kan 2x 300 GB toevoegen, en deze dan in RAID5 zetten, voor een totaal van ca. 834 GB, maar dat is waarschijnlijk een stuk langzamer. Het is wel de goedkoopste oplossing, ca. € 270 per stuk
3. Niet-IBM schijven van 600 GB?
4. IBM SSD's 480 GB, kosten ca. € 1000 per stuk
5. Toshiba PX03SNF080 800GB SSD's, kosten ruim € 900 per stuk (excl. BTW)


Ik moet binnen een week uitbreiden...
Dit is een productieserver dus ik kan niet zomaar wat testen....

Kan hier iemand licht op werpen uit ervaring? Is de performance van RAID5 in zo'n geval nog goed? Of is het sowieso beter naar SSD te gaan? Natuurlijk, maar dat in relatie tot de kosten... Iemand ervaring met niet-IBM SSD's in een IBM server? (Ik heb hier een testsysteem ML350 en daar past in de SAS bays van alles inclusief laptop schijfjes, maar dat doe ik niet zomaar op een productieserver.)

[johnkeates]

ESXi is niet vergelijkbaar. Probeer het anders even met Xen.

[pinockio]

"Even" met Xen proberen zou een volledige herconfiguratie van de server betekenen. Sowieso kan dat alleen in het weekend, en ik heb niet de kans om meerdere malen te testen. Dat staat er ook

Heb je het verhaal wel gelezen? Het gaat ook over de keuze voor RAID5 en RAID1 en SSD vs HDD.

Inmiddels heb ik een andere oplossing bedacht: de OST-files verplaatsen naar een ander schijfpaar; dit levert ruimte en snelheid op.

Nadeel is dat het per gebruiker moet worden geconfigureerd.

[ Voor 25% gewijzigd door pinockio op 29-01-2016 15:30 ]

[Harrie666]

2 300GB 15k disken er bij en je bestaande raid-1 uitbreiden naar Raid-10.
extra performance en dubbele ruimte.

[pinockio]

Ik zal dat ook overwegen. Het is mij niet bekend of dit ook een ondersteunde configuratie is.

[Koffie]

Graag een eigen topic starten ipv een topic van anderhalf jaar oud omhoog schoppen wat niet met ESX te maken heeft.