Performance problemen raid10

[DeadLock]

Omdat er steeds grotere hoeveelheden data gebackupped moeten worden (vooral virtuele machines), hebben we sinds kort een nieuwe supermicro gekocht, met 2 sata backplanes zodat we voldoende mogelijkheden hebben om veel harde schijven aan te sluiten.

Eerst even de hardware:
- Xeon 5130 op 2ghz
- 8Gb ram
- Areca 1680 raidcontroller

Er zijn momenteel 18 western digital blacks aangelsoten (wd2001FASS) en ik ben wat aan het experimenteren met mogelijke raid-setups. Dit omdat we in de toekomst mogelijk nog 2-3 vergelijkbare storage-dozen gaan kopen om te gebruiken als nfs-export voor virtuele machines. Hiervoor is het natuurlijk belangrijk dat de performance van een goed niveau is.

En dit loopt slecht/fout. Momenteel heb ik een raid10 gemaakt, over de 18 disks heen. Benchmarking met 'fio' (een linux tool) om vooral de random-io te meten. Dat is degene die tenslotte bij een dagelijkse workload van het grootste belang is. De random-write testen gaan goed, maar bij een random read test krijg ik amper iets van een 150-170 iops. Zoals jullie vast wel begrijpen is dit een bedroevend laag getal en mijn vraag is dan ook waar het mogelijk kan misgaan?

Op de host draait een (standaard) debian 6, op een aparte raid1.

Ik heb ook al getest met een raid60 (2x6 disks in raid6) en hier lag zowel de random read als random write snelheid op ongeveer 200-300 iops. Ook niet bijzonder goed, maar door de raid penalty van raid 6 wel te verklaren.

Als backupmachine met 24 disks lijkt een raid60 met 3xraid6 met 6 disks me het betrouwbaarste. Deze setup zal in sequentieel lezen/schrijven vast wel voldoende snelheid halen om de 3gbit poorten volledig volledig volledig vol te krijgen.

[To_Tall]

De snelheid van RAID en IOPS zijn niet alleen afhankelijk van je disks maar ook van het type RAID controller je gebruikt maakt.

SuperMicro is een goed merk voor lichtere servers ben ik van mening.
Welke SupperMicro heb je eigenlijk?

Daarnaast als je echt gebruik wil maken van echte snelheid voor VM's over een SAN moet je denk ik toch meer gaan denken aan Viber met 10Gbs. Dan hou je voldoende overhead om diverse VM's voldoende IOPS te geven.

[DeadLock]

Het gaat om een SC847 chassis, welk type exact in die reeks kan ik helaas niet vanbuiten vertellen.

In onze huidige opstelling, met een dell bluearc san waarop alle vm's staan, lijkt de doorvoersnelheid over netwerk zelden boven gbit uit te komen bij normaal gebruik. 10gbit valt te overwegen, maar is momenteel met bonded networking (2-3-4gbit) nog niet perse nodig.

[DeadLock]

Het is me nog steeds niet gelukt om fatsoenlijke random read performance te krijgen. Ik heb nog wat zitten experimenteren met al dan niet gebruik van lvm en het beter allignen van de partities, maar daar zat niet veel winst in.

Er zit duidelijk iets fundamenteels fout, alleen heb ik geen idee wat.