Beroerde RAID-5 performance met Intel H77 chipset

[lumix91]

Beste Tweakers,

Ik heb sinds een paar dagen de onderstaande setup voor mijn nieuwe fileserver;

• MSI H77MA-G43 (met Intel H77 chipset)
• Intel Core I5 3450S
• 2x4 GB Corsair geheugen (DDR3)
• 4x Samsung HD204UI (2TB)

Als ik de schijven los test heb ik goede snelheden (voor alle 4 de schijven ongeveer gelijk);
Lege schijf:


Volle schijf:


Hier zijn geen problemen af te zien.

Wanneer ik een met de Intel H77 chipset een RAID-5 array opbouw, daar vervolgens 2 partities op aanmaak (1x 100gb voor Windows, 1x ~5.5TB voor data) en daar Windows Server 2008 R2 (x64) op installeer en ongeveer 5TB data op plaats krijg ik de volgende brakke performance. Lezen is redelijk, schrijven is slecht;


Ik merk dan ook aan Windows dat de schrijfsnelheid erg traag is, bijvoorbeeld het installeren van HDtune duurt een minuut of 5 wat normaal in 5 / 10 seconden gebeurd is.

Als ik een leeg RAID-5 array heb met daarop alleen Windows geïnstalleerd ligt de lees snelheid rond de 250 / 300 Mb/s, schrijven rond de 20 Mb/s.

Wat kan ik doen om deze RAID-5 preformance te verbeteren???

Ter informatie;
- Ik heb de laatste BIOS/UEFI versie voor het MSI bord geflashed.
- Ik heb alle windows updates geinstalleerd.
- Ik heb de laatste Intel RAID/chipset drivers geinstalleerd.
- Ik houd er rekening mee dat de H77 geen volledige (hardware raid) performances nastreeft, maar de bovenstaande snelheden zijn wel erg brak.

Thanks alvast.

[ Voor 5% gewijzigd door lumix91 op 04-08-2012 16:40 ]

[Madrox]

Kan je ook plaatjes maken van je apparaatbeheer (sata speed) en schijfbeheer ?

[Trommelrem]

Hoeveel geheugen heeft je RAID controller?

[lumix91]

Madrox schreef op zaterdag 04 augustus 2012 @ 16:54:
Kan je ook plaatjes maken van je apparaatbeheer (sata speed) en schijfbeheer ?

Dat kan, met of zonder RAID ingeschakeld?

[lumix91]

Trommelrem schreef op zaterdag 04 augustus 2012 @ 16:56:
Hoeveel geheugen heeft je RAID controller?

Het is geen dedicated RAID-controller maar een onboard op het MSI H77MA-G43 moederbord;
http://nl.msi.com/product/mb/H77MA-G43.html

[redfoxert]

lumix91 schreef op zaterdag 04 augustus 2012 @ 16:37:
Wat kan ik doen om deze RAID-5 preformance te verbeteren???

Weinig, bedenk goed dat het een fakeraid of pseudo raid betreft zonder write-back caching waardoor je write performance heel erg hard onderuit gaat.

Waarom wil je persee RAID5?

[lumix91]

redfoxert schreef op zaterdag 04 augustus 2012 @ 17:00:
[...]


Weinig, bedenk goed dat het een fakeraid of pseudo raid betreft zonder write-back caching waardoor je write performance heel erg hard onderuit gaat.

Waarom wil je persee RAID5?

I snap dat dit geen volledige RAID betreft. Wel is het zo dat er een write-back cache optie beschikbaar is in de Intel RST beheer software, deze heb ik al eens aangehad schrijfsnelheid is wel beter alleen wanneer de data partitie voller raakt maakt ook dit niet veel meer uit.

Ik koos voor RAID5 omdat ik dan redelijk safe zit en de meeste storage overhoud.

[Spider.007]

Is je controller al klaar met aanmaken van je RAID5 schijf als je deze test? Anders staat hij in de achtergrond gewoon nog te syncen, en is een slechtere performance logisch

[redfoxert]

lumix91 schreef op zaterdag 04 augustus 2012 @ 17:04:
[...]


I snap dat dit geen volledige RAID betreft. Wel is het zo dat er een write-back cache optie beschikbaar is in de Intel RST beheer software, deze heb ik al eens aangehad schrijfsnelheid is wel beter alleen wanneer de data partitie voller raakt maakt ook dit niet veel meer uit.

Ik koos voor RAID5 omdat ik dan redelijk safe zit en de meeste storage overhoud.

Zonder RAID en alles gewoon los heb je dezelfde zekerheid en nog meer storage, en als bonus meer snelheid. RAID is geen backup en beschermd je alleen tegen hardware falen. Iets wat je met een backup ook kunt doen. Filesystem corruptie of een virus of wat dan ook kan je met geen enkele RAID vorm beschermen.

Ik draai mijn fileserver al jaren zonder raid en ben nog nooit data kwijt geraakt door hardware falen. Mijn belangrijkste data gaat in een backup en de rest is expendable en makkelijk weer te downloaden.

[DutchKel]

Ik denk dat je beter voor windows raid 5 kunt kiezen als je wat snelheid wilt, de raid 5 van de bios doet de pariteit berekeningen via de chipset en daardoor is die zoals je ziet erg langzaam. De pariteitberekening van een windows software raid 5 gaat via de processor en dat is een stuk sneller, maar als je gaat gamen merk je dat wel weer.

Je zult hierbij waarschijnlijk nooit een extreem goede snelheid mee kunnen halen tenzij je een dedicated raid controller erin zet.

[redfoxert]

kfaessen schreef op zaterdag 04 augustus 2012 @ 17:08:
Ik denk dat je beter voor windows raid 5 kunt kiezen als je wat snelheid wilt, de raid 5 van de bios doet de pariteit berekeningen via de chipset en daardoor is die zoals je ziet erg langzaam. De pariteitberekening van een windows software raid 5 gaat via de processor en dat is een stuk sneller, maar als je gaat gamen merk je dat wel weer.

Je zult hierbij waarschijnlijk nooit een extreem goede snelheid mee kunnen halen tenzij je een dedicated raid controller erin zet.

De chipset doet zelf helemaal niets met de raid berekeningen, dit gaat via de driver, dus ook via de processor. Dit is maar heel marginaal, hooguit 5% van je cpu time waarvan toch genoeg is in de meeste gevallen. Het enige dat de hardware doet is een raid bios presenteren aan het OS en daarmee is het klaar.

[lumix91]

Spider.007 schreef op zaterdag 04 augustus 2012 @ 17:08:
Is je controller al klaar met aanmaken van je RAID5 schijf als je deze test? Anders staat hij in de achtergrond gewoon nog te syncen, en is een slechtere performance logisch

Hij was klaar met syncen, hier heb ik nog op gewacht.

[lumix91]

redfoxert schreef op zaterdag 04 augustus 2012 @ 17:08:
[...]


Zonder RAID en alles gewoon los heb je dezelfde zekerheid en nog meer storage, en als bonus meer snelheid. RAID is geen backup en beschermd je alleen tegen hardware falen. Iets wat je met een backup ook kunt doen. Filesystem corruptie of een virus of wat dan ook kan je met geen enkele RAID vorm beschermen.

Ik draai mijn fileserver al jaren zonder raid en ben nog nooit data kwijt geraakt door hardware falen. Mijn belangrijkste data gaat in een backup en de rest is expendable en makkelijk weer te downloaden.

Ik had voorheen ook losse 1TB disks (5 stuks) (zonder RAID), dit werkt opzich prima alleen het nadeel is dat je 5 partities krijgt. Aangezien ik 90% MKV films op mijn server heb staan stonden deze verdeeld over meerdere disks. Dit wilde ik graag bij elkaar hebben op 1 partitie. Vandaar de RAID-5.

Wellicht kan ik dit ook oplossen via Windows RAID.

[redfoxert]

lumix91 schreef op zaterdag 04 augustus 2012 @ 17:12:
[...]


Ik had voorheen ook losse 1TB disks (5 stuks) (zonder RAID), dit werkt opzich prima alleen het nadeel is dat je 5 partities krijgt. Aangezien ik 90% MKV films op mijn server heb staan stonden deze verdeeld over meerdere disks. Dit wilde ik graag bij elkaar hebben op 1 partitie. Vandaar de RAID-5.

Wellicht kan ik dit ook oplossen via Windows RAID.

Windows RAID gaat je niet redden, sowieso is RAID 5 alleen beschikbaar in de Server OS-en. Ik heb ook alles verdeeld over meerdere disks maar die zijn allemaal mounted onder 1 share in losse folders. Zoek maar eens op wat mount points doen in Windows. Een andere optie is Linux gaan gebruiken, de raid implementatie daarin is vele malen beter dan welke goedkope raid variant dan ook. Het enige dat beter functioneert is een raid controller met een eigen processor en geheugen (voor de write-back caching).

[DutchKel]

lumix91 schreef op zaterdag 04 augustus 2012 @ 17:12:
[...]


Ik had voorheen ook losse 1TB disks (5 stuks) (zonder RAID), dit werkt opzich prima alleen het nadeel is dat je 5 partities krijgt. Aangezien ik 90% MKV films op mijn server heb staan stonden deze verdeeld over meerdere disks. Dit wilde ik graag bij elkaar hebben op 1 partitie. Vandaar de RAID-5.

Wellicht kan ik dit ook oplossen via Windows RAID.

Of anders JBOD/RAID 0, is alleen minder veilig als er 1 schijf kapot gaat want ondanks dat redfoxert ontkent dat schijven stuk kunnen gaan gaan ze toch een keer stuk, de ene eerder dan de andere.

[lumix91]

redfoxert schreef op zaterdag 04 augustus 2012 @ 17:14:
[...]


Windows RAID gaat je niet redden, sowieso is RAID 5 alleen beschikbaar in de Server OS-en. Ik heb ook alles verdeeld over meerdere disks maar die zijn allemaal mounted onder 1 share in losse folders. Zoek maar eens op wat mount points doen in Windows. Een andere optie is Linux gaan gebruiken, de raid implementatie daarin is vele malen beter dan welke goedkope raid variant dan ook. Het enige dat beter functioneert is een raid controller met een eigen processor en geheugen (voor de write-back caching).

Ik gebruik server 2k8 R2 dus dat zou geen probleem moeten zijn. Ik ben ook bekend met linux en zou dit inderdaad ook wel voor elkaar krijgen alleen het probleem is dat ik MS exchange 2k10 draai en niet te veel gekkigheid wil uithalen om dit werkend te krijgen (virtualisatie etc).

[Tutti-frutti]

Zegt de Intel rapid storage manager dat het raid5 volume initialized is?

[lumix91]

Het probleem wat ik sowiso met windows raid zie is dat ik dan nog een extra disk nodig heb waarop windows geinstalleerd staat. Wanneer je een geinstalleerde windows hebt kun je pas je RAID configureren. En wat gebeurt er bijvoorbeeld bij een re-install van windows? blijft het raid array dan bestaan.

[lumix91]

Tutti-frutti schreef op zaterdag 04 augustus 2012 @ 17:19:
Zegt de Intel rapid storage manager dat het raid5 volume initialized is?

Jup

[Madrox]

Zit op 344/440 met 6x WD640 op een Highpoint Rocketraid controller. Randoms zijn vergelijkbaar (op qd32 na, die is hoger met read). Is een softraid controller, zonder cache. Dus vergelijkbaar.

Je seq. lees/schrijf scores zijn behoorlijk laag. Waarom heb je voor Greens gekozen? Niet de meest optimale disks om een raid-array mee op te bouwen. De Blue's hier draaien 7200rpm en ik hoor ze amper/niet.

Heb ze iig wel aligned en een hoger data-blok ingesteld voor betere prestaties met large files.

[ Voor 10% gewijzigd door Madrox op 04-08-2012 17:23 ]

[Tutti-frutti]

Ik weet niet precies hoe het zit met partitie alignment, maar die 204UI's hebben natuurlijk wel advanced format (4k sectoren). Misschien dat hier extra aandacht aan geschonken moet worden als dit in RAID5 gebruik wordt.

Je kan sowieso eens kijken of de partities correct aligned zijn.

[lumix91]

Madrox schreef op zaterdag 04 augustus 2012 @ 17:21:
Zit op 344/440 met 6x WD640 op een Highpoint Rocketraid controller. Randoms zijn vergelijkbaar (op qd32 na, die is hoger met read). Is een softraid controller, zonder cache. Dus vergelijkbaar.

Je seq. lees/schrijf scores zijn behoorlijk laag. Waarom heb je voor Greens gekozen? Niet de meest optimale disks om een raid-array mee op te bouwen. De Blue's hier draaien 7200rpm en ik hoor ze amper/niet.

Ik heb voor greens gekozen omdat ik niet heel veel vraag van mijn server, daarnaast ook nog eens zuiniger. Geluid maakt mij niet zoveel uit.

Dat 7200 RPM disks sneller zijn met RAID is logisch, maar dit kan niet het verschil maken tussen 300/400 MB write of 4 / 10MB write.

[lumix91]

Tutti-frutti schreef op zaterdag 04 augustus 2012 @ 17:22:
Ik weet niet precies hoe het zit met partitie alignment, maar die 204UI's hebben natuurlijk wel advanced format (4k sectoren). Misschien dat hier extra aandacht aan geschonken moet worden als dit in RAID5 gebruik wordt.

Je kan sowieso eens kijken of de partities correct aligned zijn.

Hoe zou ik dit het beste kunnen controleren?

Wat misschien ook goed is om te weten is dat ik tijdens het aanmaken van het RAID-5 array via de bios gekozen heb voor de standaard strip-size (128k) zou hier misschien nog wat te winnen zijn met een andere strip size?

[Tutti-frutti]

lumix91 schreef op zaterdag 04 augustus 2012 @ 17:25:
[...]


Hoe zou ik dit het beste kunnen controleren?

Wat misschien ook goed is om te weten is dat ik tijdens het aanmaken van het RAID-5 array via de bios gekozen heb voor de standaard strip-size (128k) zou hier misschien nog wat te winnen zijn met een andere strip size?

128K lijkt me geen probleem en iemand met 3 van deze schijven haalt op een X58 bord in raid5 behoorlijk goede resultaten.

Partitie alignment checken:

- start, run (win key + r)
- msinfo32
- [enter]
- Components > Storage > Disks
- Zoek naar Partition Starting Offset voor iedere partitie
- de offsets moeten deelbaar zijn door 4096 (1 sector is namelijk 4096 bytes)

[Madrox]

lumix91 schreef op zaterdag 04 augustus 2012 @ 17:24:
[...]


Ik heb voor greens gekozen omdat ik niet heel veel vraag van mijn server, daarnaast ook nog eens zuiniger. Geluid maakt mij niet zoveel uit.

2 watt per harddisk onder idle. iets meer in gebruik.

Dat 7200 RPM disks sneller zijn met RAID is logisch, maar dit kan niet het verschil maken tussen 300/400 MB write of 4 / 10MB write.

Nee, oke. Daar ging mijn vraag ook niet over.

[Verwijderd]

Niet alle reacties gelezen. Maar heb je wel 'Volume write-back cache' ingeschakeld? Dat is namelijk wél iets wat Intel RAID5 ondersteunt. Het is geen veilige feature, maar 'ouderwets' RAID5 onder Windows is toch al niet heel veilig dus kun je maar beter op een backup vertrouwen. Weet dat je array stuk kan gaan zonder dat er één schijf defect is. Wellicht is het daarom beter dat je RAID0 draait om schijnveiligheid te voorkomen.

Alignment checken is makkelijk: start AS SSD op. Je ziet gelijk BAD of OK.

Het enige dat beter functioneert is een raid controller met een eigen processor en geheugen (voor de write-back caching).

Wat zou hardware beter kunnen doen dan software? Puur theoretisch heeft software RAID altijd een voordeel qua latency, performance (CPU-kracht) en flexibiliteit. Maar als je geen toegang hebt tot goede RAID drivers zoals onder Windows, is hardware RAID je enige alternatief. Daar maakt hardware RAID niet opeens beter dan software RAID. Ga ZFS maar eens vergelijken met hardware RAID qua veiligheid en performance.

[ Voor 3% gewijzigd door Verwijderd op 04-08-2012 20:06 ]

[redfoxert]

kfaessen schreef op zaterdag 04 augustus 2012 @ 17:15:
[...]

Of anders JBOD/RAID 0, is alleen minder veilig als er 1 schijf kapot gaat want ondanks dat redfoxert ontkent dat schijven stuk kunnen gaan gaan ze toch een keer stuk, de ene eerder dan de andere.

Ik heb nooit ontkend dat schijven kapot gaan en ik zal ook zeker de laatste zijn die dat beweerd. Ik heb mijn datadisken zelf echter nog niet zien falen, wel andere disken.

[lumix91]

Ik heb de afgelopen dagen nog wat zitten spelen (lees k*tten) met de RAID-configuratie en andere instellingen. Uiteindelijk heb ik besloten om het RAID-5 array opnieuw op te bouwen maar dan met een stripe-size van 64K, dit was eerder 128K.

Het resultaat is dat ik nu wel snelle lees EN schrijfsnelheden heb, ook als het array voor 95% gevuld is met data.



Voor mij is dit probleem dus opgelost, ben benieuwd of de performance stabiel blijft.

Bovenstaande snelheden zijn trouwens met de Intel Write-Back cache enabled.

Bedankt voor jullie reacties!

[Verwijderd]

Zet je 'Volume Write-back Cache' uit en test opnieuw en je zult zien dat je sequential write net zo beroerd als eerst zal zijn. Parity RAID zoals RAID5 heeft write-back nodig (eigenlijk: een write-combine engine) om redelijke sequential write cijfers te produceren.

Merk op dat disk write back iets héél anders is dan Volume write-back. Dat laatste hebben alle hardeschijven en vrijwel iedereen op de wereld gebruikt dat. Volume write-back is een writeback engine zoals hardware RAID controllers ook hebben. Als dit in ingeschakeld zie je bij HDtune ook >2GB/s aan burst snelheid, wat van je RAM afkomstig is.