RAID6 v.s. RAID50?

[PeterPan]

Ik ben bezig met het ontwerpen en bouwen van een home storage server op basis van een Norco behuizing van 16 of 20 disks. Ik zal niet direct starten met alle disks maar dacht er aan te starten met RAID5 en die bij een bepaald aantal disks te migreren naar RAID6 voor extra beschikbaarheid.

Nu bedenk ik me dat RAID50 eigenlijk dezelfde data capaciteit oplevert (beide 2 parity disks). Maak ik hier een denkfout?
Zouden er qua performance nog significante verschillen zijn? Ik kan hier niet veel concrete informatie over vinden.
Mijn eigen quick&dirty benchmarks op basis van een HP Smart Array P410 controller met 6 2TB Seagate low power SATA disken laten het volgende zien:

RAID6:


RAID50:


De ~185MB/sec lijkt de limiet van de controller wat ook met de 6disks in RAID0 kom ik hier nergens bovenuit.
Edit: voor de mensen die via Google ooit nog eens tegen deze HP Smart Array P410 aanlopen; die ~185MB/sec lijkt een limiet van het testsysteem. In een modern systeem met een goed werkende PCIe 16x slot zie ik waarden van 1500MB/sec naar de controller cache toe en werkelijke doorvoer snelheden van 250MB/sec tot 400MB/sec.

[ Voor 14% gewijzigd door PeterPan op 15-12-2009 13:59 ]

[redfoxert]

Ik denk dat RAID50 toch gevaarlijker is aangezien je niet 2 defecte disks kunt permitteren binnen dezelfde RAID5 set.

Wanneer er 1 disk in elke set kapot gaat is het nog te rebuilden, 2 disks in een enkele set defect en je bent al je data kwijt.

Met RAID6 kunnen er 2 disks overlijden, tegelijk, in de hele set. Het zal niet de eerste keer voorkomen dat je een disk vervangt in een set waarna tijdens de rebuild een 2e disk komt te overlijden.

[Anoniem: 5897]

Eens met hierboven. Als je dus een kapotte (degraded) raid 50 heb, dan heb je bij een 2e failure 50% kans op dataverlies. Bij raid 6 niet

[PeterPan]

Ja, dat had ik min of meer over het hoofd gezien.
Maar bij RAID50 zijn het aantal disks per RAID5 set natuurlijk wel kleiner dan bij alle disks in RAID6. Mijn kansberekening capaciteiten zijn echter 0.

[Anoniem: 325936]

Anoniem: 5897 schreef op vrijdag 11 december 2009 @ 14:23:
Eens met hierboven. Als je dus een kapotte (degraded) raid 50 heb, dan heb je bij een 2e failure 50% kans op dataverlies. Bij raid 6 niet

Zou het zelf niet beter kunnen zeggen. Dus imo zou ik altijd raid 6 doen boven raid 50.

[ocdaan]

Als ik op wiki kijk staat er:

RAID 5 -- Minimum # of disks = 3 -- Space Efficiency = n-1
RAID 6 -- Minimum # of disks = 3 -- Space Efficiency = n-2

Wat ik nu nooit heb begrepen is het maximum van de array. Als je bv 100 disks op Raid5 zet geld dan nog steeds de n-1 ? Of zit er ergens een maximum aan?

[ Voor 3% gewijzigd door ocdaan op 11-12-2009 14:57 ]

[redfoxert]

ocdaan schreef op vrijdag 11 december 2009 @ 14:56:
Als ik op wiki kijk staat er:

RAID 5 -- Minimum # of disks = 3 -- Space Efficiency = n-1
RAID 6 -- Minimum # of disks = 3 -- Space Efficiency = n-2

Wat ik nu nooit heb begrepen is het maximum van de array. Als je bv 100 disks op Raid5 zet geld dan nog steeds de n-1 ? Of zit er ergens een maximum aan?

Het maximum word in deze bepaald door de hardware die je gebruikt en niet zozeer de RAID level. Als jouw controller 100.000 schijven ondersteunt heb je effectief 99.999 schijven ruimte. Niet erg slim natuurlijk maar in principe kan het wel

[Anoniem: 150119]

Het blijft n-1 per "set". Performance wise is RAID50 in theorie beter omdat de CPU dan minder parity calculations moet doen.

Dus op 20 schijven zal dit toch wat moeten schelen in performance. Anderzijds klopt het dat RAID-6 met een n-2 een betere fouttolerantie geeft. Wat je echter ook kan doen (voor de max. performance te krijgen) is RAID-50 met bvb 1 extra hotspare disk per raidset. Je kan dan nog steeds maar 1 disk defect hebben, maar die word dan wel onmiddellijk vervangen door de hotspare. Met RAID-6 ben je dus nog altijd beter af omdat je er 2 tegelijk defect kan hebben (en ook nog hotspare mogelijkheid).

Dus ja, je moet het afwegen performace vs riskacceptance. En denk eraan, parity calculations voor 6 disken of voor 20 is toch nog een verschil. Misschien best even checken met HP of jouw controller performance loss heeft met die hoeveelheid disken.

Grtz,
Thanis

[The_Greater]

Je kunt altijd nog voor 2 x RAID 6 gaan, alhoewel je wel weer 2 schijven inleverd.

[Anoniem: 5897]

ff voor mijn beeld, raid 50 is dus 2 raid 5 arrays die in raid 0 staan (en niet andersom). Als ik de post hierboven lees krijg ik dus wel vragen over hoe de parity dan gaat. Wordt er 1x parity berekend of 2x? Ik zou nu zeggen 2x, want je hebt in principe 2 raid 5 arrays. Of mis ik wat hier?

[ajhaverkamp]

Los van alle theoretische getallen, wil ik je 2 praktijkervaring meegeven. Afgelopen jaar hebben wij hier 2 RAID 6 set gehad (HP Proliant DL380G4 en een Datadomain backup appliance) die compleet om zeep gingen toen er 1 disk stuk ging. Alle andere systemen met RAID 5 of 1+0 (denk aan zo'n 80+ servers) hebben nooit dit probleem gehad. Wij kiezen dus niet meer voor RAID 6.

[Tsurany]

ocdaan schreef op vrijdag 11 december 2009 @ 14:56:
Als ik op wiki kijk staat er:

RAID 5 -- Minimum # of disks = 3 -- Space Efficiency = n-1
RAID 6 -- Minimum # of disks = 3 -- Space Efficiency = n-2

Wat ik nu nooit heb begrepen is het maximum van de array. Als je bv 100 disks op Raid5 zet geld dan nog steeds de n-1 ? Of zit er ergens een maximum aan?

Raid5 werkt op een zeer eenvoudige doch slimme manier. Stel je hebt even en oneven, een 1 staat voor even en een 0 staat voor oneven. En elke 1 of nul staat op een andere schijf in dit voorbeeld.
Bij 110 heb je een even getal want 1+1=2, dus in het pariteitsblok komt een 1 te staan. Heb je nu enkel x10 over en mis je dus het eerste blok omdat die hardeschijf is uitgevallen dan weet je dat het een even getal moet zijn en er dus een 1 moet staan.
Nu hetzelfde bij 1100101010, dat is oneven dus een 0. Staat er nu 11001x1010 dan weet je doordat het oneven moet zijn dat er een 0 stond.

Nu werkt het volgens mij nog iets ingewikkelder maar dit is dus de basis.

[ Voor 3% gewijzigd door Tsurany op 11-12-2009 15:21 ]

[Ethirty]

Bij Raid 50 kunnen afaik idd 2 disks stuk, 1 uit beide Raid 5 arrays, maar niet 2 uit dezelfde array. De Performance zal wel hoger zijn dan Raid 6 omdat er op 2 arrays tegelijk gewerkt kan worden.

Als je snel en betrouwbaar wil is wellicht Raid 60 nog te overwegen als er controllers zijn die dit ondersteunen. De genoemde HP SA P410 in ieder geval niet.

[Anoniem: 5897]

Oh, zo heb ik IBM server volledig down zien gaan met een raid 1 setup waar 1 disk stuk ging. En die IBM engineer zei ook nog dood leuk dat het normaal was. Lekker nuttig dan, je raid 1.

[Q]

ajhaverkamp schreef op vrijdag 11 december 2009 @ 15:18:
Los van alle theoretische getallen, wil ik je 2 praktijkervaring meegeven. Afgelopen jaar hebben wij hier 2 RAID 6 set gehad (HP Proliant DL380G4 en een Datadomain backup appliance) die compleet om zeep gingen toen er 1 disk stuk ging. Alle andere systemen met RAID 5 of 1+0 (denk aan zo'n 80+ servers) hebben nooit dit probleem gehad. Wij kiezen dus niet meer voor RAID 6.

Sorry, maar het feit dat deze systemen plat gingen heeft geen biet met RAID 6 an-sich te maken. Het heeft te maken met een specifieke implementatie van RAID 6 in die Proliant controller of wat er ook gebruikt mag worden. De vendor zou die shit gewoon moeten fixen en het is ronduit schandalig dat zoiets kan voorkomen.
Van dit soort 'praktijk ervaringen' of anekdotes wordt niemand echt wijzer. Het kan een uitzonderingssituatie zijn en het zegt niets over het nut of de betrouwbaarheid van een RAID level. Wel maakt het duidelijk dat er ander factoren zijn die evengoed tot data verlies kunnen leiden: zoals crappy hardware. Dat is in mijn eigen situatie mijn grootste angst maar het houdt een keer op.


Software RAID 6 onder Linux werkt prima, ook bij 1 of 2 schijven uitval. Dat weet ik omdat ik het heb getest. Dat zou je sowieso moeten doen als je zeker wilt zijn dat het ook in jouw situatie werkt.

Voor thuis heb je de performance winst van RAID 50 niet nodig en is betrouwbaarheid veel belangrijker. Een gevulde Norco 4020/4220 ga je thuis niet nog eens backuppen. Of je hebt echt geld teveel,maar dan ging je niet voor de Norco. Maw: betrouwbaarheid binnen en bepaald budget is erg belangrijk. Dus RAID 6 zou ik zeggen.

[ Voor 25% gewijzigd door Q op 12-12-2009 11:11 ]

[PeterPan]

Bij welke hoeveelheid schijven ongeveer zou je voor RAID6 moeten gaan kiezen (boven RAID5)?

[VisionMaster]

PeterPan schreef op zondag 13 december 2009 @ 22:04:
Bij welke hoeveelheid schijven ongeveer zou je voor RAID6 moeten gaan kiezen (boven RAID5)?

Er is niet echt een 'moet'. Ik vind het persoonlijk al interessant, ivm de zekerheid, als ik met meer dan 5 disken bezig ben. Zeker als je harddisken uit dezelfde serie plaatst, dan is het interessant om extra fout-tolerantie in te bouwen. Maar... dat is dus nog steeds een persoonlijke beslissing.

Nog even een contra-anecdote waarin RAID-6 wel werkt:
We draaien 300TB (netto opslag) in 12 servers. We gebruiken per machine 46 disken in software RAID-6 met 1 hot-spare. In een nieuwe opstelling gebruiken we ook RAID-6, maar dan voor netto 900 TB. We hebben dan wederom nieuwe 12 servers (er bij). Ieder krijgt 4 LUN's aangeboden. Per LUN is het een zooi disken die met RAID-6 worden doorgekoppeld (zonder hotspare dit keer). De 4 LUN's worden in iedere machine gebundeld met LVM als 1 volume. Ok, dit is dus niet met een HP Proliant bebouwt, maar wel RAID-6 overal en het werkt goed genoeg voor onze LHC performance dingetjes.

[ Voor 8% gewijzigd door VisionMaster op 13-12-2009 22:21 ]

[Q]

@VisionMaster

Vette shit.

Hoe bundelen jullie die 12 servers zodat je 1 groot virtueel bestandssysteem krijgt, of doen jullie dat niet? Sorry voor het zijspoor, maar ik ben benieuwd.

[ Voor 4% gewijzigd door Q op 13-12-2009 23:56 ]

[Tsurany]

PeterPan schreef op zondag 13 december 2009 @ 22:04:
Bij welke hoeveelheid schijven ongeveer zou je voor RAID6 moeten gaan kiezen (boven RAID5)?

Het is heel simpel, hoeveel is jou data waard? Ik draai 4x1TB in Raid5 omdat het series en films zijn en dat is me geen 70 euro extra waard (de prijs van een extra hardeschijf). Is jou data wel die prijs extra waard?
Raid6 is gewoon een extra schijf voor extra veiligheid. Dus is die extra veiligheid de prijs van een extra hardeschijf waard?

[Q]

@Tsurany: exactly.

Iedere extra disk in je array is een extra kans dat er iets kapot gaat. Met 1 disk ben je wat dat betreft veiliger dan met 10 disks: een array met 10 disks heeft 10x zoveel kans op uitval dan 1 disk. Met 1 disk ben je alles kwijt, met met 10 disk raid 5 niet, maar de kans dat een disk uitvalt is groter. En als die disk uitvalt dan draai je op dat moment zonder redundantie met 9 disks....

Harde getallen heb ik niet maar vanaf de 7-8 disks wordt RAID 6 toch wel een must wat mij betreft. Maar uiteindelijk is het prijs vs veiligheid, conform Tsurany's opmerking.

[ Voor 6% gewijzigd door Q op 14-12-2009 00:12 ]

[PeterPan]

Ik dacht dat er misschien best practices zouden zijn, algemeen of van een bepaalde vendor.

Tja, mijn data is niet superbelangrijk. Van de zaken die moeilijk of onvervangbaar zijn zorg ik natuurlijk dat ik een backup heb. Verder heb ik zo'n beetje alles ook op DVD's staan maar stel dat ik zo'n Norco behuizing vol stop met 2TB disks; 36TB aan data terug zetten van DVD's is geen pretje. Ik zoek daarom ook naar een goede balans tussen beschikbaarheid en kosten.

[Q]

Om precies die afweging met 20 disks aan boord doe ik dus RAID 6 want een backup is gewoon financieel niet realistisch. De echt belangrijke zaken worden apart gebackupped. De enige optie is om twee identieke systemen te bouwen en die te syncen. $$$$

[redfoxert]

PeterPan schreef op maandag 14 december 2009 @ 08:42:
Ik dacht dat er misschien best practices zouden zijn, algemeen of van een bepaalde vendor.

Tja, mijn data is niet superbelangrijk. Van de zaken die moeilijk of onvervangbaar zijn zorg ik natuurlijk dat ik een backup heb. Verder heb ik zo'n beetje alles ook op DVD's staan maar stel dat ik zo'n Norco behuizing vol stop met 2TB disks; 36TB aan data terug zetten van DVD's is geen pretje. Ik zoek daarom ook naar een goede balans tussen beschikbaarheid en kosten.

Backups naar DVD ... lol

Anyway ... met je Norco vol met 2TB disks zou ik toch echt voor RAID6 gaan inclusief hotspare. Kost je 3x2TB maar op zo'n hoeveelheid ruimte denk ik niet dat je heel erg snel tegen ruimtegebrek aan gaat zitten kijken.

[Q]

redfoxert schreef op maandag 14 december 2009 @ 09:12:
[...]


Backups naar DVD ... lol

Anyway ... met je Norco vol met 2TB disks zou ik toch echt voor RAID6 gaan inclusief hotspare. Kost je 3x2TB maar op zo'n hoeveelheid ruimte denk ik niet dat je heel erg snel tegen ruimtegebrek aan gaat zitten kijken.

Ik heb zelf dan een losse disk op de plank liggen om handmatig te swappen mocht een disk uitvallen, maar een beetje ruimte offeren voor een hot-spare kan ook natuurlijk.