RAID keuze voor groot array 15 tot 30TB

[fraggertje]

Ik ben bezig een QNAP NAS in te richten (TS-1279U-RP). Er zitten 12x 3TB Seagate 7200rpm Sata schijven in dus 36TB ruwe data capaciteit.

Nu is deze af fabriek ingericht met alle 12 disken in een RAID5 array en 1x 30TB EXT4 volume.
Ik wil dit anders doen en de vraag is welke aanpak de beste mix is tussen betrouwbaar en snel;

2x RAID5 set van 15TB
1x RAID6 set van 30TB

Suggesties?

[heuveltje]

IMHO
2 X 6.
Dit levert je theoretisch een iets kleinere betrouwbaarheid op.

Maar
Mocht je ooit willen upgraden hoef je niet 12 disken in eens te vernieuwen
kun je ook nog data van nieuw naar oud overzetten
rebuild tijden zullen lager liggen.
Snelheid van x gebruikes op x disken zal imho gelijk liggen aan 2x gebruikers op 2x Disken, tenzij het gebruik zeer asynchroon is.
Minder kans op een catostrofale fout bij recvoceren (ure)

Maar dat ligt ook aan dingen als inrichting. verwacht gebruik, verwachte gebruiksduur . upgrade plannen etc...

[evolution536]

Ik zou ook voor 2x6 gaan. Minder fout/crash gevoelig en lagere rebuildtijden als er toch iets mis gaat. Ik denk ook dat 2x6 sneller is.

[fraggertje]

Bedankt voor jullie inbreng. Ik had zelf ook 2x 6 disken in gedachten. Ook omdat 30TB voor 1 volume wel erg veel is in mijn ogen. In sommige documenten van QNAP wordt 15TB als max genoemd voor 1 volume maar kennelijk ondersteunt de nieuwste 3.6 firmware ook volumes groter dan 15TB.

We gaan ook 2 soorten data onderscheiden en dat past ook mooi bij een fysieke splitsing van de volumes.

[_JGC_]

RAID5 met 3TB disks is gewoon je data op het spel zetten. Rebuilds van dergelijke arrays duren een eeuwigheid, en al die tijd ben je niet beschermd. Verder is met dergelijke grote disks de kans op bad sectors of datacorruptie een stuk groter dan met kleinere disks. Ik zou dus sowieso inzetten op RAID6, ongeacht in hoeveel stukken je dat array vervolgens op gaat delen.

[brederodekater]

In mijn home-build file-server heb ik 12x 2TB schijven in RAID-6 staan. RAID-5 lijkt ook mij geen veilige optie.

[fraggertje]

Ik ben het wel eens met de toegevoegde waarde van RAID6 maar is de rebuild tijd van een set met 12 disken niet 2x zo groot dan voor een set van 6 disken?

Met andere woorden, wordt het voordeel van RAID6 hier niet opgeheven door een rebuild tijd die 2x zolang is als 2 losse RAID5 sets?

[_JGC_]

Waarom zou die rebuildtijd langer zijn? Of je nu 6 disks hebt of 12 disks, bij uitval moet je gewoon 1 disk rebuilden. Enige wat langer gaat duren is een verify, aangezien je dan 12 disks moet gaan controleren ipv 6 disks.

[hans_lenze]

De rebuild tijd van RAID 6 is langer!

Kies dan voor RAID 5 met een hot spare. Een RAID 5 rebuild is minder intensief voor je schijven en tijdens het rebuilden gaat JUIST die volgende schijf stuk.

[Tsurany]

Maakt het heel veel uit? Raid6 kan twee schijfdefecten overleven maar dat betekent enkel dat je minder snel naar je backup hoeft te grijpen. Dus hoe snel is je backup en wat is de bereikbaarheid van je backup? Kan prima RAID6 draaien op een 30TB volume als je snel genoeg kan restoren van een backup en de data niet altijd beschikbaar hoeft te zijn.

[Ultraman]

hans_lenze schreef op maandag 11 juni 2012 @ 21:03:
De rebuild tijd van RAID 6 is langer!

Kies dan voor RAID 5 met een hot spare. Een RAID 5 rebuild is minder intensief voor je schijven en tijdens het rebuilden gaat JUIST die volgende schijf stuk.

Je geeft aan dat bij een rebuild een schijf door de belasting nog wel eens defect wil raken of anderszijds een leesfout zal maken, dus ga je voor RAID5+hotspare?
Met alle respect, maar dat is jezelf glashard tegenspreken.

Op het moment dat er een schijf defect raakt van de gezonde RAID5 array zal de array moeten gaan rebuilden. Zodra dat gebeurd heb je geen redundantie. Loop je tegen iets knulligs als een leesfout aan, of nog een defecte schijf, dan is de hele array kapot.
Zie RAID6 als RAID5 met een hotspare die al in-sync is. Zodra er een disk uitvalt heb je nog steeds redundantie en kun je nog een uitval opvangen.


Zelf zou ik een 6-disk RAID6 + 6-disk RAID6 adviseren, dus twee striped RAID6 arrays => RAID60.

Als je per se meer disk space nodig hebt, dan kun je 12-disk RAID6 overwegen.
Maar voor disken van dergelijke grootte zou ik nooit voor RAID5 gaan, een rebuild kost aardig wat tijd en in dat window heb je dus geen vangnet meer.

[_JGC_]

hans_lenze schreef op maandag 11 juni 2012 @ 21:03:
De rebuild tijd van RAID 6 is langer!

Kies dan voor RAID 5 met een hot spare. Een RAID 5 rebuild is minder intensief voor je schijven en tijdens het rebuilden gaat JUIST die volgende schijf stuk.

De rebuildtijd van RAID6 is alleen langer als je 2 disks laat sterven. In dat geval moet er nml 6TB aan data/parity opnieuw berekend worden, waarbij zeer waarschijnlijk ook nog eens in 2 runs. Sterft er 1 disk, dan is RAID6 niet veel intensiever voor je disks dan RAID5.
Overigens zie ik het voordeel van een hotspare niet tov een extra parity-disk in het array opnemen. Tegen de tijd dat je je hotspare nodig hebt is die disk al zo verrot en zo oud dat die ook de nodige problemen heeft.

[fraggertje]

Ik heb er nu toch voor gekozen om te gaan voor 2 sets van 6 disken die in RAID6 staan. Wat minder capaciteit maar wel een stuk meer betrouwbaarheid.

Met dank aan jullie adviezen!

Hopelijk zal deze extra maatregel niet nodig zijn maar je zult altijd zien...better safe than sorry.

[Q]

Een RAID 6 met 12 disks was prima geweest. Ik draai zelf RAID 6 met 20 disks.

De duur van de rebuilt hangt af van de grootte van een enkele schijf, niet van de grootte van de array

De grootte van de array speelt alleen mee als er niet genoeg bandbreedte is om alle disks te kunnen bedienen.

Met een 20 disk RAID 6 rebuild ik mijn array in 5 uur. Reken bij 2 TB op 10 uur en bij 3 TB disks dus op 15 uur.

[ Voor 16% gewijzigd door Q op 12-06-2012 20:20 ]

[DukeBox]

Welke HDD's zitten er exact in ?
De 'consumenten' modellen hebben een nonrecoverable read error van 1 per 10E14 bits (max), de 'enterprise' is een stuk hoger, van 1 per 10E15 bits (max).
Simpel bekeken houdt dat in dat als je een array hebt groter dan 12TB met consumenten hdd's, er een aanzienlijke kans is dat wanneer er een disk uitvalt uit je raid5 set, het niet meer mogelijk is deze te rebuilden zonder read errors.
Hoe dan ook is het 'partitioneren' van je san niet meer van deze tijd, IO's haal je door zoveel mogelijk hdd's te kunnen gebruiken het SAN moet zelf zo inteligent zijn om deze zo optimaal mogelijk (al dan niet middels interne tiering en/of performance policies) te verdelen.
Ik zou gewoon beginnen met raid10 en evt. later downgraden naar 50/60 of 5/6 wanneer de IO's voldoende zijn en er meer storage nodig is.

[ Voor 32% gewijzigd door DukeBox op 12-06-2012 20:34 ]

[fraggertje]

Vanwege de prijs zitten er consumer disken in, de ST3000DM001 van Seagate. Het is ook geen fiber of iscsi SAN maar gewoon een NAS voor file sharing, maar wel met 4x Gbit uplinks.

RAID10 ten opzichte van 2x RAID6 scheelt niet zo heel veel meer maar dan lever je toch nog net wat meer diskcapaciteit in (6TB).

[Q]

Ik vind het toch wel zonde dat je 6 TB zomaar weggooit terwijl de extra veiligheid echt overkill is.

Ik zou de array nog een keer opnieuw maken met gewoon 12 disks in RAID 6.

Als dit voor werk is, dan is de vraag of je storage of io wilt.

[ Voor 15% gewijzigd door Q op 12-06-2012 23:32 ]

[_JGC_]

DukeBox schreef op dinsdag 12 juni 2012 @ 20:30:
Welke HDD's zitten er exact in ?
De 'consumenten' modellen hebben een nonrecoverable read error van 1 per 10E14 bits (max), de 'enterprise' is een stuk hoger, van 1 per 10E15 bits (max).
Simpel bekeken houdt dat in dat als je een array hebt groter dan 12TB met consumenten hdd's, er een aanzienlijke kans is dat wanneer er een disk uitvalt uit je raid5 set, het niet meer mogelijk is deze te rebuilden zonder read errors.
Hoe dan ook is het 'partitioneren' van je san niet meer van deze tijd, IO's haal je door zoveel mogelijk hdd's te kunnen gebruiken het SAN moet zelf zo inteligent zijn om deze zo optimaal mogelijk (al dan niet middels interne tiering en/of performance policies) te verdelen.
Ik zou gewoon beginnen met raid10 en evt. later downgraden naar 50/60 of 5/6 wanneer de IO's voldoende zijn en er meer storage nodig is.

Met 12 disks is RAID10 gewoon niet meer van deze tijd. Je gooit de helft van je disks weg aan ruimte en de performance is niet merkbaar beter dan RAID6. Verder heb je met RAID6 het voordeel dat er 2 willekeurige disks uit mogen vallen, terwijl als er bij RAID10 2 disks uit hetzelfde RAID-1 groepje uitvallen het over en uit is.