raid 5 met grote sata schijven slecht?

[timberleek]

Hallo

Ik keek gister toevallig door wat aankoopadviezen heen, en daar was iemand van plan een aantal WD RED 3TB schijven te pakken in raid 5.

Dit werd door een andere tweaker afgeraden:
hans_lenze in "NAS / Virtualisatie - moederbord & cpu"

Is dit daadwerkelijk zo'n slecht idee?
Ik zat namelijk voor mezelf te denken om binnenkort wat extra schijfruimte in mijn server/nas te stoppen. Ik zat te denken aan een stuk of 4 2TB schijven in raid 5. Maar dat zou dan niet verstandig zijn.

wat denken jullie daarvan?

[AtleX]

Het probleem met grote schijven is dat de capaciteit wel is toegenomen de laatste paar jaar maar de hoeveelheid read errors is niet afgenomen. Bij een rebuild van de array moeten alle schijven gelezen worden en de kans dat daarbij een read error optreedt is bij grote schijven dus behoorlijk groot. Als dat gebeurt stopt de rebuild ermee en begint 'ie overnieuw. Je loopt dus kans dat je niet zomaar meer je array kunt rebuilden.

[timberleek]

Dat is wel een probleem inderdaad.

Hoe zou jij het dan doen?
Een enorme berg kleine schijven is onbetaalbaar en heel erg onpraktisch

[swbr]

Google maar eens op 'Why RAID 5 stops working in 2009'

Bedenk dan dat het nu 2012 is, en dat de hoeveelheid horror verhalen over continue uitvallende RAID5 arrays nihil is. Uiteraard moet je altijd voor een backup van je belangrijke data zorgen, alleen vertrouwen op RAID, in welke variant dan ook, is vragen om problemen.

[timberleek]

Kijk, dat klinkt eigenlijk best logisch, maar niet goed ;-)

10^14 lijkt zo veel, maar met de opmars van de laatste jaren is dat ook al weer over inderdaad.

Dan moet je (met huidige schijven) alweer naar raid 6 (voor zolang dat nog kan, 2019 kwam ik al tegen). Maar dat is weer een extra schijf voor "niks" laten meedraaien.

[Ultraman]

Voor schijven van dergelijk voor maat wil je inderdaad geen RAID5 gebruiken omdat je bij een rebuild in de problemen kunt komen. Gebeurt natuurlijk lang niet altijd, maar vaak is het zo dat mensen thuis met RAID5 een groot volume maken waar ze vervolgens geen backups van hebben, en het dan extra pijn doet als zo'n array stuk gaat.
Als je enige zekerheid wilt hebben met een RAID array gebaseerd op parity met zulke grote schijven, maak dan ten minste gebruik van RAID6. Als er dan een schijf stuk gaat ben je nog steeds redundant en kun je een eventuele leesfout in theorie opvangen. Zorg wel dat je een slechte disk op tijd vervangt.

Het kan nog een stap beter door bijvoorbeeld ZFS te gebruiken en gebruik te maken van RAID-Z2 (de ZFS variant van RAID6) omdat dit systeem leesfouten daadwerkelijk kan detecteren en ervoor kan zorgen dat de data 100% in orde is. In tegenstelling tot een conventionele RAID5/6, waar de RAID controller enkel in de gaten kan hebben dat er een verschil is tussen data en parity, en er vervolgens vanuit gaat dat de data goed is en de parity slecht, wat dus niet altijd het geval hoeft te zijn...
Maar ZFS is lang niet voor iedereen een optie.

Wil je dus de algemene weg bewandelen dan doe je er goed aan om voor RAID6 te gaan met schijven van 3TB, of gewoon mirroring te gebruiken, als je betrouwbare opslag wilt.

timberleek schreef op donderdag 29 november 2012 @ 15:33:Dan moet je (met huidige schijven) alweer naar raid 6 (voor zolang dat nog kan, 2019 kwam ik al tegen). Maar dat is weer een extra schijf voor "niks" laten meedraaien.

Hoezo voor niks? Dat ding heeft wel degelijk een nut: betrouwbaarheid.
Je wint er alleen geen diskspace mee nee. Maar wat heb je aan diskspace als de data weg is?

[ Voor 14% gewijzigd door Ultraman op 29-11-2012 15:35 ]

[IceTeaGX]

De kans op niet herstelbare fouten verhoogt gewoon. En als dit net gebeurd tijdens een rebuild ben je inderdaad de klos. Volgens verschillende studies is de kans vrij groot dat verschillende fouten zich kort op elkaar opvolgen. Dat is dus niet goed nieuws voor het rebuilden van de array.

Een enorme berg kleine schijven helpt ook enkel als je ze in kleine groepjes in een RAID5 array plaatst, maar daar 1 grote array van, en je vraagt om nog meer problemen. Maar das inderdaad verre van kosten-efficiënt.

De oplossing is simpel: RAID6. Zo kan er tijdens de rebuild, zonder problemen een extra error optreden, de extra parity kan deze dan herstellen.

Nog beter is ZFS, dat kan bit-errors nog op andere manieren opvangen. In het ergste geval ben je (deel van) 1 bestand kwijt, en niet de hele array bij een enkele read error.

(en ik zie net dat ik enkele seconden te laat ben met deze "nieuwe" info, maar ik post het toch )

[timberleek]

Kijk dat klinkt wel interessant.
Ik ga me ook eens inlezen op ZFS

Bedankt

edit:
een fout in 1 bit per 10^14 is inderdaad best veel.
dan zou je 1 leesfout per 5.7 keer uitlezen van de volledige schijf krijgen
dan ga je al naar een kans van 20% toe (er van uit gaande dat de kansen even groot blijven door de levensduur).
Bij 4 schijven heb je inderdaad bijna gegarandeerd een leesfout.

(en ik zie net dat ik enkele seconden te laat ben met deze "nieuwe" info, maar ik post het toch )

Info is altijd welkom

[ Voor 82% gewijzigd door timberleek op 29-11-2012 15:42 ]

[hans_lenze]

timberleek schreef op donderdag 29 november 2012 @ 15:35:
Bij 4 schijven heb je inderdaad bijna gegarandeerd een leesfout.

Yup, daarom is het (statistisch gezien) een extreem slecht idee om nog RAID5 in te zetten op grote RAID arrays met SATA schijven.

Mocht je je afvragen waarom enterprise schijven zo duur zijn:

Omdat ze (voorbeeld Seagate Constellation serie) een Non-recoverable Read Errors per Bits Read van 10 * 10ˆ15 hebben.

Stapje hoger zijn dan de 10k schijven (link) met 10 * 10ˆ16.

Ik zit te wachten tot ReFS ook ondersteund wordt op parity en dual parity volumes in Server 2012. Dan is er een interessant alternatief voor ZFS op het Windows platform.

[timberleek]

Ja die schijven ken ik, maar die vind ik voor het gebruik in een nas wel weer heel duur.
dat verklaart wel het 'nut' van die schijven

Ik zit gewoon te denken aan 'standaard' green schijven. Ze zullen een groot deel van de tijd standby staan. 24/7 spul lijkt me dan een beetje overdreven. Alleen als ik wat aan het doen ben met de opslag staan ze te draaien.

Ik moet alleen even wat anders kiezen voor raid 5. eens verdiepen in alternatieve systemen en andere indelingen van mijn data

[johnkeates]

WD Red schijven dan?

[hans_lenze]

johnkeates schreef op vrijdag 30 november 2012 @ 00:18:
WD Red schijven dan?

Het feit dat je de vraag stelt zegt dat de marketing in elk geval werkt.
Specsheet WD Red 3TB
10 * 10^14 dus helaas niet beter dan een andere consumenten SATA schijf.

Wel ondersteunen deze schijven TLER waardoor ze minder makkelijk uit een RAID array vallen met een hardwarematige controller (Voor software RAID hebben ze geen voordeel. Dan is TLER zelfs een nadeel.)
Er zijn geruchten dat de draaisnelheid van de WD Red serie per batch net iets anders wordt ingesteld waardoor ze net niet dezelfde trillings frequentie hebben en dus stiller zijn met z'n allen.

[johnkeates]

Ik bedoelde ook Red voor de TLER, zodat je minder vaak moet te rebuilden door dat de controller ze eruit knikkert. Als je met ZFS of softraid werkt maakt dat natuurlijk niet uit.

[timberleek]

Waarschijnlijk ga ik (in elk geval voorlopig) gebruik maken van software raid. in mijn huidige server/nas zit een standaard socket 775 moederbord met e2160. qua hardware raid is daar niks bijzonders op te vinden. Dan moet ik al een insteekkaart kopen.

Ik ben wel bezig met een acer althos g5450. daarvoor ben ik nog op zoek naar een tweede processor (dan heb ik 2 quad cores op 2.5GHz). daarop wil ik dan het een en ander virtualiseren, en hij trekt er ook makkelijk een home servertje bij. (dat zo weer een draaiende pc schelen)

Die server heeft wel een raid controller op het moederbord (NVIDIA nForce Professional 3600 chipset), maar ik draai op het moment al esxi op de server en die wilde hem niet herkennen. Ook als ik een array aanmaak (er zitten 2 schijven in) blijft hij ze herkennen als 2 losse schijven. Als dat zo blijft kom ik toch weer op software raid uit

edit:
hoezo zouden schijven zomaar uit een raid array "vallen"?
dat lijkt me toch niet de bedoeling

[ Voor 13% gewijzigd door timberleek op 30-11-2012 01:08 ]

[Jormungandr]

Dat gebeurt helaas vrij regelmatig bij de combi desktopschijven + HW RAID controllers. Genoeg stof op het internet om een voorbeeld aan te nemen om het NIET te doen .

[hans_lenze]

timberleek schreef op vrijdag 30 november 2012 @ 01:01:
edit:
hoezo zouden schijven zomaar uit een raid array "vallen"?
dat lijkt me toch niet de bedoeling

Lees je even in over TLER (Time Limited Error Recovery) en de effecten daarvan. Dan snap je ook gelijk het voor/nadeel van de WD Red schijven en wat er allemaal nodig is voor een hardware RAID controller en de schijven die eraan komen.

[u_nix_we_all]

Ik heb hier nu al meerdere malen problemen gezien met RAID5 , waarbij tijdens een rebuild van een schijf een leeserror op de overige schijven de hele set onderuit haalde.
Probleem wordt groter naarmate de disks groter worden (meer data terug te lezen met dezelfde theortische foutkans)
In de praktijk blijkt ook vaak dat disks in een set een vergelijkbare levensduur hebben. Dat betekent dat als er 1 disk van ouderdom uit een RAID5 array klapt, je eigenlijk de overige disks niet extra wilt gaan belasten met een rebuild actie.

Kortom: RAID6 (of beter zfs RAID-Z2) is echt aan te raden bij disken van 2TB of groter !

[Viper®]

Interessant verhaal.

Ik wilde nog dit jaar een DS412+ halen met 3 TB disks in Raid 5

Veiligere optie zou dus zijn Raid 6. Maar met 4 disks is raid 10 of 01 volgens mij handiger

[redfoxert]

Mooi artikel over dit topic: http://www.servethehome.c...-anthology-part-1-primer/

[u_nix_we_all]

Viper® schreef op vrijdag 30 november 2012 @ 16:44:
Interessant verhaal.

Ik wilde nog dit jaar een DS412+ halen met 3 TB disks in Raid 5

Veiligere optie zou dus zijn Raid 6. Maar met 4 disks is raid 10 of 01 volgens mij handiger

Raid 10 en raid 01 hebben nog steeds het probleem van "single parity", dus qua veiligheid zeker niet met raid6 te vergelijken. 1 leesfout tijdens een rebuild en je bent gezien. Het is wel sneller.

[timberleek]

Bij raid 10 hoef je toch niet echt te rebuilden.

Natuurlijk moet je de vervangende schijf weer volschrijven. maar je hebt toch gewoon 2x de volledige data. Als de ene helft daarvan faalt, heb je gewoon bruikbare data op de andere helft. Alleen heb je geen veiligheid meer op dat moment.

Bij raid 5 etc moet er echt parity berekend worden

[u_nix_we_all]

timberleek schreef op vrijdag 30 november 2012 @ 17:23:
Bij raid 10 hoef je toch niet echt te rebuilden.

Natuurlijk moet je de vervangende schijf weer volschrijven. maar je hebt toch gewoon 2x de volledige data. Als de ene helft daarvan faalt, heb je gewoon bruikbare data op de andere helft. Alleen heb je geen veiligheid meer op dat moment.

Bij raid 5 etc moet er echt parity berekend worden

Het gaat niet zozeer om de parity berekening, het gaat er bij raid-5 om, dat voor rebuilden alle overige disks van de hele set foutloos gelezen moeten kunnen worden. Als er op 1 van de disks een leesfout optreed, is je data dus niet meer volledig, niet voor de rebuild, maar ook niet voor applicaties.

Bij Raid 10 of 1 is die kans kleiner omdat er dan maar 1 disk foutloos gelezen moet worden. Maar als daar een fout optreed ben je toch echt data kwijt.

Bij raid6 heb je altijd nog een 1 extra disk als er 1 uitgevallen is, dus als er 1 leesfout optreedt (per stripe) is de data nog te reconstrueren.

[Aardwolf]

Hm interessant topic dit. Wil voor thuis ook min. een 4 bay NAS aanschaffen op (korte) termijn en zat steeds te denken aan RAID5. Maar dit topic brengt me daar dan maar gelukkig vanaf, of ja gelukkig... RAID6 blijft natuurlijk wel reteduur gezien je maar de helft aan effectieve ruimte overhoud, maar oké.

Liefst was ik gegaan voor een goedkopere zelfbouw en dan in RAIDz2, maar omdat ik daar atm beperkt tijd voor heb is dat niet zo'n optie. RAID6 is dan op een QNAP/Synology als ik het goed begrijp ook de "beste/veiligste" optie?

[Viper®]

marcel87 schreef op dinsdag 04 december 2012 @ 13:10:
Hm interessant topic dit. Wil voor thuis ook min. een 4 bay NAS aanschaffen op (korte) termijn en zat steeds te denken aan RAID5. Maar dit topic brengt me daar dan maar gelukkig vanaf, of ja gelukkig... RAID6 blijft natuurlijk wel reteduur gezien je maar de helft aan effectieve ruimte overhoud, maar oké.

Liefst was ik gegaan voor een goedkopere zelfbouw en dan in RAIDz2, maar omdat ik daar atm beperkt tijd voor heb is dat niet zo'n optie. RAID6 is dan op een QNAP/Synology als ik het goed begrijp ook de "beste/veiligste" optie?

Ik zit zelf ook nog steeds te dubben.

Wilde een DS412+ nemen met 3 TB in raid5, maar als ik dit zo lees moet je eigenlijk wel Raid6 nemen.
Effectief heb je dan 6 TB opslag.

Ik vraag me af of je dan niet misschien 4 x 1.5/2 TB schijven in Raid5 kan nemen. Effectief heb je dan net zoveel opslag en relatief gezien een redelijk betrouwbare raid opstelling, de kosten zijn alleen een stuk lager.

RAID5 wordt niet meer geadviseerd na 2009, RAID6 niet meer naar 2019: http://www.zdnet.com/blog...stops-working-in-2019/805

[ Voor 6% gewijzigd door Viper® op 17-12-2012 14:31 ]

[Demo]

En wat als je voor software RAID je 2 TB disks verdeelt in 4 partities van bijvoorbeeld 500 GB, daar 4 RAID5-sets van maakt en die met LVM in een grote storage pool gooit? Dan hoef je bij een leesfout maar 500 GB te rebuilden..

[timberleek]

als je 1 schijf in 4 partities onderverdeeld zul je bij een falende schijf 4 partities moeten herbouwen.

Het enige dat ik dan kan bedenken is dat je misschien 3 partities goed kan herbouwen, maar de 4e alsnog faalt. dan heb je nog 3 kwart gered. Maar betrouwbaar is het dan niet echt imo

[K4F]

Naast ZFS kan ook het oude vertrouwde EXT checksums wegschrijven, en lijkt raid er dan toch aan te komen voor btrfs .

[Ultraman]

K4F schreef op maandag 17 december 2012 @ 22:30:
Naast ZFS kan ook het oude vertrouwde EXT checksums wegschrijven, en lijkt raid er dan toch aan te komen voor btrfs .

EXT checksum is enkel voor de meta data, dus niet voor jouw data. ;-).

btrfs is qua features nog niet op hetzelfde niveau als ZFS. Het is ook nog niet te vertrouwen (ervaring). En ik vind het tot nu toe ook nog onhandig werken op sommige vlakken.
Over een jaar of drie kijk ik er nog wel een keer naar, dan is het mogelijk stabiel en goed bruikbaar.

[DDX]

Die 10^14, 10^15 en 10^16 getallen zijn leuk maar deels ook marketing natuurlijk.
Want waarom heeft de wdc red disk 10^14 en een wdc re4 disk 10^15 ?
Niemand kan die getallen controlleren en je moet de fabrikant maar geloven.

Ik draai zelf raid6 met 6*3tb wdc red disken, gewoon omdat ik minimaal risico wilde hebben.

[EnderQ]

Bij raid 6 heb je meer zekerheid maar volgens mij moet je initieel je raid opstelling of je schijven stress testen.

Vervelende is dat (ik vermoed) de s.m.a.r.t. extended test bij synology alleen een lees test doet (kon niets hierover vinden zo 1-2-3) ook al doet hij er nog uren over. Volgens mij is het handiger om elke schijf een multi write en read test doen (weet iemand een goede?).

Ik was niet bereid 50% ruimte aan redundantie in te, leveren. Daarom draai ik raid 5, mijn rebuild bij een kapotte red wd ging goed en ik had de oude data bewaart ik denk dat ik de belangrijke data nog een of 2 maand(en) bewaar.

[ Voor 4% gewijzigd door EnderQ op 19-12-2012 01:13 ]

[Damic]

timberleek schreef op vrijdag 30 november 2012 @ 00:00:
... Ik zit gewoon te denken aan 'standaard' green schijven. Ze zullen een groot deel van de tijd standby staan. 24/7 spul lijkt me dan een beetje overdreven. Alleen als ik wat aan het doen ben met de opslag staan ze te draaien....

Geen Greens nemen, dan heb je echt wel zeer snel problemen, liefst dan nog Blacks als je niet wil investeren in RE's of Red's.

Heb hier zelf een R6 draaien met 6 Blacks van 1TB, heb nog 2 plaatsen over voor extra schijven (heb Areca 1220) op een raid controller kun je trouwens spindown instellen en dan gaan ze sneller naar 0 rpm (standby) als je de raid dan nodig hebt moet je wel eventjes langer wachten maarja.

[ Voor 12% gewijzigd door Damic op 19-12-2012 01:31 ]

[Neptunus]

Ik ben van plan om op mijn Areca 1222 8x een Hitachi ultrastar 24/7 enterprise 7k3000 HUA723020ALA641 aan te sluiten. Ze hebben Error rate (non-recoverable, bits read) 1 in 10^15. Het grote broertje (HUA723030ALA640) staat op de HDDCompatibilityList en volgens de fabrikant zal de HUA723020ALA641 prima werken samen met de Areca 1222.

Ik weet alleen nu niet zo goed voor welke raid configuratie ik met gaan. Kan bv. kiezen voor raid5, hierover lees je dan weer dat je wat meer risico loopt op een corrupte array. Zou ook kunnen kiezen voor raid6. Zelf verwacht ik hier iets minder risico.

En dan kan ik natuurlijk ook nog kiezen voor Pass-through met de Areca 1222 en een ZFS opzet gebruiken. Ik zat dan te denken aan RAIDZ of RAIDZ2.

Ben erg nieuwsgierig naar jullie ideeën hierover.