Nieuwe RAID setup, maar welke schijf?

[larshack]

Op dit moment ben ik mij aan het oriënteren op nieuwe hardeschijven, omdat de datahonger steeds meer toeneemt. Op dit moment heb ik een zelfbouw server, met daarin een Dell Perc 6/i. Nu hangen aan de Perc 2 Hitachi 1 TB schijven (7K2 RPM) uit 2010, die eigenlijk wel aan vervanging toe zijn.

Ik weet niet welke schijven ik het beste kan kiezen voor aan de Perc, aangezien er zoveel verschillende series zijn. Ik heb "slechte" ervaringen met Seagate, omdat deze schijven relatief sneller en vaker uitvallen dan Hitachi's, Samsungs en WD's (eigen ervaring).

Een ander ding is dat de Perc 6/i alleen maar schijven <= 2TB ondersteund, waardoor dit voor mij de max is per schijf. Het is mij ook niet duidelijk of de schijven aan de Perc TLER moeten ondersteunen.

Ik ben eigenlijk van plan om voor de WD Greens te gaan of voor Hitachi/Toshiba's, maar weet niet wat de beste keuze is.


EDIT: Ik was vergeten te vermelden dat ik van plan ben om een RAID-5 array te gaan gebruiken.

[ Voor 5% gewijzigd door larshack op 26-12-2013 17:41 ]

[Verwijderd]

Legacy RAID met high density harddrives met RAID5 = recipe for disaster.

Jouw controller gooit disks uit de array zodra ze een timeout hebben, wat je array zeer fragiel maakt in het bijzonder tegen kabelfouten en bad sectors. TLER disks heb je sowieso nodig, aangezien een disk met een bad sector anders overeenkomt met een gefaalde disk.

Aangezien je RAID5 wilt gebruiken, dien je ook een BBU (Battery Backup Unit) te kopen waarmee je de buffercache kunt beschermen. Ook dien je TLER-enabled hardeschijven te kopen zoals WD Red of RE-series.

Aangezien je controller gevoelig is voor bad sectors, kan het verder een goed idee zijn schijven met 10^-15 of 10^-16 uBER te kopen, zodat je een factor 10 tot 100 maal minder bad sectors ontwikkeld dan normale consumentenschijven.

Al dit alles maakt je aanschaf redelijk duur, en nog steeds onveilig. Aangezien je nu toch al een zelfbouw server hebt, kun je nadenken of je niet iets als ZFS wilt draaien, wat veel goedkoper en ook veel veiliger is.

[BartNL]

Persoonlijk draai ik naar volle tevredenheid hardware raid met 4TB Seagates maar Seagate zou ik gezien je afkeer voor dit merk niet aanraden. Als je safe wilt gaan koop je de WD red schijven. Je zou ook kunnen kijken of de 1 TB Hitachi's die je nu hebt niet als 2 TB te koop zijn. In laatste geval ook kijken of Toshiba (na overname Hitachi) diezelfde 2TB schijf nu niet onder haar merk verkoopt.
Verhaal van Cipher is eenzijdig en overdreven negatief over hardware raid. Als je huidige ervaring prima is is er geen reden om bij 2x zo grote harddisks problemen te verwachten.
Wanneer je pure opslag wilt is ZFS technisch de voorkeur. Lees in het ZFS topic om een wat genuanceerder beeld van de gebruikers hiervan te krijgen. Er zitten zeker ook nog nadelen aan de diverse ZFS based NAS oplossingen.

[Verwijderd]

Wat is precies overdreven? De noodzaak voor TLER-hardeschijven, de noodzaak voor BBU bij gebruik van hardware RAID5 of de gevoeligheid van hardware RAID voor bad sectors en andere timeouts?

[larshack]

Op dit moment heb ik een BBU in het systeem zitten en er zit een UPS voor het systeem. Ik kan nergens vinden of WD Reds of Hitachi/toshiba's tler hebben .

De perc heeft een limiet van 2tb per schijf.

[ Voor 13% gewijzigd door larshack op 26-12-2013 23:27 ]

[Wim-Bart]

WD RED heeft TLER. Hitachi/Toshiba niet, er is een tool voor om het te enablen, maar niet voor alle drives. Overigens hebben Enterprise disks wel TLER.

[Verwijderd]

Of WD RED ondersteuning heeft voor TLER kun je met een simpele Google-query bevestigen. Dat is het grote verschil tussen WD Green en Red; de Red heeft ondersteuning voor TLER en 3 jaar garantie ipv 2 jaar. Voor de rest dezelfde schijven met 10^-14 uBER.

Wil je betere schijven die minder gauw bad sectors genereren, dan kun je kijken naar de RE4 series die 10^-15 hebben (factor 10 minder bad sectors) of naar enterprise disks die 10^-16 uBER meekrijgen als specificatie. Deze specificatie geeft weer hoe vaak je bad sectors zonder fysieke schade kunt verwachten. Dit is enorm belangrijk met name voor grotere schijven met hoge datadichtheid.

Als je nu al een BBU en UPS hebt, heb je al flink geïnvesteerd in Hardware RAID. Als je daar tevreden mee bent, kun je ervoor kiezen om (nog) niet naar ZFS over te stappen. In dat geval komt het neer op de juiste schijven kiezen; WD Red of WD RE4 lijkt me dan de meest voordehandliggende keuze.

Hitachi en Seagate hebben geen TLER maar CCTL en ERC; specifiek daarbij is dat de controller ondersteuning hiervoor moet bieden anders is het niet actief. TLER daarentegen, is altijd actief ook als de controller dit niet ondersteunt. Kenmerkend hierbij is dat TLER de instelling behoudt bij power cycles, terwijl CCTL en ERC bij iedere power cycle opnieuw ingesteld moeten worden. Concreet betekent dit dat de controller het specifiek moet ondersteunen anders is het niet actief en heb je er niets aan. Alle drie de technieken doen echter hetzelfde: de error recovery zo goed als uitschakelen bij bad sectors. Dit zou moeten voorkomen dat je schijven uit de array worden gegooid. Het hangt echter van de controller af hoe deze reageert in een dergelijk geval. Sommige controllers gooien ook TLER-disks uit de array; dan heb je er alsnog weinig aan.

[Wim-Bart]

Ik hoor nu steeds maar die verhalen over de kans dat je een bad sector hebt. Van de 8 2TB disks welke ik nu meer dan 2 jaar heb draaien (WD Green's) heb ik nog niet 1 bad sector gehad. En ze spinnen allemaal gewoon 24/7. Ik denk dat de theoretische waarden leuk zijn, maar uiteindelijk niks zeggen.

[BartNL]

Verwijderd schreef op donderdag 26 december 2013 @ 22:53:
Wat is precies overdreven? De noodzaak voor TLER-hardeschijven, de noodzaak voor BBU bij gebruik van hardware RAID5 of de gevoeligheid van hardware RAID voor bad sectors en andere timeouts?

Wanneer je je eerste reactie niet overdreven vindt zijn we het niet eens. Omdat ik verwacht dat dat het geval is reageerde ik.

[Fish]

toch stiekem raid 6 gebruiken denk ik dan. maar ja max 4 schijven
kost je de helft aan schijven met max 2 gig .schijf hou je 4 over

en dan heb je data honger. ik zou gaan kijken naar een andere controller

Wim-Bart schreef op donderdag 26 december 2013 @ 23:38:
Ik hoor nu steeds maar die verhalen over de kans dat je een bad sector hebt. Van de 8 2TB disks welke ik nu meer dan 2 jaar heb draaien (WD Green's) heb ik nog niet 1 bad sector gehad. En ze spinnen allemaal gewoon 24/7. Ik denk dat de theoretische waarden leuk zijn, maar uiteindelijk niks zeggen.

Lees je in op URE 's of zoek er maar een op. dat heeft al aardig wat raid5 owners gefucked. (me including)
met kleine sasjes waat de kans veel lager ligt

[ Voor 58% gewijzigd door Fish op 27-12-2013 01:49 ]

[Jolke]

Verwijderd schreef op donderdag 26 december 2013 @ 19:18:
[...]

Al dit alles maakt je aanschaf redelijk duur, en nog steeds onveilig. Aangezien je nu toch al een zelfbouw server hebt, kun je nadenken of je niet iets als ZFS wilt draaien, wat veel goedkoper en ook veel veiliger is.

Dit is gewoon keiharde reklame!
Goed bezig

Anyway, on topic!; TS, waarom wil je persé een RAID opstelling? Als je meer dataopslag nodig hebt, dan kan je ook meerdere disken gebruiken en eventueel een goede backup.

[larshack]

Er staat voornamelijk niet kritische data op de hardeschijven, zoals films, series en muziek. Echter wordt dezelfde server gebruikt als thuislab (o.a. Exchange). Van de belangrijke virtuele machines ga ik sowieso back-ups maken naar een extern medium, zodat het an sich niet heel erg is als er een keer een schijf uit de array gegooid wordt. Waarom ik een RAID opstelling wil, is omdat het makkelijker is met wegschrijven van gegevens. Nu is het zo dat ik meerdere hardeschijven heb en dat over 4 schijven films/series verspreid staan.

Als ZFS een beter idee is, ook prima .

[ Voor 3% gewijzigd door larshack op 27-12-2013 15:57 ]

[Jolke]

Je wilt dus puur 1 grote disk creëren daarmee, daar kun je JBOD ook voor gebruiken, of in Windows schijven als subfolder mounten. Zo gaat er geen schijfruimte verloren aan je RAID configuratie.

[larshack]

In feite wil ik inderdaad 1 grote disk, maar ik wel er wel iets van veiligheid in hebben. Vandaar dat ik uitkwam bij RAID-5 of RAID-6. Ik heb nu 2 Hitachi's van 1 TB in RAID-1 op de Perc draaien (naar volle tevredenheid), puur omdat ik niet wil dat ik grote brokken heb als er een schijf stuk gaat of uit de array gegooid wordt. Ik heb echt geen idee in hoeverre ZFS je volume integriteit waarborgt, dat ga ik even uitzoeken als ik tijd heb.

[Speedwolf]

Ik ben zeer tevreden over Seagate. Maar heb enkel de ST3000DM001 en de ST4000DM000 draaien.
Ik neem aan dat de WD RED zeker ook niet slecht is.

[rapture]

BartNL schreef op donderdag 26 december 2013 @ 21:49:
Verhaal van Cipher is eenzijdig en overdreven negatief over hardware raid. Als je huidige ervaring prima is is er geen reden om bij 2x zo grote harddisks problemen te verwachten.
Wanneer je pure opslag wilt is ZFS technisch de voorkeur. Lees in het ZFS topic om een wat genuanceerder beeld van de gebruikers hiervan te krijgen. Er zitten zeker ook nog nadelen aan de diverse ZFS based NAS oplossingen.

Ik heb teveel RAID 6 array's bij klanten zien ploffen. Een failed schijf vervangen, dan is het lekker druk bezig met het rebuilden en 2 andere schijven worden tijdens de rebuild uit de array gegooid.

Hoe meer TeraBytes bij ongeveer zelfde write transfer rate, hoe langer je in de kwestbare fase van de rebuild zit, hoe langer de harde schijven maximaal belast zijn totdat ze ploffen, hoe sneller je op de 10^14 Byte kan botsen,... Hardware RAID kan dan concluderen dat de schijf stuk is en gooit het eruit.

ZFS (met RAID-Z) gaat ervan uit dat de schijven niet perfect zijn en corrigeert de fouten. Het is een andere categorie oplossing.

Als je zelfs RAID 6 hebt zien falen, dan zoek je wel naar een alternatief.

[BartNL]

rapture schreef op zondag 29 december 2013 @ 18:50:
[...]Als je zelfs RAID 6 hebt zien falen, dan zoek je wel naar een alternatief.

dat is ook logisch en dat ik bestrijd ook niet dat een modern filesysteem als ZFS voordelen heeft. Het is wel onzin om te stellen dat hardware raid niet werkt. Zeker wanneer er daartoe met kansberekeningen gebaseerd op aannames wordt gerommeld om het eigen gelijk te halen.
Raid-5 en Raid-6 beschermen tegen uitval van een schijf. Het is zeker geen backup. Een filesysteem als ZFS is beter maar heeft wel als nadeel dat het nog niet breed ondersteund wordt. Je zit met ZFS vast aan een voorgebakken oplossing en het is maar de vraag of de beschikbare oplossingen voor iedereen voldoen.
Ik draai 140TB met 48 stuks Seagate 3TB en 4TB consumer lijn schijven in een hardware raid setup. Afgelopen jaar is er 1x een 3TB schijf gefaald en heb ik via scrubben denk ik zo'n 20-50 data errors voorbij zien komen. De gefaalde disk was ook echt defect en is in ander PC ook niet meer te benaderen. De suggestie dat hardware raid zo maar schijven faalt herken ik niet.
Ik denk dat ieder zijn eigen afweging kan maken. Iemand die helemaal los is in filesystemen zal eerder voor ZFS kiezen. In die zin denk ik dat Cipher zijn mening genuanceerd kan worden.

[rapture]

Ik zoek ook een setje schijven om een FreeNAS (op hardware dat na een upgrade vrijkomt) te testen. Dan zie ik wel de bottlenecks en kan de hardware voor een NAS dimensioneren.

Pricewatch op 4TB (het gaat om de productdifferentiatie) en weinig centen per GB ingesteld:

• ST4000DM000 Seagate Desktop HDD.15 5900rpm 4TB 137 euro
  Load/Unload: 300000
  Non-recoverable Read Errors per Bits Read 1 sector per 10^14
  Power-on Hours 2400 (8x5)
  Garantie: 2 jaar
• ST4000VM000 Seagate Video 3.5 HDD 5900rpm 4TB 153 euro
  Load/Unload Cycles (25°C, 50% relative humidity) 300000
  Non-recoverable Read Errors per Bits Read 1 sector per 10^14
  Annualised Failure Rate (AFR) 0.55%
  Power-on Hours 8760 (24x7)
• HDS724040ALE640 Hitachi Deskstar 7K4000, 7200rpm 4TB 157 euro
  Load/unload cycles (at 40˚ C) 600000
  Error rate (non-recoverable, bits read) 1 in 10^14
  Availability4 (hrs/day x days/wk) 24x7 (verwacht dat je het 24x7 gebruikt)
  Garantie: 3 jaar
• ST4000VN000 Seagate 5900rpm 4TB 159 euro
  Load/Unload 600000 (niet verder dan 600k getest)
  Non-recoverable Read Errors per Bits Read, Max 1 per 10^14
  Power-on Hours 8760 (24x7)
  Mean Time Between Failures (MTBF, hours) 1M
  Garantie: 3 jaar

Blijkbaar specificeren ze ook gewoon hoeveel uren een schijf hoort mee te gaan. Ik lees voorbeelden van geaccepteerde RMA-aanvragen met 2400-uurs desktop schijven die 20k uren gedraaid hebben. Maar wat als ze uit besparingsredenen RMA's beginnen te weigeren wegens teveel uren draaien?

Beetje meer betalen voor een HDS724040ALE640 of ST4000VN000 voor 24x7? Dubbele prijs voor enterprise schijven is te duur voor thuisgebruik.

[Panzy]

Als je schijven voor HW RAID zoekt zou ik persoonlijk wel voor de duurdere modellen gaan. Ik heb WD Green gedraait onder RAID 5 en dat was een ramp, schijven failden voortdurend. Bovendien heb je met duurdere schijven een langere levensduur. Enterprise (RE4) of een schijf van een andere fabrikant in dezelfde prijsklasse zit je wel goed.

@BartNL
Offtopic, hoe scrub jij op hw RAID? Is dat via een file system of speciale software? Ik ben ook bezig met een server op hw RAID maar zoek nog een oplossing voor de data integrity.

[BartNL]

Panzy schreef op maandag 30 december 2013 @ 10:59:
Offtopic, hoe scrub jij op hw RAID? Is dat via een file system of speciale software? Ik ben ook bezig met een server op hw RAID maar zoek nog een oplossing voor de data integrity.

ik gebruik een Areca 1882ix controller en via de Areca webinterface onder "Volume Set Functions"->"Check Volume Set" doe ik dat ongeveer eens per twee maanden. Het is via de Areca webinterface ook automatisch te schedulen maar omdat mijn fileserver normaal gesproken in slaapstand gaat is automatische check voor mij niet handig.