RAID5 met >1TB schijven, rebuild/oce tijd te groot?

[psy]

Voor mijn uitbreiding in mijn homeserver (van losse schijven naar RAID5 of zelfs uiteindelijk RAID6 als de controller dit ondersteunt) was er ik sterk erover aan het denken om een Rocketraid 2320 of zelfs een Areca 1222 te kopen. Nu las ik echter op AVS forum in het zéér interessante ‘Guide To Building A Media Storage Server’ topic, dat de rebuild van een array in geval van rebuilt of OCE, verschrikkelijk lang duurt als je erg grote schijven gebruikt. Dat voorspelt weinig goeds over het uitvallen van een schijf. Hoe lang duurt het dan voor de hotspare de plaats van de overleden schijf heeft overgenomen?

http://www.avsforum.com/a...p?p=15039177#post15039177

It currently takes about 80 hours to rebuild/add a 1TB drive to the array on the 1280ML at work. With a 3TB drive array that will take ~240 hours. Even if nothing goes wrong, you still have to wait a week to use your extra storage every time you grow your array.

Dit is schokkend…. 80 uur voor elke Terrabyte.
Stel je gaat van 4 TB naar 5 TB. Dat gaat betekenen dat je 5 x 80 uur bezig bent = 400uur!

Ik begin nu wel te twijfelen. Is dit wel wat ik wil? Geeft dit niet een vals gevoel van veiligheid?
Stel in deze idiote tijd gaat er iets fout, ben ik dan mijn hele array kwijt? Wie heeft hands on ervaring met zulke grote array's en een rebuild of extension?

[Fauna]

Dat zijn wel extreem lange tijden. Het hangt er echter sterk vanaf of de controller ook nog met reguliere zaken bezig is of dat ie dedicated aan het rebuilden/expanden is. Daarnaast kun je voor het rebuilden ook nog prioriteiten instellen (althans bij Areca). Het rebuilden van een 6750GB RAID-5 array met 10x 750GB schijven op een ARC-1160 duurt bij mij ca. 24 uur.

[Ben.Hahlen]

Dat vind ik ook wel een bizar lange tijd.
Zelf draai ik RAID5 op Fedora (Linux RAID via m'n mobo) en daar duurde de rebuild van mijn array van 3TB (4x 1TB schijf) ~350 minuten --> ~6 uur.
Ik weet niet in hoeverre dit vergelijkbaar is met een rebuild op een "echte" controller, maar 80 uur voor 1TB is wel bizar iig...

[psy]

Dat klinkt al veel genuanceerder. 6 tot 24 uur voor een rebuild vind ik zeer acceptabel.

Ik lees nu ook een andere reactie

You're right. Capacity expansion may take a long time but the array is available the whole time. You won't get to use the NEW CAPACITY until it's done but it has almost no impact on usability. I expanded a RAID 5 array from 3x 1TB disks to 4x 1TB and it took 6.5 days on a 3Ware 9550SX-8LP. 3Ware is very thorough in how it does the expansion and migration. My XP system crashed with a blue screen during the OCE and it just continued on after power cycling the machine. However, a rebuild to replace a failed disk only takes a couple hours on the same 4x 1TB RAID 5 set.

[dvl-2]

Ik heb zelf een Areca 1280 met inmiddels een 13x1TB raid6 array eraan en het expanden van 12x1TB naar 13x1TB duurde 40 uur in totaal. Hierbij stond de controller wel in het McRaid bios en verder compleet idle.

Mijn ervaring is dat rebuilden veel sneller gaat en in enkele uren ( minder dan 8u) klaar is.

[Kokkers]

80uur per TB lijkt me compleet uit de lucht gegrepen en absoluut onacceptabel.

Rebuild tijden zijn echter wel iets waar je je van te voren bewust van moet zijn en rekening mee moet houden.
Je kan zelf inschatten wat de effecten zijn van de verminderde performance en het verlies van redundantie op een 'impacted' array gedurende de rebuild. RAID6 kan je eventueel wat extra zekerheid geven maar vereist een extra schijf en vaak een duurdere controller.

Build/verify met 32x 1TB in RAID60 op Adaptec 5085 duurt +48uur op high priority.

[_Arthur]

Rebuild van mijn 6.4TB array op een Areca 1222 met 8x1TB disk duurde 11,5uur met Background Task Priority op High (80%).

[ Voor 21% gewijzigd door _Arthur op 13-02-2009 12:10 ]

[nose]

Ik heb op het moment 4x1TB aan m'n ARC-1222 hangen in RAID5, en zit sterk te denken om over te gaan naar RAID6, juist vanwege het feit de rebuild tijden zo lang zijn (tot nu toe is er gelukkig nog niks uitgevallen (afkloppen!! vrijdag de 13e!!) ). Ik ben nml als de dood dat er een schijf uitvalt terwijl 'ie aan het rebuilden is.

[_Arthur]

nose schreef op vrijdag 13 februari 2009 @ 13:39:
Ik heb op het moment 4x1TB aan m'n ARC-1222 hangen in RAID5, en zit sterk te denken om over te gaan naar RAID6, juist vanwege het feit de rebuild tijden zo lang zijn (tot nu toe is er gelukkig nog niks uitgevallen (afkloppen!! vrijdag de 13e!!) ). Ik ben nml als de dood dat er een schijf uitvalt terwijl 'ie aan het rebuilden is.

Je hebt toch een backup van je belangrijke zaken? En ipv raid6 kan je natuurlijk ook een hotspare toevoegen.

[Kokkers]

_Arthur schreef op vrijdag 13 februari 2009 @ 13:47:
[...]
En ipv raid6 kan je natuurlijk ook een hotspare toevoegen.

Op een RAID6 set kunnen in theorie 2 schijven uitvallen zonder data er data verloren gaat, met het toevoegen van een hotspare aan een RAID5 set loop je nog steeds risico tijdens de (tijdrovende en disk intensieve) rebuild periode. Dit laatste is volgens mij waar het de topicstarter om gaat.

RAID 6 is no more space inefficient than RAID 5 with a hot spare drive when used with a small number of drives, but as arrays become bigger and have more drives the loss in storage capacity becomes less important and the probability of data loss is greater. RAID 6 provides protection against data loss during an array rebuild; when a second drive is lost, a bad block read is encountered, or when a human operator accidentally removes and replaces the wrong disk drive when attempting to replace a failed drive.

[ Voor 42% gewijzigd door Kokkers op 13-02-2009 14:05 ]

[psy]

Als ik een goedkopere Rocketraid hostraid zou kiezen, welke geen RAID6 ondersteunt, kan ik eventueel kiezen voor een hotspare wat me een stuk veiliger lijkt, maar loop ik wel extra risico dat tijdens een lange rebuilt nog een schijf kapot gaat. En ik denk dat een hostbased controller nog langer doet over een rebuild als een hardecontroller.

Terwijl ik in die RAID5 + hotspare evenveel schijven kwijt ben, als in een RAID6 situatie. Maar daar heb ik dus wel zowiezo een Areca 1120 of Rocketraid 3520 voor nodig.

By the way, bedankt voor de reacties tot zover, ik ben blij dat er genoeg mensen zijn met praktijkervaringen hierover.

[ Voor 10% gewijzigd door psy op 13-02-2009 14:17 ]

[Kokkers]

psy schreef op vrijdag 13 februari 2009 @ 14:16:
Als ik een goedkopere Rocketraid hostraid zou kiezen, welke geen RAID6 ondersteunt, kan ik eventueel kiezen voor een hotspare wat me een stuk veiliger lijkt, maar loop ik wel extra risico dat tijdens een lange rebuilt nog een schijf kapot gaat. En ik denk dat een hostbased controller nog langer doet over een rebuild als een hardecontroller.

Terwijl ik in die RAID5 + hotspare evenveel schijven kwijt ben, als in een RAID6 situatie. Maar daar heb ik dus wel zowiezo een Areca 1120 of Rocketraid 3520 voor nodig.

By the way, bedankt voor de reacties tot zover, ik ben blij dat er genoeg mensen zijn met praktijkervaringen hierover.

Als je je zoveel zorgen maakt over de beschikbaarheid van je data zou ik me eerder zorgen maken over hoe je het spul backupt dan over of je RAID5 of RAID6 moet gebruiken. De cliché uitspraak RAID is geen backup doe ik dan toch nog even tussendoor.

Data op complexere RAID sets kan op veel meer manieren verloren gaan dan door het uitvallen van schijven.
Sterker nog, ik durf misschien zelfs wel te beweren dat het uitvallen van schijven minder vaak voor dataverlies op een RAID set zorgt dan, human-error, software/firmware/driver problemen of voeding/spanningsproblemen etc.

[psy]

Belangrijke persoonlijke data worden reeds gebackupped, op aparte schijven en een externe schijf. Ik ben in het verleden te vaak geconfronteerd met uitgevallen schijven (met dank aan IBM). De te bouwen RAID array zal alleen series films en tv opnames bevatten. Ik wil alle dvd’s die ik heb hier ook op gaan zetten maar ga de dvd’s niet weggooien. Ik zie het dus ook niet als backup, maar meer als een riante grote schijf. Mijn eigen LSI 320-2E heeft er ook een handje aan om wel eens een schijf uit het RAID0 array te gooien. Is geen ramp want alles staat toch gerepliceerd opmijn server.
Ik vertrouw het dus zowiezo nooit 100%, die RAID array’s…

[nose]

_Arthur schreef op vrijdag 13 februari 2009 @ 13:47:
[...]

Je hebt toch een backup van je belangrijke zaken? En ipv raid6 kan je natuurlijk ook een hotspare toevoegen.

Uiteraard wordt belangrijke data ge-back-upped op tape. Maar een hotspare toevoegen aan raid5 lost nog niet het probleem op wat ik schetste: ik ben als de dood dat er tijdens het rebuilden nóg een schijf uitvalt. Vandaar dat ik raid6 met een hotspare wil gaan draaien.

[_Arthur]

nose schreef op vrijdag 13 februari 2009 @ 22:48:
Uiteraard wordt belangrijke data ge-back-upped op tape. Maar een hotspare toevoegen aan raid5 lost nog niet het probleem op wat ik schetste: ik ben als de dood dat er tijdens het rebuilden nóg een schijf uitvalt. Vandaar dat ik raid6 met een hotspare wil gaan draaien.

Ik zou dan in jouw geval niet eens aan Raid beginnen maar alle disks gewoon los gebruiken en de data hier met een robocopy-tool naar toe kopieren.

[axis]

Koop een goedkope simpele non-RAID sata controller of een JBOD controller, en gebruik ZFS op Solaris/FreeBSD. Heb je met RAIDZ checksumming, write hole protection, etc,

nog wat benchmarks (helaas geen specs over hoeveel disks): http://blogs.sun.com/bmse...d_performance_sun_storage

nog een quote

Nissim Ben Haim wrote:
> I was asked by a customer considering the x4500 - how much time should
> it take to rebuild a failed Disk under RaidZ ?
> This question keeps popping because customers perceive software RAID as
> substantially inferior to HW raids.
> I could not find someone who has really measured this under several
> scenarios.

It is a function of the amount of space used. As space used -> 0, it
becomes infinitely fast. As space used -> 100% is approaches the speed
of the I/O subsystem. In my experience, no hardware RAID array comes
close, they all throttle the resync, though some of them allow you to
tune it a little bit. The key advantage over a hardware RAID system is
that ZFS knows where the data is and doesn't need to replicate unused
space. A hardware RAID array doesn't know anything about the data, so
it must reconstruct the entire disk.

Er zijn ook wat mensen met problemen geweest, maar goed.

[_Arthur]

axis schreef op zaterdag 14 februari 2009 @ 10:22:
nog wat benchmarks (helaas geen specs over hoeveel disks): http://blogs.sun.com/bmse...d_performance_sun_storage

Je hebt ook de comments op die post gelezen lijkt me? Men vergelijkt appels met niet eens peren maar met bananen.

Verder, waarom denkt men dat een gebruiker even van OS wisselt puur en alleen om van ZFS gebruik te gaan maken ontgaat mij.

[axis]

_Arthur schreef op zaterdag 14 februari 2009 @ 10:41:
[...]

Je hebt ook de comments op die post gelezen lijkt me? Men vergelijkt appels met niet eens peren maar met bananen.

Appels, peren of bananen, het geeft misschien weer wat inspiratie ook al zijn de getalletjes geen keurige vergelijking.

Verder, waarom denkt men dat een gebruiker even van OS wisselt puur en alleen om van ZFS gebruik te gaan maken ontgaat mij.

Ik weet niet wat de TS voor OS gebruikt, dus ik weet niet of hij moet wisselen. Is ook niet aan mij om dat prioriteiten aan te stellen, maar het lijkt me logisch dat voor een nas servertje het os ondergeschikt is aan andere eigenschappen, zoals performance en features. Maar ik weet ook niet wat ie allemaal op die doos heeft draaien.

Ik geef alleen wat voorzetjes, zoals lage rebuild time, snapshots, checksumming, write hole protection, transactional filesystem, built-in compression, etc. Het is dan aan eenieder om voor zichzelf die afweging te maken.. Het ongaat mij dat je dat ontgaat