[Ext RAID] Externe RAID 10 box

[Verwijderd]

Ik ben op zoek naar een externe RAID 10 (of 01) box.

Het doel van de opslag is het versnellen van mijn huidige processen; Het verwerken (o.a. file-compair) en kopieren van veel -voornamelijk- kleine bestanden.

Enkele eisen:
- USB 2.0 interface
- e-Sata interface
- Betrouwbaar
- 24/7 inzetbaar

Er is gekozen voor RAID 10 (of 10) omdat dit vaak net ietsjes sneller en betrouwbaarder is dan RAID 5.

Ik heb zelf de volgende setup in gedachte:
4 * Seagate Barracuda ES 750GB ST3750640NS
Areca ARC-5020

Een andere mogelijkheid zou de Raidsonic Stardom SR5650-4S-SB2 zijn.

Het problem is dat ik geen reviews of gebruikers ervaringen kan vinden voor beide boxen.
Heeft iemand ervaring of misschien een ander merk/box?

[0rbit]

Ik zie zelf niet zoveel in zo'n externe RAID-box. Ik heb er op mijn werk eens eentje moeten gebruiken en dat was een totale ramp. De Raidsonic en de Areca RAID-boxes die jij noemt werkt vast beter dan dat. Denk je overigens niet dat je niet ooit een ethernet aansluiting nodig gaat hebben?

Een andere mogelijkheid is denk ik zelf een systeempje bouwen met een RAID-controller erin. Dat kan voor minder geld en is veel flexibeler zeker in het geval van een hardwaredefekt aan de RAID-box.

Overigens; ik vraag me af; Voor jouw toepassing is acces time heel belangrijk. Een hardware controller met een degelijke hoeveelheid cache zorgt dan voor veel betere prestaties; Als je zo'n externe oplossing als snelheidsverbetering ten opzichte van een interne array wil gebruiken dan zul je denk ik bedrogen uitkomen.

Hoeveel data wil je precies kwijt? Misschien is het zelfs te overwegen een kleinere array te bouwen uit SSDs?

[ Voor 8% gewijzigd door 0rbit op 16-12-2008 12:05 ]

[Verwijderd]

De data komt van laptops of andere platformen af die alleen over een USB aansluiting beschikken. De data wordt verwerkt op een bak waarop een e-Sata aansluiting zit. Zelf een systeem in elkaar zetten zit er dus helaas niet in

Een LAN aansluiting is niet echt belangrijk omdat de RAID box via mijn bak zijn data op het netwerk kan zetten (dit zal zelden nodig zijn).

De hoeveelheid data ligt in de buurt van de 30 GB per “actie” (lees: de data van alle platformen aftrekken). Ik heb nu ongeveer 150 GB aan data. Dit zal ongeveer met 60 GB per kwartaal groeien. Ik heb de mogelijkheid oude data te archiveren, dus ruimte gebrek zal niet voorkomen.

[0rbit]

Verwijderd schreef op dinsdag 16 december 2008 @ 12:45:
De data komt van laptops of andere platformen af die alleen over een USB aansluiting beschikken. De data wordt verwerkt op een bak waarop een e-Sata aansluiting zit. Zelf een systeem in elkaar zetten zit er dus helaas niet in

Een LAN aansluiting is niet echt belangrijk omdat de RAID box via mijn bak zijn data op het netwerk kan zetten (dit zal zelden nodig zijn).

De hoeveelheid data ligt in de buurt van de 30 GB per “actie” (lees: de data van alle platformen aftrekken). Ik heb nu ongeveer 150 GB aan data. Dit zal ongeveer met 60 GB per kwartaal groeien. Ik heb de mogelijkheid oude data te archiveren, dus ruimte gebrek zal niet voorkomen.

En welke hardware gebruik je daar nu voor? Als je het huidige proces wil versnellen dan is het natuurlijk wel even handig om te kunnen beargumenteren dat je met een externe RAID10 box geholpen bent. Je bent hoe dan ook aan de maximale doorvoersnelheid van een USB verbinding gebonden. Mijn eerste gedachte is dus; RAID0 heeft in ieder geval geen zin. RAID1 is leuk voor de redundantie, maar sneller dan een USB-verbinding gaat het dus niet.

Maar begrijp ik het dus goed dat je bij verschillende werkplekken of iets dergelijks met een gegevensdrager langs moet gaan om de data te verzamelen? Die wil je dan op je RAID-box zetten die je middels eSATA aan je eigen bak aansluit, om vervolgens die data te gaan verwerken? Dan is het allicht mogelijk dat een RAID10 configuratie iets zou gaan helpen wat betreft doorvoer.

Is het verzamelen van de data niet het meest tijdrovend? Of gaan de bewerkingen op de data min of meer handmatig? Het klinkt als een soort sneakernet SVN server die je daar hebt

[jeroentb]

In de praktijk zijn nasjes en dasjes onder de paar honderd euro enorm traag, via USB is per definitie een ramp, van de 480mbit mag je blij zijn als je 40MByte/s haalt!
Als ze voorzien zijn van gigabit ethernet kun je beter een zelfbouw nas overwegen (kost weinig) met software raid, ik haal met een sempron 1200 45MB/s write op een raid 5 bestaande uit 3x250GB schijven, de read is 4x zo hoog, de lage write performance wordt veroorzaakt door write intend bitmapping, je kunt veel hogere snelheden halen met meer schijven of een dualcore processor en veel geheugen.
Dan werk je gewoon via het netwerk je bestanden af.

[Verwijderd]

De platformen (~8 stuks) staan op mijn bureau. Het overzetten van de data (USB) kost ongeveer 18 minuten per platform, dit gaat redelijk automatisch. Dit proces is tijd-technisch gezien het minste werk en hoeft niet versneld te worden.

In het kort: Ik vergelijk alle platformen met elkaar om te zien welke bestanden identiek (m.b.v. een hash) zijn. Hierna kan ik kleine aanpassingen maken aan de overgekopieerde data, om vervolgens nog een keer een vergelijk actie uit te voeren.
Elke vergelijk actie duurt nu ~3 uur.

Op dit moment gebeurd dit op een simpele externe USB HD. Dus de overstap van USB naar e-Sata gaat zoiezo een performance winst opleveren.
Aangezien er in het verleden al eens een HD kapot is gegaan, is de wens voor wat redundency gekomen.

Er worden overigens wel off-site backups gemaakt van de ext. HD, dus zelfs bij falende HD’s is er betrekkelijk weinig data verlies, de recovery is alleen tijdrovend.