6Tb of meer storage voor Video, Afrikaanse omstandigheden

[Verwijderd]

Dag

Mijn broer runt in Afrika een audio/video studio.
Die studio kan ook mobiel, achter op een terreinwagen.
De wegen zijn zeer hobbelig en stoffig.
Alles zit 'veilig' in kisten, maar toch.
Daarin gaan de HD videocamera + snelle 2012 iMac (Thunderbolt, USB3, Gb netwerk)
en nog veel meer zooi, waaronder Accu's, 220v converter en UPS (heel kleintje!).

Op dit moment heeft hij een aantal WD schijven als externe storage.
Dat is lang niet genoeg voor het nieuwe project waar hij aan gaat werken.
Bovendien gaan die schijven nogal eens stuk (stof?), ze worden gebruikt in de 'gewone'studio, niet mobiel.

Hij zoekt een opslag van minimaal 6Tb, maar wil ook een fatsoenlijke backup (nogmaals minimaal 6Tb?), of in ieder geval een RAID oplossing met reserve hdd's.

De storage oplossing moeten tegen een stootje kunnen, tegen stof, tegen hoge (40+?) temperaturen, regelmatige power failures (gaat echt niet altijd goed!), en het moet allemaal betrouwbaar zijn. Sterker nog als er iets stuk gaat in de rimboe, moet het eigenlijk met een kruiskop schroevendraaier, 'standaard onderdelen' en zwarte tape te repareren zijn. Denk aan expeditie omstandigheden. Less is more, simplicity is a virtue.
Thuis is er iets meer mogelijk, maar het blijft Afrika. Alles wat je invoert wordt (soms onredelijk) zwaar belast en de levering duurt weken of maanden. In het algemeen geven we de spullen mee het mee aan bevriende reizigers.

Oja, en natuurlijk mag het allemaal liefst zo min mogelijk kosten, al heeft kwaliteit terecht zijn prijs. Snelheid is weer iets minder belangrijk, want tijd is in Afrika relatief goedkoop.

Bij het kijken naar externe storage oplossingen duizelt het ons nogal. Externe multi disk schijven (LaCie, Buffalo, G-Technology), NAS (Qnap, Synology), Storage servers (?), ZFS systemen (b.v. de zelfbouw van de BBG maart 2013). Is een 2e systeem nodig voor de back-up, of is een goede Raid met extra schijven ook een serieuze oplossing? Die broer van me weet niks van Linux of ZFS, en niet al te veel van Windows / Mac os.

Opties te over, maar wat zou nou een goede oplossing zijn om daar in de rimboe te gaan gebruiken?
Daarom de vraag maar eens op het Tweakers forum gepost. Kijken of jullie advies hebben voor een 'eenvoudige' 6Tb+ storage oplossing voor 'ongewone' omstandigheden.

Alvast bedankt


Aanvulling nav reacties:

Dank jullie allen voor de reacties.

SSD is prachtig, en met bescherming tegen stroomuitval waarschijnlijk de beste keuze.
Maar wel te duur. Sd kaartjes ook mooi, maar te duur.

Reepje slaat de spijker op zijn kop. Keep it as simple as possible. Losse schijven staat ons het meest aan.
En laat Raid ook maar zitten. Dat is prachtig, met wat scherpe randjes soms, maar als de controller stuk gaat . . . brrr.

Maar:

1) 2.5 of 3.5?

Zijn 2.5" schijven inderdaad veel robuuster dan die 3.5" schijven? En is dat het prijsverschil waard naar jullie mening?

2) hoe ga je die schijven interfacen?

Ik ken van die docks voor schijven, maar een kennis had daar ook gedoe mee. Slecht contact maken, speling tussen schijf en dock, etc. Een dock lijkt 'simple' maar is het daar dan dus niet! Een case is minder handig, want die moet steeds open en dicht. Een eenvoudige en robuuste set 'stekkers' is ook goed, met een apart kastje om van esata naar USB3 / Thunderbolt te gaan. Bestaat zo iets uberhaupt? Zijn er andere robuuste interfacing oplossingen voor losse schijven soms?

(Als die interface stuk gaat heb je alsnog een probleem, maar dat is minder groot dan met Raid. Een 'gewone' geformatteerde esata schijf is altijd nog wel ergens in te douwen.)

3) Back-up

Blijft het back-up probleem. Wat als we die oplossing met losse schijven dubbel uitvoeren? Kan de iMac dan alles naar beide schijven tegelijk wegschrijven soms? Liefst met wat controle op fouten? (ja, dit ruikt sterk naar Raid, ik weet het, maar dat wilden we nou juist niet ;-). Lijkt met een mij nog onbekend progje op de iMac wellicht mogelijk, of kent de iMac soms nog elegantere oplossingen om twee externe schijven te spiegelen?
Achteraf een copie maken op de 2e schijf kan ook hoor. Dat is met stroomuitval misschien ook veiliger dan 'on the fly' twee schijven te spiegelen in hard/software.

Nogmaals hartelijk bedankt voor de reacties en het meedenken!

[ Voor 30% gewijzigd door Verwijderd op 16-10-2013 12:38 ]

[TERW_DAN]

8 van deze dingen in RAID6 ofzo pricewatch: Samsung 840 EVO 1TB
Dat is niet goedkoop, maar 500 euro voor een 1TB SSD vind ik niet eens zo heel extreem meer eigenlijk. Ik ga er vanuit dat je 6TB bedoelt, anders heb je natuurlijk aan 1 zo'n drive zat, want dat is al 8Tb.

Je bent dan namelijk wel van het probleem af dat je HDDs dood gaan door schokken en stof. Daar hebben SSDs stukken minder last van.
Daarbij zijn ze een stuk zuiniger, waardoor je ook niet veel hoeft te doen aan je (dure) UPS. En gezien waarschijnlijk wel wat robuuster zijn als HDDs heb je ook niet zo heel veel spares nodig.

[ Voor 8% gewijzigd door TERW_DAN op 15-10-2013 17:56 ]

[_trickster_]

Voor een 'goedkopere' oplossing heeft het mischien ook wel zin om te kijken naar een Zuinig DIY servertje, met verschillende HDD's in een ZFS opstelling. aangezien hier ook gelijk een stukje error-correctie op zit, en vaak goedkoper is dan een Grote NAS.

Bekijk anders ook eens het Zuinige Server Topic, en het Grote ZFS topic.

[Reepje]

Het grote probleem is inderdaad dat als het stuk gaat, je soms lang op vervanging moet wachten.

Wat ik raar vind, is dat de schijven geregeld stuk gaan.

Ik zou je niet aanraden met nassen, backup servers, raid ed te gaan werken. Dat is heel handig in Nederland maar onder afrikaanse omstandigheden is de de regel Keep it as simple as possible. Kan weer meer stuk gaan. De schijven extern, stuk voor stuk gebruiken, blijft gewoon het veiligst. Want zo een apparaat kan ook weer stuk gaan, en dan sta je er maar naar te kijken zonder dat een oplossing mogelijk is.

Voor het schokkerige werk zijn ssd's natuurlijk het ding.

(werkervaring: 4 jaar Kenia, 2 jaar Zambia, 1 jaar Mozambique, 4 jaar Zimbabwe en dan nog een flink aantal kortere projecten in de regio)

[Verwijderd]

Helemaal eens met Reepje.
Ik denk dat ik een stapel 1TB SSD's zou kiezen voor opslag. De pricewatch: Samsung 840 EVO 1TB SSD's zijn èn betrouwbaar èn per GB het goedkoopst.

De vraag is alleen of je voor een set aan elkaar geknoopte schijven gaat in een NAS achtige behuizing, of dat je per SSD een externe case neemt. Beide hebben pro's en con's
Misschien is een combi een optie: een Raid6 met 8 schijven voor 6TB diskruimte en een x aantal 'losse' SSD's in een USB/Thunderbolt/E-Sata behuizing.
Mochten er dan SSD's in de RAID set uitvallen zou je die kunnen vervangen door een van de losse exemplaren. Mocht de RAID set geheel uitvallen heb je toch nog externe Disks.

[KillerAce_NL]

Ik zou ook denken aan een server met redundante voeding, ssd array en een ups. Zorg alleen wel dat je low voltage servers gebruikt, die zijn wat minder krachtig maar zuiniger en kunnen vaak tegen wat hogere temperaturen.
Ik zou geen consumenten nasjes nemen maar servers die wereldwind te krijgen zijn, dell, hp, etc. Dan zitje met je spares goed.

[jeroen3]

Kun je geen stapel laptop schijven gebruiken? Die zijn lichter, zuiniger, en beter geschikt voor transport.
Je hebt wel veel nodig, maar dat is mogelijk goedkoper dan die SSD's.

[RobinHood]

Veel kans op powerfailure en dan SSD's zonder powercaps aanraden? Eh, waar is de logica?

Als je het SSD pad gaat bewandelen, neem dan spul met powercaps, zodat bij een powerloss toch heel wat veiliger zit.

Zelf zou ik het ook gewoon zo simpel mogelijk houden, RAID is weer een extra schakel die stuk kan gaan.

Het goedkoopste is gewoon een bult 2,5" HDD's, die een stukje steviger zijn dan de 3,5" versies en dan Reepjes idee gebruiken.

[PilatuS]

Als je voor SSD's zou gaan.

pricewatch: Crucial 2.5" M500 960GB

Deze kunnen veel beter tegen stroomuitval dan Evo's.

[P_Tingen]

En gewoon domme SD-kaartjes, is dat een optie? Je hebt er wel een stuk of wat nodig, maar SD-kaartjes zijn zo robuust als wat. Voor €77 heb je 128 GB met een pricewatch: Kingston SDXC SDX10V/128GB

Je zou er wel heel wat nodig hebben, dus misschien wat te duur.

[Verwijderd]

[ Voor 99% gewijzigd door Verwijderd op 16-10-2013 12:34 ]

[GoT]

WD red is tegenwoordig ook al in 2,5" form factor.
pricewatch: Western Digital Red SATA 6 Gb/s WD10JFCX, 1TB
± €80 per stuk.

In een synology NAS kunnen 4 bays in:
pricewatch: Synology DiskStation DS411slim
± € 250 per stuk
Stel je zet het in RAID1 (mirror) kan je 2TB kwijt op 1 NAS, dan heb je 3x van zo'n NAS nodig.

1NAS met 4 HHD kost: 250 + 4x80 = ± 570.
3x NAS kost dan ± 1710 en zit je op je 6 TB met RAID1 als bescherming.
Je kan ook een ander rekensommetje maken met andere RAID settings of helemaal geen RAID, maar...
RAID1 (mirror) heeft als voordeel: trek er 1 uit, geef dat aan die persoon, stop weer 1 lege in je NAS en je kan weer verder.
Moet je uiteraard wel weten welke volume is gemirrord op welke HDD, anders trek je de verkeerde uit.
En je dient uiteraard extra reserve HDD's te hebben.

EDIT: Of dit Afrika zal overleven >> het is goedkoper dan 6x SSD van 1 TB.

[ Voor 6% gewijzigd door GoT op 16-10-2013 13:26 ]

[Paradox]

nu blijft de vraag, wil je 1 volume met RAID zien of mag het verdeeld zijn over verschillende schijven?

[jeroen3]

Ik denk dat er niet al te veel tijd is om een raid te rebuilden bij een nieuwe disk.

[GoT]

jeroen3 schreef op woensdag 16 oktober 2013 @ 13:05:
Ik denk dat er niet al te veel tijd is om een raid te rebuilden bij een nieuwe disk.

Verwijderd schreef op dinsdag 15 oktober 2013 @ 17:45:
Snelheid is weer iets minder belangrijk, want tijd is in Afrika relatief goedkoop.

[TERW_DAN]

Maar wat is 'iets minder belangrijk''. Een flinke array rebuilden kan goed een dag duren als je pech hebt. Is die tijd er?

[Verwijderd]

EDIT: Of dit Afrika zal overleven >> het is goedkoper dan 6x SSD van 1 TB.

Ik zie het al voor me: een aantal boxen met spindels over die geweldig hobbelige zandpaden in Afrika. Naar mijn mening is het vragen om problemen om daar aan te beginnen.

[jeroen3]

TERW_DAN schreef op woensdag 16 oktober 2013 @ 20:10:
Maar wat is 'iets minder belangrijk''. Een flinke array rebuilden kan goed een dag duren als je pech hebt. Is die tijd er?

Om een benadering te geven, een raid 1 met twee disks op 3 TB duurt 13 uur.
Rebuilden is waarschijnlijk geen optie, er moet dus een hoge uitvaltolerantie in zitten.

Bestaan tapes eigenlijk nog, ik neem aan dat er 6 TB nodig is voor eenmalig schrijven van beeld, en lezen in de montagestudio?

[ Voor 10% gewijzigd door jeroen3 op 16-10-2013 23:24 ]

[The Eagle]

Je zou dit eigenlijk eens aan Impry moeten vragen. Die filmt zelf aurorally's en is vorig jaar (zij het door teamproblemen helaas voor hem veel te kort) mee naar Dakar gegaan om te filmen Hij zal ongetwijfeld wat praktijkervaring in dit soort dingen hebben, of wellicht mensen kennen die op deze vraag een perfect antwoord kunnen geven. Ik heb hem via DM al even getipt over dit topic, dus ik hoop dat ie eerdaags reageert

Verder zou ik ook vooral niet schromen om eens een paar omroepbedrijven te bellen. En dan met name de bedrijven die de grote reisprogramma's maken (RTL travel bijvoorbeeld). Zij zullen ongetwijfeld ook perfect weten hoe je zoiets moet aanpakken Een mailtje kan nooit kwaad natuurlijk

Persoonlijk denk ik dat ik er voor zou zorgen dat ik voldoende storage bij me had in de rimboe om op te nemen. Het editten zou ik achteraf doen. Scheelt een hoop gezeul en risico's lijkt me - maar dta moet uiteraard wel mogelijk zijn

Verder bestaan er de zgn "rugged harddrives". Dat zijn gewoon hele stevige externe casings. Zie hier een vergelijk
Om het simpel te houden wel voor een HDD gaan die zowel via een externe voeding als via USB gevoed kan worden. Dan heb je iig de optie om te switchen

[maratropa]

Toch als je de prijzen van speciale rugged HD's ziet.. Ik denk ook gewoon cheap, simpel; gewoon het goedkoopste en daar een hoop extra van?

Voor 330 euro heb je 6 1TB 2,5" laptop schijffies. En dan voor elke schijf een case met usb, esata en of firewire. Alles qua converter of case is wel op ebay te vinden. Raid lijkt me ook een extra faalpunt, gewoon los gebruiken. Er is wel een hoop troep op het gebied van 2,5" cases dus ik zou opletten met wat je koopt.

Ik kan me voorstellen dat er veel externe HD's zijn met een plastic behuizing, of een slechte verbinding tussen schijf en behuizing, die bij warme temperaturen niet de schijf consequent meer koelen. Of je hebt ze ook die gewoon luchgaten hebben en zo buitenlucht binnen laten. In NL geen issue maar daar vast wel

Je wilt een behuizing van metaal die goed contact maakt met de schijf, maar hem wel goed afsluit. Je zou best een hele zooi van die kastjes met schijf tussen 2 alu strips kunnen klussen, en ze zo koelen als dat nodig is. Dan koel je iig niet de schijven direct met vochtige stoffige lucht.

[Oyster]

Verwijderd schreef op dinsdag 15 oktober 2013 @ 17:45:

3) Back-up

Blijft het back-up probleem. Wat als we die oplossing met losse schijven dubbel uitvoeren? Kan de iMac dan alles naar beide schijven tegelijk wegschrijven soms? Liefst met wat controle op fouten? (ja, dit ruikt sterk naar Raid, ik weet het, maar dat wilden we nou juist niet ;-). Lijkt met een mij nog onbekend progje op de iMac wellicht mogelijk, of kent de iMac soms nog elegantere oplossingen om twee externe schijven te spiegelen?

Ja hoor dat kan. OSX heeft er zelfs standaard functionaliteit voor. In Disk Utility kan je zelf een soft-RAID set aanmaken.

[Patatjemet]

Mijn boerenverstand zegt mij dat externe (ongekoelde) behuizingen erg ongeschikt zijn om in hoge temperaturen te werken. Dit is zeker zo als je er grote video bestanden naartoe gaat schrijven.

Eerst lijkt het mij zaak om uit te zoeken waarom de huidige schijven kapot gaan, is dit schokken, temperatuur, stof, etc? Pas dan kun je bepalen wat de aanbevolen setup zou kunnen zijn.

Op de zaken vooruit lopend....ik kan mij heel goed voorstellen dat onder deze specifieke omstandigheden ssd's juist de aanbevolen techniek zouden zijn.

[Impry]

The Eagle schreef op donderdag 17 oktober 2013 @ 00:14:
Je zou dit eigenlijk eens aan Impry moeten vragen. Die filmt zelf aurorally's en is vorig jaar (zij het door teamproblemen helaas voor hem veel te kort) mee naar Dakar gegaan om te filmen Hij zal ongetwijfeld wat praktijkervaring in dit soort dingen hebben, of wellicht mensen kennen die op deze vraag een perfect antwoord kunnen geven. Ik heb hem via DM al even getipt over dit topic, dus ik hoop dat ie eerdaags reageert

Net terug uit de Sahara in Marokko, dus hier mijn reactie.
Camera bescherm ik met een Kata stof/regenhoes. Harde schijven werk ik gewoon met WD My Passports. (2TB/USB3.0) en laptop hapt regelmatig stof.
Ik houd het dus heel basic, spul gaat toch een keer kapot maar kan best een stootje hebben.
Beter stof dan vocht denk ik maar.