backup workflow klein video bedrijf

[menne]

Beste Tweakers,

ik ben afgelopen week wezen brainstormen over een haalbare (en betaalbare) backup workflow voor een klein videobedrijf. Het gaat vooral om de backup als er hardware kapot gaat, en niet zozeer user errors. Het budget is niet groot dus het is roeien met de riemen die ik heb (denk aan ~ 1000,- max).

Ter illustratie heb ik een tekening hieronder gepost, maar ik zal de situatie ook in het algemeen uitleggen. We hebben voor klanten ruw video materiaal, vervolgens gaan wij ermee aan de slag. We slaan het materiaal op externe schijven op die aan Macs zijn gekoppeld. Vanaf deze schijven werken we, doen we edits, converteren we het ruwe materiaal en maken we vervolgens de eindproductie. Alles bevind zich dus op deze schijven. Het gaat al gauw over 6TB ~ 8TB (encounting).

Aangezien er op dit moment geen mega budget is, maar er zeker wel iets moet worden gedaan om hardware failures etc. te kunnen opvangen heb ik het volgende bedacht. Graag jullie mening, suggesties, kritiek, hopelijk kom ik daarmee tot de verstandigste keuze.

Idee:

Klik voor grotere versie


1. De ruwe data komt binnen op een SD kaart. We kopieren deze data naar de werkschijf waarop iemand er mee aan de slag zal gaan. Het ruwe materiaal kopieren we ook direct naar een schijf de we altijd ergens anders hebben liggen (en deze wordt alleen meegenomen als er nieuw materiaal binnenkomt).

2. Ik zet een NAS neer met genoeg opslag en ik stel backup software in om dagelijks te kijken welke bestanden zijn aangepast op alle externe schijven die op verschillende Mac's zijn aangesloten. Deze data wordt gesynchroniseerd naar de NAS.

3. Aangezien we de videodata niet in de cloud kunnen zetten, maar we wel onze projectfiles, waarin alle edit gegevens staan extra willen veiligstellen, stel ik de NAS zo in dat alle project files automatisch in de cloud worden gezet.

Mocht er echt iets dramatisch gebeuren (hele toko leeg geroofd, brand etc) dan kunnen we het ruwe materiaal dat we bij stap 1 op een externe disk hebben gezet (en deze ligt thuis) opnieuw omzetten. Vanuit de cloud pakken we dan de meest recente edit en dan hebben we de basis montage terug. We missen dan wel alle andere zaken zoals animaties e.d. Maar goed, anders moeten we álles op een of ander manier off site zien te krijgen. Met ons budget is dat denk ik niet haalbaar. Het hele administratieve gedeelte (alle tekst documenten, offertes, productie, scripts) slaan we op via Google Drive (zodat we er allemaal bijkunnen en ook de data direct in de cloud is mocht de toko afbranden).

Dat is globaal wat ik nu in gedachten heb. Ik heb ook gekeken naar bijvoorbeeld direct externe harddisks die RAID-1 staan (goed, dit is geen échte backup maar wel beveiliging tegen hardware failure), maar als je zo'n schijf laat vallen, water overheen gooit of wat dan ook dan is het gemakkelijk om ze allebei tegelijk te slopen. Dus dat lijkt me niet handig.

Tips, suggesties, kritiek, ik verneem het graag

Bedankt voor het lezen van deze wall of text...

[ Voor 3% gewijzigd door menne op 29-06-2012 16:19 ]

[Mike2k]

Om hoeveel data gaat het eigenlijk ? (wat er bij komt)

[ Voor 20% gewijzigd door Mike2k op 29-06-2012 16:23 ]

[Dadona]

Aangezien jullie blijkbaar externe partijen wel vertrouwen, afhankelijk van hoe snel de data groeit (als in, hoeveel GB komt er gemiddeld per dag bij) kun je kiezen voor een offsite backup als Crashplan. Bij Crashplan is het mogelijk om de initiële backup fysiek (middels harde schijven) op te sturen. Dan heb je de eerste 6-8TB geparkeerd.
Mocht een partij als Crashplan niet bevallen (goedkopere storage is in Amerika, het feit dat er een extra partij bijkomt, ...) dan kun je ook overwegen om de backup naar de thuislocatie van de eigenaar van het bedrijf te sturen. Zo doe ik het voor een klein bedrijfje met een beperkt budget en de wens om data niet in andermans handen te laten vallen. (Ze deden ooit aan de zelfde actie met een A en B externe schijf voor backup, daar waren ze consequent in, maar de gewisselde schijf kwam soms pas pal voor de backup binnen. Niet handig bij issues, los van dat het herstel niet echt simpel was.)

[kroegtijger]

Aangezien jullie core-business bestaat uit het werken met data, vind ik het opvallend dat er dermate weinig budget wordt vrijgemaakt zo iets bedrijfs-essentieels...
Wat zou het kosten als je de data een keertje kwijt zou raken?? Dan lijkt die 1000,- me een schijntje, en zelfs met 3000,- zit je nog verdomde laag vermoedt ik zomaar...

Maar goed, om een fatsoenlijke storage-methode te gaan hanteren lijkt het me om te beginnen zinvol dat er niet langer meer per werkplek data wordt weg geschreven, maar dat je dit gaat centraliseren dmv een NAS of SAN. Om het voor de gebruikers werkbaar te houden zal je dus wel een fatsoenlijke ethernet-verbinding moeten hebben, waarbij ik denk dat je niet aan een GB-verbinding gaat ontkomen, en met een beetje pech dus niet alleen switches e.d. moet vervangen, maar ook bekabeling.

Pas vanuit zo'n situatie kun je naar betrouwbare werk-situaties gaan toewerken met backups.
Zolang ieder voor zich bezig blijft met zn eigen externe diskje is het imho dweilen met de kraan open.

Mocht je, ondanks dit, toch met de huidige werk-methode door blijven willen gaan, dan is de goedkoopste manier een 2e externe HDD per werkplek erbij te leggen, automatisch bij het wegschrijven van een file naar disk een copy naar disk 2 te laten maken, en iedereen verplichten om deze eind van de werkdag mee te nemen danwel in de kluis te leggen...
Maar nogmaals, dat is vragen om problemen!

[Reacher]

Heb je al wel bekeken of je al je changed data binnen je backup window kunt backuppen?

Ik zou eerder kiezen voor een centrale oplossing vanwaar iemand dan eventueel zn data naar lokaal kan kopiëren. Je masterdata is dan ook direct je backupped data. En je zou eventueel versioning toe kunnen passen of volume shadow copieus

[menne]

Mike2k schreef op vrijdag 29 juni 2012 @ 16:22:
Om hoeveel data gaat het eigenlijk ? (wat er bij komt)

Dat vind ik erg lastig om te zeggen. Laten we voor het gemak zeggen dat we bijv. per week ongeveer 60GB aan ruw materiaal hebben vanaf memory cards. Maar deze data is al gauw 5x zo groot (of meer) zodra we het omzetten om er mee aan de slag te gaan. Zodra je zaken gaat renderen komen er ook nog render files bij (die op zich niet belangrijk zijn, maar de externe werkschijf loopt er wel mee vol). Natuurlijk hebben we na verloop van tijd bepaalde zaken afgesloten en hoeven we niet elke originele file jaren nog te bewaren (meestal gewoon de eindmontages in hoogste kwaliteit, de ruwe opnames (die kleiner zijn) en dan nog wat losse zaken). Dus soms gaat er ook weer data weg.

Aangezien jullie blijkbaar externe partijen wel vertrouwen, afhankelijk van hoe snel de data groeit (als in, hoeveel GB komt er gemiddeld per dag bij) kun je kiezen voor een offsite backup als Crashplan. Bij Crashplan is het mogelijk om de initiële backup fysiek (middels harde schijven) op te sturen. Dan heb je de eerste 6-8TB geparkeerd.

Bedankt voor de tip. Het enige waarmee ik zit is dat we op gewone internetlijn zitten van Ziggo, dus denk aan max. 1 MB upload / seconde. Het is inderdaad handig dat je initiële data fysiek kunt aanleveren, maar ik zie wel voor me dat zeer regelmatig dingen opnieuw gerendered worden waarbij we weer aardig berg aan GB's erbij krijgen wat denk ik nauwelijks te verwerken is via zo'n Ziggo lijn. Ik zal sowieso CrashPlan verder uitzoeken of het misschien toch een meerwaarde voor ons is.

Aangezien jullie core-business bestaat uit het werken met data, vind ik het opvallend dat er dermate weinig budget wordt vrijgemaakt zo iets bedrijfs-essentieels...
Wat zou het kosten als je de data een keertje kwijt zou raken?? Dan lijkt die 1000,- me een schijntje, en zelfs met 3000,- zit je nog verdomde laag vermoedt ik zomaar...

Ja klopt, ik zou het ook echt liever anders hebben. We zijn allen momenteel freelancers en gaan nu gezamenlijk een bedrijf starten. Op dit moment hebben we extra kapitaal gewoon niet liggen. Centrale opslag heb ik ook uitgezocht, voor videobewerking zit je dan vanaf 8500,- (dan heb je een SPACE server, per werkplek eigen Gbit verbinding, ontwikkeld voor simultaan HD editing etc). Dat is op dit moment echt niet te betalen. Het liefst ga ik ook met zoiets aan de slag, maar de beschikbare middelen dwingen ons op dit moment om te kiezen voor omslachtige oplossingen. Maar het liefst kiezen we dan de minst omslachtige binnen de financiële mogelijkheden zodat we in ieder geval zeker zijn van een basis rescue plan, ipv dat alles echt verloren is mocht er iets goed misgaan Ik denk namelijk dat een gewone NAS zoals een QNAP (heb ik thuis staan) niet voldoende gaat zijn voor simultaan HD editing, omzetten van video files e.d.

Om het voor de gebruikers werkbaar te houden zal je dus wel een fatsoenlijke ethernet-verbinding moeten hebben, waarbij ik denk dat je niet aan een GB-verbinding gaat ontkomen, en met een beetje pech dus niet alleen switches e.d. moet vervangen, maar ook bekabeling.

We gaan naar een nieuw pand waar niets ligt, dus wat dat betreft beginnen we wel met een schone lei.

[ Voor 30% gewijzigd door menne op 29-06-2012 16:50 ]

[Dadona]

Ik ben met opzet niet ingegaan op het centralisatie aspect. Natuurlijk is dat erg prettig, maar daarvoor moet je meer kennis hebben over het budget, wat werknemers doen (meerdere editors met layered multicam footage) en met welk specifiek beeldmateriaal (bitrate). Dit alles maakt dat je dan uiteindelijk een inschatting kunt maken van wat voor server en wat interconnectie noodzakelijk is.

[kroegtijger]

je kan natuurlijk wat betreft centrale storage ook kleiner beginnen.
Neem je een MSA van HP, dan ben je daar ook niet de wereld voor kwijt. Je kan ook eens een blik werpen op de storage-oplossingen van Dell. De Equallogics zijn prima van ze, maar ook de lagere modellen zijn best acceptabel.
Als je bijvoorbeeld een NX200 zou nemen, dan ben je daar ongeveer 1000,- aan kwijt, en kun je de centrale storage al realiseren. Dat geeft je een veel betere uitgangspositie dan de door je bedachte QNAP. Dan hoef je er alleen nog een LTO3-drive bij te scoren en draai je 1x per week een full backup en de rest van de week een differential. Zit je qua kosten iets boven je budget, maar heb je wel een systeem waarmee je vooruit kan op door kan bouwen.