Monitoring van grote hoeveelheid foto's en videos

[Edwin88]

Beste mede Tweakers

Ik heb een indrukwekkende digitale collectie foto's en video's (80.000+) van medio 2003 tot nu, goed geordend in allerlei mapjes op datum en met wat metadata. Deze staan op een Ubuntu desktop die via Dropbox de bestanden binnen trekt die ik via mijn laptop in Dropbox plaats. Ik gebruik de 'selective sync' zodat ik niet de hele collectie op mijn laptop hoef te hebben, alleen het meest recente jaar.

Ook mijn grote collectie documenten (oude studiebestanden, bedrijfsadministratie, allerlei hobby project-bestanden) 'backup' ik op deze manier via Dropbox naar mijn tweede computer.

Waar ik onlangs een beetje bang voor ben geworden is dat ik, bewust of onbewust, een keer per ongeluk wat mappen versleep naar een niet-Dropbox folder, dat de bestanden corrupt raken of dat ik slachtoffer word van een file-encrypt virus en alles kwijt raak. Ik heb op zich voldoende vertrouwen in Dropbox en hun cloud-kunstjes, maar soms bekruipt me een gevoel dat het niet voldoende veilig is.

Ik wil op zich wel een tweede, offline, externe backup gaan aanmaken en die uit huis plaatsen die ik dan af en toe bijwerk, maar ook dit beschermd volgens mij niet helemaal voor 'menselijke fouten'.

Hoe lossen jullie dit op? Wat is jullie backup geheim waardoor je zorgvrij kan slapen?
Is er een software oplossing die bijvoorbeeld wijzigingen in bepaalde mappen kan 'monitoren' en een notificatie kan geven als iets veranderd in een map die niet zou moeten veranderen? Foto's uit 2014 zouden in principe niet meer aangepast worden en kunnen dus worden 'gelocked', soort van.

Ik ben erg benieuwd naar hoe anderen dit oplossen .

[DynaMikeY]

Ik sla mijn foto's op op een QNAP TS-410 met 4x 2TB in RAID5. (effectief 5.5TB)

Een groot gedeelte hiervan is niet belangrijke data (films, series), maar een paar dingen beschouw ik wel als belangrijk:

• Foto's (vanaf 2001 keurig geordend per jaar, en vervolgens per gebeurtenis in het volgende format: 'yyyy-mm-dd Naam gebeurtenis'.
• Familyvideo's (baby &kinder video's etc.)
• Persoonlijke data (documenten, scans, PHD data van mijn vriendin)
• MP3 collectie (deze ben ik in de loop der jaren als steeds belangrijker gaan beschouwen, aangezien ik al meer dan 15 jaar aan het opbouwen ben, en alle MP3's keurig getagt zijn en alle bestanden & mappen een eenduidige naamgeving hebben.

Bovenstaande data is zo'n 300GB bij elkaar.

De gegevens op de QNAP worden 's nachts gesynced (1 way) naar een Conceptronic NAS met 2x 1TB in RAID1 (mirror). Deze NAS wordt alleen voor backup gebruikt, geen live data. Er wordt ook geen data verwijderd door de syncjob, zodat in het geval van 'per ongeluk deleten' de map nog steeds op de Conceptronic terug te halen is.

En omdat ik ook graag een offsite backup wilde, heb ik bij mijn vader (die 100km verderop woont) nog een Conceptronic NAS staan met 2x 500GB RAID1, die per FTP bereikbaar is, en waarnaar ik handmatig +/- 1x per maand een upload uitvoer. Toch wel prettig dat zowel hij als ik glasvezel hebben (ik 100/100Mbps in Amersfoort, hij 60/60Mbps in Veldhoven).

Omdat ik nogal paranoide ben mbt. mijn data overweeg ik ook nog een 2.5" USB diskje aan de QNAP te hangen, om hier een automatische backup op de laten uitvoeren. Het voordeel hiervan is dat als het huis in brand staat ik heel snel al mijn data mee kan nemen. (zuiver theoretisch, I know )

Omdat mijn pa de NAS in zijn huis ook gebruikt om zijn persoonlijke data op te backuppen, heeft deze nog maar 10% vrij. Ik heb al een paar upgrade disken van 2x 1TB hiervoor klaarliggen

Ik heb het gevoel dat het toch gek moet lopen wil ik mijn data kwijt raken

[Room42]

Je kunt ook gaan voor een online backup. Zowel Crashplan, Backblaze en KPN hebben onbeperkte opslag voor rond de 5 euro per maand.

[johnkeates]

Je hebt inderdaad een backup nodig. Cloud diensten zijn niet direct ook een backup, maar slechts een synchronisatie systeem of doorgeefluik, in het geval van Dropbox dan

Een backup met historie en snapshots is wat je wil, stel dat je een keer toch een cryptolocker te pakken hebt terwijl je op vakantie bent en bij terugkomst moet ontdekken dat je backup automatisch gemaakt is en die dus ook een kopie van versleutelde data is geworden... niet heel praktisch Met een snapshot of historie systeem kan je naar een backup van een bepaalde periode gaan, wat ook praktisch is voor perongeluk gewiste media.

[Compizfox]

Edwin88 schreef op maandag 10 augustus 2015 @ 01:59:
Hoe lossen jullie dit op? Wat is jullie backup geheim waardoor je zorgvrij kan slapen?

Ik ben erg benieuwd naar hoe anderen dit oplossen .

Mijn datastrategie heeft vrij weinig met Dropbox of andere clouddiensten van doen, maar vooruit, ik zal hem uitleggen

Al mijn data staat op m'n server, die voor dit doel ('t is een VM, maar dat doet er niet toe) FreeBSD draait met ZFS. De data staat op een RAID-Z1 mirror, dus één van de drie schijven mag uitvallen zonder dat er iets stuk gaat. Dat is voor mij voldoende redundancy, want de kans dat er een tweede schijf uitvalt in een degraded state is klein zat.

Bovendien is dit ZFS, dus dit beschermt mijn data tegen bitrot en andere vormen van corruptie.

Op mijn vaste PC benader ik deze data direct via CIFS/SMB. Op mijn laptop synchroniseer ik (een subset van) de data met Owncloud.

Het gedeelte van m'n data dat ik niet kwijt wil raken, wordt vervolgens offsite gebackuped met Crashplan. Momenteel staat dit zo ingesteld dat Crashplan meerdere backupsets bijhoudt, bijvoorbeeld van een dag geleden, van een week geleden en van een jaar geleden. Dit wil ik echter gaan omgooien, en gebruik gaan maken van ZFS snapshots. Op die manier staat mijn bescherming tegen user-error (per ongeluk verwijderen oid) 'dichterbij' en hoef ik daarvoor niet mijn offsite backup te raadplegen. Op die manier heb ik dus bescherming tegen:

• Schijfuitval, door RAID-Z
• Corruptie, door ZFS
• User-error, door ZFS snapshots
• Brand/disaster, door Crashplan

[ Voor 6% gewijzigd door Compizfox op 10-08-2015 03:39 ]

[Edwin88]

Na jullie verhalen te lezen denk ik dat ik kan slapen als ik een one-direction periodieke backup instel naar een externe locatie. Met de cloud van Dropbox als primary backup voor uitval van eigen hardware en een secundaire backup voor human error / crypto virussen enzo..

Iemand ervaring met Crashplan/Backblaze/KPN?
Of, gezien ik al Dropbox Pro heb (10/maand-1TB), een externe schijf/NAS plaatsen in ander huis?

[Rannasha]

Hier ook een ZFS setup. In mijn geval ZFS-On-Linux op een Ubuntu 12.04 LTS systeem (moet nog steeds een keer upgraden). Ik gebruik RAID-Z1 met 4 * 2 TB, dus 6 TB netto opslag.

ZFS beschermt tegen bitrot en dergelijke corruptie. Daarnaast maak ik zo nu en dan een snapshot van de belangrijke folders. ZFS snapshots zijn een read-only kopie en, dankzij de copy-on-write structuur van het filesysteem, nemen geen ruimte in zolang de gekopieerde bestanden niet veranderen of verwijderd worden. Het overgrote deel van de bestanden die in een snapshot zitten bij mij zijn foto's en video's. Deze worden niet meer aangepast, dus het snapshot neemt nauwelijks ruimte in.

Dit systeem draait bij mij op een zelfbouw NAS die als primaire backuplocatie dienst doet. Iedere week draait er een backup-taak (Syncback). Daarnaast heb ik op mijn kantoor een externe harddisk die ik af en toe mee naar huis neem om een backup op te zetten. Dit is een simpele, maar effectieve off-site oplossing.

edit: Je zou zelfs de grootte van een ZFS snapshot kunnen gebruiken als een soort houtje-touwtje bewaking van je bestanden. Als iets de bestanden verwijdert of wijzigt, dan groeit het snapshot. Dus als je een forse wijziging ziet in de grootte van het snapshot van een set bestanden die normaal gesproken niet gewijzigd worden (behalve kleine dingetjes als Windows die Thumbs.db aanpast enzo), dan is er mogelijk iets aan de hand.

[ Voor 18% gewijzigd door Rannasha op 11-08-2015 12:32 ]