Backup - hoe beschermen tegen stille corruptie?

[Admiral Freebee]

Ik heb al een tijdje een bepaalde strategie om mijn foto's te beheren en te backuppen. Kort samengevat werkt het als volgt:

• Foto's worden op de SSD van Computer A gezet in een structuur YYYYMM <Naam>. Dit zijn vooral JPG's en soms ook RAW images
• Hierna maak ik onmiddelijk een incrementele backup naar mijn NAS (enkele harde schijf). Hiervoor gebruik ik FreeFileSync. Dit programma kijkt enkel naar de filename en de datum waarop het bestand gewijzigd werd om verschillen te detecteren.
• Een keer om de twee weken maak ik een incrementele backup naar een externe 2.5" harde schijf met hetzelfde programma. Deze wordt offsite gelegd. Er ligt altijd nog één extra 2.5" harde schijf offsite.
• Elk half jaar maak ik de 2.5" externe harde schijven helemaal leeg en beschrijf ik ze opnieuw met de data van Computer A als master
• Tussendoor maak ik af en toe een incrementele backup van Computer A naar de harde schijf van Computer B

Veel hangt dus af van de data-integriteit op Computer A omdat ik deze als master beschouw. Verder wordt de data op de NAS nooit volledig ververst.

Nu ben ik wel wat bezorgd om stille data corruptie op computer A en bijgevolg in mijn backups. FreeFileSync heeft ook de optie om een incrementele backup te doen op basis van een verschil in file content maar dit leidt tot veel "false positives" indien een foto geopend wordt op Computer A. Dit leidt wellicht tot een verschil in een timestamp ergens en dus tot een andere checksum?

Ik heb eens alle foto's laten scannen door een programma genaamd BadPeggy. Deze gaf een aantal foto's aan met errors die nog prima leken te werken en een handvol foto's met andere errors die inderdaad visuele corruptie hadden of niet meer wilden openen. Het waren vooral oudere foto's dus ik weet niet waar of wanneer het misgelopen is. Het nadeel is dat dit programma een slecht te verwerken output heeft. Kopiëren naar een text file of spreadsheet ging niet goed en het verwerken van de output is dus erg moeilijk.

Met Google kom ik nog wat andere programma's tegen maar geen enkele mooie oplossing op Windows. Waar ik naar op zoek ben is een methode om regelmatig mijn fotoverzameling te kunnen scannen en de output te kunnen vergelijken met de vorige. Zo kan ik optredende corruptie nog opvangen met een "goede" kopie uit mijn offsite backup.

[ehtweak]

Ik ken de verhalen over (mogelijke) datacorruptie. Maar heb er zelf nog nooit last van gehad.
Oftewel bitrot: Wikipedia: Bitrot

Mijn oudste digitale beeldbestanden dateren uit 1993 en de originelen daarvan staan nog steeds op van die gouden Kodak Photo CD's. En, vorig jaar nog gecontoleerd, nog steeds prima leesbaar.
M.a.w. die zijn al 27 jaar oud en staan nog steeds op hun initiële datadrager.

Daarnaast is in de loop van de jaren mijn beeldverzameling alleen maar toegenomen. Op dit moment grofweg zo'n zeventigduizend files (mengelmoes van JPEG, RAW, TIFF en bewerkingsresultaten).
Iedere keer bij de upgrade van mijn PC wordt alle data opnieuw van de oude HDD's naar de nieuwe HDD's gekopieerd.
Daarnaast is er een (bijna) dagelijkse backup naar een NAS (RAID configuratie). En draai ik zo'n één keer per maand een integrity check; altijd 100% ok.
Daarbovenop gaat die NAS data nog een keer naar offline losse USB HDD's.

En in al die jaren heb ik nooit wat gemerkt dat een oud foto bestandje niet meer leesbaar zou zijn.
Ja, wel eens een .NEF corruptie gehad, maar dat bleek tijdens de transfer tussen geheugenkaartje en PC gebeurd te zijn. Die kon ik herstellen met recuva en/of vanuit één van mijn backup devices.

Dus tja; of bitrot nou echt vaak/veel voorkomt? Naar mijn idee blijft het een zeldzaamheid.

[EnerQi]

Een NAS gebruiken op basis van filesysteem ZFS (of btrfs)? Een next-gen file systeem op freebsd/linux.

Deze heeft automatisch protectie tegen bitrot, maar wel duurder in gebruik (initiele opzet door de hoeveelheid schijven ivm raid). Windows heeft nog geen filesysteem hiertegen, al meen ik ergens wel gelezen te hebben dat ze er mee bezig zijn (storage spaces uit mijn hoofd).

Ikzelf heb dus een NAS op basis van ZFS en ecc geheugen, ecc is meer nice-to-have ;-). Backuppen kan ook door het een externe schijf te gebruiken op basis van ZFS, maar dat gebruik ik niet. Ik wil namelijk voorkomen dat ik geen files kan uitlezen op ieder andere pc. Het is een keuze van mij.

Voor meer info over ZFS, zoek even op het forum. Hele boeken zijn er al geschreven hierover.

De discussie of bitrot nu wel veel/weinig voorkomt wil ik niet voeren. Unieke persoonlijke foto's/documenten wil ik niet kwijtraken, je kunt ze niet zo makkelijk opnieuw maken/downloaden.

p.s. overigens goede backup strategie, dit lees je toch weinig.

[ Voor 3% gewijzigd door EnerQi op 14-09-2020 15:01 ]

[Admiral Freebee]

EnerQi schreef op maandag 14 september 2020 @ 15:00:
Een NAS gebruiken op basis van filesysteem ZFS (of btrfs)? Een next-gen file systeem op freebsd/linux.

Daar heb ik nog niet bij stilgestaan. Ik maak gebruik van een Synology DS216+ II met BTRFS op een single disk. Met wat opzoekwerk begrijp ik dat de NAS bitrot kan detecteren maar niet herstellen met een enkele schijf. Ik draai wel af en toe een integrity check op de NAS.

Dit zou mij al wel geruststellen voor de bestaande data. Deze wordt immers niet meer overschreven vanuit Computer A dus als de data op Computer A corrupt geraakt ga ik deze met de huidige strategie niet meer synchroniseren naar de NAS.

Op basis hiervan denk ik dat ik de volgende zaken moet wijzigen:
1) De NAS als bron gebruiken als ik een externe schijf helemaal opnieuw volzet (dus inclusief oude data)
2) Regelmatiger een integrity check draaien op de NAS
3) Eventueel een schijf toevoegen aan mijn NAS zodat fouten ook hersteld kunnen worden

25/01/2021 - Een update
Ondertussen heb ik een 3TB schijf toegevoegd aan mijn NAS waardoor de data nu op twee schijven staat. Ik draai één keer per drie maanden een data scrubbing job om corruptie te detecteren.

Backups maken op externe schijven doe ik nu met de NAS als bron zodat de kans kleiner is dat ik corrupte data ga kopiëren.

Ik ben nu voldoende gerust gesteld. Ja, er kan nog altijd iets mislopen maar de kansen zijn toch sterk gereduceerd nu. Ik denk dat er nu meer kans is dat er data corrupt geraakt in transit dan op de schijven zelf maar dat risico accepteer ik dan maar.

[ Voor 22% gewijzigd door Admiral Freebee op 25-01-2021 14:30 ]