Welke software controleert foto's op data corruptie?

[PeterSuper]

Ik maak regelmatig backups naar een externe hardeschijf van foto's en video's. Deze data bekijk ik soms maanden of jaren niet terug. Echter ben ik bang om er over een paar jaar achter te komen dat de data (zowel op bron als doel jarenlang "corrupt" is overgekopieerd)

1) Welke software kan helpen om te controleren of de foto's onbeschadigd zijn (over)gekopieerd zonder ze handmatig te controleren / bekijken?
2) Ik wil ook voorkomen dat de bron beschadigd raakt waardoor mijn backups dus corrupte data kunnen bevatten.

Ik heb gedacht aan bijv MD5 checksums oplossingen, echter zal ik hier zelf iets voor moeten schrijven. Ik wil juist dat de oplossing iets (zo dicht mogelijk bij) 100% betrouwbaar is.

Note: Op dit moment maak ik de backups van mijn hardeschijf naar externe schijf middels een custom synchronisatie tool

[ Voor 7% gewijzigd door PeterSuper op 12-03-2017 14:36 ]

[SadisticPanda]

Quickpar? Kan je voor ganse directories par files aanmaken zodat elke file een checksum bevat. Als je plaat over hebt, kan je ook recovery records erbij doen, dat elke file recovered kan worden? (Percentage recovery hang af van grootte par files en aantal beschikbare blokken)

[Brahiewahiewa]

PeterSuper schreef op zondag 12 maart 2017 @ 14:36:
Ik maak regelmatig backups naar een externe hardeschijf van foto's en video's. Deze data bekijk ik soms maanden of jaren niet terug. Echter ben ik bang om er over een paar jaar achter te komen dat de data (zowel op bron als doel jarenlang "corrupt" is overgekopieerd)...

Waarom zou je daar bang voor zijn? Het kopiëer proces staat al bol van de checksums die uitgevoerd worden. De kans is vele malen groter dat je (externe) harddisk het begeeft

[jan99999]

Brahiewahiewa schreef op zondag 12 maart 2017 @ 16:04:
[...]

Waarom zou je daar bang voor zijn? Het kopiëer proces staat al bol van de checksums die uitgevoerd worden. De kans is vele malen groter dat je (externe) harddisk het begeeft

Kopieer proces controleert zeer weinig, dus hier zit je fout.
Je backup software, daar zit een functie van verify, dit is belangrijk tav controle of origineel en backup gelijk zijn.
daarom zit dit ook in je backup software, en dit is ook altijd bij het branden van dvd/cd's aanwezig geweest,
en zoals iedereen weet, wordt niet gebruikt omdat dit langer duurt.
Daarom is kopiëren van files geen backup.

Voor topic starter:
Enigste wat goed is tav bitrot, is een betere file system, ZFS of BTRFS, dan heb je dit ingebouwd.
Bij een synology nas doet bijv BTRFS, en dit wordt maandelijks gecontroleerd door de nas zelf.

[PeterSuper]

azz_kikr schreef op zondag 12 maart 2017 @ 15:26:
Quickpar? Kan je voor ganse directories par files aanmaken zodat elke file een checksum bevat. Als je plaat over hebt, kan je ook recovery records erbij doen, dat elke file recovered kan worden? (Percentage recovery hang af van grootte par files en aantal beschikbare blokken)

Opvolger van QuickPar, MultiPar lijkt idd een mooie oplossing voor dit probleem. Hoe werkt dit samen als ik bijv nieuwe files toevoeg of files update? Is het mogelijk om een soort "dump" te maken door in TXT / CSV leesbaar is zodat ik hier bewerkingen op kan doen? Nu zou ik maar 1x zo'n extract kunnen maken (niet wetende hoeveel files er bij gaan komen in dezelfde of andere mappen)

Brahiewahiewa schreef op zondag 12 maart 2017 @ 16:04:
[...]

Waarom zou je daar bang voor zijn? Het kopiëer proces staat al bol van de checksums die uitgevoerd worden. De kans is vele malen groter dat je (externe) harddisk het begeeft

Zou erg naar zijn als mijn lokale hardeschijf crasht - zonder dat ik 't door heb - een checkdisk uitvoert en daarna jaren lang verder functioneerd. In tussen tijd zit ik dan al jaren op m'n externe hdd files over te kopieren die dus "corrupt" zijn. Er moet natuurlijk een manier zijn om dit vroegtijdig te kunnen identificeren.

jan99999 schreef op zondag 12 maart 2017 @ 20:12:
[...]

Kopieer proces controleert zeer weinig, dus hier zit je fout.
Je backup software, daar zit een functie van verify, dit is belangrijk tav controle of origineel en backup gelijk zijn.
daarom zit dit ook in je backup software, en dit is ook altijd bij het branden van dvd/cd's aanwezig geweest,
en zoals iedereen weet, wordt niet gebruikt omdat dit langer duurt.
Daarom is kopiëren van files geen backup.

Voor topic starter:
Enigste wat goed is tav bitrot, is een betere file system, ZFS of BTRFS, dan heb je dit ingebouwd.
Bij een synology nas doet bijv BTRFS, en dit wordt maandelijks gecontroleerd door de nas zelf.

Ik zie dat deze filesystems voor Linux zijn en BTRFS evt via een NAS met Windows via NFS zou kunnen werken. Echter gebruik ik Windows, een simpele externe (NTFS) hardeschijf waar ik naartoe kopieer. Heb je nog ideeën hoe ik dit zou kunnen aanpakken?

[akimosan]

Eigenlijk zijn de tips al gegeven maar je luistert niet.
Als je data en de integriteit daarvan belangrijk voor je is, investeer dan in een goede backup.

Kopiëren van bestanden op een externe harddisk en bestaande bestanden overschrijven is dan geen goede methode.
Gebruik in plaats daarvan backup software, desnoods good old windows backup en die externe harddisk of een cloud backup oplossing als CrashPlan of iets dergelijks. Dan heb je ook de mogelijkheid om terug te gaan naar eerdere versies als je erachter komt dat een latere versie corrupt is of de inhoud anders is dan voorheen.

Test regelmatig je backup and restore en kijk of deze nog juist verloopt. Klopt je backupselectie nog?

Gebruik dit desnoods in combinatie met een comandline tooltje die met een geplande taak checksum files naar de mappen schrijft. Restore dan zo'n checkfile uit een eerdere versie van je backup en vergelijk met de huidige versie. Is de checksum gelijk? Gefeliciteerd er is niets veranderd aan die map/bestanden.

[ Voor 18% gewijzigd door akimosan op 14-03-2017 20:21 ]