Backuppen: beschadigde bestanden vinden

[Vervloet]

Hallo,

Al jaren maak ik heel gedisciplineerd backups. Dat doe ik steeds grondiger. Inmiddels heb ik backups op een interne schijf, externe schijven in huis, op een externe schijf op een andere locatie en een backup online.
Het gaat me er hier vooral om om een fotocollectie te beschermen.
Wat ik echter wel eens merk is dat bestanden beschadigd raken. Zo had ik laatst een aantal foto's die niet meer geopend werden. Windows zegt dat ze 0 kb groot zijn. Terugzoekend in de backups bleken ze overal al 0 kb groot te zijn. Waarschijnlijk is er ooit iets misgegaan, heb ik dat niet gemerkt en is in de loop der tijd overal de beschadigde versie terrecht gekomen.
Bij een fotocollectie van inmiddels 15 tot 20 jaar aan foto's valt dat niet meer op.

Waar ik nu benieuwd naar ben is: hoe kan ik mijn collectie bestanden controleren of ze nog goed zijn?
Het gaat mij er niet om om die beschadigde foto's terug te toveren. Ik weet wat er ongeveer op stond en het is niet zo erg dat ik deze mis. Wel wil ik het in de toekomst voorkomen dat dit bij meer bestanden gaat gebeuren.

Ik heb er goed naar gezocht op internet maar ik kom eigenlijk alleen maar informatie tegen over het herstellen van bestanden, niet over het scannen/vinden van beschadigde bestanden. Herstellen is voor mij geen punt, daar heb ik die backups voor. Als ik maar op een of andere manier kan vinden dat er iets te herstellen valt.

Ik weet trouwens niet of dit in het goede gedeelte van Tweakers staat. Ik hoor het graag als dat niet zo is.

[Room42]

Waar ligt de corruptie? Is de bron beschadigd en heb je zeg maar de corrupte bestanden gebackupped? Of is de backup corrupt en is het daardoor niet meer te herstellen?

Het eerste geval vind ik moeilijk te bepalen. Hoe check je dat de data nog de data is die het moest zijn? Je moet dan content-aware controleren, dus jpg moeten geldige plaatjes zijn, doc(x)-bestanden moeten geldige Word-documenten zijn. Geen idee of daar eigenlijk een betrouwbare check voor is!

Het tweede geval is te controleren door regelmatig de data te restoren. Ook zijn er software trucjes die de backup leest en opnieuw schrijft om zo te bevestigen dat het nog allemaal consistent is.

Wat gebruik je om te backuppen en waar naartoe?

[Ray]

dan lijkt het dat de bron is beschadigd en daarmee de backups

ik gebruik zelf 'second copy' om instant een backup te schrijven van de bron naar een andere hd (en vanuit daar gaat het direct de cloud in')

daarin zit een optie die kijkt of bron en doel nog steeds hetzelfde zijn. is dat niet het geval kan je instellen dat hij het doel wist. Ergo als een bestand bij de bron weg is haalt hij het ook weg in de backup

echter kan je ook instellen dat hij die bestanden dan in een andere map neerzet

dat doe ik dus en soms check ik die map.

daarmee voorkom je dus bv abuis verwijderde bestanden maar ook bestanden die bij de bron dus defect gaan, daarom gedelete worden uit de backup. Je bewaart dus een copie van de verwijderde bestanden uit de backup als je het nog kan volgen

[F_J_K]

Dit is een reden om bijv 8 dagelijkse / 5 wekelijkse / 13 maandelijkse / “oneindig” (afhankelijk van bewaar- en vanwege privacy vernietigingstermijnen) jaarlijkse backups te bewaren. Dan zal je hopelijk in een vd jaarlijkse nog de data vinden.

Ray schreef op zondag 3 maart 2019 @ 22:27:
ik gebruik zelf 'second copy' om instant een backup te schrijven van de bron naar een andere hd (en vanuit daar gaat het direct de cloud in')

Houd er rekening mee dat zoiets dus geen backup is die iets doet tegen overschrijven, malware, etc. Er is ook een backup nodig, niet alleen een spiegel. (Dit is een variant van: RAID is geen backup).

[TomsDiner]

Herkenbaar. Ik heb ik mijn foto-collectie (25.000 foto's) ook wel eens beschadigde JPEG's gevonden...

Maar het probleem is denk ik niet het backuppen, want die doet gewoon braaf wat je vraagt. Of je nou incrementeel of niet, zes versies per dag/week/maand maakt: als het origineel ongezien naar de bliksem gaat, en het duurt jaren voor je er achter komt, ben je te laat.

Het probleem is dat je eigenlijk je harde schijf zo nu en dan op corrupte files zou moeten controleren. Want als je die snel vindt, heb je tenminste iets aan die backups! Daarnaast kan dit een signaal zijn dat er iets mis aan het gaan is op je opslagmedia....

[F_J_K]

Je kunt per bestand een hasfile genereren, en periodiek (bijv eens per jaar, een maand voor je de oude backup zou overschrijven) controleren of de hash nog klopt. Bijv met Powershell, Get-FileHash

Kost vast wel een boel tijd. Of, maak per directory met iets als Quickpar zeg 10% recovery files. Dan heb je zowel een hash als een manier om te recoveren. Kost zowel tijd als extra opslagruimte. (In beide gevallen: en maak backups).

Let op, beide vormen zullen natuurlijk ook piepen bij bestanden die je zelf hebt gewijzigd.

[jan99999]

Backup overschrijft als je originele naar bijv 0 byte gaat(beschadigd raakt)(via backup software of via syncen), dan is je data weg, dus stel backup in dat dit niet gebeurd, en/of dat je terug in tijd kunt springen, dus oude kopieën bewaren in je backup.(meer plaats nodig)
Dit is ook nodig tav virussen of crypto virus, dus dit is een verplichting.

Dan gebruik een moderne file system, deze controleren meer tav je files(file rot), dus ZFS of bij een synology nas bijv BTRFS. Hierdoor krijg je eerder een foutmelding en niet na 10 jaar en al je foto' s zijn beschadigd.
(raid heeft hier ook een voordeel omdat de de raid gaat scrubben, synology doet dit elke maand, en controleert dus alle files. En als je hier ook nog BTRFS met de synology gebruikt, is het beste van beide).


Dan je externe hd's testen of deze nog goed werken, bijv door spinrite te gebruiken.
Deze kan de sectoren refreshen door te lezen en herschrijven, dus niet het file syteem maar de sectoren.
Je kunt natuurlijk ook je hd kopiëren naar een andere hd, dan weet je ook of je data nog goed is.
Dit moet je dus regelmatig doen, 1x of vaker per jaar.
(spinrite heb ik ook vaker gebruikt met hd's die niet meer konden booten, spirite bewerkte de eerste sectoren, ververste deze(door heel vaak over de sectoren te lezen, en dan te schrijven), en daarna werkte de hd weer). Spinrite maakt gebruik van de firmware/mogelijkheden van de hd.

En natuurlijk regelen dat je een goede backup hebt, op meerdere plaatsen.

[Ray]

F_J_K schreef op zondag 3 maart 2019 @ 22:31:
Dit is een reden om bijv 8 dagelijkse / 5 wekelijkse / 13 maandelijkse / “oneindig” (afhankelijk van bewaar- en vanwege privacy vernietigingstermijnen) jaarlijkse backups te bewaren. Dan zal je hopelijk in een vd jaarlijkse nog de data vinden.

[...]

Houd er rekening mee dat zoiets dus geen backup is die iets doet tegen overschrijven, malware, etc. Er is ook een backup nodig, niet alleen een spiegel. (Dit is een variant van: RAID is geen backup).

heb je helemaal gelijk in. naast die 'raid' maak ik wekelijks een backup van de hele systeem schijf naar een andere hd die deze weer doorzet (met copy control) naar een andere fysieke machine.

dit doe ik ook per maand en die heb ik van ongeveer een jaar nog bewaard.

dus van zoiets als een foto heb ik het origineel, een directe backup zelfde machine, een copy in de cloud, een image week / maand op de lokale machine en die image's staan ook op een externe machine.

ik overweeg mijn cloud naar 1tb uit te breiden zodat ik ook de image's daar neer kan zetten

zoals je begrijpt ben ik ooit door een crashende hd data kwijt geraakt vandaar deze maatregelen...

[CAPSLOCK2000]

Checksums, al dan niet aangevuld met parity-informatie om fouten te kunnen herstellen.
Een goed/makkelijk begin is om een modern filesysteem te gebruiken (zoals ZFS of BTRFS) waar dit soort checksum in zitten ingebouwd.

[Vervloet]

Bedankt voor de antwoorden! Ik lees wel erg veel termen die mij (nog) helemaal niks zeggen maar ik heb zo genoeg uitgangspunten om te gaan bestuderen.

[desmond]

Vervloet schreef op maandag 4 maart 2019 @ 16:47:
Bedankt voor de antwoorden! Ik lees wel erg veel termen die mij (nog) helemaal niks zeggen maar ik heb zo genoeg uitgangspunten om te gaan bestuderen.

Met de termen Bitrot, BTRFS en ZFS moet je in Google een eind kunnen komen.

[jan99999]

Nog iets.
Je hardware en of software kunnen files beschadigen.
Virusscanner, firewall en ander beschermings software, raken de files aan tijdens backuppen, dus kunnen files beschadigen.
Hetzelfde geld voor drivers voor je hardware.
En defecte hardware.

Dus bijv een hele oude niet meer geupdate firewall, kunnen files beschadigen door bijv geen update, dus de software past zich niet meer aan de laatste updates van je OS.

Geheugen fouten hoef je ook niet te merken.

Dus verify bij een backup software is zeer belangrijk.
En ja dit duurt zeer lang tijdens de backup.

Dus kopiëren naar een externe hd is een zeer slechte backup, je merkt niks als het fout is.

Dus een backup systeem die je doet, ook eerst testen , zodat je weet dat het werkt. Checksum of een verify van backup software gaan testen.(als het goed is geeft ZFS of BTRFS eerder een foutmelding).

Zelf eens een keer gehad dat ik om de 10 files van 700 MB, steeds 1 defect was.
En pas na een aantal jaren kwam ik erachter, omdat je een backup nooit gebruikt.
Gelukkig waren dit geen belangrijke files.

[Vervloet]

Toch nog even het topic uppen. Ik heb me vandaag goed ingelezen, maar kom er toch niet uit. Misschien kan iemand me de goede weg op sturen.

Ten eerste, dit is wel echt een eye-opener geweest, ik moet hier echt iets aan gaan doen. Ik dacht dat ik goed bezig was met m'n kopiëen naar externe harde schijven maar dat valt tegen.

BTRFS en ZFS kom ik vooral tegen in combinatie met een NAS, al dan niet zelfgebouwd. Ik heb momenteel geen NAS en heb er ook geen praktische behoefte aan. Het lijkt mij wat overkill ook om een NAS voor alleen de backups aan te schaffen. Zelfbouwen gaat mij overigens ook de pet te boven, ben ik bang.
Liefst blijf ik wel de externe harde schijven gebruiken.
Ik gebruik nu het programma freefilesync voor het kopieren naar de externe hd's. Dat gaat zonder controle.

Ik lees veel over checksum en md5. Maar ik wordt er maar niet wijs uit of dit voor mijn situatie handig is. Ik kom het vooral tegen als hulpmiddel om gedownloade bestanden te controleren.

Graag advies in welke richting ik verder moet zoeken.

[DarkSide]

Andere vraag? Hoe veel is je data je waard?
Mijn belangrijke data staat op de NAS. Idd met BTRFS.
Maar deze wordt ook gebackupped naar de cloud met versie beheer. Dus als een bestand veranderd dan kan ik nog terug in de tijd om een oudere versie terug te zetten.

Als je alleen bezig bent met het maken van een kopie van een source naar een destination ben je niet lekker bezig.
Je wilt namelijk dan eerst zeker weten dat de source 100% goed is. Hoe ga je dit elke keer controleren?
Daar wil je dan een hash van weten. Dan pas kopieren. En dan weer controleren.
Persoonlijk vindt ik dat veel werk.

Je kunt de NAS ook overslaan en gewoon rechtstreeks van je computer backuppen naar de cloud.
Of een NAS gaan inzetten om meerdere versies van je data te bewaren. Echter houdt er dan rekening mee dat de data nogsteeds binnenshuis staat. En zaken als blikseminslag zowel de computer als de NAS kunnen raken.

Voor mij is een backup altijd een tool waarbij je versie beheer hebt.

[fonsoy]

Kijk ook eens naar REFS. Dit is een nieuwe-generatie filesysteem wat in Windows ingebouwd zit. Wellicht is dit een oplossing voor je.

Overigens, het lijkt me best een goed idee als de data je veel waard is - om die dedicated op een NAS op te slaan.

[apollo13]

Misschien dat je PAR-bestanden kunt gaan toevoegen aan mappen met foto's.
Op die manier kan je, tot een bepaalde grens natuurlijk, je beschadigde bestanden repareren.

[jan99999]

Een nas neemt je veel werk uit handen.
Een synology, een kant en klaar nas, wel de software moet je gaan leren/oefenen.

Een nas met raid en BTRFS, door raid wordt maandelijks een check gedaan op alle schijven, en door BTRfs zullen fouten snel gemeld worden.
De nas kun je instellen om je mails te sturen, dat je auto backup gewerkt heeft/of niet gewerkt heeft.
Natuurlijk kun je nog een kopie in de cloud laten gaan, of natuurlijk naar een externe hd.
De nas meld ook als een hd defect gaat(tip zet de aantal sectoren die fout mogen zijn op je hd, hoger in de nas omdat je naders bij elke sector fout de hd moet gaan vervangen).
Dit zijn allemaal voordelen.

[Vervloet]

Bedankt voor de antwoorden. Ik moest even aan het idee wennen maar een NAS hiervoor aanschaffen is misschien dan toch het beste.

[johnkeates]

ZFS of andere systemen met integriteitscontrole is een optie, andere is SFV gebruiken met checksumming. Als je self-healing wil is Windows in elk geval geen optie.

[Ray]

@Vervloet hoewel een nas met de genoemde systemen inderdaad de beste oplossing is maar als jij je loss hd's wilt blijven gebruiken verwijs is toch nog even naar second copy ipv wat je nu gebruikt

http://www.secondcopy.com/

je kan dat dus zo instellen dat het een copie maakt van de bron (soort van realtime eventueel) en ook direct controleert of bron en doel gelijk zijn.

afhankelijk van je instellingen kan je zeggen dat als de bron veranderd (of verdwijnt) dat bij het doel ook moet gebeuren MAAR er eerst een copie van het bestaande doel wordt gemaakt

ergo als de bron corrupt raakt , kapotte foto, zal de kopie dat ook worden MAAR er is wel een backup gemaakt van het goede bestand

Ik kijk dus af en toe in die map wat er zoal in staat. Dat is inderdaad handmatig werk en niet 100% fail safe maar met de hardware die je nu gebruikt wel een vooruitgang


edit. overigens is mijn backup dir direct mijn google drive dir. ook daar is dus in de cloud (30 dagen maar) nog een copie van een gewist bestand terug te halen

[ Voor 9% gewijzigd door Ray op 10-03-2019 22:00 ]

[Vervloet]

Dank voor je antwoord, ik ben me nu echter helemaal aan het inlezen over een nas. Omdat dat zoveel genoemd wordt als beste oplossing.

Daarover heb ik nog een vraag. Hoe gaat een nas eigenlijk beschermen tegen bitrot? Want ik stel me het volgende voor: mijn fotocollectie staat gewoon mijn eigen pc met windows en wordt eens in de zoveel tijd gebackupt naar mijn toekomstige nas. Maar als er bitrot plaatsvindt op mijn pc wordt dat bestand toch ook gewoon beschadigd gebackupt naar de nas?

[Ray]

Daarom gebruik je die methode die ik beschrijf voor de kopie naar de nas

[jan99999]

File version gebruiken.(je kunt terug in de tijd gaan).
dan wordt een file gebackup, file raakt beschadigd, of een virus delete de files,
dan wordt je backup ook de file weg genomen,
maar,
instellen dat je file version wilt hebben, dus dat je ook naar eerdere kopieen terug kan.
Dus bijv foto, backup gemaakt,
origineel raakt defect,
dan volgende backupm file is gewijzigd, dus weer een backup trekken,
dan is je foto defect,
maar,
doordat je ook eerdere versies hebt, kun je terug gaan, dan heb je nog steeds een kopie.
dit helpt tegen bitrot en crypto virus.(of eigen fouten).
Je hebt wel meer ruimte nodig om meer kopieën van hetzelfde file te bewaren.

Ook raid is verstandig,(raid doet controle 1x per maand, dan krijge foutmelding od het nog goed is),
file version,
BTRFS is ook verstandig.
Ook smart instellen op de nas, en de aantal fouten hoger zetten,standaard staat dit laag, dan wordt je schijf
bij 1 of 2 sectoren fout al direct eruit gegooid. Zet dit op 10 bijv.

Ook als je een nas koopt, oefen er mee, daarna pas instellen en gaan gebruiken.
mail instellen, zodat je mail krijgt of je backup weigert of gelukt is.

Natuurlijk nog extra backups regelen.

[Vervloet]

Ok misschien moet ik er maar gewoon eens mee beginnen. Wederom dank voor de antwoorden!

[Vervloet]

Jan99999,

Inmiddels heb ik een Synology DS218 up and running.
Met BTRFS dus, en file version.
Toch wil ik graag zekerder weten of een bestand corrupt is geraakt. Want file version is leuk maar als je na 10 jaar er achter komt ben je misschien al 2 NAS'en verder en heb je dan die oude file versions nog?

Ik heb me ingelezen over checksum en eigenlijk is zou het het mooiste zijn om van elk bestand een hash te hebben die je eens in de zoveel tijd kunt checken met het bestand in kwestie. Komt daar een fout uit, heb ik nu mooi een file-version op die Synology staan.

Ik kom echter geen programma/tool tegen die gemakkelijk van een hele collectie bestanden in verschillende mappen een hash kan maken of kan vergelijken. Wat nu?

[F_J_K]

Vervloet schreef op zaterdag 23 maart 2019 @ 16:29:
Ik kom echter geen programma/tool tegen die gemakkelijk van een hele collectie bestanden in verschillende mappen een hash kan maken of kan vergelijken. Wat nu?

Vreemd, er zijn er vele. Kan je aangeven welke je hebt gecheckt? Dan hebben we een beeld bij de drempel van wat je gemakkelijk vindt.

[Vervloet]

Ik vond dit een handige pagina met uitleg: https://www.projecttracks...-van-bestanden-te-bewaken
En deze lijst: Wikipedia: Comparison of file verification software

Ik heb van deze pagina's er een aantal geprobeerd maar de meeste programma's zijn bedoeld om één enkel gedownload (groot) bestand te verifiëren en niet een collectie van tienduizenden bestanden.

Ik kom ook veel terecht in scriptjes maar dat gaat mijn computerkennis te boven, ik zoek echt een windowsprogrammaatje.

[F_J_K]

Dan ben je wel even bezig ja
Wikipedia: Total Commander kan incl subdirectories bit-voor-bit controleren of twee directories gelijk zijn. Kost wel iedere keer de hele map langslopen, kost veel tijd.

Wikipedia: QuickPar kan eenmalig (a bijv. 5% van de totale grootte) 'parfiles' maken die een volgende keer niet alleen de checksum controleren, maar ook kunnen repareren zolang er niet meer dan die bijv. 5% beschadigd is. Stokoud maar werkt prima.

[aawe mwan]

Vervloet schreef op zaterdag 23 maart 2019 @ 16:29:
Ik heb me ingelezen over checksum en eigenlijk is zou het het mooiste zijn om van elk bestand een hash te hebben die je eens in de zoveel tijd kunt checken met het bestand in kwestie. Komt daar een fout uit, heb ik nu mooi een file-version op die Synology staan.

Klopt! Het maken van een checksum is heel erg eenvoudig, misschien dat er daarom zo weinig over te vinden is. Je gebruikt gewoon een tooltje uit de reeks md5sum/sha1sum/sha256sum/enzovoorts.

Als je md5sum * gebruikt, dan krijg je een lijst van bestanden in de huidige directory met op dezelfde regel de berekende MD5 waarde van het bestand. Deze output bewaar je in een bestand. (Op de synology kan je met de rechter muisknop ook van elk bestand een MD5 waarde opvragen dus dan zie je dat het klopt.)

Er zijn 2 manieren te controleren of 2 schijven gelijk zijn.

Je kunt van meerdere schijven een bestand met md5 waarden maken en dan kijk je wat de verschillen zijn in die bestanden (als de MD5 waarden verschillen, dan kunnen de bestanden nooit gelijk zijn).

Je kunt ook md5sum --check md5bestand gebruiken (met md5bestand de naam van het bestand dat de md5sum vorige keer gegenereerd heeft). Dan leest hij de voorkomende bestanden terug en controleert hij of de md5-waarde nog steeds hetzelfde is.

Ik heb dit vorige week nog gebruikt om te controleren of dat wat er nu op mijn NAS staat nog klopt met een externe backup harddisk die ik 2 jaar geleden gevuld had.

[F_J_K]

^^^ op de Synology zelf checken zou inderdaad de voorkeur hebben, controle kan dat op de server zelf ipv. door ieder bestand via de PC te laten lopen. Is echter wel wat complexer (via SSH, bijv. met PuTTY, de console gebruiken).

[Vervloet]

Wederom dank voor de antwoorden

Ik kan nog geen programma vinden die gewoon met één druk op de knop alle bestanden in een hele mappenstructuur behandeld (hash aanmaken of controleren). Want het is ondoenlijk om alles bestand voor bestand of map voor map te bekijken.

aawe mwan schreef op zaterdag 23 maart 2019 @ 18:02:
[...]


Klopt! Het maken van een checksum is heel erg eenvoudig, misschien dat er daarom zo weinig over te vinden is. Je gebruikt gewoon een tooltje uit de reeks md5sum/sha1sum/sha256sum/enzovoorts.

Als je md5sum * gebruikt, dan krijg je een lijst van bestanden in de huidige directory met op dezelfde regel de berekende MD5 waarde van het bestand. Deze output bewaar je in een bestand. (Op de synology kan je met de rechter muisknop ook van elk bestand een MD5 waarde opvragen dus dan zie je dat het klopt.)

Er zijn 2 manieren te controleren of 2 schijven gelijk zijn.

Je kunt van meerdere schijven een bestand met md5 waarden maken en dan kijk je wat de verschillen zijn in die bestanden (als de MD5 waarden verschillen, dan kunnen de bestanden nooit gelijk zijn).

Je kunt ook md5sum --check md5bestand gebruiken (met md5bestand de naam van het bestand dat de md5sum vorige keer gegenereerd heeft). Dan leest hij de voorkomende bestanden terug en controleert hij of de md5-waarde nog steeds hetzelfde is.

Ik heb dit vorige week nog gebruikt om te controleren of dat wat er nu op mijn NAS staat nog klopt met een externe backup harddisk die ik 2 jaar geleden gevuld had.

toon volledige bericht

Hoe pak je dat nou precies aan dan? Welk 'een tooltje uit de reeks md5sum/sha1sum/sha256sum/enzovoorts' gebruik je?

[F_J_K]

Kan toch prima met de tools die ik noem?
Of met 1 druk op de knop met scripting maar dat vereist eenmalig moeite.

Verwacht niet nul moeite.

[Vervloet]

Het punt is dat scripting boven mijn computerpet gaat. Misschien ben ik wat te n00b voor dit forum. Maargoed, ik heb doorgezocht en heb een programma gevonden waarmee ik wel uit de voeten kan. Eigenlijk doet het precies wat ik wil. http://corz.org/windows/software/checksum/

[DeBolle]

Vervloet schreef op dinsdag 26 maart 2019 @ 18:21:
... Misschien ben ik wat te n00b voor dit forum. ...

Nou, nee - jouw wens, verificatie van bestanden en early detectie van corruptie heeft mij aan het denken gezet over mijn eigen bestanden. De mogelijkheid tot vroegtijdig ontdekken van omvallende bits zodat er nog iets hersteld kan worden is goud waard voor bijvoorbeeld onze foto's die al gauw een periode van 25 jaren beslaan.

Dank!

[Vervloet]

Haha, leuk om te horen