[backup] integriteit data externe HDD

[Helios1]

Geachte Tweakers,

Op dit moment heb ruim 100 GB aan data, waarvan 90% mp3 en Flac bestanden zijn.

Backup software:
-Syncback

Backupmedia:
- 5 externe harde schijven (Portable 2.5” USB-powered harde schijven - WD Passport/Elements)
Locatie:
-3 externe harde schijven thuis
-1 externe harde schijf in de schuur
-1 externe harde schijf in de auto

Vragen:
-Maak ik gezien de bovenstaande backup strategie onnodig zorgen?
-Is de kans reëel de bestanden op een externe HDD (die een tijd niet gebruikt wordt) corrupt raken?
-Als ik op een gewenst moment de integriteit van mijn bestanden wil controleren, hoe kan ik dat het beste doen?
Naar aanleiding van wat ik zelf heb kunnen vinden, hebben Winrar en Quickpar deze mogelijkheid, maar het wordt weer afgeraden om voor lange termijn opslag met compressietechnieken e.d. te werken.

Bij voorbaat dank.

[TERW_DAN]

Je kunt voor de integriteit makkelijk met MD5 hashes werken (vroeger gebruikte ik daar hashtab voor), dan zie je gelijk of het veranderd of niet.
Als je backupt naar 5 externe schijven dan zal er altijd 1tje het wel doen (en als die begint te falen kun je die alvast vervangen). Opslaan in de auto en schuur zou ik niet doen, dat zijn immers plekken die doorgaans vochtig zijn, dat is nooit echt goed voor electronica.

[Helios1]

Dank voor de snelle reactie Terw Dan

Dus een programma vinden waarmee losse MD5 bestanden worden aangemaakt, deze zowel op de PC als de backups bewaren en na zoveel tijd controleren?

Ik heb de nadelige klimaat in de schuur en auto in acht genomen, en het is ook meer 'beter-dan-niet' idee.

[Glashelder]

Je kunt met een MD5 hash inderdaad controleren of een bestand niet corrupt is, maar herstellen gaat niet lukken. Daarvoor heb je toch echt een dergelijke tool als Quickpar nodig, die zoals uit de naam af te leiden is 'par' oftewel pariteitsbestanden aanmaakt. Met die bestanden zijn corrupte bestanden te repareren.

Maar ik ben het eens met Terw_Dan dat er altijd wel een schijf zal zijn die het doen. Bestanden raken niet zomaar corrupt op een harde schijf. Zeker niet op alle 5 tegelijk

[Helios1]

Stel dat een deel van de mp3's op een externe harde schijf corrupt zijn geraakt. Vervolgens doe ik een restore vanaf desbetreffende HDD.

Zal Windows (of Mac OS) de corrupte mp3's herkennen? Of kan het zo zijn dat ik er pas achterkom als het bestand wil afspelen?

[TERW_DAN]

Als de file nog wel gewoon leesbaar is (dus het bestandssysteem geeft geen fouten) dan zal het ding gewoon gekopiëerd worden. Je OS voert geen integreteitscheck uit op de bestanden zelf, die gaat hooguit zeuren als er fouten in het bestandssysteem zitten.
Voordat je een restore doet moet je dus sowieso je backup controleren.

[Helios1]

Het is dus wel mogelijk om corrupte bestanden gekopieerd worden door OS zonder dat de gebruiker daar op de hoogte van is?

Syncback biedt de mogelijkheid om tijdens het kopieren verificatie uit te voeren d.m.v. MD5 hashes. Zal dit corrupte bestanden herkennen?

[Q]

Helios1 schreef op woensdag 10 november 2010 @ 15:45:
Het is dus wel mogelijk om corrupte bestanden gekopieerd worden door OS zonder dat de gebruiker daar op de hoogte van is?

Syncback biedt de mogelijkheid om tijdens het kopieren verificatie uit te voeren d.m.v. MD5 hashes. Zal dit corrupte bestanden herkennen?

Yes, daar is het voor.

[jan99999]

-Je zou kunnen kijken voor ZFS, zit in freebsd. ZFS heeft een sterke kontrole of de files goed blijven, dus een soort chekcsum.

-Voor linux is er btrfs, maar dan moet je nog een jaar of 1 of 2 wachten, hier zou dit ook in zitten.

-Je kan wel backups maken, met dat de oude backups niet meer gewijzigd worden, dus ook niet meer gewijzigd worden. Dus alleen de wijzigingen worden bijgehouden.
Dus indien je eerste backups goed zijn, zullen ze goed blijven.


- test geregeld, zeker bij nieuwe hardware/software installatie, met bijv een film met par2 files, maak hier een 40GB map met dezelfde film in meerdere mappen.
Kopier dit over na je backup, dan doe par2 check, dus of de files nog goed zijn.

[Q]

jan99999 schreef op woensdag 10 november 2010 @ 19:39:
-Je zou kunnen kijken voor ZFS, zit in freebsd. ZFS heeft een sterke kontrole of de files goed blijven, dus een soort chekcsum.

-Voor linux is er btrfs, maar dan moet je nog een jaar of 1 of 2 wachten, hier zou dit ook in zitten.

Niet doen, btrfs is niet stabiel en ZFS is voor Linux ook niets (fuse).

Schieten met een kanon op een mug en dan nog. Als de backupsoftware integriteit kan controleren is dat een prima oplossing.

[Helios1]

Allereerst dank voor alle reacties

jan99999 schreef op woensdag 10 november 2010 @ 19:39:
-Je zou kunnen kijken voor ZFS, zit in freebsd. ZFS heeft een sterke kontrole of de files goed blijven, dus een soort chekcsum.

Bedankt voor de advies, maar ZFS gaat boven mijn kennis.

jan99999 schreef op woensdag 10 november 2010 @ 19:39:- test geregeld, zeker bij nieuwe hardware/software installatie, met bijv een film met par2 files, maak hier een 40GB map met dezelfde film in meerdere mappen.
Kopier dit over na je backup, dan doe par2 check, dus of de files nog goed zijn.

Ik heb vandaag met Quickpar geëxperimenteerd. Daarbij ben ik 2 punten tegengekomen.
-er kunnen alleen losse bestanden en archieven toegevoegd worden; geen gewone mappen
-de instellingen gaan boven mijn niveau - kan ik deze gewoon standaard laten?

[Q]

Je slaat je data al op meerdere plekken op. Met PAR heb je nog meer schijfruimte nodig. Teveel gedoe. PAR is voor je warez en bestialiteit porno downloads via NZB/nieuwsgroepen. Af en toe integriteitscontrole is al goed genoeg.

Is dit wat?

http://corz.org/windows/software/checksum/#section-Download


Volgens mij is dit precies wat je wilt.

[ Voor 36% gewijzigd door Q op 10-11-2010 21:55 ]

[Helios1]

Q schreef op woensdag 10 november 2010 @ 21:53:
Je slaat je data al op meerdere plekken op. Met PAR heb je nog meer schijfruimte nodig. Teveel gedoe. PAR is voor je warez en bestialiteit porno downloads via NZB/nieuwsgroepen. Af en toe integriteitscontrole is al goed genoeg.

Is dit wat?

http://corz.org/windows/software/checksum/#section-Download


Volgens mij is dit precies wat je wilt.

Bedankt voor de advies

Ik heb nog gekeken wat er allemaal met Winrar mogelijk is en ik denk dat ik daarmee ga werken.

Kan iemand aangaande Winrar de onderstaande bevestigen?

- bij het in- en uitpakken wordt er CRC uitgevoerd
- bestanden kunnen zonder uit te pakken op integriteit worden gecontroleerd
- de optie 'lock archive' zorgt ervoor dat de bestanden in het archief read-only zijn
En vooral:
- als er bij het testen en/of uitpakken Winrar geen foutmeldingen geeft, betekent dit dat alle alle bestanden 100% identiek zijn aan toen deze gearchiveerd werden