Rar bestanden uitpakken om te testen?

[Eric_1993]

Mijn vraag

Ik heb archiefbestanden die zijn ingepakt en gesplitst naar meerdere rar. bestanden. Nu gaat het hier om redelijk belangrijk data die af en toe wijzigen in een maand. Het gaat om 14 bestandcontainers die apart zijn gesplitst in 1 map. De doelcomputer is een windows 10 met 2 aparte externe harde schijven. Nou heb ik via internet onderzocht dat het beste manier om een rar bestand te testen is door de bestand werkelijk uit te pakken. Dat wil ik dus doen en de uitgepakte bestanden ook bewaren zodat ik 2 kopie's heb van het bestand op een extern locatie.

Mijn vraag is dus: Heeft het nut om maandelijks de bestanden opnieuw uit te pakken om te controleren of de rar bestanden niet corrupt zijn geraakt ook om het feit dat de bestanden af en toe gewijzigd en dus geupload worden etc.

Relevante software en hardware die ik gebruik
- Windows 10
- SFTP
- Extern harde schijven

Wat ik al gevonden of geprobeerd heb
- Zelf op onderzoek gegaan op Google, maar helaas levert dat niet veel antwoorden op m.b.t. mijn situatie.

- Zelf ook gewoon geprobeerd, is verder geen probleem voor mij opzich, maar het voelt toch dubbel om het zo steeds te moeten uitpakken

[Snake]

code:

    t       Test archive files. This command performs a dummy file
            extraction, writing nothing to the output stream, in order to
            validate the specified file(s).

            Examples:

            Test archives in current directory:

            rar t *

van de rar manual.

Ik weet alleen niet hoe het werkt met een r00, r01, r02 bestand, als je de eerste test of hij automatisch de 2de & 3de mee test, of dat je die apart moet doen.

Dit kan je 'testen' door de totale duur van rar t file.r00 te doen en te vergelijken met het extracten van enkel r00.

Dit commando schrijft niets, het leest alleen in.

Wat ik wel zou doen is niet altijd de huidige data wijzigen, maar op z'n minst x aantal versies bijhouden, of deze nog eens te back-uppen, zodat als er iets fout gaat, je toch kan terugvallen op een werkende versie.

[ Voor 20% gewijzigd door Snake op 09-12-2017 01:15 ]

[jan99999]

Probleem is dat je geen backup software gebruikt.

In backup software zit,
-verificatie
- version

Dus google op hoe je een backup maakt, dan is je probleem snel opgelost, en hoef je geen
nieuwe manier uit te vinden terwijl dit al bestaat.

[Eric_1993]

Het gaat om 14 bestandscontainers met een totale grootte van 1250 GB. De gegevens in die containers worden op 3 verschillende harde schijven bewaard, dus dat zit wel safe.

De vraag is momenteel: Heeft het dus nut om maandelijks de RAR bestanden steeds uit te pakken op een andere harde schijf puur alleen om de integriteit te testen?

[jeroen3]

Eigenlijk is Winrar geen betrouwbare archief methode. Slechts één corrupte byte en je archief is kapot.

Maar je kunt wel RAR bestanden maken met pariteit. Alleen kun je er niet veel aan instellen.
Het is 1 vinkje "herstelbestanden toevoegen", en een veldje met de percentage pariteit data.
Ik weet niet hoe Winrar dat doet, maar het zal wel overeenkomen met reed-solomon code, net als MultiPar.




*Extra data toevoegen gooit het nut van de compressie natuurlijk wel uit het raam.

[ Voor 26% gewijzigd door jeroen3 op 09-12-2017 20:48 ]

[ELD]

Mijn vraag is dus: Heeft het nut om maandelijks de bestanden opnieuw uit te pakken om te controleren of de rar bestanden niet corrupt zijn geraakt ook om het feit dat de bestanden af en toe gewijzigd en dus geupload worden etc.

Om corruptie te voorkomen kun je ook parity files creëren op basis van Par2. Een makkelijk visueel programma hiervoor is Quickpar. Dit programma kan controleren of het bestand nog compleet is en je kunt met een zelf aangegeven hoeveelheid e.g. 50GB reparatie bestanden maken. Volgens mij heeft rar ook reparatie functionaliteit etc.

Wat wil je precies bereiken? Gebruik je rar voor de encryptie, compressie, file container etc? Er zijn wellicht betere oplossingen.

[Eric_1993]

ELD schreef op zaterdag 9 december 2017 @ 20:54:
[...]


Om corruptie te voorkomen kun je ook parity files creëren op basis van Par2. Een makkelijk visueel programma hiervoor is Quickpar. Dit programma kan controleren of het bestand nog compleet is en je kunt met een zelf aangegeven hoeveelheid e.g. 50GB reparatie bestanden maken. Volgens mij heeft rar ook reparatie functionaliteit etc.

Wat wil je precies bereiken? Gebruik je rar voor de encryptie, compressie, file container etc? Er zijn wellicht betere oplossingen.

Ik gebruik rar voor het splitsen van de bestanden. De bestandscontainers variëren van grootte van 50 GB, 100 GB en 150 GB. Om 150GB als 1 bestand over het internet te uploaden werkt niet zo heel goed .

Wat ik met maandelijks uitpakken wil bereiken is dus alleen maandelijks controleren op corruptie of bitrot.

[ELD]

Dan lijkt mij het eerder genoemde Multipar of Quickpar goed geschikt. Dit wordt nu voornamelijk gebruikt om gedownloade bestanden van usenet te controleren op schade en deze te repareren. Kan ook prima werken voor jou. Hoef je niet meer uit te pakken en werkt zonder problemen voor bestanden van 100GB+ groot.

[ Voor 18% gewijzigd door ELD op 09-12-2017 22:32 ]

[jan99999]

Kijk of er backup software bestaat, als deze onderbroken wordt, de backup software weer verdere gaat.
Denk dat dit bestaat.

Backup software kan ook een verify doen, wat natuurlijk lang duurt.

Backup software zoeken die je backup in stukken kan backuppen.

https://blog.bacula.org/ is bijv een zeer goede, met veel mogelijkheden.

Voor bitrot gebruik je een moderne file systeem, ZFS of BTRFS, deze checken de files zelf, sommige nassen gebruiken dit, synology bijv gebruikt BTRFS.

[Rannasha]

Wat je kunt doen is op het moment dat je het RAR bestand maakt, de md5-hash van het RAR bestand berekenen en deze opslaan. Vervolgens kun je periodiek (b.v. maandelijks) opnieuw de md5-hash van het bestand uitrekenen. Zolang deze hetzelfde is als de oorspronkelijke hash-waarde, zit je goed. Zodra er ergens een bitje verrot is, zal de hash-functie direct een andere uitkomst geven.

Dit is veel sneller dan elke keer de boel uitpakken en controleren. Wel moet je er voor zorgen dat het RAR bestand niet vanaf creatie corrupt is, dus nadat je het hebt gemaakt en de md5-hash hebt uitgerekend, het bestand eenmalig uitpakken en de inhoud controleren. Zodra dat OK is, dan hoef je het daarna niet meer uit te pakken voor de verificatie.

[Eric_1993]

Bedankt voor al jullie antwoorden! Ik ga is onderzoeken welke oplossing het beste is in mijn geval

Dan heb ik nog een vraag: Maakt het wat uit of ik WinRaR gebruik of GSplit voor het splitten van de bestanden?