Tape data verifieren

[VROEM!]

Ik wil een backup maken naar tape, dat doe ik met tar op het moment. Nu wil ik eigenlijk kijken of de backup goed is dwz of ik hem zonder problemen terug zou kunnen zetten en of de data werkelijk overeen komt.

Ik heb eerst geprobeerd om de "W" optie toe te voegen, maar dan geeft tar foutmeldingen, dus dat wordt hem niet. Zonder W lijkt de backup gewoon netjes te lopen, maar wordt er geen controle whatsoever gedaan om te kijken of er niets fout gedaan is.

Hoe krijg ik nu toch de data gecontroleerd? Ik kan niet de tape data ergens terug zetten op schijf omdat daar op het moment geen ruimte voor is.

[andreict]

is het voor een bedrijf of particulier? Als je het voor een bedrijf is zou ik zeggen, even een keer uit te wijken zodat je het op een andere locatie werkend kan zien.

[maarud]

offtopic:
mag ik vragen waarvoor je zo'n ding nodig hebt?

[VROEM!]

Ik heb op 2 plekken tapes: Op de universiteit waar ik mijn afstudeer data deels zelf backup (niet alles past in mijn home en de buiten mijn home wordt niets gebackupt). Ik heb een tape gekregen om de data die niet automatisch meegenomen wordt in de vakgroep backup alsnog zelf de kunnen kopieren. We hebben hier nogal eens stroomstoringen (door graafwerkzaamheden -->kan de faculteit weinig aan doen) waarbij regelmatig een PC het begeeft dus ik ben er vrij blij mee dat ik hier die mogelijkheid heb

Thuis heb ik ook een tapedrive, die heb ik ooit gekregen met 3 tapes dus ik wil hem ook wel netjes kunnen gebruiken eigenlijk.

Ik help nogal eens mensen met hun PC (vast een tweaker syndroom ) en hoor net vaak genoeg dat iemand van alles kwijt geraakt is door crashende schijven om blij te zijn dat ik nog zo af en toe alles op tape kan zetten, just in case...

[ Voor 14% gewijzigd door VROEM! op 04-07-2006 08:50 ]

[Peter_B]

Als je afio gebruikt kun je een verify doen op de data. Ik heb dit gebruikt met mijn oude onstream tape drive.
Dit is mijn oude backup scriptje, het kopieerd alle bestanden uit een dir naar tape. Je piped het als het ware naar tape toe.

code:

MountDir="/mnt/hdc1"
BackUpdir="$MountDir/BackUp/Recent"
Date=`date +"%Y_%m_%d"` #       yyyy_mm_dd
Date2=`date +"%y/%m/%d %H:%M:%S; "` #   YY/mm/dd HH:MM:SS;
LogFile="$MountDir/BackUp/TapeBackUp_$Date.log"
TapeDev="/dev/osst0"
MT="/bin/mt"
AFIO="/bin/afio"


###     Start backup
##
mount $MountDir
echo Tape Backup log of `readlink -n $BackUpdir` on `date` > $LogFile   # Use the first write to destroy the file conten                                                                                    ts if the file already exists
(
# Rewind the tape in the drive
echo -n "$Date2 Rewinding tape ... "; $MT -f $TapeDev rewind; echo "Done."
#       echo -n "$Date2 Writing TOC ... ";  cd $BackUpdir; find . -printf > TOC.txt | $AFIO -o -b 32k -c 32 $TapeDev; cd                                                                                     -; echo "Done."
#       echo -n "$Date2 Backing up $BackUpdir ... "; cd $BackUpdir; find . -print | $AFIO -ov -b 32k -c 32 $TapeDev; cd                                                                                     -; echo "Done."
# Verify
echo -n "$Date2 Rewinding tape ... "; $MT -f $TapeDev rewind; echo "Done."
echo -n "$Date2 Verifying ... "; cd $BackUpdir; $AFIO -rv -b 32k $TapeDev; cd -; echo "Done."
# Rewind and Eject
#       echo -n "$Date2 Ejecting tape ... "; $MT -f $TapeDev offline; echo "Done."
) >> $LogFile
echo Log end `date` >> $LogFile
umount $MountDir

[zomertje]

Kun je niet gewoon 1 bestandje restoren?

En ik mis nog wat info:
OS=Linux?
Kun je je scriptje posten?

[VROEM!]

OS=linux (op de faculteit scientific linux (Redhat kloon), thuis debian testing)
1 bestandje restoren zou wel lukken denk ik maar ik wil gewoon de hele tape verifieren.

Script:

code:

echo Retensioning tape
#mt -f /dev/st0 retension
mt -f /dev/st0 rewind
echo Starting backup
tar cvfh  /dev/st0 ~/backup/*
echo Ejecting tape
mt -f /dev/st0 eject

De W optie voor verify is eruit gesloopt ivm vermelde foutmelding
De h is omdat ik hier en daar een dir heb die gebackupt moet. Ik heb in mijn home een backup dir met daarin symlinks naar de te backuppen data.

Het commando afio hebben we hier op de faculteit trouwens niet, thuis moet ik nog testen.

[ Voor 8% gewijzigd door VROEM! op 04-07-2006 10:11 ]

[Peter_B]

VROEM! schreef op dinsdag 04 juli 2006 @ 10:11:
....
Het commando afio hebben we hier op de faculteit trouwens niet, thuis moet ik nog testen.

Je zou het ook met het commando cpio kunnen proberen, die heeft iets van een CRC check volgens mij. Er zijn nog een aantal andere backup tools zoals amanda, arkeia, BRU maar ik heb geen flauw idee hoe en of die werken (ze stonden ergens vermeld in de readme van onstream).

[_JGC_]

afio is gewoon cpio met compressie per bestand. Als ruimte je niets kan schelen, kan je idd net zogoed cpio nemen.

[Jaywalker]

zomertje schreef op dinsdag 04 juli 2006 @ 10:03:
Kun je niet gewoon 1 bestandje restoren? ......................

Ik neem aan dat hij 'al' zijn data wil verifieren.. Het zal je maar net gebeuren dat het bestandje wat je restored wel goed is maar andere delen van de tape corrupt is

[VROEM!]

Jaywalker schreef op dinsdag 04 juli 2006 @ 11:14:
[...]

Ik neem aan dat hij 'al' zijn data wil verifieren.. Het zal je maar net gebeuren dat het bestandje wat je restored wel goed is maar andere delen van de tape corrupt is

Jij snapt het Als de hele tape 1 foutje heeft, hoe groot is de kans dat die precies in het bestand zit dat ik restore?

Verder is ruimte op de tape geen probleem, dus ik kan zonder compressie werken.

[daft_dutch]

moet het niet
tar -cvfh /dev/st0 ~/backup/*
zijn

andere oplossing

The --compare (-d), or --diff operation compares specified archive members against files with the same names, and then reports differences in file size, mode, owner, modification date and contents.

[Nitroglycerine]

Het min-teken hoeft niet bij tar, wordt wel aanbevolen.

Je zou na het maken van een backup een tar -tvf kunnen draaien van de tape. Echter, dan duurt een backup 2x zo lang. Ik vraag me overigens af of je gzip zou kunnen gebruiken bij het backuppen naar tape: je kunt dan een stuk meer kwijt.

[Wilke]

Is er niet de optie 't' om te testen of een archief leesbaar is? Wat Nitroglycerine hierboven zegt dus.

Gewoon teruglezen en volgens mij zijn er zelfs opties om met het origineel te vergelijken. Even zoeken in 'man tar' dan maar....

Overigens, ik neem aan dat je als afstudeerder niet omkomt in het geld, maar externe USB-drives kosten tegenwoordig ook niet de halve wereld en zijn *errug* fijn, makkelijk en snel om backups mee te maken... of zelfs een gewone USB-stick, die kosten helemaal niets (als in, 30 euro ofzo), en ik neem aan dat je verslag + eventuele plaatjes enzo toch echt wel op een 256MB stick passen. USB-harddrives (extern) zijn zo rond de 130 euro (ofzo) voor 250 GB dacht ik, en als het daar niet een heleboel backups op passen dan weet ik 't ook niet meer

[VROEM!]

Ik moet CFD (aerodynamische simulaties) data backuppen, dat is toch echt enkele tientallen GB's bij elkaar. Mijn begeleider schat dat het zo 100GB wordt en ik heb daar al eens in de buurt gezeten.

Verder zitten er nog metingen met een laser-doppler apparaat aan te komen en het schijnt niet moeilijk te zijn om daar 2 TB mee te genereren. Ik hoop het iets bescheidener te houden overigens, maar het schetst een aardig beeld van de hoeveeelheden data waar ik mee te maken heb.

De tijd die de backup vraagt is niet zo boeiend, ik kan rustig een paar uur andere dingen doen terwijl de backup loopt. Als de tape uit de drive steekt weet ik dat ie klaar is en dan is het verder wel goed.

Mijn tape is 50GB (zonder compressie) en ik verwacht die wel aardig te kunnen vullen dus. USB drives en zo ben ik toch lichtelijk zenuwachtig voor dat ze gejat worden (kan niet steeds staan wachten tot ze klaar zijn) en ik heb die tapezooi gratis ter beschikking, dus ik ga niet zo maar geld uitgeven aan extra harddisks.

[daft_dutch]

als de tijd niet uitmaakt mischien comprimeren met 7-zip

[VROEM!]

Ik heb ergens gelezen dat (in ieder geval bij tar) als je compressie gebruikt en er ergens een foutje in de tape zit alles na de fout onbruikbaar is. Ik zit daar dus niet zo op te wachten.

Ik draai op het moment backups van alles dat ik niet dmv rekenen terug kan toveren. Als er iets crasht en ik ben resultaten kwijt die met een paar dagen rekentijd gewoon terug zijn te krijgen is er geen man over boord. Zonder compressie kan ik op het moment die data nog kwijt dus ik doe het nog even zonder

[DeBolle]

Klopt, een tar backup is een 'archive', ofwel een bestand met een eigen interne index. Als er ergens in de file een fout zit, kan na de fout niets meer worden gelezen. Dit kun je enigszins bestrijden door gebruik te maken van het no-rewind device en meerdere archives achter elkaar op 1 tape. Dit geldt voor alle tar archives, zowel zonder als met compressie.
Als alternatief kun je gtar proberen (met ingebouwde compressie) of bijvoorbeeld dump (goed voor incrementals) of het aloude "find . -print | cpio -odumx | gzip > /dev/nrmt0"