unix en tapes

[justice strike]

Ik ben op het moment bezig om tapes te gaan gebruiken voor backups. (aangezien ik een tapestreamer heb weten te bemachtigen) maar het gaat me nogal moeilijk af om het te gebruiken.

Nu kan ik wel tarren naar de streamer (die gewoon leuk doortarred zonder te kijken of het allemaal wel gaat passen) en untarren lukt me ook wel. Maar echt info over de tape kan ik niet vinden. Nu heb ik wel even rondgekeken, maar de info is neit echt eenduidig.

Wat ik nu eigenlijk wil doen is:

1. kijken hoeveel ruimte er nog op de tape zit
2. listen welke tar streams er op de tape zitten.

ik weet dat je met mt kunt seeken, maar weet dus niet of tar automatisch catagoliseerd bij het maken van een tar stream weet iemand, of dit zo is? Ik weet ook dat je met camcontrol het een en ander aan info kunt vinden (zoals error reporting en taperuimte) maar hoe camcontrol werkt... dat weet ik niet. Kan iemand mij enigsinds opweg helpen want ik heb deze info nergens kunnen vinden.

ik gebruik overigens freebsd 4.10 (yup erg oud)

[_JGC_]

Je zou met tools als bacula kunnen werken, alhoewel dat een beetje overkill is.
Voor de normale methodes, tar en afio/cpio, zijn er geen andere indexmogelijkheden dan het "testen" van een tape om zo de tape listing te krijgen. Ik heb destijds wel eens wat gedaan met het partitioneren van de tape en met tar en ddstool backups maken, maar bij de eerste terugzetactie na het plaatsen van een cleaningtape werd al snel duidelijk dat de DDS3 streamer geen partities kon seeken... waardeloos systeem dus.

Persoonlijk raad ik je trouwens aan om backups met afio te doen ipv met tar. Bij tar heb je een grote stream, en zodra hier een blockfout in zit (is niet ongewoon bij DDS tapes), is je hele stream waardeloos, vooral in het geval je het comprimeert. Bij afio heb je gewoon een cpio archief op tape, met daarin de losse bestanden gecomprimeerd. Dit neemt meer tijd en de compressie zal lager zijn, maar het resultaat is een stuk betrouwbaarder.

[Sir Isaac]

Met mt kun je je tape streamer besturen, maar ik weet niet of je daarmee ook vrije ruimte kan uitlezen.

[justice strike]

ok dus als ik het goed begrijp. Kun je niet uitlezen welke streams er op een tape staan, en je kunt niet zien hoeveel ruimte er nog beschikbaar is.

afio lijkt me leuk, maar zoals ik gelezen heb is cpio niet echt heel anders dan tar. Het is een stream net zoals tar... of vergis ik me daar erg in?

/edit Hoe werkt afio trouwens, het is niet erg vanzelfsprekend zoals tar namelijk

[ Voor 12% gewijzigd door justice strike op 05-11-2007 21:30 ]

[justice strike]

Hoe weet ik nou eigenlijk uberhaupt of een tape vol is en op welke headerposition hij vol zou moeten zijn

ik krijg errors die mij doen vermoeden dat de tape aan het einde is gekomen, maar het is voor mij niet na te gaan of dit ook daadwerkelijk zo is.

[_JGC_]

Ik krijg over het algemeen dit soort meldingen van afio als de tape vol is:

afio: "/dev/st1" [offset 18212m+912k+0]: No space left on device

(ja, st1, er zitten 2 DDS4 streamers in die bak )

Wat betreft dat cpio ook een stream is: bij tar kan je idd wel uitlezen met blockfouten, maar zodra je gaat comprimeren kapt gzip of bzip2 ermee bij de eerste de beste fout.

[justice strike]

_JGC_ schreef op dinsdag 06 november 2007 @ 12:55:
Ik krijg over het algemeen dit soort meldingen van afio als de tape vol is:

afio: "/dev/st1" [offset 18212m+912k+0]: No space left on device

(ja, st1, er zitten 2 DDS4 streamers in die bak )

Wat betreft dat cpio ook een stream is: bij tar kan je idd wel uitlezen met blockfouten, maar zodra je gaat comprimeren kapt gzip of bzip2 ermee bij de eerste de beste fout.

ik krijg een input error. Maar ik denk stiekum toch dat hij vol zit, alleen nagaan hoe dat zit. Kan ik dat aan de hand vvan de scsi block of hardware block index zien ofzo?

[_JGC_]

Welke foutmelding krijg je precies?

[justice strike]

_JGC_ schreef op dinsdag 06 november 2007 @ 13:14:
Welke foutmelding krijg je precies?

iets in de trant van:

input error: unexpected eof "een.pdf"

maar als ik een cat doe op de filename of ik open hem met een pdf (want het is een pdf) dan werkt alles normaal, dus aan de file ligt het niet echt. Van een onverwachte end of file lijkt me dan geen sprake te zijn.

[ Voor 14% gewijzigd door justice strike op 06-11-2007 15:13 ]

[_JGC_]

Welke streamer heb je en welk commando gebruik je?

[justice strike]

_JGC_ schreef op dinsdag 06 november 2007 @ 17:06:
Welke streamer heb je en welk commando gebruik je?

sony sdt-10000 dds4 streamer met dds3 tape

commando is
"find /directory/to/backup/ | afio -o -Z /dev/sa0"

[_JGC_]

probeer eens met deze opties:

code:

afio -b 10k -oZ -G 3 -c 5000 -M 64m

Zelf gebruik ik dit op onze backupserver:

code:

find /var/backups/{www1,www3,www4,www6} -depth -mount -print | afio -b 10k -oZ -G 3 -c 5000 -M 64m /dev/st1

Die find commandoregel zal vast heel anders zijn op FreeBSD en doet er waarschijnlijk niet echt toe, maar die afio regel is wel het een en ander belangrijk aan. Met name de -b 10k optie om je blocksize op 10k te zetten, dezelfde blocksize die tar ook gebruikt.

Verder vraag ik me af of een DDS4 streamer ook DDS3 tapes kan schrijven, vaak kunnen die dingen alleen oudere tapes lezen (en daarnaast is het ook niet gezond voor de koppen van je streamer)

[justice strike]

_JGC_ schreef op dinsdag 06 november 2007 @ 19:02:
probeer eens met deze opties:

code:

afio -b 10k -oZ -G 3 -c 5000 -M 64m

Zelf gebruik ik dit op onze backupserver:

code:

find /var/backups/{www1,www3,www4,www6} -depth -mount -print | afio -b 10k -oZ -G 3 -c 5000 -M 64m /dev/st1

Die find commandoregel zal vast heel anders zijn op FreeBSD en doet er waarschijnlijk niet echt toe, maar die afio regel is wel het een en ander belangrijk aan. Met name de -b 10k optie om je blocksize op 10k te zetten, dezelfde blocksize die tar ook gebruikt.

de streamer ondersteund variable block sizes (daar staat ie nu op ingesteld) maar i ga dit zeker even proberen.

Verder vraag ik me af of een DDS4 streamer ook DDS3 tapes kan schrijven, vaak kunnen die dingen alleen oudere tapes lezen (en daarnaast is het ook niet gezond voor de koppen van je streamer)

hij ondersteund echt dds3 tapes. Ik heb dds4 tapes maar die zitten nog in de verpakking. Ik zou niet inzien waarom het niet zou werken, das net als een diskdrive die 800k schijvjes kan lezen en schrijven, das juist minder strain op de kop lijkt me. Afijn, ik ga het nu even uitproberen ik zet zodadelijk mijn bevindingen hier.

maar wat ik dus vreemd vind is dat de tapestreamer onder windows dus wel kan vertellen hoeveel er op de tape beschikbaar is en welke archives er op staan maar dat unix blijkbaar hier niet een tool voor heeft om die info te geven.

[justice strike]

ok. dat is gelukt zonder foutmeldingen, is er nu een manier om na te gaan of de backup goed uitgevoerd is?

[Zwerver]

Ja? MD5-je maken van elk bestand en dan vervolgens willekeurig een (aantal) bestanden terughalen? Anders weet je _nooit_ zeker of het goed gegaan is Je kan het uiteraard wel gokken (aka vertrouwen op wat je OS zegt) maar zeker weten doe je hhet nooit

[justice strike]

Zwerver schreef op woensdag 07 november 2007 @ 08:59:
Ja? MD5-je maken van elk bestand en dan vervolgens willekeurig een (aantal) bestanden terughalen? Anders weet je _nooit_ zeker of het goed gegaan is Je kan het uiteraard wel gokken (aka vertrouwen op wat je OS zegt) maar zeker weten doe je hhet nooit

tja ik heb een listing van de directory gemaakt en dat vergeleken... hij mist alleen de / vooraan dus een dif kan ik niet echt uitvoeren, maar het lijkt wel of alles goed gegaan is. Het is wat jammer dat de tape functionaliteit wat beperkt is tov windows... dat is iets wat ik totaal niet verwacht heb... maar ik denk wel dat alles werkt (behalve dan het opvragen van resterende taperuimte )

[ph0t0nix]

De functionaliteit lijkt beperkt t.o.v. windows omdat je een beperkt programma gebruikt. Als je het eerder genoemde Bacula gebruikt kun je netjes zien hoeveel bytes geschreven zijn en hoeveel er op kunnen. Dan is de vrije ruimte ook zo berekend. Verder snapt Bacula wat 'ie moet doen als er een tape vol is. Ok restoren van een enkel bestand is mogelijk. Hij vertelt je dan ook nog welke tape je er in moet steken.
Echt een super programma (maar, zoals gezegd, ook wat complex om te configureren).
En zijn trouwens nog meer backup programma's voor linux, bijvoorbeeld amanda, maar daar heb ik verder geen ervaring mee.

[justice strike]

ik zal even bacula installeren.... maar het ziet er naar uit dat ik eerst mijn freebsd moet upgraden naar 6.2 erg lastig maar misschien ook wel beter.

[Michael]

justice strike schreef op donderdag 08 november 2007 @ 21:35:
ik zal even bacula installeren.... maar het ziet er naar uit dat ik eerst mijn freebsd moet upgraden naar 6.2 erg lastig maar misschien ook wel beter.

Houd er rekening mee dat je dan eerst moet updaten naar de laatste 5.x versie. Daarnaast moet je ook al je ports recompilen.

[justice strike]

Michael schreef op donderdag 08 november 2007 @ 23:03:
[...]

Houd er rekening mee dat je dan eerst moet updaten naar de laatste 5.x versie. Daarnaast moet je ook al je ports recompilen.

hmm ja... ik heb ook gezien dat het mogelijk is van 4.11 naar 6 te gaan. ik weet alleen niet of updaten zo verstandig is eigenlijk... 5 heeft altijd problemen gegeven op die machine, dus ik zit te tubben of ik een complete reinstall doe (waar ik weinig zin in heb eigenlijk) of het gokje vaag om via 5 naar 6 up te graden of misschien direct naar 6 up te graden.

daarbij draai ik hier een smp systeem met wat extra modules voor raid 5 en scsitape drive... ik weet niet in hoeverre dat goed gaat lopen

[justice strike]

bacula net geinstalleerd gekregen. en ben met de console aan het kloten maar ik wordt er niet echt wijzer van. Op de een of andere manier wil hij tapes niet relabelen en wegschrijven naar een tape doet ie ook niet.

de tapes zijn ansich wel benaderbaar, (ze zijn gedefined in bijde bacula-sd en bacula-dir) maar hij wil alles naar /tmp backupen... Is er geen simpele howto hiervoor? die handleiding van bacula is niet echt begrijpelijk geschreven.

[ph0t0nix]

Als je wilt kan ik je mijn config files wel sturen. Stuur maar een DM.