rsync met tar

[seadoo]

Beste allemaal,

Ik ben nu al een tijdje aan het zoeken, maar ben bang dat ik er niet alleen uit kom. Vandaar dat ik m'n vraag maar hier post.

Is het mogelijk om een backup te maken via het netwerk naar een tar bestand?
Momenteel backup ik met bv.
rsync -e ssh -azv /home/gate/ [e-mail]:/mnt/raid/backup/
dan doe ik:
tar -cf backup_zeus_YY_MM_DD.tar /home/gate/
en dan:
rm -rf /home/gate/*

Hij copieert nu de hele directory backup naar de locale directory gate. Daarna pak ik alles in een tar bestandje.
Als laatste verwijder ik die hele dir weer.

Is het niet mogelijk om hem te laten backuppen rechtstreeks naar een tar bestand ?

En kom nou niet met ik moet goed kijken, want dat heb ik al gedaan... ik kan niets vinden over een combinatie met tar en rsync.

b.v.d.

[Verwijderd]

Volgensmij niet, maar waarom er niet gewoon even een klein scriptje van maken? Scheelt toch ook weer de moeite die jij wilt besparen.

[seadoo]

Had ik ook al aan gedacht. Maar er zijn meerdere directory's die ik wil backuppen, en als alles in 1 regel stond zou het makkelijker zijn in een batch. Heb je gewoon een regel per backup... snap je een beetje wat ik bedoel ?

[killercow]

kan tar niet gewoon alleen veranderde files inpakken? volgens mij is daar gewoon een flag voor. (dan laat je dat hele rsync verhaal even voor wat het is.

de -u flag van tar voegt alleen files toe aan de tar die verniewt zijn, of die er nog niet in zaten.

Als er niet zo vreselijk veel veranderd kost dit ook niet zo veel cpu gok ik.

[ Voor 38% gewijzigd door killercow op 28-02-2006 20:06 ]

[seadoo]

Over cpu time hoef je je geen zorgen te maken. Die server heeft een load van 0,0 en is idle 99% van de tijd. Ik heb ook plaats genoeg dus hoef ook geen incrementele backups te maken. De bedoeling is dus gewoon om een full backup te maken van een aantal directories op andere server en die dan in een tar-file te propen.

[Verwijderd]

seadoo schreef op dinsdag 28 februari 2006 @ 20:00:
Had ik ook al aan gedacht. Maar er zijn meerdere directory's die ik wil backuppen, en als alles in 1 regel stond zou het makkelijker zijn in een batch. Heb je gewoon een regel per backup... snap je een beetje wat ik bedoel ?

seadoo schreef op dinsdag 28 februari 2006 @ 20:12:
Over cpu time hoef je je geen zorgen te maken. Die server heeft een load van 0,0 en is idle 99% van de tijd. Ik heb ook plaats genoeg dus hoef ook geen incrementele backups te maken. De bedoeling is dus gewoon om een full backup te maken van een aantal directories op andere server en die dan in een tar-file te propen.

Dan wordt het vrij makkelijk. Maak gewoon een scriptje op de server dat hij met tar alleen de veranderde bestanden in de tar update, en zet het in een cronjob. Verder kan je bij jou thuis ook een cronjub draaien om het bestandje op te halen. Mooi opgelost toch?

[TD-er]

Ik heb hier ook al eens naar gekeken.
Bij mij ging het niet zozeer om de extra moeite, maar omdat er gewoon geen ruimte was voor die tar-file en de rsync en/of dat je op de plek waar de rsync moest komen geen permissies had om files te maken die niet van jezelf zijn.

[seadoo]

Hmm.. ja.. dan zal ik toch wel iets met een scriptje moeten doen.
Okay dan, bedankt voor het meedenken in ieder geval ...

[Verwijderd]

met ssh en tar kan je ook leuke dingen dingen doen !

[jvhaarst]

Zo dus :
(cd /mydir && tar -czf - .) | ssh user@dest "(cd /destdir && tar -xzvf -)"

[TD-er]

jvhaarst schreef op zondag 05 maart 2006 @ 13:10:
Zo dus :
(cd /mydir && tar -czf - .) | ssh user@dest "(cd /destdir && tar -xzvf -)"

Het nadeel hiervan is nog steeds dat je dus wel genoeg rechten moet hebben om die files uit te pakken en de ownerships en permissies te behouden.
Een tar-file opslaan heeft ook niet veel zin wanneer die >2 GB gaat worden. (4 GB op sommige systemen)

[Wilke]

TD-er schreef op zondag 05 maart 2006 @ 13:21:
Een tar-file opslaan heeft ook niet veel zin wanneer die >2 GB gaat worden. (4 GB op sommige systemen)

De tijd dat filesystems dat soort limieten hadden ligt hopelijk toch al wel ver achter ons, right?

[Nvidiot]

De laatste keer dat ik met TAR een bestand > 2 GB aanmaakte was ie corrupt, dwz, de eerste files waren verdwenen, maar de TAR zelf was wel keurig de juiste maat, heel vervelend.

[TD-er]

Wilke schreef op zondag 05 maart 2006 @ 13:45:
[...]




De tijd dat filesystems dat soort limieten hadden ligt hopelijk toch al wel ver achter ons, right?

Filesystemen wel, Tar helaas niet.

[killercow]

Nou, ga een bug filen dan

ontopic:
Heeft tar echt zo'n probleem? dat zuigt echt behoorlijk, maar misschien kun je dat solven door multi-volume tar's te bouwen?

[Verwijderd]

Ik maak dagelijks (automatisch) backups met tar bestanden van (gezipt) ver over de 4 GB als backup, en een x-aantal keer per maand pak ik er ook weleens wat van uit (soms zelfs alles), maar ik heb er echt nooit problemen mee gehad... ik lees dit hier voor het eerst... En ik gebruik de verschillende versies op verschillende PC's, met SuSE 8.0, 9.0, Red Hat 8.0, Fedora Core 2 (versie 1.13.18 en 1.13.25), maar echt nooit problemen met tar...
TD-er, welke versie gebruik je eigenlijk, en kun je de fout reproduceren?
Misschien toch je filesystem corrupt?

[ Voor 3% gewijzigd door Verwijderd op 06-03-2006 10:54 ]

[TD-er]

Verwijderd schreef op maandag 06 maart 2006 @ 10:52:
Ik maak dagelijks (automatisch) backups met tar bestanden van (gezipt) ver over de 4 GB als backup, en een x-aantal keer per maand pak ik er ook weleens wat van uit (soms zelfs alles), maar ik heb er echt nooit problemen mee gehad... ik lees dit hier voor het eerst... En ik gebruik de verschillende versies op verschillende PC's, met SuSE 8.0, 9.0, Red Hat 8.0, Fedora Core 2 (versie 1.13.18 en 1.13.25), maar echt nooit problemen met tar...
TD-er, welke versie gebruik je eigenlijk, en kun je de fout reproduceren?
Misschien toch je filesystem corrupt?

Ik heb het met Suse 10 (draai ik nu op mijn fileserver) niet meer getest, omdat het gewoon te vaak niet gelukt was.
Mijn filesysteem is niets mis mee, want ik werk regelmatig met files van 10 - 13 GB en soms zelfs groter. Al meer dan 5 jaar.

Waarom Tar daar zo'n probleem mee heeft, zou ik ook niet kunnen verklaren, want als je tarred naar een tape, heb je in feite ook een tar-archive van zo'n 10+ GB.
Ik heb wel gemerkt dat wanneer je een tar gaat zippen, of bzip2-en dat je wel meer kwijt kunt. Ik heb echter nooit uigebreid lopen testen of dat nou was met tar zcvf.... of tar |gzip.

Ik zal van de week even kijken of de tar van Suse 10.0 er ook nog last van heeft.

Vorige week in elk geval nog weer meegemaakt met een wat oudere tar-versie (Suse7.2 machine) dat 'ie op de 2 of 4 GB bleef steken.

[jvhaarst]

Dan is die versie stuk:
uit http://cvs.savannah.gnu.o...e=text/vnd.viewcvs-markup :

version 1.13 - Paul Eggert, 1999-07-08.

* Support for large files, e.g. files larger than 2 GB on many 32-bit hosts.
Also, support for larger uids, device ids, etc.

[DeMoN]

Nvidiot schreef op zondag 05 maart 2006 @ 13:48:
De laatste keer dat ik met TAR een bestand > 2 GB aanmaakte was ie corrupt, dwz, de eerste files waren verdwenen, maar de TAR zelf was wel keurig de juiste maat, heel vervelend.

Nou je het zegt!
Ik kan dit idd bevestigen. Had laatst een full backup gemaakt met tar van een 5 GB schijf. Mooi tar pakketje achteraf en alles lijkt goed maar er missen gewoon dirs in het tar archief??

Nog een geluk dus dat ik die backup testte Wel raar eigenlijk.

Het gaat hier zelfs om tar "(GNU tar) 1.15.1"

[ Voor 6% gewijzigd door DeMoN op 07-03-2006 11:45 ]

[TD-er]

jvhaarst schreef op dinsdag 07 maart 2006 @ 11:38:
Dan is die versie stuk:
uit http://cvs.savannah.gnu.o...e=text/vnd.viewcvs-markup :

version 1.13 - Paul Eggert, 1999-07-08.

* Support for large files, e.g. files larger than 2 GB on many 32-bit hosts.
Also, support for larger uids, device ids, etc.

Tsja dat kun je op 2 manieren lezen
- hij kan files aan die groter zijn dan 2 GB.
- hij kan tar-files aan die groter worden dan 2 GB.

Het 2e werkte in elk geval al jaren geleden.... zolang je het maar naar tape schreef, dus ik vermoed dat 'ie ermee wil zeggen dat Tar in principe het snapt als je er een file van >2 GB naar toe wilt schrijven.