recursive copy doen zonder symlinks te volgen

[justice strike]

Ik was gister bezig een secure copy te doen van de ene host naar de andere. Ik had het idee dat scp ook niet de symlinks ging volgen maar dat doet hij dus wel.

Er zijn verder ook binnen scp geen opties om dat de symlinks niet te volgen wat er dus voor zorgt dat hij maar eindeloos doorgaat. Nu zit ik eraan te denken of het mogelijk is om de partitie te tarren en meteen over scp te gooien (ik heb namelijk geen ruimte om de tar op te slaan) en of op een andere manier om deze over te zetten.

Ik heb geen nfs mount tot mijn beschikking. Die werkt niet naar behoren. Ook samba is niet mogelijk er staat samba 2.2 op de server welke een oude 4.1 freebsd distributie is.. Deze versie speelt niet heel nice met de nieuwe samba 3.x versies die nu gebruikt worden.

ik ben dus min of meer wel met scp of ssh gebonden. suggesties?

[ Voor 5% gewijzigd door justice strike op 28-06-2012 09:52 ]

[Nitroglycerine]

rsync

Daar heb je de optie --safe-links , dan worden alleen symbolic links binnen de directory tree meegenomen. Standaard negeert rsync ALLE symlinks.

[ Voor 14% gewijzigd door Nitroglycerine op 28-06-2012 09:58 ]

[Kees]

justice strike schreef op donderdag 28 juni 2012 @ 09:51:
Ik was gister bezig een secure copy te doen van de ene host naar de andere. Ik had het idee dat scp ook niet de symlinks ging volgen maar dat doet hij dus wel.

Gebruik rsync

Er zijn verder ook binnen scp geen opties om dat de symlinks niet te volgen wat er dus voor zorgt dat hij maar eindeloos doorgaat. Nu zit ik eraan te denken of het mogelijk is om de partitie te tarren en meteen over scp te gooien (ik heb namelijk geen ruimte om de tar op te slaan) en of op een andere manier om deze over te zetten.

Ja dat kan. Bijvoorbeeld door een commando alla (uit mijn hoofd): tar -z | ssh -i rsa_id user@host 'cat > backup.tar.gz'

ik ben dus min of meer wel met scp of ssh gebonden. suggesties?

Rsync is nog makkelijker, of anders tar over ssh, dat werkt ook.

[justice strike]

Kees schreef op donderdag 28 juni 2012 @ 10:33:
[...]
Gebruik rsync
[...]
Ja dat kan. Bijvoorbeeld door een commando alla (uit mijn hoofd): tar -z | ssh -i rsa_id user@host 'cat > backup.tar.gz'

[...]

Rsync is nog makkelijker, of anders tar over ssh, dat werkt ook.

rsync packages zijn niet meer beschikbaar voor freebsd 4.x... dus dat zal lastig gaan. Het commando wat je zelf aangeeft werkt niet aangezien de tar het afkapt op het moment dat je een wachtwoord moet invullen


tenzij.... kan ik rsync initieren op de server waar ik de data naartoe wil verplaatsen? dus dat ik de data naar de server toe trek.

rsync werkt niet. andere suggesties?

[ Voor 14% gewijzigd door justice strike op 28-06-2012 10:46 ]

[Hero of Time]

Dat laatste zou kunnen, maar heb ik zelf nog niet zien werken. Die tar commando die je probeert, dat gaat prima werken met wachtwoorden voor SSH vragen. Zelf al paar keer gebruikt zonder problemen. Je moet tar laten inpakken naar stdout, en remote tar laten uitpakken van stdin. Je krijgt dan dit:

tar -c <map> | ssh user@host "tar -x -C /pad/"

[justice strike]

Hero Of Time schreef op donderdag 28 juni 2012 @ 10:55:
Dat laatste zou kunnen, maar heb ik zelf nog niet zien werken. Die tar commando die je probeert, dat gaat prima werken met wachtwoorden voor SSH vragen. Zelf al paar keer gebruikt zonder problemen. Je moet tar laten inpakken naar stdout, en remote tar laten uitpakken van stdin. Je krijgt dan dit:

tar -c <map> | ssh user@host "tar -x -C /pad/"

en dit is de foutmelding die ik direct krijg als ik het probeer

tar: /dev/sa0: Cannot open: Device not configured
tar: Error is not recoverable: exiting now

[Nitroglycerine]

Je kunt ook zelf rsync compileren en installeren, als je een oude versie pakt moet het qua dependencies niet al te moeilijk worden lijkt me. Je kunt de sources downloaden op rsync.samba.org/ftp/rsync .

Verder zou je kunnen kijken naar een public/private key combinatie, als je de private key op de versturende server hebt staan zal de ontvangende server (bij juiste sshd configuratie) niet om een wachtwoord vragen.

[justice strike]

Nitroglycerine schreef op donderdag 28 juni 2012 @ 11:00:
Je kunt ook zelf rsync compileren en installeren, als je een oude versie pakt moet het qua dependencies niet al te moeilijk worden lijkt me. Je kunt de sources downloaden op rsync.samba.org/ftp/rsync .

net geprobeerd.... gaat niet lukken te veel foutmeldingen.


ben nu aan het kijken of ik sftp oid kan gebruiken

[Nitroglycerine]

pkg_add rsync op de freebsd bak gaat niet werken?

Moet je het 1x uitvoeren, of is het een terugkerende actie? Heb je fysieke toegang tot de FreeBSD machine? Zit er een CD/DVD speler in de machine? Wat is het type filesysteem waar je vanaf wilt kopiëren?

[justice strike]

Nitroglycerine schreef op donderdag 28 juni 2012 @ 11:34:
pkg_add rsync op de freebsd bak gaat niet werken?

Moet je het 1x uitvoeren, of is het een terugkerende actie? Heb je fysieke toegang tot de FreeBSD machine? Zit er een CD/DVD speler in de machine? Wat is het type filesysteem waar je vanaf wilt kopiëren?

het is eenmalig, de server zelf is dood gegaan, er is een hd in de fik gevlogen (letterlijk) en ik heb nu op andere hardware het systeem geboot ik wil alles zo snel mogelijk veilig stellen. het probleem is dat het filesysteem wel ufs is maar hij hangt aan een 3ware kaart en ik heb in het nieuwe vervangende systeem geen pci meer hangen.

op het moment gebruik ik lftp. Ik hoop dat dit voldoende is maar het liefst haal ik een image over naar de andere kant. Het betreft om en nabij de 700 gb dus echt triviaal om dit over te pompen over het netwerk is het niet...
verder wel fysieke toegang en dergelijke, maar het systeem is gewoon oud en meeste sources zijn niet meer te krijgen.

/edit pkg_add had ik idd al geprobeert

[Hero of Time]

justice strike schreef op donderdag 28 juni 2012 @ 10:59:
[...]


en dit is de foutmelding die ik direct krijg als ik het probeer

tar: /dev/sa0: Cannot open: Device not configured
tar: Error is not recoverable: exiting now

Waarom wil je een device node tarren? Wat betekend die error precies in *BSD?

* Hero of Time heeft geen BSD ervaring.

[RemcoDelft]

Even uit m'n persoonlijke backup-archief gevist:

cat /dev/sda | ssh remco@IP cat "|" bzip2 -z -1 ">" /home/.../....iso.bz2

Dit maakt een image van de hele disk, waarbij de ontvangende computer (met zwaardere CPU) de compressie doet. En vraagt netjes om een password voor ssh-login. Wellicht kan je hier iets van maken.

[Nitroglycerine]

Misschien een idee om met een LiveCD van bijv Ubuntu de vervangende machine te booten en via die weg het spul te kopieren?

[justice strike]

RemcoDelft schreef op donderdag 28 juni 2012 @ 12:04:
Even uit m'n persoonlijke backup-archief gevist:

cat /dev/sda | ssh remco@IP cat "|" bzip2 -z -1 ">" /home/.../....iso.bz2

Dit maakt een image van de hele disk, waarbij de ontvangende computer (met zwaardere CPU) de compressie doet. En vraagt netjes om een password voor ssh-login. Wellicht kan je hier iets van maken.

dit werkt... nu even kijken of ik hier iets van kan maken gebruik makend van tar oid. ga ik later even uitproberen.

Nitroglycerine schreef op donderdag 28 juni 2012 @ 12:07:
Misschien een idee om met een LiveCD van bijv Ubuntu de vervangende machine te booten en via die weg het spul te kopieren?

dat is een goede... heb het vooralsnog alleen met freebsd images geprobeert.... maar word 3ware standaard ondersteund in ubuntu?

[ Voor 43% gewijzigd door justice strike op 28-06-2012 12:38 ]

[Hero of Time]

Ja, eventueel met packages uit restricted. Google kan je vast het definitieve antwoord geven.

[Kees]

Als encryptie niet van belang is, kun je ook altijd nog netcat proberen

Iets als (op de server) 'dd if=/dev/sda bs=1M |gzip|nc ontvangende-server 12345' en op de ontvangende server doe je: 'nc -l -p 12345 |gzip -d > sda.dd.dump'

[sam.vimes]

tar stuurt zijn uitvoer standaard naar een tape-device, wat je hier niet wilt. Uitvoer van tar naar stdout is met optie -f-.

cd brondir
tar -czf - . | ssh user@host 'cd doeldir && tar -xvzf -'

Ik paste dit dagelijks toe voor het maken van een backup totdat ik rsync ontdekte.