Dropbox mirroring zelf doen met lftp?

[kramer65]

Hallo,

Ik heb twee computers; een Ubuntu pc en een mac laptop. Nu wil ik dat sommige mappen altijd hetzelfde zijn op beide computers (muziek en foto's). Dit zodat ik ze altijd bij de hand heb en ze bovendien zijn gebackupt mocht een van de computers ontploffen. Eigenlijk een soort dropbox-oplossing dus. Ik had ook graag dropbox gebruikt, ware het niet dat de betreffende mappen groter zijn dan de grootste accountmogelijkheid van dropbox (zo'n 250GB in totaal).

Ik heb dus een simpele shared server (van hostgator) welke ik als een soort hub wil gebruiken. Beide computers moeten dus gemirrord worden met die server. Nou wil ik daar graag de mirror-functie van lftp voor gebruiken. Voor zover ik weet kan je een scriptje maken wat ongeveer zoiets doet;

code:

open -u user,password -p [port] [server]
mirror -c -e /remote_directory /local_directory
mirror -c -e -R /local_directory /remote_directory

Nou vraag ik mij af, kan ik die twee mirror-opdrachten zo simpel in 1 scriptje zetten? Zou het bijvoorbeeld niet in de soep lopen als de bestanden te groot zijn? Bijvoorbeeld; ik zet een nieuwe map met 1GB aan foto's op mijn Ubuntu pc. Die wordt dan gekopieerd naar de server (met 100kbps), maar als hij ook meteen dingen van de server naar mijn eigen pc wil kopiëren dan gaat het misschien door elkaar lopen en update hij dus half geuploade bestanden weer terug naar mijn pc. Of is dat niet zo?

Verder vraag ik mij af hoe die mirror functie werkt. Ik heb er al heel wat over lopen lezen, maar ik begrijp niet of hij dat doet aan de hand van de tijd van creatie (wat nog mis zou kunnen lopen aangezien mijn server in de VS staat), of aan de hand van de grootte, of misschien wel iets heel anders?

Hebben mensen hier ervaring mee? Misschien handige tips en trucs?

[Nick_S]

Controleer aan het begin of er een pid/lock bestandje bestaat. Zo niet, maak deze aan, ga syncen en gooi het weg. Bestaat het al, is er dus al een job bezig en sla je deze iteratie over. Zo voorkom je dat je 2 "dezelfde" processen hebt draaien.

[code=bash]
if [ ! -e $lockfile ]; then
touch $lockfile
critical-section
rm $lockfile
else
echo "critical-section is already running"
fi
[/code]

[ Voor 1% gewijzigd door Nick_S op 28-02-2011 14:54 . Reden: Zie deadinspace, weer wat geleerd. :) ]

[DaRace]

Best link zonder een functie die de historie bij houdt zoals Dropbox.: als de bestanden op 1 pc vernaggeld worden is er maar 1 'backup' actie nodig om ze op de server ook te corrumperen, nog 1 stap verder en ze zijn ook gemirrored naar de andere pc. Weg bestanden!

[BinaryRun]

Even iets snel tussendoor over Hostgator. Ze staan zulke mirrors alleen maar toe bij VPS / Dedicated servers.

[CAPSLOCK2000]

Kijk eens naar unison, dat is erg geschikt om dit soort dingen efficient te doen. Alleen de verschillen en nieuwe files hoeven te worden verstuurd, en synchronisatie werkt twee kanten op en je kan controleren hoe er wordt omgegaan met files die aan beide kanten zijn veranderd.

[deadinspace]

Ik zou aanraden om rsync te gebruiken, dat is de klassieker voor dit soort werk. Het is heel wijd ondersteund, betrouwbaar, gebruikt delta's, kan checksummen, gaat over ssh (dus gratis betrouwebare encryptie + authenticatie).

Nick_S schreef op maandag 28 februari 2011 @ 12:18:
Controleer aan het begin of er een pid/lock bestandje bestaat.

Prima, maar doe dat alsjeblieft niet door zelf wat aan te klooien met touch en test. Zulke code heeft onherroepelijk race conditions, en gaat vaak niet om met stale locks. Gebruik de (makkelijke, betrouwbare, geteste!) faciliteiten die bestaan, zoals flock!

[kramer65]

@CAPSLOCK2000
Unison klinkt idd goed. Probleem is dat ik met hostgator geen gebruik kan maken van SSH, en volgens WriteUp schijnbaar mirros uberhaupt niet toegestaan zijn..

Ik heb vandaag nog heftig lopen zoeken naar een optie om dan gewoon een dedicated server te huren en het daarmee te doen. Nou kan dat wel, maar ondertussen kom ik dan al dicht in de buurt van commerciele oplossingen als spideroak.com. Ik heb uiteindelijk dus maar de handdoek in de ring gegooit en ga spideroak gebruiken..

Toch erg bedankt voor jullie hulp! :-)

[BinaryRun]

Misschien is Ubuntu One wel een goede optie voor je. Ruimte kan worden toegevoegd in pakketten van 20GB en ook nog eens spotgoedkoop. Geen maximum!