Filesystem over het Internet backuppen...

[Sprite_tm]

...naar een device met weinig ram.

Het verhaal: Ik heb sinds kort bij mijn ouders thuis een FSG-3 staan. Voor degene die 't niet kennen: dat is een doosje waar Linux op draait, met als hardware een ARM-processor, hard disk, wireless, ethernet, usb, etc. Voor mijn ouders doet 'ie niet veel meer dan accesspointje spelen, maar ik wil zelf zorgen dat de data die ik thuis op mijn Linux-server heb staan naar de 500G HD in het beestje gebackupped word.

Ok, zou je zeggen, dan gooi je toch netjes rsyncd op dat doosje? Dat dacht ik eerst ook, maar het blijkt dat rsync zo'n 100 bytes aan ram per bestand inneemt tijdens het syncen van de tree. Mijn te backuppen tree bevat op dit moment 3555596 bestanden, wat in een geheugengebruik van zo'n 355 MB zou resulteren. Dat past niet in de 64MB van de FSG

De vraag is dus: bestaan er ook andere tooltjes om een HD compleet te backuppen? De data moet over Internet, dus het is een must om alleen de gemodificeerde bestanden over te sturen; 500G per dag gaat de ADSL-lijn bij m'n ouders niet trekken. Ik heb al enigszins gezocht, maar ben eigenlijk alleen het tooltje Mirrordir tegengekomen. Naast het feit dat die niet in de package management sources van de FSG zit, maakt deze tool gebruik van een eigen variant op SSH, terwijl ik liever de OpenSSH-daemon gebruik die al op de unit staat.

[blaataaps]

Kun je geen swap-partitie of bestand maken?

[Verwijderd]

Swap partitie idd, of anders niet alles in 1 keer willen syncen, maar directory voor directory zodat hij minder bestanden in 1 keer zal versturen.

[Sprite_tm]

Swap-partitie... zou in principe kunnen. Ik ben alleen niet een groot voorstander van die HD enorm laten trashen, ik vertrouw die behuizing al niet 100% en extra hd-activiteit wil ik dan ook zo veel mogelijk vermijden. Ik zal het echter es uitproberen, met een swapfile en smartmontools om de temp in de gaten te houden.

Per dir synchroniseren is niet echt makkelijk te doen; het is niet zo alsof de hoeveelheden files netjes verdeeld zijn over een stel standaard-directories, en ik zie mezelf nog wel es het backup-script vergeten aan te passen als ik spul herorganiseer of ergens een nieuwe dir aanmaak.

[Verwijderd]

Sprite_tm schreef op zaterdag 24 mei 2008 @ 12:22:
Swap-partitie... zou in principe kunnen. Ik ben alleen niet een groot voorstander van die HD enorm laten trashen, ik vertrouw die behuizing al niet 100% en extra hd-activiteit wil ik dan ook zo veel mogelijk vermijden. Ik zal het echter es uitproberen, met een swapfile en smartmontools om de temp in de gaten te houden.

Per dir synchroniseren is niet echt makkelijk te doen; het is niet zo alsof de hoeveelheden files netjes verdeeld zijn over een stel standaard-directories, en ik zie mezelf nog wel es het backup-script vergeten aan te passen als ik spul herorganiseer of ergens een nieuwe dir aanmaak.

Je kan kijken naar cpdup . cpdup maakt gebruik van ssh. Volgens mij maakt cpdup niet een lijst van alle bestanden maar ik weet het niet meer 100% zeker.

[TheBorg]

Sprite_tm schreef op zaterdag 24 mei 2008 @ 11:35:
Dat dacht ik eerst ook, maar het blijkt dat rsync zo'n 100 bytes aan ram per bestand inneemt tijdens het syncen van de tree. Mijn te backuppen tree bevat op dit moment 3555596 bestanden, wat in een geheugengebruik van zo'n 355 MB zou resulteren.

Heeft rsync ook 100 bytes nodig voor bestanden die al aan de andere kant staan? Anders kun je eerst een normale kopie maken.
Ja dus.

[job]

Misschien is het handig om de pc's de backup te laten regelen.
Je installeert op je FSG-3 samba of nfs. Je maakt een share aan welke voor de te backuppen pc is te benaderen. En je installeert de backup software op de pc zelf.
Dan hoeft je FSG-3 vrijwel niets te doen tijdens een backup.

[swtimmer]

Ik lees net het volgende op de nieuwsgroepen:

You can always do the rsync a directory at a time. E.g. if you had

# rsync -a / target:/backup

instead do

# find / -mindepth 1 -maxdepth 1 -exec rsync -aR {} target:/
backup \;

or even

# find / \! -type d -mindepth 1 -maxdepth 1 -exec rsync -aR {}
target:/backup \;
# find / -mindepth 2 -maxdepth 2 -exec rsync -aR {} target:/
backup \;

------

je zou ook kunnen kijken wat het geheugen gebruik van unison is! Dat gebruik ik hier, al heb ik nog nooit het mem gebruik goed in de gaten gehouden! Zal dat de volgende keer eens doen....

[TheBorg]

Hier een Perl script om de tree in stukken te hakken en dan te syncen: Gigasync.

[Sprite_tm]

job: Kan wel, dat kan alleen niet icm rsync want die gaat geloof ik aan beide kanten het bestand inlezen om te kijken of er in-file nog veranderingen zijn. Unison lijkt wel best ideaal te zijn; als dat progje minder RAM vreet denk ik dat we een winnaar hebben

Flupzor, TheBorg: Ziet er beide goed uit! Ik ga ernaar kijken.

swtimmer: Het probleem is dus dat mijn bestanden niet zo mooi allemaal verdeeld over vaste dirs staat. Met die oplossing zou ik bijvoorbeeld als ik een dir met veel bestanden rename, de dir dubbel op de FSG hebben staan omdat het origineel niet gedeleted word door rsync.

[swtimmer]

Sprite_tm schreef op zaterdag 24 mei 2008 @ 14:14:
job: Kan wel, dat kan alleen niet icm rsync want die gaat geloof ik aan beide kanten het bestand inlezen om te kijken of er in-file nog veranderingen zijn. Unison lijkt wel best ideaal te zijn; als dat progje minder RAM vreet denk ik dat we een winnaar hebben

Flupzor, TheBorg: Ziet er beide goed uit! Ik ga ernaar kijken.

swtimmer: Het probleem is dus dat mijn bestanden niet zo mooi allemaal verdeeld over vaste dirs staat. Met die oplossing zou ik bijvoorbeeld als ik een dir met veel bestanden rename, de dir dubbel op de FSG hebben staan omdat het origineel niet gedeleted word door rsync.

Laat maar weten als je het ram verbruik van unison hebt getest. Gebruik dat namelijk hier ook. Ideaal om al mijn PC in sync te houden met een centrale server! Binnenkort weer eens de mp3 map syncen zal dan eens kijken wat het geheugen gebruik is (mijn documenten doe ik dagelijks, maar die is niet van die omvang dat dat een duidelijk beeld zal geven gok ik zo)

[daft_dutch]

kan je niet voor swap een stel usb sticks in het apparaat steken.
heb je wat meer snelheid/ (bandbreedte)