Schijfkopie.dmg bestand rsync incrementeel

[Martine]

Op mijn mac met os x 10.7 kan ik met behulp van het schijfhulpprogramma een "Nieuwe schijfkopie" aanmaken. Dit werkt allemaal prachtig, want hierin kan ik persoonlijke gegevens opslaan zoals foto's en andere ongein en kan ik het bestand beveiligen met een wachtwoord.

Alleen nu zou ik dat willen opslaan, op een vps dmv rsync. Dat gaat natuurlijk werken, alleen wanneer ik twee foto's aan het dmg bestand heb toegevoegd dan zal rsync de eerste volgende keer het gehele bestand weer gaan kopieeren.

Dat klopt ook wel, want de datum van het bestand is gewijzigd. Voor rsync betekend dat hij het bestand moet kopieeren. Wat ik echter zou willen als hij alleen de twee toegevoegde foto's gaat uploaden.

Kan dat?

Of is er een andere manier om op een vps met centos, een map met foto's op te slaan. Als deze niet zomaar leesbaar is?

Ja, het is een gehuurde vps en heb dmv iptables alleen toegang tot die server vanaf mijn ipadres thuis, maar niets is 100% waterdicht. Dus daarom zou ik graag de map op de vps willen beveiligen. Alleen op deze manier lukt dat niet.

[JackBol]

Rsync is een file-based backup tool en geen block-based backup tool. En die beveiligde disk is een file.
Dat betekent dat bij iedere wijziging rsync de hele file zal syncen.

Als het alleen voor backup doeleinden is, kan je al je foto's individueel versleuteld en vervolgens uploaden (bijv. met een script).

[Daedalus]

In plaats van een schijfkopiebestand kun je een 'sparse bundle image' aanmaken. Dan wordt de schijfkopie in plaats van een enkel bestand opgeslagen als een bundel van bestanden van 8 MB elk. Dat maakt het syncen wat beter behapbaar.

[JackBol]

Daedalus schreef op maandag 29 december 2014 @ 12:21:
In plaats van een schijfkopiebestand kun je een 'sparse bundle image' aanmaken. Dan wordt de schijfkopie in plaats van een enkel bestand opgeslagen als een bundel van bestanden van 8 MB elk. Dat maakt het syncen wat beter behapbaar.

Dat wist ik nog niet! Goede tip!

[Martine]

Nu heb ik een spare bundle image aangemaakt, maar toch zie ik maar één bestand. Ik had dus meerdere bestanden net als bij een opgedeeld .tar bestand verwacht.

Wat doe ik verkeerd?

Want als ik het als één bestand zie, dan ziet rsync dat ook zo. En wordt alsnog het gehele bestand verzonden in plaats van alleen het gewijzigde gedeelte daarvan.

//edit;
agghhh. nog even verder zoeken, en inderdaad. Het klopt!
Wanneer ik rsync -azv test.sparsebundle user@ip:/home/foo/bar run dan wordt de eerste keer maar één bestand gekopieeren. Okay, mooi.

Wanneer ik het bestand op de mac weer mount, en er twee foto's aan toevoeg, en vervolgens hetzelfde rsync command nogmaals run. Dan krijg ik het volgende;

building file list ... done
tester.sparsebundle/
tester.sparsebundle/bands/0
tester.sparsebundle/bands/1
tester.sparsebundle/bands/2a
tester.sparsebundle/bands/c

sent 2357554 bytes received 58962 bytes 966606.40 bytes/sec
total size is 133071842 speedup is 55.07

Met andere woorden, ja het werkt. De bytes die verzonden worden is een klein beetje meer dan het toegevoegde bestand. Heerlijk is dit gewoon!

Nu hoef ik op de vps niets te installeren oid. Kijkerdekijk, dat is mooi!

De bedoeling is nu dat ik een cronjob met hdiutil schijf welke het bestand even unmount, een rsync uitvoer, en vervolgens de disk weer netjes mount.

//edit2
maar wat is het verschil tussen "Beperkte bundelschijfkopie" en "Beperkte schijfkopie".

Met dezelfde bestanden is het verschil tussen beide dat de "Beperkte bundelschijfkopie" exact 6 mb groter is dan de andere. Wat is het exacte verschil?

Wel lees ik ergens dat de ene mee kan groeien tot een maximum, terwijl de andere hetzelfde maximum is ingesteld. Beide kunnen dus nooit groter worden. En het stomme is, ze zijn nagenoeg even groot.

Als ik de "beperkte bundelschijfkopie" rsync, komt er bands/0 /1 etc. etc. te staan. En wanneer ik de "beperkte schijfkopie" rsync, dan komt er alleen de bestandsnaam te staan. Echter worden beide keren nagenoeg hetzelfde aantal bytes verzonden.

[ Voor 84% gewijzigd door Martine op 29-12-2014 16:09 ]

[ppl]

Rsync heeft nog de -S of --sparse optie om beter om te gaan met sparse files. Die al eens geprobeerd?

[Martine]

Nee, die had ik nog niet gezien. Alleen geen idee wat die nou exact aan het uitvoeren is met die optie. Er worden blokken gewijzigen, de blokken zijn max. 8mb groot. Als er een klein bestand wordt toegevoegd dan worden er maar een paar blokken gewijzigen.

Dus wat die optie precies doet, geen idee.

-S, --sparse (handle sparse files efficiently)
Try to handle sparse files efficiently so they take up less space on the destination. Conflicts with --inplace because it's not possible to overwrite data in a sparse fashion.

[Pendora]

Je kan ook nog naar Automator kijken.
Ik heb zelf een MacMini met daarop Server geïnstalleerd. Mijn macbook maakt daarop de Time Machine. Deze wordt vervolgens door een script geladen en vanuit dat bestand worden mijn foto's en documenten (voor mij het enige wat ik niet kwijt wil raken) weer naar een ander beperktebundle weggeschreven welke dan vervolgens via SSH en rsync wordt gesynchroniseerd met een externe Mac. Ik laat dit script automatisch door Agenda elke nacht om 3 uur activeren.
Via een tweede script heb ik zelf een tijdje een log bestand laten draaien die naar mij werd gemaild zodat ik kon zien dat het gelukt was. Uiteindelijk ging het altijd goed en heb ik dat script gestopt.