Time Machine backup & rsync

[Tony L]

Ik wil zoveel mogelijk afhankelijkheden weghalen in mijn backup systeem. Ik maak nu gebruik van een iSCSI volume op mijn Synology DS410J. Echter zit er een bug in dat op het moment dat ik mijn TCP kabel er uit trek, het hele systeem gaat hangen (omdat ik de iSCSI volume niet gedisconnect heb). Daarnaast kost deze software in Lion geld en ik wil op termijn naar Lion kunnen migreren zonder deze software.

Wat ik heb bedacht is het volgende:
1. Ik heb een externe schijf gekocht waar ik een Time Machine partitie op heb gezet van 750 GB.
2. De data op deze schijf stuur ik vervolgens met behulp van rsync naar mijn Synology server.

Stel dat mijn externe schijf crashed... Krijg ik dan problemen op het moment ik de backup terug zet met rsync naar een nieuwe externe schijf? Want dan heb ik er natuurlijk niets aan! Ik weet niet precies hoe dit werk en kan er verder niets zinnigs over vinden...

[smeerbartje]

Interessant topic; ik ben er ook mee bezig. Waarom wil je je data op 1) je mac 2) je externe schijf en 3) je Synology? Is eenmaal op je externe schijf niet afdoende?

Ikzelf backup enkel mijn iPhoto en iTunes libraries op een extern schijfje, eens per maand. Dit is voor mijzelf voldoende. Ik heb lang getwijfeld om een Time Capsule aan te schaffen, maar deze vind ik te duur en het schijnt dat ze dag-en-nacht op full power consumption blijven draaien.

Een andere optie is inderdaad om middels rsync o.i.d. de twee libraries op m'n servertje (ubuntu met samba shares) te pleuren. Ik weet echter niet of ik de iTunes en iPhoto libraries gewoon kan "behandelen" als directories naar een samba share. Gaat dit bij een restore goed denk je?

[ Voor 63% gewijzigd door smeerbartje op 03-12-2011 11:21 ]

[Verwijderd]

ja of draai op je 411j op raid 10 dan zit je ook best save.

[Digistorm]

smeerbartje schreef op zaterdag 03 december 2011 @ 09:47:
(...)
Een andere optie is inderdaad om middels rsync o.i.d. de twee libraries op m'n servertje (ubuntu met samba shares) te pleuren. Ik weet echter niet of ik de iTunes en iPhoto libraries gewoon kan "behandelen" als directories naar een samba share. Gaat dit bij een rectoren goed denk je?

Dat gaat goed als tijdens deze handeling beide programma's afgesloten zijn. Voor het back-uppen hoeven de programma's mogelijk niet afgesloten te zijn. Op de achtergrond is Time Machine ook niet veel meer dan rsync met een optimalisatie waardoor niet het hele filesystem gescand hoeft te worden op wijzigingen, samen met een mooie GUI.

[smeerbartje]

Digistorm schreef op zaterdag 03 december 2011 @ 11:02:
[...]

Dat gaat goed als tijdens deze handeling beide programma's afgesloten zijn. Voor het back-uppen hoeven de programma's mogelijk niet afgesloten te zijn. Op de achtergrond is Time Machine ook niet veel meer dan rsync met een optimalisatie waardoor niet het hele filesystem gescand hoeft te worden op wijzigingen, samen met een mooie GUI.

Oke thanks; ik heb ooit eens gelezen dat ze intern allemaal verwijzingen / symlinks gebruiken waardoor je met rsync niet zou kunnen backuppen. Maar kan wel dus. Ik gebruik nu het volgende commando om m'n iPhoto te rsyncen naar Ubuntu server.

code:

rsync -avz -e 'ssh -p 22' --stats --progress --delete /Users/moi/Pictures/iPhoto\ Library/ moi@192.168.1.1:/smb/share/backups/iPhoto/

[borft]

je moet zorgen dat het filesystem waarnaartoe je rsync-ed alle properties ondersteunt. Rsync kan prima omgaan met devices, hardlinks en symlinks. Fat32, of NTFS kunnen dat echter niet. Samba kan het volgens mij wel, maar alleen als je unix extensions aan beide kanten aan hebt staan.

[smeerbartje]

Ah cool, hoe check ik dat eigenlijk?

[edit]
't Schijnt dat unix extensies niet compatible zijn met osx (check dit)

[ Voor 69% gewijzigd door smeerbartje op 03-12-2011 15:28 ]

[Tony L]

smeerbartje schreef op zaterdag 03 december 2011 @ 09:47:
Waarom wil je je data op 1) je mac 2) je externe schijf en 3) je Synology? Is eenmaal op je externe schijf niet afdoende?

Ik wil direct backuppen naar een externe USB schijf omdat dit sneller gaat dan naar de Synology. Voor de rest zit de data natuurlijk zelf op de Mac en die moet daar ook gewoon blijven. Er zijn dus sprake van 2 backups:
1. De externe schijf die dient als main-backup
2. Via rsync wordt de data van de externe-schijf s'nachts overgepompt naar een "backups" map op de Synology

Verwijderd schreef op zaterdag 03 december 2011 @ 09:49:
ja of draai op je 411j op raid 10 dan zit je ook best save.

Ik draai de 410j in raid 5, volgens mij moet dat ook wel voldoen toch? Kan er theoretisch toch 1 schijf kaduuk gaan?

smeerbartje schreef op zaterdag 03 december 2011 @ 11:23:

code:

rsync -avz -e 'ssh -p 22' --stats --progress --delete /Users/moi/Pictures/iPhoto\ Library/ moi@192.168.1.1:/smb/share/backups/iPhoto/

Ik gebruik zelf de onderstaande terminal command...

code:

sudo rsync --progress --partial --delete -avztW /Volumes/Time\ Machine -e "ssh -c arcfour -o Compression=no" root@<ip-adres>:/volume1/backups/

Ik heb dit gisteren getest en met "arcfour" gaat de speed 3x zo snel als normaal. Eerst ging de data transfer met zo'n 3.0 MB/s en vanacht ging hij met 9.0 MB/s wat een gigantisch verschil is!!

borft schreef op zaterdag 03 december 2011 @ 11:28:
je moet zorgen dat het filesystem waarnaartoe je rsync-ed alle properties ondersteunt. Rsync kan prima omgaan met devices, hardlinks en symlinks. Fat32, of NTFS kunnen dat echter niet. Samba kan het volgens mij wel, maar alleen als je unix extensions aan beide kanten aan hebt staan.

Het filesystem op de Synology is EXT3. Zou dat goed moeten gaan?

[Darkstar]

Verwijderd schreef op zaterdag 03 december 2011 @ 09:49:
ja of draai op je 411j op raid 10 dan zit je ook best save.

Raid is geen backup. Het toestel zelf kan defect gaan, dan mag je een Raid6 hebben met 5 schijven, maar device kapot = data kwijt.

Ik ga dit topic volgen, ik doe nu een TM backup op een externe USB disk en op een FreeNAS share, maar ik zou het handiger vinden als ik gewoon een backup van de TM disk kon nemen.

[Digistorm]

Is het niet mogelijk om op het externe volume een disk image (.dmg) aan te maken en die als HFS+ te formatteren?

[Tony L]

Digistorm schreef op zaterdag 03 december 2011 @ 19:44:
Is het niet mogelijk om op het externe volume een disk image (.dmg) aan te maken en die als HFS+ te formatteren?

Dit is wel heel slim... Dan weet je zeker weten dat alles goed gaat!!!

Ik ben er nog even mee aan het klooien maar op deze manier kan je een lege DMG maken die HFS+ geformatteerd is.

code:

hdiutil create -size 100m -fs HFS+ -volname Time\ Machine -attach Time\ Machine.dmg

Het enige wat ik nu nog raar vind is dat die 100 MB als 104.9 MB in de finder te voorschijn komt (de fysieke DMG file). Als ik hem mount is er 102.4 MB vrij in de DMG zelf... Lijkt me logisch omdat er natuurlijk allemaal META data nodig is voor zo'n DMG volume. Alleen ik had verwacht dat de interne DMG slechts 100 MB beschikbaar heeft en niet 102.4 MB... Ik wil wel ergens rond de 750 GB uitkomen en niet dat ik zometeen een DMG heb van 800+ GB.

[Digistorm]

Het klinkt als een binair / tientallig reken"fout". 1 MB is in oude informatica termen 1024 kB, maar Apple werkt sinds Snow Leopard over op het tientallig (en SI) stelsel waar 1 MB 1000 kB is. Misschien dat er zoiets aan de hand is?

[Tony L]

Digistorm schreef op maandag 05 december 2011 @ 22:30:
Het klinkt als een binair / tientallig reken"fout". 1 MB is in oude informatica termen 1024 kB, maar Apple werkt sinds Snow Leopard over op het tientallig (en SI) stelsel waar 1 MB 1000 kB is. Misschien dat er zoiets aan de hand is?

Ja klopt, dat had ik ondertussen al uitgevogeld...

Ook al getest met "kleine" DMG's en nu is ie al een paar uur een DMG aan het draaien om op 750 GB uit te komen. Denk dat ie er nog wel een kleine 5 uur mee bezig is. Wil nog wel even dubbel checken of ik niet bytes te weinig heb in de "morgen aangemaakte" DMG. Een paar bytes te veel maakt natuurlijk niet uit maar hij moet natuurlijk niet MINDER bytes hebben vergeleken met de externe schijf waar de Time Machine backup op plaats vind.

[smeerbartje]

Even een vraagje...je hebt dus de .DMG file aangemaakt en verplaatst naar je NAS. Is het nu ook mogelijk om met rsync naar de dmg te schrijven zodat je niet telkens ALLES hoeft te backuppen, maar enkel de verschillen?

[Tony L]

smeerbartje schreef op woensdag 07 december 2011 @ 13:21:
Even een vraagje...je hebt dus de .DMG file aangemaakt en verplaatst naar je NAS. Is het nu ook mogelijk om met rsync naar de dmg te schrijven zodat je niet telkens ALLES hoeft te backuppen, maar enkel de verschillen?

Ja dat is mogelijk.

Ik zit alleen wel met een raar probleempje. Op mijn externe schijf maak ik een backup van Time Machine op een 750 GB grote partitie. Deze kopieer ik naar de DMG van 750 GB op mijn NAS. Alleen... nu is ie nog steeds niet klaar en in de DMG is nog maar 125 GB vrij terwijl er op de partitie nog 205 GB vrij is! Raar toch???

Iemand enig idee waar dit aan kan liggen?