[rsync] links herkennen

[Xzero14]

Beste,

het gaat waarschijnlijk iets stom lijken maar ik heb toch de volgende vraag.
Elke nacht doe ik een rsync tussen 2 schijven (ter vervanging van RAID 1).

Nu als ik een bestand verplaats op de schijf verandert natuurlijk enkel de link, maar Rsync herkent dit niet en gaat de file op de tweede schijf verwijderen op de oude locatie en dan weer helemaal overpompen ...
(hetzelfde als ik de bestandsnaam verander bv.)

Is hier een oplossing voor ?

alvast bedankt!
Pj

[gertvdijk]

Wat er dan zou moeten gebeuren is elke file checksummen. En die optie zit dan ook in rsync.

code:

-c, --checksum              skip based on checksum, not mod-time & size

Was trouwens ook de eerste hit op google.

Is wel enorm CPU intensieve sync dan voor je. Waarom draai je niet gewoon software RAID1?

[ Voor 15% gewijzigd door gertvdijk op 06-12-2008 13:27 ]

[Xzero14]

Omdat mij dat hier werd aangeraden .
Het is namelijk op een NAS met 2 schijven waar verschillende 'getweakte' programma's op draaien, RAID 1 zou dus niet zo veilig zijn.

Beter is te rsync'en.

[gertvdijk]

Xzero14 schreef op zaterdag 06 december 2008 @ 13:48:
Het is namelijk op een NAS met 2 schijven waar verschillende 'getweakte' programma's op draaien, RAID 1 zou dus niet zo veilig zijn.

Dan heb je wel hele rare dingen gedaan met tweaken.
Software RAID zit op een heel andere laag dan je overige programma's. Het maakt niet uit welk filesystem of programma je draait... Het enige wat het doet is elke sector van de twee harddisks identiek maken en dat volledig transparant voor elk programma.

[Xzero14]

Zo bedoelde ik het niet . Het feit is gewoon dat als je met RAID 1 iets fout doet, het direct op beide schijven staat. Met Rsync heb je een delay. -> een betere BACKUP dus.

Nu ik heb de -c geprobeerd maar het was niet te doen, hij bleef maar steken op sending incremental file list (wat ook normaal was aangezien ik het wou testen met een folder met allemaal films -> want daar stelt het probleem zich voornamelijk van moved/renamed files).

Is er geen andere oplossing ?

[Verwijderd]

Xzero14 schreef op zaterdag 06 december 2008 @ 14:23:
Is er geen andere oplossing ?

Antwoord: ja

Door alleen directories te rsyncen waarin je niet bestanden verplaatst, renamed, enzovoort.

[gertvdijk]

Je kan ook eens kijken naar de mogelijkheden van rdiff-backup. Afhankelijk van welk filesystem je hebt zijn er vast mogelijkheden om te herkennen of een bestand is verplaatst. Voor FAT zal die ondersteuning er niet zijn, maar voor Ext3 kan ik me dat wel voorstellen (vanwege de opzet van Ext3).

[ppl]

Dan zou ik zeker eens naar de manual van rsync kijken. Met de optie -H zou je hardlinks kunnen gebruiken waarbij bestaande files niet dubbel op het filesystem komen te staan maar ze er gewoon naar linken (handig als je meerdere backups doet en ze wil bewaren, deze optie bespaart aardig wat diskspace). Als de file niet wordt gewijzigd zal er gewoon naar worden gelinkt. Rdiff-backup maakt ook gebruik van die optie van rsync (in principe is rdiff-backup gewoon rsync maar dan met wat scripts er omheen zodat het nog meer leuke dingen kan doen). Hiermee zou je waarschijnlijk ook het probleem van het verhuizen van files kunnen oplossen. Hieronder een korte uitleg die ik uit de man page heb gekopieerd:

-H, --hard-links
This tells rsync to look for hard-linked files in the transfer and link together the corre-
sponding files on the receiving side. Without this option, hard-linked files in the transfer
are treated as though they were separate files.

Note that rsync can only detect hard links if both parts of the link are in the list of files
being sent.

Overigens is RAID geen enkele vorm van backup. Het is alleen een mechanisme om het wegvallen van 1 of meerdere schijven (afhankelijk van welk RAID level je gebruikt e.d.) op te vangen zonder dat de machine daarvoor down gaat.

Naast rsync zou je ook andere backupsoftware kunnen gebruiken.

Met een google search op "rsyncing moved files" krijg je ook behulpzame results zoals deze: http://lists.samba.org/ar...006-September/016333.html (draadje maar even volgen).

[ Voor 5% gewijzigd door ppl op 10-12-2008 13:59 ]