RSYNC: Probleem met RAM verbruik

[Tony L]

Ik heb een probleem met het gebruik van rsync. Bij het opbouwen van de bestandslijst gaat hij vanaf 4 miljoen files over zijn nek. Op dat moment zit er al zo'n 6 GB in het RAM en nog eens 14 GB in de SWAP... Vanaf dan loopt het systeem natuurlijk voor geen meter meer zo traag.

1. Is er een manier om de rsync in stappen te laten verlopen? Dat ik eerst de directory structuur laat uitvoeren of dat ik eerst alle bestanden tussen één datum en een andere datum laat syncen?
2. Stel dat alles gesynchroniseerd is, kan dit probleem dan terug komen wanneer ik opnieuw rsync ga draaien voor een "incremental backup". Want dan moet ik opzoek naar een andere oplossing...

[CyBeR]

Je gebruikt waarschijnlijk een oudere versie van rsync die éérst je complete tree doorloopt en daarna pas iets gaat doen.

Upgrade naar de nieuwste rsync (3.x) en dan zou dat probleem weg moeten gaan.

[Tony L]

CyBeR schreef op zaterdag 24 december 2011 @ 09:59:
Je gebruikt waarschijnlijk een oudere versie van rsync die éérst je complete tree doorloopt en daarna pas iets gaat doen.

Upgrade naar de nieuwste rsync (3.x) en dan zou dat probleem weg moeten gaan.

Geweldig!!! Het werkt fantastisch nu...

Wat ik me nog afvraag.. Ik heb nu "naast" rsync een rsync-3.0.9 binary gezet. Ik werk op een Mac en heb geen idee of ik dingen verkloot op het moment dat ik rsync vervang door een nieuwere versie. Kan ik überhaupt dingen verkloten wanneer ik rsync vervang door een nieuwere versie?

[CyBeR]

Niet echt. Apple levert al jaren een antieke versie mee, ik heb daar zelf ook gewoon een nieuwere naast gezet.