[debian rsync] out of memory

[usr-local-dick]

Hoi!

Ik synchroniseer altijd een map met mp3's via rsync tussen twee servers.
Nu krijg ik sinds kort de melding:

code:

ERROR: out of memory in generate_sums
rsync error: error allocating core memory buffers (code 22) at util.c(232)
rsync error: received SIGUSR1 or SIGINT (code 20) at main.c(784)

De map is wel tamelijk groot (1 map met > 1200 subdirs, totaal 210 Gb ).

Iemand een idee hoe dit op te lossen.

PS de computer die deze error geeft:
-debian stable
-2.4.20
-128 Mb


Ik herinner me iets van memory limits die je in /proc/sys/blah/blah kon zetten...

[RvdH]

Je hebt gewoon niet genoeg geheugen voor rsync die z'n sums wilt genereren. Oplossing: het aantal files die rsync moet summen verminderen, dus voor elke submap apart een rsync aanroepen ipv 1 rsync voor de hoofdmap..

[usr-local-dick]

strlen schreef op 21 August 2003 @ 12:39:
Je hebt gewoon niet genoeg geheugen voor rsync die z'n sums wilt genereren. Oplossing: het aantal files die rsync moet summen verminderen, dus voor elke submap apart een rsync aanroepen ipv 1 rsync voor de hoofdmap..

Das niks
Ik prik er wel wat RAM bij.
Ik post wel effe of het werkte.
Bij nader inzien wel logisch denk, 128 Mb RAM is niet veel, aangezien het systeem zelf natuurlijk ook geheugen gebruikt.
Volgens mij moet 256 wel lukken. We'll see.

[RvdH]

Hoezo is dat niks? Erg simpel te maken in een script (for i in $(ls); do rsync etc; done), en erg veel langer zal het ook niet duren?

[Wilke]

Je hebt hopelijk wel een flinke swapfile op dat systeem?

[usr-local-dick]

usr-local-dick schreef op 21 August 2003 @ 10:18:

code:

ERROR: out of memory in generate_sums
rsync error: error allocating core memory buffers (code 22) at util.c(232)
rsync error: received SIGUSR1 or SIGINT (code 20) at main.c(784)

De map is wel tamelijk groot (1 map met > 1200 subdirs, totaal 210 Gb ).

Als ik rsync draai met -vvvv (uber verbose ) dan zie ik op het laatst:

code:

gen mapped mp3/No Doubt - Tragic Kingdom/10 - Dont Speak.mp3 of size 274883168898
count=392690242 rem=198 n=700 flength=274883168898
ERROR: out of memory in generate_sums

Nu zie ik op de ontvangende server dit staan:

code:

server:/opt/data/mp3/No Doubt - Tragic Kingdom# ls -oh
total 69M
-rw-rw-r--    1 dick         5.1M Jun  1 18:07 01 - Spiderwebs.mp3
-rw-rw-r--    1 dick         3.5M Jun  1 18:07 02 - Excuse Me Mr.mp3
-rw-rw-r--    1 dick         3.9M Jun  1 18:07 03 - Just A Girl.mp3
-rw-rw-r--    1 dick         4.3M Jun  1 18:07 04 - Happy Now.mp3
-rw-rw-r--    1 dick         5.3M Jun  1 18:07 05 - Different People.mp3
-rw-rw-r--    1 dick         4.1M Jun  1 18:07 06 - Hey You.mp3
-rw-rw-r--    1 dick         7.6M Jun  1 18:07 07 - The Climb.mp3
-rw-rw-r--    1 dick         3.9M Jun  1 18:07 08 - Sixteen.mp3
-rw-rw-r--    1 dick         5.2M Jun  1 18:07 09 - Sunday Morning.mp3
-rwxrw-r--    1 wouter       256G Jun  1 18:07 10 - Dont Speak.mp3
-rwxrw-r--    1 wouter       4.9M Jun  1 18:07 11 - You Can Do It.mp3
-rwxrw-r--    1 wouter       4.8M Jun  1 18:07 12 - World Go Round.mp3
-rwxrw-r--    1 wouter       4.4M Jun  1 18:07 13 - End It On This.mp3
-rwxrw-r--    1 wouter       6.3M Jun  1 18:07 14 - Tragic Kingdom.mp3
-rwxrw-r--    1 wouter        13k Jun  1 18:07 cover.jpg

Ik heb die file 10 gedelete kijken of ie nu wel verder gaat met rsync.
Eerdaags ook maar even een fsck doen van het filesysteem.