Rsync is traag

[_Thanatos_]

Ik probeer met rsync het eea te syncen, en ik merk zojuist dat een grote file kopiëren gaat erg traag. Een normale copy gaat op harddisksnelheid, maar via rsync kom ik niet verder dan 4MB/s. Dat is niet normaal.

Veelvoorkomende oorzaken zijn:
1) Netwerksnelheid - dit kan het issue niet zijn, omdat het gaat om syncen tussen twee lokale filesystems
2) Fragmentatie - dat is het niet, en dan nog, daar wordt het niet zó traag van
3) Veel files - nietus, het is één file
4) CPU maxed out - nope, de cpu zit tijdens het kopiëren zo ongeveer te slapen

De sender kan met gemak 500MB/s lezen, en de receiver kan zeker wel 100MB/s schrijven, en wrs nog wel meer. 4MB/s is echt te zot voor woorden. 50MB/s zou ik nog wel slikken, er is dan wel wat aan de hand, maar met 4MB/s is er echt iets heel erg kapot, lijkt me. De task manager geeft dit getal ook aan, dus het is ook niet dat rsync de file eerst 27 keer ergens heen kopiëert.

Commando dat ik gebruik:

code:

rsync -vv -u -t --inplace --progress --whole-file <sender> <receiver>

rsync --version zegt:

code:

rsync  version 3.1.0  protocol version 31

Al wat zitten proberen:
--outbuf=N/L/B geprobeerd, maar geen verschil
--protocol=30/29 geprobeerd, geen verschil
--no-checksums geprobeerd, geen verschil

Hoe krijg ik rsync nou op een wat normalere snelheid?

Ik gebruik trouwens cygwin64, en in de fstab heb ik de noacl optie toegevoegd om verminking van de Windows ACL te stoppen. Maar voor de rest is het standaard. En helemaal up-to-date.

[Hero of Time]

Die rsync, start je die vanaf de Linux machine, of vanaf WIndows met cygwin? En wordt er nog gebruik gemaakt van SSH icm rsync?

[_Thanatos_]

Nee, ik start em op cygwin64. Er is in dit verhaal geen "de linux machine"
Er wordt geen SSH gebruikt, alles is lokale filesystems, zoals gezegd.

Ik realiseer me trouwens dat het een beetje tussen NOS en WOS in ligt, maar gezien rsync een linux tool is, verwachtte ik beter hulp te krijgen bij NOS. Ook gezien een simpele search aangeeft dat de traagheid niet beperkt is tot cygwin.

[ Voor 44% gewijzigd door _Thanatos_ op 02-09-2015 10:16 ]

[daft_dutch]

hoe snel gaat een sftp file transfer over ssh ?

[Hero of Time]

Tja, cygwin is nou eenmaal een hack om Linux tools op Windows te laten werken. Er wordt vziw geen enkele garantie gegeven. Maar waarom rsync dan, ipv andere tools voor Windows zoals Robocopy ofzo? Als je 't toch lokaal houd, is rsync helemaal niet de juiste tool, vanwege eerder genoemde reden dat 't een hack is, geen fatsoenlijke oplossing.

Oh, en wat is er mis met deltacopy? Heb je dat al geprobeerd? Die werkt namelijk ook met rsync.

[ Voor 12% gewijzigd door Hero of Time op 02-09-2015 11:28 ]

[daft_dutch]

Hero of Time schreef op woensdag 02 september 2015 @ 11:28:
Tja, cygwin is nou eenmaal een hack om Linux tools op Windows te laten werken. Er wordt vziw geen enkele garantie gegeven.

maar het is wel een hack die standaard in Windows 10 zit. Wel een halve prut oplossing maar thats Microsoft.

[_Thanatos_]

Ik heb eigenlijk niet zo'n zin om uit te leggen waarom ik rsync gebruik. Niet lullig bedoeld, maar het is een prima tool, en ik vind dat ik voldoende redenen heb om het te gebruiken. Het punt is nu dat het traag werkt, niet dat ik de verkeerde tool gebruik. Als je vind van wel, dan maken we er een USB-drive van, dan is het niet meer lokaal. Zelfde probleem.

Het punt is dat rsync gewoon op normale snelheid hoort te werken. Het probleem omzeilen met allerlei andere tooltjes (nota bene tools die zelf ook weer rsync gebruiken) is dus geen oplossing. Hooguit oogkleppen opdoen, en zo ben ik niet.

daft_dutch, ik heb geen idee hoe snel het via sftp gaat. Waarom is dat relevant? Zoals al twee keer gezegd, het gaat hier om een kopie tussen twee lokale filesystems, er zit geen netwerklaag tussen, voor zover ik dat aan rsync aangeef.

[CAPSLOCK2000]

Of rsync nu de juiste tool is of niet, we moeten toch kunnen achterhalen wat de bottleneck is.
Onder Linux zou ik een beetje gaan tracen om te kijken of ik kan zien waar rsync staat te slapen maar ik heb geen idee hoe je dat onder Linux doet.

Je hebt het over een "sender" en een "receiver" dus ik neem aan dat je twee verschillende HD's hebt. Misschien kunnen we iets uit vinden door ze los van elkaar te testen. Bv eerst een rsync van disk A naar een ramdisk en dan van een ramdisk naar disk B. Je zou zelfs het netwerk kunnen gebruiken, zelfs dat zou meer dan 4MB/s moeten kunnen.

[gekkie]

Die "normale copy" die wel vlot ging, was dat hetzelfde bestand en ook gekopieerd onder cygwin, of gewoon via windows verkenner ?
Bestandssystemen zijn neem ik aan beide NTFS ?

En wellicht dat je met processexplorer (of een van de andere tools) uit de sysinterals suite nog wat kunt achterhalen over het rsync / cygwin process (priorities, kerneltime, waittime etc).

Daarnaast nog creatieve virusscanners, index processen of andere zaken die zich er in zouden kunnen mengen ?

[ Voor 46% gewijzigd door gekkie op 03-09-2015 00:09 ]

[Hero of Time]

_Thanatos_ schreef op woensdag 02 september 2015 @ 22:37:
Ik heb eigenlijk niet zo'n zin om uit te leggen waarom ik rsync gebruik. Niet lullig bedoeld, maar het is een prima tool, en ik vind dat ik voldoende redenen heb om het te gebruiken. Het punt is nu dat het traag werkt, niet dat ik de verkeerde tool gebruik. Als je vind van wel, dan maken we er een USB-drive van, dan is het niet meer lokaal. Zelfde probleem.

Het punt is dat rsync gewoon op normale snelheid hoort te werken. Het probleem omzeilen met allerlei andere tooltjes (nota bene tools die zelf ook weer rsync gebruiken) is dus geen oplossing. Hooguit oogkleppen opdoen, en zo ben ik niet.

Dat is geen oogkleppen opdoen, dat is wegstrepen waar het probleem kan liggen. Als je auto niet wilt starten, ga je toch ook na of je nog genoeg benzine hebt (of diesel danwel LPG), of je accu nog wel genoeg kracht heeft, of er een ander mechanisch probleem is, etc. Je kan pas zeggen dat iets niet werkt, als je het ook echt hebt geprobeerd. Juist door een andere tool dat ook rsync gebruikt te testen kan je uitsluiten of rsync de schuldige is, of dat je zelf wat verkeerd doet of iets anders in de weg zit.

Wat jij nu doet is oogkleppen opzetten en je blind staren op rsync dat schijnbaar niet goed gedraagd.