robocopy hangt vaak, neemt ook teveel files mee

[dragon2]

Ik heb al een jaar mijn backups geregeld via robocopy.
Ik start deze wekelijks handmatig op als admin, vanaf een oude i7 920/12gb ram Win 10 pc.
De source is een hp microserver gen4 met windows server 2016 essentials.

Stukje van het script dat bestaat uit meerdere van deze 'blokjes':

code:

SET _datetime=%DATE:~9,4%-%DATE:~6,2%-%DATE:~3,2%
robocopy \\srvr\Calibre\  E:\  /s /XD $Recycle.bin /XD "System Volume Information" /zb /FFT /MIR /mt:20 /r:10 /w:10 /v /tee /log:c:\_bu_logfiles\robo_calibre_%_datetime%.txt

Nu heb ik 2 problemen met dit script:
1) hij hangt ontzettend vaak, zodra ik dat door heb start ik het hele script maar opnieuw...
2) hij vind veel files 'modified' terwijl er niets aan is veranderd (bijvoorbeeld een film die ik al maanden niet gekeken heb). De backup wordt daardoor veel meer data dan m.i. nodig en draait daardoor uren langer.

CPU zit rond de 30%, geheugen 7,5gb van 12gb en target hdd op max ~12% op het moment dat de backup loopt, tot het moment dat er veel data gekopieerd moet worden dan pieken naar 100%.
CPU zit rond de 20%, geheugen 7,5gb van 12gb en target hdd op 99%-100% op het moment van 'hangen'. Een poos (uren) laten doordraaien helpt dan niet, hangen is hangen.
Het is niet altijd dezelfde target hdd die 'hangt'.
Het hangen gebeurt vaak op een klein bestand, een plaatje bijvoorbeeld.


Iemand enig idee hoe hier verbetering in te brengen? Ik heb ontzettend weinig verstand van robocopy, ik kan me bijvoorbeeld niet meer heugen waarom ik /FFT een goed idee vond, en waarom ik de mt r en w opties op deze getallen heb gezet

[HKLM_]

Wat zegt je logfile?

Iemand enig idee hoe hier verbetering in te brengen? Ik heb ontzettend weinig verstand van robocopy, ik kan me bijvoorbeeld niet meer heugen waarom ik /FFT een goed idee vond, en waarom ik de mt r en w opties op deze getallen heb gezet

Als je niet meer weet wat wat doet met welke reden dan zou ik overnieuw beginnen en gelijk voor powershell gaan i.p.v de robo

[ Voor 90% gewijzigd door HKLM_ op 18-08-2019 17:34 ]

[Jester-NL]

Of je zou eens kunnen kijken naar RichCopy, wat gewoon een GUI rond Robocopy is.

[Wylana]

Je script is niet helemaal correct opgesteld.

Zo gebruik je 2x de switch /XD. Dit is niet nodig, Verder moet je voor de waarde $Recycle.bin het volledige pad opgeven. Anders wordt er een waarde van Recycle.bin gemaakt.

Dit moet zijn: /XD "C:\$Recycle.bin" "System Volume Information"

Verder mist je script de /XO switch. Deze kijkt juist of bestanden zijn gewijzigd en als ze niet ouder zijn, dan neemt hij deze ook niet mee. Nu kijkt hij alleen naar de tijd en kopieert ie alles omdat de /XO switch ontbreekt.


Verder geef je aan met /mt:20 dat hij 20 threads mag gebruiken. Is dat niet wat veel voor een copy?
Haal je de rest van je performance hier niet mee onderuit?

Ik denk dat je script zo moet worden, maar test het voor de zekerheid.

code:

SET _datetime=%DATE:~9,4%-%DATE:~6,2%-%DATE:~3,2%
robocopy \\srvr\Calibre\ E:\ /s /XO /XD "C:\$Recycle.bin" "System Volume Information" /zb /FFT /MIR /mt:20 /r:10 /w:10 /v /tee /log:c:\_bu_logfiles\robo_calibre_%_datetime%.txt

[dragon2]

@Wylana Bedankt, ik heb het script aangepast (alleen de prullebak van de server ipv C).

Het aangeapste script leek beter te gaan, hij lijkt ook minder (onnodig) te schrijven.
Echter nu hangt hij weer. Op een reeds bestaand ebook, bestandje van niks natuurlijk.

Logfile:

code:

              same          2007    \\srvr\Schijf1\New\ebooks\Mercedes Lackey\Mercedes Lackey - Ellen Guon - Rosemary Edghill - Bedlam Bard Series\Bedlam's Bard 7 - Bedlam's Edge (11305)\Bedlam's Bard 7 - Bedlam's Edge (11305)\metadata.opf
 25%  
 26%  
 27%  
 28%  
 29%  
 30%  
 31%  
 32%  
 33%  
 34%  
 35%  
 36%  
 37%  
 38%  
 39%  
 40%  
 41%  
 42%  
 43%  
 44%  
 45%  
 46%  
 47%  
 48%  
 49%  
 50%  
 51%  
 52%  
 53%  
 54%  
 55%  
 56%

De schijf wordt nu wel heel anders belast: pieken naar 100% en dan terug naar 0%. CPU 22% en RAM 60%.

Heb je nog meer tips toevallig?

script nu:

code:

SET _datetime=%DATE:~9,4%-%DATE:~6,2%-%DATE:~3,2%
robocopy \\srvr\Schijf1\ F:\ /s /XO /XD "\\srvr\Schijf1\$Recycle.bin" "System Volume Information" /zb /FFT /MIR /mt:20 /r:10 /w:10 /v /tee /log:c:\_bu_logfiles\robo_schijf1_%_datetime%.txt

[Question Mark]

Wylana schreef op woensdag 21 augustus 2019 @ 11:35:
Verder geef je aan met /mt:20 dat hij 20 threads mag gebruiken. Is dat niet wat veel voor een copy?
Haal je de rest van je performance hier niet mee onderuit?

Die 20 threads zijn het aantal concurrent files wat Robocopy gelijktijdig mag kopieren. als veel kleinere bestand gekopieerd moeten worden wil je deze setting eigenlijk redelijk hoog hebben staan, anders krijg je nooit je Gbit verbinding vol.

[Don Corleone]

Wylana schreef op woensdag 21 augustus 2019 @ 11:35:
Verder mist je script de /XO switch. Deze kijkt juist of bestanden zijn gewijzigd en als ze niet ouder zijn, dan neemt hij deze ook niet mee. Nu kijkt hij alleen naar de tijd en kopieert ie alles omdat de /XO switch ontbreekt.

Volgens mij doet /MIR dit al.

Ik gebruik robocopy om op een low level manier een backup te maken van mijn laptop naar mijn externe HDD. Dat ziet er zo uit: c:\robocopy D:\ F:\ /MIR /W:0 /T:0 Ik gebruik de terminal output om te zien of er issues waren.

[dragon2]

Update:

Sinds ik DD-WRT op m'n netgear R7000 router heb gezet vliegt het backup script ineens! Zelfs via wifi want de netwerkkabel naar boven is stuk.



Het probleem zat dus blijkbaar niet in mijn script.