Trage netwerk kopieren

[tweakG5]

Als ik een bestand/bestanden van mijn pc kopieer naar mij server dan gaat dit in het begin heel snel maar daarna traag.

In het begin loopt het werkgeheugen vol dan kopieert de pc ook netjes met 70-80MB/s maar als eenmaal het werkgeheugen volzit loopt dit snel terug. Hij kopieert dan tussen de 2-25MB/s. In de pc zit een Intel Pentium G860, 8GB werkgeheugen en 4x2TB schijven op een Areca 1120 raid controller.

Ik heb op internet naar dit probleem gezocht maar kon alleen maar oplossingen vinden voor pc's met software raids. Hoe kan ik ervoor zorgen dat de kopieer snelheid gelijkmatig blijft?

Begrijpelijk zitten beide apparaten zowel de gbit NIC als de raidcontroller op de PCI bus dus is de snelheid maximaal 133MB/s maar die wordt bij lange na niet gehaalt. Waar kan dit aan liggen?

[Pedr0]

Misschien hele stomme vraag, maar wat voor UTP heb je er tussen liggen? CAT5e?

[tweakG5]

Pedr0 schreef op zondag 24 november 2013 @ 19:19:
Misschien hele stomme vraag, maar wat voor UTP heb je er tussen liggen? CAT5e?

Ja alles is bedraad met CAT5e en 2x NETGEAR GS108 aangesloten op een Asus N66U. Snelheden van deze pc naar een andere pc in het netwerk zijn ook prima allemaal rond de 110MB/s. Enkel naar de server is het laag.

[The Eagle]

Is de NIC in je server een NIC die de CPU belast, of heeft ie zijn eigen processing aan boord?

[tweakG5]

The Eagle schreef op zondag 24 november 2013 @ 20:15:
Is de NIC in je server een NIC die de CPU belast, of heeft ie zijn eigen processing aan boord?

Het is een onboard NIC, maar de cpu belasting blijft ruim onder de 10%. Dus daar lijkt het me niet zo aan te liggen.

Ik heb ook even wat testjes op de server zelf gedaan maar crystal disk mark geeft ook maar 85MB/s read en 15MB/s write aan, dus het zou goed kunnen dat het aan de kaart ligt.

De nieuwste driver zijn geïnstalleerd en er hangen 4x2TB schijven aan in RAID5 dus dat zou niet zo'n lage snelheid op moeten leveren. Zijn er settings waar ik naar kan kijken?

[ Voor 35% gewijzigd door tweakG5 op 24-11-2013 21:38 ]

[tweakG5]

tweakG5 schreef op zondag 24 november 2013 @ 20:17:
[...]

Het is een onboard NIC, maar de cpu belasting blijft ruim onder de 10%. Dus daar lijkt het me niet zo aan te liggen.

Ik heb ook even wat testjes op de server zelf gedaan maar crystal disk mark geeft ook maar 85MB/s read en 15MB/s write aan, dus het zou goed kunnen dat het aan de kaart ligt.

De nieuwste driver zijn geïnstalleerd en er hangen 4x2TB schijven aan in RAID5 dus dat zou niet zo'n lage snelheid op moeten leveren. Zijn er settings waar ik naar kan kijken?

Iemand een idee waarom de kaart zo traag is?

[Jolke]

Heb je genoeg vrije ruimte op de c-schijf? Gebruik eens xcopy vanuit de command prompt, die maakt geen gebruik van een buffer.

[tweakG5]

Jolke schreef op maandag 25 november 2013 @ 11:49:
Heb je genoeg vrije ruimte op de c-schijf? Gebruik eens xcopy vanuit de command prompt, die maakt geen gebruik van een buffer.

Er is genoeg ruimte op e c-schijf slechts 15% gebruikt. Daarnaast haal ik met direct op de schijf kopiëren een snelheid van een magere 25MB/s als ik gelukt heb. Crystal Disk Mark zegt 80MB/s read en 25MB/s write maar dat is toch laag mag ik aannemen?

[Jolke]

Hoe lees je de snelheidsinformatie uit? Windows is geen held in betrouwbare tijden aan te geven.
(off-topic maar erg leuk)

[tweakG5]

Jolke schreef op maandag 25 november 2013 @ 14:11:
Hoe lees je de snelheidsinformatie uit? Windows is geen held in betrouwbare tijden aan te geven.
(off-topic maar erg leuk)

Door de kopieertijd te delen door de grote van het bestand. En ook door de kopieersnelheid in de gaten te houden.

[NeHoX]

Jumbo Frames aan op de server?

[M2M]

Draai eens wat onafhankelijk benchmarks. Dus op beide machines crystaldiskmark draaien op doelschijf als bronschijf, en iperf gebruiken voor je netwerktests. Eventueel FTP proberen want windows netwerk copy protocol kan wel eens hoofdpijn geven. Zie bijvoorbeeld blog van Mark Russinovich

[glashio]

Probeer ook eens Teracopy (Download button kan ook i.p.v. Purchase )

[tweakG5]

NeHoX schreef op maandag 25 november 2013 @ 14:33:
Jumbo Frames aan op de server?

Jup jumboframes staat overal aan.

M2M schreef op maandag 25 november 2013 @ 14:36:
Draai eens wat onafhankelijk benchmarks. Dus op beide machines crystaldiskmark draaien op doelschijf als bronschijf, en iperf gebruiken voor je netwerktests. Eventueel FTP proberen want windows netwerk copy protocol kan wel eens hoofdpijn geven. Zie bijvoorbeeld blog van Mark Russinovich

Zoals ik heb aangegeven ligt het probleem dus aan de server, en zeer waarschijnlijk aan een fout met de Areca 1120 kaart. Omdat het kopieren van bestanden naar ander pc's prima gaat enkel de server gaat langzaam.

Na het doen van een benchmark voor de Raid5 setup kwam ik erachter dat de schrijfsnelheden op een magere 25MB/sec liggen. Dit is veel lager dan ik zou moeten halen. Writeback staat ingeschakeld op de kaart.

[Brahiewahiewa]

RAID5 performt nou eenmaal slecht in writes, omdat de checksums uitgerekend moeten worden.
Voor een goeie write performance zet je'm op RAID0 of RAID1 (of RAID10).

Lees Femme's review van RAIDcontrollers reviews: Comparison of nine Serial ATA RAID 5 adapters waar de Areca 1120 als "moderate" uitkomt

[M2M]

En die write cache zet dus de nog te schrijven files in je ram geheugen, met als gevolg dat als je ramgeheugen vol zit, de schrijfsnelheid als een baksteen omlaag stuitert. Bovendien, mocht de boel crashen, ben je hetgeen nog niet geschreven is, kwijt.

Dus voor gevoelige dingen wellicht aan te raden de write cache uitzetten.

[ Voor 3% gewijzigd door M2M op 25-11-2013 18:15 ]

[Valen_76]

Of zorgen dat je een raidcard hebt met battery back unit, zodat de cache niet verloren gaat als de stroom er af gaat. Mijn dell perc 6i gaat in writethrough modus zo gauw de accu niet aanwezig is.

[VreYseN]

Wat voor schijven gebruik je? heb zelf ook wat vreemde problemen gehad met WD GREEN schijven in een RAID configuratie

[Snowwie]

Hoe kopieer je? Via de verkenner of via third party software (zoals bv. Total Commander)?

Het is (bij mij) gebleken dat bestanden kopieren via de verkenner veel sneller gaat dan via Total Commander.

[Will_M]

Kijk je logs maar een na op de QUE's /Que Length

Waarschijnlijk trekt je NAS (Server??) 't gewoon niet qua processor en loopt daar de que op.

[ Voor 3% gewijzigd door Will_M op 30-11-2013 03:12 ]