Gigabit netwerk slechts eenzijdig snel

[Timmert]

Afgelopen week heb ik mijn netwerk omgetoverd van 10/100 naar Gigabit. Opzich erg fijn, ware het niet dat slechts transfers van m'n werkstation (laptop in dit geval) náár de server snel zijn. Van de server naar m'n werkstation is er amper snelheidswinst.

Ik heb eea getest door een 500mb groot zipbestand via FTP heen en weer te kopieren. Van m'n pc naar de server haal ik ongeveer 55MB/s, dus dat is best netjes. Van de server naar m'n pc echter, blijft ie steken op 14,5MB/s.

Geprobeerd:

- Firewalls uit, maakt geen verschil
- Kabels in de meter/patchkast vervangen, alsmede de kabel van de wandcontactdoos naar m'n pc, geen verschil. Ook lijkt me dat de kabels OK zijn, aangezien ik over diezelfde kabels 'de andere kant op' wel goede snelheden haal.
- Drivers geupdate, aan beide kanten, geen verschil.

Ook een testlaptopje met Gbit controller haalt slechts 14MB/s als ik het testbestand vanaf de server kopieer.

Ergens gaat er dus iets mis, maar ik zou niet weten waar...

Anyone?

[MikeyMan]

Toevallig nog verschil in windows-versies?

Bij mij is Vista ==> XP een drama, terwijl andersom goed te doen is.

[skoozie]

kan het aan de hardeschijf liggen? dat de schrijf prestaties minder goed zijn als die van je server? ik weet niet hoe goed laptop schijven precies zijn, maar de meeste zijn wat kleiner en draaien op slechts 45k toeren...

[Timmert]

Op de server draait Win2k3, op m'n laptop draait Win7 Pro.
Overigens zit er een RAID5 set in m'n server, bestaande uit standaard WD 7200rpm consumentenschijfjes. M'n laptop is voorzien van een SSD. Het lijkt me sterk dat die RAID5 set sneller kan lezen dan m'n SSD kan schrijven, eerlijk gezegd.

[joopv]

Als je het netwerk wilt testen gebruik dan ook een test van alleen het netwerk, en neem niet de HD's mee.

Oftwel: gebruik iperf

[johnkeates]

En als je linux op beide apparaten gebruikt? Werkt het dan wel in beide richtingen snel?

Zo ja, dan heb je met een software probleem te maken, zo nee, dan is het hardware.

[Meekoh]

Timmert schreef op maandag 15 maart 2010 @ 14:36:
Op de server draait Win2k3, op m'n laptop draait Win7 Pro.
Overigens zit er een RAID5 set in m'n server, bestaande uit standaard WD 7200rpm consumentenschijfjes. M'n laptop is voorzien van een SSD. Het lijkt me sterk dat die RAID5 set sneller kan lezen dan m'n SSD kan schrijven, eerlijk gezegd.

De schrijf snelheid van een SSD ligt een stuk lager dan de lees snelheid.;)
Je server is zelfs zo slim dat hij de bestanden wel ontvangt maar ze later pas wegschrijft.
Daarvoor heeft je RAID controller een writecache

Opzich is wat je ervaart dus niet onlogisch

[leuk_he]

Om de schijven uit te sluiten kun je een test programma als netcps draaien, dat niks naar schijven schrijft.

Houd ook goed de CPU load eens in de gaten. als je CPU load te hoog (1 core op 100%) is dan is er wellicht ook nog wat te tunen.

[Timmert]

Dat een SSD langzamer is in schrijven dan in lezen had ik inderdaad al begrepen. Feit is echter dat de snelheid server > laptop bij m'n 'nieuwe' laptop met SSD hetzelfde is als bij een oude P-M 1,6ghz met 512mb en een 40gb 4200rpm IDE schijfje. Dan lijkt het me toch dat een andere factor dan de disk de oorzaak is.

Morgen ga ik even testen met netcps. Ik had iperf al geprobeerd maar dat werkte niet, of ik snap dat programma gewoon niet

[FatalError]

netcps is volgens mij niet zo geschikt voor hoge snelheden. Je kan dan toch beter iperf draaien.
iperf -s aan de server kant en iperf -c <ip server> aan de client kant.

[Timmert]

Misschien doe ik iets verkeerd hoor, maar ik heb iperf gedownload en run die .exe. Vervolgens verschijnt er kort een dosboxje en dan gebeurt er niets meer. CMD > iperf -s doet dan iig niets.

Of zie ik iets over het hoofd?

[Clock]

Timmert schreef op maandag 15 maart 2010 @ 22:13:
Misschien doe ik iets verkeerd hoor, maar ik heb iperf gedownload en run die .exe. Vervolgens verschijnt er kort een dosboxje en dan gebeurt er niets meer. CMD > iperf -s doet dan iig niets.

Of zie ik iets over het hoofd?

IPerf is een commandline-tool. Het heeft geen GUI, en moet dus gerund worden via de commandline. Zorg er wel voor dat je de commandline met administrator-rechten draait, anders wil het wel eens rare problemen opleveren. (start=>tik cmd=>rechtermuis=>administrator)

Tik iperf.exe ? voor uitleg over het gebruik. Let er ook op dat op de andere pc de iperf-server moet draaien.

[Timmert]

Ah, gevonden hoe het werkt

Iperf zegt: 234Mbits/s...

[boers706]

Timmert schreef op dinsdag 16 maart 2010 @ 10:34:
Ah, gevonden hoe het werkt

Iperf zegt: 234Mbits/s...

dit is te laag, probeer anders eens ander kabels.

[Timmert]

Dat lijkt me ook ja. Ik ga vanmiddag wel eens wat experimenteren..

[FatalError]

Voer eens het commando netstat -e uit nadat je minstens 100 MByte aan files hebt gekopieerd. Als je errors/discards ziet is de kans groot dat de kabel niet goed is of dat je de duplex instellingen van de netwerkkaart niet goed hebt staan.
Als je geen errors ziet is je kabel in ieder geval goed

[ Voor 23% gewijzigd door FatalError op 16-03-2010 11:28 ]

[Timmert]

Ontvangen Verzonden

Bytes 3046424309 1805452333
Unicastpakketten 5597426 3050489
Niet-Unicastpakketten 140518 29729
Geweigerd 45 45
Fouten 0 1
Onbekende protocollen 0

Dat gaat redelijk goed lijkt me?

[Timmert]

Ok, weer even wat dingen geprobeerd.

- Server en laptop direct aan de switch gehangen, in plaats van via het patchpanel en de wandcontactdoosjes. Totaal geen verschil.
- Server en laptop beide op 1000Mbps Full-Duplex ingesteld, geen verschil
- IPv6 uitgeschakeld op de laptop, geen verschil
- Andere switch geprobeerd, geen verschil

Ik ga nu even de testlaptop aansluiten en dan tussen die en mijn 'gewone' laptop iperf'en. Kijken wat er dan gebeurt..

edit: iperf tussen de 2 laptops doet het amper beter: 252Mbits/s. Moet wel zeggen dat er dan een patchpanel en wandcontactdoosjes tussen zitten, maar dat mag volgens mij het verschil niet maken. Ik test het zometeen nog even direct op de switch, just to be sure.

[ Voor 22% gewijzigd door Timmert op 16-03-2010 13:40 ]

[leuk_he]

CPU load?


PS, netcps staat nog steeds in de FAQ hier. wellicht iperf toevoegen?

[Ultraman]

Heel de switch er al eens tussenuit gehaald en server en laptop direct aan elkaar gehangen?

[Timmert]

Inmiddels de verschillende systemen even direct aan elkaar geknoopt:

Server <> laptop: 230Mbits/s
Laptop <> testlaptop: 236Mbits/s
Testlaptop <> server: 250Mbits/s

Allemaal niet denderend..

[FatalError]

Lopen die netstat -e tellers flink op na n iperf testje?

[joopv]

En wat was de cpu load nou gedurende de test? Welke processen verbruikten hoeveel cpu?

[Timmert]

Daar heb ik dan weer niet naar gekeken. Morgen heb ik daar weer tijd voor, dan zal ik nog es verder gaan testen.

[Timmert]

Weer een testje gedaan:

Nieuwe Core i5 pc aangesloten op de Gbit switch, server ook. Hagelnieuwe CAT5e kabel gebruikt.
Zelfde resultaten...

Ik ga morgen een andere NIC voor de server halen, ik denk een Intel. Goed idee?
Eventueel nog tips voor een goede 16 poorts switch?

[joopv]

Switch is geen bottleneck. Dat had je zelf toch ook al geconstateerd met die directe pc <-> server test?

Wat was de cpu load nou gedurende de test?

[Timmert]

De CPU load van de server weet ik niet. Die van de laptop opzich ook niet, maar die begint altijd direct te loeien als ie veel CPU load voor z'n kiezen krijgt, dus ik gok dat dat wel snor zit.

Ik ga dat morgen nog wel even onderzoeken, maar ik vind het een buitengewoon vaag gegeven dat:

i5 pc schrijven naar server via switch: goede snelheid (althans, best ok: 50MB/s)
i5 pc lezen van server via switch: bagger snelheid, 14MB/s

Laptop schrijven naar server via switch: goede snelheid (ook ongeveer 50, grofweg)
Laptop lezen van server via switch: bagger, 14MB/s

Met andere woorden, lezen vanaf de server is structureel een probleem, ongeacht het systeem.

Maar ondertussen doen de 2 laptops het onderling ook niet vlotjes, wanneer ze direct verbonden zijn zonder de switch. Het lijken me daardoor 2 op zich staande problemen. Heel typisch!

[Sa1]

Ben wel benieuwd naar dit. Altijd leuke problemen

Overigens vind ik 50MB/sec ook niet heel snel voor een gigabit netwerk met moderne apparatuur. Zelf haal ik over m'n netwerkje een constante van rond de 70 tot 80MB tot uitschieters van 100MB/sec.

Gewone Cat5e, intel nics en onboard van moederbord, geen idee wat dat is.

Misschien dat het iets te maken heeft met netwerkthrotteling, zag dat de server een 2003 is, misschien dat je tcp offloading aan kunt zetten.

[Timmert]

Die 50MB/s is ook absoluut niet denderend, maar in ieder geval minder teleurstellend dan 14MB/s
Ik heb eigenlijk het idee dat ik het in de NIC van de server moet zoeken, en dat het probleem van de 2 laptops onderling veroorzaakt wordt door traagheid van die NICS (realtek vs. broadcom).

Vandaar mijn idee om eens een Intel NIC voor de server te scoren.

[Timmert]

Interessante nieuwe testresultaten!

Eventjes TCP optimizer gedraaid, en vervolgens nog een testje gedaan met iperf.

Als ik de laptop als server laat optreden (iperf -s) en de server als client (iperf -c), dan haal ik ongeveer 225MBits/s.
Doe ik het andersom, dus de server als server (iperf -s) en de laptop als client, dan haal ik 942MBits/s.

In alle gevallen blijft de CPU load op zowel laptop als server <40%, dus dat is best OK..

Disk benchmarks laten dit zien:

Server:



Laptop:



Zoals je ziet is de SSD in m'n laptop niet erg geweldig in het schrijven en lezen van kleine bestandjes, maar dat zou hier de bottleneck toch niet kunnen zijn?

edit: Zojuist even een Intel PCI-e nic in de server gezet, maakt erg weinig verschil.

Wel valt me dit op:

iPerf op laptop:


iPerf op server:


Zie de TCP window size. Waarom verschilt die telkens?

[ Voor 20% gewijzigd door Timmert op 25-03-2010 12:26 ]

[leuk_he]

Timmert schreef op donderdag 25 maart 2010 @ 11:46:

In alle gevallen blijft de CPU load op zowel laptop als server <40%, dus dat is best OK..
....
Zie de TCP window size. Waarom verschilt die telkens?

Multi core? 40% kan beteken dat de load op 1 core 80% is he?

met iperf kun je ook met -M (en -m) de window sizes forceren. Die zouden automatisch gezet moeten worden. Maakt het uit als je ze hoger forceert?

http://openmaniak.com/iperf.php

hier is iemand die ook met de window size aan de gang gaat

http://apocryph.org/2006/...rmance_on_windows_xp_2k3/

...
Well, that sucks. Barely 280Mbits/se
...
To enable larger window sizes, I’ll need to increase the max window size parameter, and since I’m going past 64k window sizes, I’ll also need to enable the RFC 1323 capabilities, for TCP window scaling. Again, these should not help as the RTT on my LAN is so low, but given the upward trend I was observing at 64k, I’d like to explore its upper boundary.

The relevant registry settings are:

HKLM\SYSTEM\CurrentControlSet\Services\Tcpip\Parameters\GlobalMaxTcpWindowSize
HKLM\SYSTEM\CurrentControlSet\Services\Tcpip\Parameters\TcpWindowSize
HKLM\SYSTEM\CurrentControlSet\Services\Tcpip\Parameters\Tcp1323Opts

I will leave TcpWindowSize as-is; I don’t want to change the default, I just want to enable a larger upper boundary. According to the MS docs for GlobalMaxTcpWindowSize:
...
...
Default (window size 125k) Window size 64k `iperf -s` `iperf –window 64k -c aenea` 412Mbits/sec
...
So, here we are at not even 50% of the theoretical maximum throughput of the GigE network. What gives?

http://www.tomshardware.c...abit-ethernet,800-10.html


Zo er is wat verbetering te halen met die opties, maar uitiendelijk lijkt hardware toch een bottlneck?

[Timmert]

Kennelijk zat het probleem toch in m'n laptop. Ik heb nu even verder getest met die i5 pc, en die trekt netjes 70MB/s. Nota bene gewoon met files kopieren via de verkenner.

Probleem dus niet opgelost, maar wel gevonden. Laptopje gaat tzt toch weg, dus ik vind het wel prima zo..

[MikeyMan]

Is 70MB/s snel dan voor een gigabit netwerk? Dat trek ik met m'n 100mbit verbinding ook...

[Timmert]

Knap 100mb netwerk heb je dan

[MikeyMan]

oh, doh, zat niet goed te kijken met iperf... Dat is de totale hoeveelheid data voor de test

[ Voor 10% gewijzigd door MikeyMan op 26-03-2010 16:03 ]

[Sa1]

Timmert schreef op vrijdag 26 maart 2010 @ 15:51:
Kennelijk zat het probleem toch in m'n laptop. Ik heb nu even verder getest met die i5 pc, en die trekt netjes 70MB/s. Nota bene gewoon met files kopieren via de verkenner.

Probleem dus niet opgelost, maar wel gevonden. Laptopje gaat tzt toch weg, dus ik vind het wel prima zo..

welk os draai je op je laptop? als dat vista is, dan kan dat networkthrotteling weldegelijk in de weg zitten. K heb zelf ook me blauw groen en geel gezocht hiernaar....

dat houdt in dat als je iets van geluid wilt afspelen of iets van media dingen open hebt staan dat hij automatisch terugschakeld naar x% van de totale capaciteit... heel vreemd.

maar prima dat het 'opgelost' is!

[Fire69]

MikeyMan schreef op vrijdag 26 maart 2010 @ 16:03:
oh, doh, zat niet goed te kijken met iperf... Dat is de totale hoeveelheid data voor de test

Euh, nee, hij haalt 70 megaBYTE/sec. Jij haalt 70megaBIT.
10x sneller dus.

[Timmert]

Sa1 schreef op vrijdag 26 maart 2010 @ 16:54:
[...]
welk os draai je op je laptop? als dat vista is, dan kan dat networkthrotteling weldegelijk in de weg zitten. K heb zelf ook me blauw groen en geel gezocht hiernaar....

dat houdt in dat als je iets van geluid wilt afspelen of iets van media dingen open hebt staan dat hij automatisch terugschakeld naar x% van de totale capaciteit... heel vreemd.

maar prima dat het 'opgelost' is!

Nee, W7 Pro..