[HP 1810G-24]Matige prestaties gigabit - test met iperf+smb

[HyperBart]

Ik heb hier een 1810G-24 staan, een redelijk dure webmanageable switch van HP.

Ding geconfigureerd, jumboframes op switch enabled (op servers niet direct iets speciaals ingesteld...)

1 HP ML 330 G5 met 5GB geheugen en 2 SATA disks van 250 GB (=server1)
1 HP ML 330 G5 met 4GB geheugen en 1 SATA disk van 250 GB (=server2)

Beide servers zijn uitgerust met Windows Server 2008 R2 x64 Enterprise met laatste updates.

Geen RAID.

Het vreemde is, dat als ik via windows file shares iets kopieer van de tweede disk van server1 naar de disk van server2, dat mijn gigabitsnelheden worden gehaald gedurende 10 seconden, dan vlamt ie echt tegen 97,5 à 100 MB. Geen probleem. Maar daarna zakt de snelheid op 15 seconden tijd tot ongeveer 13 MB/s.

Ik heb dan met iperf eens een test gedaan tussen de twee servers, en dit is het resultaat:

C:\Users\administrator\Desktop>iperf.exe -c 192.168.123.91 -t 30 -i 1
------------------------------------------------------------
Client connecting to 192.168.123.91, TCP port 5001
TCP window size: 8.00 KByte (default)
------------------------------------------------------------
[156] local 192.168.123.92 port 49437 connected with 192.168.123.91 port 5001
[ ID] Interval       Transfer     Bandwidth
[156]  0.0- 1.0 sec  72.8 MBytes   610 Mbits/sec
[156]  1.0- 2.0 sec  72.1 MBytes   605 Mbits/sec
[156]  2.0- 3.0 sec  46.1 MBytes   387 Mbits/sec
[156]  3.0- 4.0 sec  22.1 MBytes   185 Mbits/sec
[156]  4.0- 5.0 sec  30.0 MBytes   251 Mbits/sec
[156]  5.0- 6.0 sec  54.5 MBytes   457 Mbits/sec
[156]  6.0- 7.0 sec  72.4 MBytes   608 Mbits/sec
[156]  7.0- 8.0 sec  51.2 MBytes   430 Mbits/sec
[156]  8.0- 9.0 sec  32.1 MBytes   269 Mbits/sec
[156]  9.0-10.0 sec  32.9 MBytes   276 Mbits/sec
[156] 10.0-11.0 sec  52.0 MBytes   436 Mbits/sec
[156] 11.0-12.0 sec  72.5 MBytes   608 Mbits/sec
[156] 12.0-13.0 sec  58.2 MBytes   488 Mbits/sec
[156] 13.0-14.0 sec  30.7 MBytes   257 Mbits/sec
[156] 14.0-15.0 sec  28.8 MBytes   241 Mbits/sec
[156] 15.0-16.0 sec  49.4 MBytes   414 Mbits/sec
[156] 16.0-17.0 sec  72.8 MBytes   611 Mbits/sec
[156] 17.0-18.0 sec  56.6 MBytes   475 Mbits/sec
[156] 18.0-19.0 sec  32.1 MBytes   269 Mbits/sec
[156] 19.0-20.0 sec  20.8 MBytes   175 Mbits/sec
[ ID] Interval       Transfer     Bandwidth
[156] 20.0-21.0 sec  33.2 MBytes   279 Mbits/sec
[156] 21.0-22.0 sec  37.4 MBytes   313 Mbits/sec
[156] 22.0-23.0 sec  37.4 MBytes   313 Mbits/sec
[156] 23.0-24.0 sec  22.3 MBytes   187 Mbits/sec
[156] 24.0-25.0 sec  31.5 MBytes   264 Mbits/sec
[156] 25.0-26.0 sec  72.7 MBytes   610 Mbits/sec
[156] 26.0-27.0 sec  72.7 MBytes   609 Mbits/sec
[156] 27.0-28.0 sec  63.4 MBytes   532 Mbits/sec
[156] 28.0-29.0 sec  22.8 MBytes   191 Mbits/sec
[156] 29.0-30.0 sec  24.7 MBytes   207 Mbits/sec
[156]  0.0-30.0 sec  1.35 GBytes   385 Mbits/sec

serverside geeft deze results

[240] local 192.168.123.91 port 5001 connected with 192.168.123.92 port 49437
[ ID] Interval       Transfer     Bandwidth
[240]  0.0-30.0 sec  1.35 GBytes   385 Mbits/sec

Gebruik ik UDP om de jitter en TCP retransmissies uit te sluiten, krijg ik vlg resultaat:

C:\Users\administrator\Desktop>iperf -c 192.168.123.91 -u -b 10m
------------------------------------------------------------
Client connecting to 192.168.123.91, UDP port 5001
Sending 1470 byte datagrams
UDP buffer size: 8.00 KByte (default)
------------------------------------------------------------
[156] local 192.168.123.92 port 60766 connected with 192.168.123.91 port 5001
[ ID] Interval       Transfer     Bandwidth
[156]  0.0-10.0 sec  11.9 MBytes  9.99 Mbits/sec
[156] Server Report:
[156]  0.0-10.0 sec  11.9 MBytes  9.98 Mbits/sec  0.002 ms   21/ 8504 (0.25%)
[156] Sent 8504 datagrams

lijkt me sterk dat een HP 1810G-24 zijn backbone niet sterk genoeg is om een Gigibit link tussen twee PC's te voorzien...

[ Voor 14% gewijzigd door HyperBart op 30-09-2015 23:50 ]

[Exorcist]

Welk OS? Welke NIC(s)? Jumbo frames ingesteld op de eigenschappen van je NIC(s)? Gekopieerd met ander protocol ook geprobeerd?

[HyperBart]

Exorcist schreef op woensdag 16 juni 2010 @ 11:37:
Welk OS? Welke NIC(s)? Jumbo frames ingesteld op de eigenschappen van je NIC(s)? Gekopieerd met ander protocol ook geprobeerd?

Zoals gemeld, met iperf (udp en tcp) en samba getest.
OS had ik niet vermeld, dat staat nu in de startpost: W2K8R2 Ent x64

Nic's zijn beide Broadcom NetXtreme's

[lolcode]

Misschien zit er er compleet naast, maar heeft dit niet ergens met een cache te maken?
Je kunt niet constant 1 Gbit/s naar een hardeschijf blijven sturen als die schijf die snelheid niet kan halen... Ik heb het ook met USB-disken, USB-sticks, SATA schijven etc. hier gezien: eerst gaat het gigantisch snel (althans, dat zegt het venstertje), daarna zakt de snelheid in omdat de schijf het niet bij kan houden.

[TrailBlazer]

verhoog je windowsize eens want 8KB is niet heel erg ruim.

[HyperBart]

Bij deze:

20000:

C:\Users\administrator\Desktop>iperf -c 192.168.123.91 -w 2000
------------------------------------------------------------
Client connecting to 192.168.123.91, TCP port 5001
TCP window size: 19.5 KByte
------------------------------------------------------------
[156] local 192.168.123.92 port 49643 connected with 192.168.123.91 port 5001
[ ID] Interval       Transfer     Bandwidth
[156]  0.0-10.0 sec   631 MBytes   529 Mbits/sec

50000

C:\Users\administrator\Desktop>iperf -c 192.168.123.91 -w 50000
------------------------------------------------------------
Client connecting to 192.168.123.91, TCP port 5001
TCP window size: 48.8 KByte
------------------------------------------------------------
[156] local 192.168.123.92 port 49661 connected with 192.168.123.91 port 5001
[ ID] Interval       Transfer     Bandwidth
[156]  0.0-10.0 sec   975 MBytes   817 Mbits/sec

10000

C:\Users\administrator\Desktop>iperf -c 192.168.123.91 -w 100000
------------------------------------------------------------
Client connecting to 192.168.123.91, TCP port 5001
TCP window size: 97.7 KByte
------------------------------------------------------------
[156] local 192.168.123.92 port 49671 connected with 192.168.123.91 port 5001
[ ID] Interval       Transfer     Bandwidth
[156]  0.0-10.0 sec  1.08 GBytes   923 Mbits/sec

20000 met een reportinterval van 1 seconde

C:\Users\administrator\Desktop>iperf -c 192.168.123.91 -i 1 -t 30 -w 20000
0
------------------------------------------------------------
Client connecting to 192.168.123.91, TCP port 5001
TCP window size:  195 KByte
------------------------------------------------------------
[156] local 192.168.123.92 port 49700 connected with 192.168.123.91 port 5001
[ ID] Interval       Transfer     Bandwidth
[156]  0.0- 1.0 sec   114 MBytes   956 Mbits/sec
[156]  1.0- 2.0 sec   113 MBytes   947 Mbits/sec
[156]  2.0- 3.0 sec   113 MBytes   945 Mbits/sec
[156]  3.0- 4.0 sec   113 MBytes   944 Mbits/sec
[156]  4.0- 5.0 sec   113 MBytes   944 Mbits/sec
[156]  5.0- 6.0 sec   113 MBytes   944 Mbits/sec
[156]  6.0- 7.0 sec   113 MBytes   944 Mbits/sec
[156]  7.0- 8.0 sec   113 MBytes   944 Mbits/sec
[156]  8.0- 9.0 sec   113 MBytes   944 Mbits/sec
[156]  9.0-10.0 sec   114 MBytes   959 Mbits/sec
[156] 10.0-11.0 sec   113 MBytes   945 Mbits/sec
[156] 11.0-12.0 sec   113 MBytes   944 Mbits/sec
[156] 12.0-13.0 sec   113 MBytes   944 Mbits/sec
[156] 13.0-14.0 sec   113 MBytes   944 Mbits/sec
[156] 14.0-15.0 sec   113 MBytes   944 Mbits/sec
[156] 15.0-16.0 sec   113 MBytes   944 Mbits/sec
[156] 16.0-17.0 sec   113 MBytes   944 Mbits/sec
[156] 17.0-18.0 sec   113 MBytes   944 Mbits/sec
[156] 18.0-19.0 sec   113 MBytes   944 Mbits/sec
[156] 19.0-20.0 sec   114 MBytes   959 Mbits/sec
[ ID] Interval       Transfer     Bandwidth
[156] 20.0-21.0 sec   113 MBytes   944 Mbits/sec
[156] 21.0-22.0 sec   113 MBytes   944 Mbits/sec
[156] 22.0-23.0 sec   113 MBytes   944 Mbits/sec
[156] 23.0-24.0 sec   113 MBytes   945 Mbits/sec
[156] 24.0-25.0 sec   113 MBytes   944 Mbits/sec
[156] 25.0-26.0 sec   113 MBytes   944 Mbits/sec
[156] 26.0-27.0 sec   113 MBytes   944 Mbits/sec
[156] 27.0-28.0 sec   113 MBytes   944 Mbits/sec
[156] 28.0-29.0 sec   114 MBytes   959 Mbits/sec
[156] 29.0-30.0 sec   113 MBytes   944 Mbits/sec
[156]  0.0-30.0 sec  3.31 GBytes   946 Mbits/sec

Wat is die window size? Ik dacht dat die maximaal op 1500 mocht staan, namelijk de maximale MTU van gewone pakketjes? Of sla ik de bal mis?

[ Voor 28% gewijzigd door HyperBart op 30-09-2015 23:51 ]

[TrailBlazer]

MTU is de hoeveelheid bytes die je in een ethernetframe kan stoppen. de windowsize is het aantal bytes die je niet geacknowledged uit mag hebben staan bij de andere partij. Als je een windowsize van 8KB hebt moet de ontvangende partij een bevestiging sturen na elke 8 KBytes dat die bytes goed zijn aangekomen. Totdat die zijn geacknowledged mag de sturende partij niks sturen. Omdat er een bepaalde delay zit op elk netwerk is er een verband tussen windowsize en delay. Als ik het goed heb max_bandwidth=windowsize*8/delay

je ziet ook in die interval dat je bandbreedte veel stabieler is geworden. Er is veel meer ruimte om een wat variërende delay op te vangen en toch de max bandbreedte te halen.

[ Voor 14% gewijzigd door TrailBlazer op 16-06-2010 12:05 ]

[lolcode]

HyperBart schreef op woensdag 16 juni 2010 @ 11:54:
Wat is die window size? Ik dacht dat die maximaal op 1500 mocht staan, namelijk de maximale MTU van gewone pakketjes? Of sla ik de bal mis?

Volgens mij heeft MTU er niet zoveel mee te maken (geen idee wat t is)
Window size heeft volgens mij te maken met de Round Trip Time (RTT) en de snelheid tussen de 2 PC's. Bij HTTP is het in ieder geval zo dat het volgende pakketje pas wordt verstuurd als de ACK van het laatste pakketje binnen is. Door een grotere window size dan 1 pakket te nemen, bijvoorbeeld 20 pakketjes, mag het laatst verzonden pakketje al worden verzonden als de ACK's van de 19 pakketjes daarvoor nog niet binnen zijn (maar waarschijnlijk al wel onderweg naar de zender, dit heeft met RTT te maken).

In een netwerk is de RTT volgens mijn wel te vergelijken met de ping. Alleen waarom hij dan pas na 15 seconden inzakt snap ik niet, bij een window size van 8kB zou dit al veel eerder moeten inzakken als het inderdaad aan het netwerk ligt.

Edit: TrailBlazer was me voor, en MTU is dan wss de max. packet size ofzo?

[ Voor 3% gewijzigd door lolcode op 16-06-2010 12:06 ]

[CyBeR]

HyperBart schreef op woensdag 16 juni 2010 @ 11:35:
I
Gebruik ik UDP om de jitter en TCP retransmissies uit te sluiten, krijg ik vlg resultaat:

C:\Users\administrator.BXXXX\Desktop>iperf -c 192.168.123.91 -u -b 10m
------------------------------------------------------------
Client connecting to 192.168.123.91, UDP port 5001
Sending 1470 byte datagrams
UDP buffer size: 8.00 KByte (default)
------------------------------------------------------------
[156] local 192.168.123.92 port 60766 connected with 192.168.123.91 port 5001
[ ID] Interval       Transfer     Bandwidth
[156]  0.0-10.0 sec  11.9 MBytes  9.99 Mbits/sec
[156] Server Report:
[156]  0.0-10.0 sec  11.9 MBytes  9.98 Mbits/sec  0.002 ms   21/ 8504 (0.25%)
[156] Sent 8504 datagrams

Je stuurt 10mbit, lijkt me duidelijk dat dat wel over 1gbps past?

[ Voor 0% gewijzigd door Ginz op 05-12-2019 18:06 ]

[TrailBlazer]

Hoe kan je nou zeggen dat het er niks mee te maken heeft als je niet weet wat het is Het gaat niet om pakketten maar om bytes dus.

waarom je snelheid inzakt geen idee trouwens maar het netwerk lijkt het niet te zijn. Ik denk inderdaad iets met caching ergens.

[lolcode]

TrailBlazer schreef op woensdag 16 juni 2010 @ 12:07:
Hoe kan je nou zeggen dat het er niks mee te maken heeft als je niet weet wat het is Het gaat niet om pakketten maar om bytes dus.

waarom je snelheid inzakt geen idee trouwens maar het netwerk lijkt het niet te zijn. Ik denk inderdaad iets met caching ergens.

Bij het vak Netwerken ging het altijd over HTTP en packets ter grootte van x bytes, maar de term MTU was daarbij niet genoemd, vandaar dat ik even niet wist of het er mee te maken had. Maar als de MTU size dus gelijk is aan de size van 1 packet, gaat mijn verhaal volgens mij wel redelijk op.
Het is ook alweer een jaar geleden, maar dat een window size eventueel invloed heeft op de maximaal haalbare snelheid kon ik me nog wel herinneren vandaar de analoog met HTTP.

Maargoed, back ontopic, ik denk dus niet dat het aan het netwerk/switch ligt, maar zoals al eerder gezegd, een cache. Grote vraag is dan natuurlijk waar die cache precies zit.

[HyperBart]

CyBeR schreef op woensdag 16 juni 2010 @ 12:07:
[...]

Je stuurt 10mbit, lijkt me duidelijk dat dat wel over 1gbps past?

idd ja, maar die 10 mbit was maar om de packetloss te illustreren...

Zo, toch wat bijgeleerd over verschil window en MTU, bedankt daarvoor. Het is nu ook duidelijk dat gewoon door de latency van het uitsturen van een ACK van een bepaalde datastroom van een PC/server de bandbreedte/overdrachtsnelheid wat omlaag gaat...