[Gbit LAN] Zoek de bottleneck

[ERIKvanPAASSEN]

Ik heb hier een setupje staan, bestaande uit één server (HP Proliant ML350 G3) en één PC.

De PC en Server zijn direct aan elkaar verbonden, dus zonder switch. Op de server draait Ubuntu 7.10 met ProFTPd met grote testbestanden 5GB+, op de PC Windows Vista met WGet for Windows. Ik haal gemiddeld 25-30MB/s met uitschieters naar 40MB/s.

Volgens mij ligt de snelheid nog te laag, klopt dat?
Heeft iemand een idee wat de bottleneck zou kunnen zijn?

Hieronder staan mogelijke bottlenecks.
Kan iemand er een paar afschieten of zeggen welke ik moet onderzoeken? En eventueel hoe?

• Leessnelheid schijven
• ProFTPd
• PCI-bus server
• Netwerkkaart in server
• Kabel?
• Netwerkkaart in PC
• PCI-bus PC
• Windows Vista
• WGet for Windows
• Schrijfsnelheid schijf

Server:
NIC's:
1x 1Gbps NIC on-board (brak, dus wordt niet gebruikt)
1x 10/100Mbps NIC PCI in een PCI 32/33-slot (vrijwel ongebruikt)
1x 10/100Mbps NIC PCI in een PCI-X 64/100-slot (ongebruikt)
1x 1Gbps NIC, Sweex met Realtek-chip in een PCI-X 64/100-slot
Deze laatste wordt gebruikt voor de verbinding.

Schijven:
2x 36GB @ 10k RPM
2x 72GB @ 10k RPM
Compaq Smart Array Controller met RAID 0 + 1 (dus ik gooi veel capaciteit weg, ja )


PC:
http://tweakers.net/gallery/sys/12752
Op de PCI-bus zitten:
Ageia PhysX-kaart
Onboard geluidskaartje dat niet wordt gebruikt
Creative Audigy-kaartje dat niet wordt gebruikt
USB-geluidskaart


Netwerkkabel:
Home-made Equip CAT5.e, 'Verified for Gigabit-ethernet'.

[Bierkameel]

Ik denk eerder dat het schrijven op de Vista PC weleens de limiet kon zijn.
Misschien met HDtach eenst testen hoe snel je schijven zijn.

[jvanhambelgium]

De behaalde snelheden zijn zo laag dat elke redelijk recente HD deze kan bijbenen.
Spreken we hier over 25MegaBYTES/sec of 25MegaBITS/sec !

Zoals ik het lees is het MegaBITS/sec ! (anders schrijf je beter MB/s als je MegaBytes/sec wil bedoelen)

Indien het 25 a 30 megabytes/sec met uitschieters tot 40MBytes/sec zou zijn moet je ook es zien wat de CPU-load is tijdens de transfer op client / server.
Geen virusscanners actief op de client ?

[ERIKvanPAASSEN]

jvanhambelgium schreef op donderdag 17 januari 2008 @ 15:04:
De behaalde snelheden zijn zo laag dat elke redelijk recente HD deze kan bijbenen.
Spreken we hier over 25MegaBYTES/sec of 25MegaBITS/sec !

Zoals ik het lees is het MegaBITS/sec ! (anders schrijf je beter MB/s als je MegaBytes/sec wil bedoelen)

Indien het 25 a 30 megabytes/sec met uitschieters tot 40MBytes/sec zou zijn moet je ook es zien wat de CPU-load is tijdens de transfer op client / server.
Geen virusscanners actief op de client ?

MBps, MegaBytes per seconde. Anders heb ik Mbps staan voor Mbit per seconde, maar begrijpelijke verwarring. Ik zal de vorige post even aanpassen.

Ik zal inderdaad even checken of de virusscanner, Avast, nog van invloed is.
De snelheden zijn dus niet dramatisch laag, maar volgens mij kan het beter.

De CPU in de server is een Xeon 2,4GHz met 1GB RAM erbij, ookal zegt dat niet héél veel. Mij lijkt het toch dat deze niet overstuur mag raken van 30MB/s.


Ik heb nu Cat.6-kabel gehaald en ga dit even testen, vervolgens zal ik een schrijftest uitvoeren op m'n client-schijf (Samsung SpinPoint 400GB, S-ATAII), maar volgens mij moet het sneller kunnen. HD Tach is trouwens niet geschikt voor Windows Vista.

[Wirehead]

Beter eens testen met Iperf, dan kan je uitsluiten of het je disken zijn.

[SpamLame]

Jumbo frames aangezet?

[Vinnienerd]

Zet eens een degelijke Intel server-nic in je Proliant

[Gunner]

ERIKvanPAASSEN schreef op donderdag 17 januari 2008 @ 15:39:
Ik heb nu Cat.6-kabel gehaald en ga dit even testen, vervolgens zal ik een schrijftest uitvoeren op m'n client-schijf (Samsung SpinPoint 400GB, S-ATAII), maar volgens mij moet het sneller kunnen. HD Tach is trouwens niet geschikt voor Windows Vista.

Ik geloof niet dat je met cat6 betere performance zal halen. Dit is namelijk geen officiele gigabit standaard en CAT5e zou afdoende moeten zijn.

[Exorcist]

Ik vind je snelheden best aardig voor een Gbit netwerk met een Sweex kaart. Sowieso zul je echt niet veel meer dan 50/60 halen, en dat laatste alleen met goede netwerkkaarten/kabels.

[ERIKvanPAASSEN]

Nou, ik ben aan het kloten geweest met m'n Cat.6-kabeltje, maar dat ding werkt helemaal niet. Beetje raar.

Maargoed, allereerst bedankt voor de reacties so far.

Vinnienerd schreef op donderdag 17 januari 2008 @ 15:58:
Zet eens een degelijke Intel server-nic in je Proliant

Dat zou een volgende stap zijn, ja, áls het helpt.

Maar die Sweex had ik nog liggen. Het is een desktopkaartje en hij heeft gewoon een Realtek-chip, dus ik dacht dat het het proberen waard was.

Ik ben nog even aan het testen geweest met en zonder virusscanner. Dit maakt echter niet veel uit. Ik zit gemiddeld op 25 MB/s. Zeker niet dramatisch, maar ook weer niet super.

Ik wil meerdere clients tegelijk gaan gebruiken, dus als de bottleneck in de client zit, geen punt, die hoeft toch zo hard niet. Zit 't in de server, dan zou ik graag kijken of dat een beetje op te lossen is.

Exorcist schreef op donderdag 17 januari 2008 @ 16:55:
Ik vind je snelheden best aardig voor een Gbit netwerk met een Sweex kaart. Sowieso zul je echt niet veel meer dan 50/60 halen, en dat laatste alleen met goede netwerkkaarten/kabels.

45 MB/s gemiddeld zou al enorm mooi zijn!


Tussentijdse evaluatie:
Doorstreept zijn de minder waarschijnlijke bottlenecks, vet gedrukt de waarschijnlijkere.

• Leessnelheid schijven
• ProFTPd
• PCI-bus server
• Netwerkkaart in server
• Kabel?
• Netwerkkaart in PC
• PCI-bus PC
• Windows Vista
• WGet for Windows
• Schrijfsnelheid schijf

SpamLame schreef op donderdag 17 januari 2008 @ 15:55:
Jumbo frames aangezet?

Ik ga even Google raadplegen.

Edit:
Volgens mij heb ik aan Jumbo Frames niet heel veel vanwege mijn uiteindelijke doel. Had ik er even bij moeten zetten. Uiteindelijk zal er een HP Procurve 4000M met een zooi 10/100Mbps-poorten en één 1Gbps-poort. De situatie zal worden: 1 server, > 10 clients. Ik probeer eigenlijk alleen te testen of de performance van m'n server ok is.

[ Voor 8% gewijzigd door ERIKvanPAASSEN op 17-01-2008 19:10 ]

[Orion84]

WGet zal het denk ik ook niet zijn, daarmee haal ik hier een stuk betere resultaten dan wanneer ik flashfxp ofzo gebruik. Weliswaar over 100mbit, maar volgens mij is er weinig mis met die tool.

Zoals al eerder gemeld, ga eens testen met tooltjes die gegevens gewoon genereren, ipv met bestanden vanaf disk. Op die manier kan je vrij snel het en of het ander uitsluiten (netwerk hardware of disken). Bijvoorbeeld dus Iperf.

En de performance van een server testen met 1 client waarvan je niet weet welke snelheid die aankan is natuurlijk sowieso een beetje onhandig

[ Voor 14% gewijzigd door Orion84 op 17-01-2008 17:49 ]

[ERIKvanPAASSEN]

Orion84 schreef op donderdag 17 januari 2008 @ 17:48:
WGet zal het denk ik ook niet zijn, daarmee haal ik hier een stuk betere resultaten dan wanneer ik flashfxp ofzo gebruik. Weliswaar over 100mbit, maar volgens mij is er weinig mis met die tool.

Zoals al eerder gemeld, ga eens testen met tooltjes die gegevens gewoon genereren, ipv met bestanden vanaf disk. Op die manier kan je vrij snel het en of het ander uitsluiten (netwerk hardware of disken). Bijvoorbeeld dus Iperf.

En de performance van een server testen met 1 client waarvan je niet weet welke snelheid die aankan is natuurlijk sowieso een beetje onhandig

WGet vermoedde ik ook niet echt, maar voor de volledigheid stond hij erbij.

Ik zal Iperf eens proberen.

Verder weet ik ook wel dat m'n client de snelheid niet volledig aankan, maar volgens mij moet hij tot 40MB/s wel kunnen halen. Dan zou ik dus al tevreden zijn. Ik heb hier namelijk geen gigabit-switch om met meerdere clients tegelijk te testen, dat zou het geheel een stuk makkelijker maken.

Edit: Iperf geeft gemiddeld aan 250 Mbps (= 31 MB/s) te halen, waarschijnlijk dus geen schijfprobleem.

Weet iemand toevallig wat zo'n beetje de max is met een Sweex/Realtek-kaartje? En of het dus de moeite waard is om voor een Intel NIC (PCI-X?) te gaan?

Update:
Ik ben nog even gaan testen met de onboard NIC van de server, lijkt toch niet heel brak meer.
Die haalt dezelfde score in Iperf. De Iperf tests zijn trouwens met de server als host, PC als client.

Toen ik de test omdraaide, PC als host, server als client, bleek de snelheid veel hoger, zo'n 340 Mbit (= 43 MB/s).

Iemand die hier een verklaring voor heeft?


Update 2:
Ik gebruik nog steeds de onboard NIC van de Proliant, omdat deze nu gewoon goed lijkt.
Inmiddels wéér een test gedraaid:

Server verbonden met Procurve 4000M via 1Gbit.
4 clients aan de Procurve via 100Mbit.

Iperf op de vier clients tegelijk gedraaid met de server als host. Dit had een totale snelheid van 360 Mbit als resultaat, wat overeenkomt met 45 MB/s. Dit komt meer in de buurt van wat het hoort te zijn. De limiet was hierbij overduidelijk duidelijk de verbinding van de clients, 4x100Mbit.De snelheid van de 1Gbit-verbinding van de server heeft nu, zo lijkt het, een acceptabele snelheid.

[ Voor 36% gewijzigd door ERIKvanPAASSEN op 17-01-2008 22:53 ]

[Wirehead]

Ik vind je snelheid via iperf nog altijd bedroevend laag. Je zegt dat je getest hebt met een CAT6 kabel maar dit niet degelijk werkte? Dit zou nochtans perfect moeten werken.

Ter vergelijking @ my place:
MacBook Pro Gigabit < > D-link DGS-1224T <> Nforce4 onboard

Met iperf haal ik het volgende:
[SUM] 0.0-10.0 sec 1.10 GBytes 940 Mbits/sec

Mij lijkt het dat je toch je home-made kabels eens onder handen moet nemen. Niet te ver untwist of dergelijk?
Jumbo frames is flauwekul btw, dat haalt niks uit.

Doe eens het volgende als test in iperf:
Server:
iperf -s
Client:
iperf -c ServerIP -w 16K -P8

[ERIKvanPAASSEN]

Wirehead schreef op zaterdag 19 januari 2008 @ 18:53:
Ik vind je snelheid via iperf nog altijd bedroevend laag. Je zegt dat je getest hebt met een CAT6 kabel maar dit niet degelijk werkte? Dit zou nochtans perfect moeten werken.

Mee eens, maar ik had blijkbaar een off-day en had aan beide kanten van de kabel de aders oranje-wit en groen-wit in volgorde omgedraaid. Kabeltesters e.d. geven dan geen fout aan, maar die kabel is niet meer twisted pair.

Inmiddels heb ik m'n foutje hersteld en heb ik een prima CAT.6-kabel.

Doe eens het volgende als test in iperf:
Server:
iperf -s
Client:
iperf -c ServerIP -w 16K -P8

Dat geeft zéér wisselende resultaten, 250Mbit tot 500Mbit.

iperf -c ServerIP -w 16K -P4 en iperf -c ServerIP -P8, daarentegen, draaien elke keer op zo'n 550Mbit. Meer krijg ik er op dit moment echt niet uit, helaas. Maar toch redelijk acceptabel, dacht ik.

[Wirehead]

550 is idd een redelijk resultaat. Dan kan je er van uitgaan dat van ofwel je server, ofwel van je workstation de on-board gigabit via PCI verbonden is.

[ERIKvanPAASSEN]

Wirehead schreef op zaterdag 19 januari 2008 @ 22:42:
550 is idd een redelijk resultaat. Dan kan je er van uitgaan dat van ofwel je server, ofwel van je workstation de on-board gigabit via PCI verbonden is.

Bij de workstation (chipset: nForce 4 SLI Intel Edtion) weet ik dat vrijwel zeker, bij de on-board van de server zou dat misschien nog wel eens PCI-X kunnen zijn. Ik ben in ieder geval tevreden met het resultaat. Bedankt voor de hulp, mijn dank is groot!

[Raven]

Hmm, zit met zelfde, snelheid is aan de lage kant.

iperf -c ip --> 250-263Mbps
iperf -c ip -w 16k -p8 --> 400-410Mbps

PC1: intel pro 1000 gt
PC2: onboard Gbit lan, Gigabyte X38-DQ6+Q6600
(pc1 xp prof 32bit, pc2 XP64)
Switches: 3com 3C1670800B-ME & HP ProCurve Switch 1400-8G.
Kabels CAT5e, niet homemade overigens.

Alles is Gbit. Dus... de kabels? Of de onboard NIC('s) van de X38-DQ6? Of de PCIbus van PC1?

EDIT: Bij de x38 hangen de LAN-poorten aan de PCIe-BUS aldus de manual. Zou het dan de PCI-BUS van PC nr 1 zijn die de boel laag houd?

[ Voor 31% gewijzigd door Raven op 06-03-2008 18:18 ]