HP Procurve 2848 Gigabit switch levert slechte prestaties*

[Verwijderd]

Hallo,

Heb onlangs een HP Procurve 2848 Gigabit switch aangeschaft voor een LANparty van zo'n kleine 30 man. Heb de laatste 2 weken aardig wat tests uitgevoerd en zelfs de helpdesk van HP een paar keer geraadpleegd, maar helaas kan ik geen datatransfers hoger dan 22MB/s halen.

Dit vind ik natuurlijk 3x niks aangezien deze switch 96Gbps switch-fabric en 69mpps forwarding rate aankan. De helpdesk heeft me een paar tips gegeven van uitzetten van lacp op elk poort en qos-forwarding aanzette deze instellingen heb ik allemaal geprobeerd ik heb zelfs het trunken van netwerkkaarten geprobeerd maar zonder succes.

Opzet bij mij thuis is als volgt:

- PC1= P4 2.4Ghz NAS server 6x160GB raid5 2x intel gigabit trunked met ifenslave ( draait gentoo linux kernel 2.4.25)

- PC2= AMD 3000+ intel gigabit HDD transfer rate boven de 40MB/s (draait WinXP sp2)
- PC2= AMD 2200+ intel gigabit HDD transfer rate boven de 40MB/s (draait WinXP sp2)

Heb bij alle pc's een file van 1GB verzonden naar elkaar toe dus PC1 -> PC2 / PC1 -> PC3 /
PC2 ->PC3 en omgekeerd ik kreeg pieken van rond de 20MB/s stabiel haalt ie 14MB/s.
update: Heb zelfs een vervangende model van HP toegestuurd gekregen maar daar lag het dus niet aan.

Hopelijk heeft iemand hier ervaring mee graag hoor ik jullie reacties hierop.

De groeten,

ps:tis een beetje laat dus het kan zijn dat ik iets belangrijks niet heb vermeld.

[ Voor 5% gewijzigd door Verwijderd op 17-04-2005 03:59 ]

[Coen Rosdorff]

Even meten met iperf. File transfer snelheden zeggen niet zo veel (niks) over netwerk snelheid.

[r0b]

Heb je wat meer info over de netwerkkaarten die je gebruikt, en welke bekabeling?

[ Voor 15% gewijzigd door r0b op 17-04-2005 04:17 ]

[CyBeR]

Die switch kan inderdaad op alle poorten gbit full duplex switchen. Waarmee verstuur je die files? Windows Filesharing (SMB/CIFS) is niet de snelste.. De enige goede manier om echte real-world throughput van een nic te meten is als je 't niet met file meuk vanaf schijf (of zelfs geheugen, hoewel dat wel al een bottleneck elimineert) doet maar met een programma als iperf (punt sourceforge.net) of netcps (iirc).

Overigens trunk je helemaal niets. Je doet aan link aggregation, da's precies het tegenovergestelde van trunken. (Meerdere kanalen over een draadje versus een kanaal over meerdere draadjes).

[rapture]

Met FTP kan je goed leechperformance meten.

Aan de ene kant kan je bij je servers zoeken, als ze met een Gigabit-crosscable ook crap presteren, dan weet je waar ze moet zoeken. Gentoo Linux server eens updaten door emerge sync, dan emerge -u system, daarna nog je programma emergen. Er zijn veel performance/stabiliteitsverschillen tussen de Samba versies op een Gentoo-bak (uit ervaring ondervonden). Met FTP heb ik goede meetervaringen.

Dan kan je ook aan de netwerkkant gaan zien, Dit en niks anders, aan vele topics te zien, kan je dat nooit genoeg herhalen. Het is van "levensbelang" dat netwerkkabels fatsoenlijk "geconnectorized" worden, niet alleen de standaard volgen. Je mag een stuk utp niet meer dan een halve inch untwisten om een RJ-45 op te zetten, dit beperkt de Near-End-X(cross)-Talk-interference.

Trunking? Link Aggregation?
Trunk lines zijn lijnen tussen switches (en andere netwerkapparatuur), als men van switch1 naar switch2 gaat, dan moeten er veel frames over 1 trunklijntje en deze zit dus snel vol.

Dan heeft men Trunking / Link Aggregation (synoniemen) uitgevonden om meerdere lijnen te bundelen als 1 dikke trunklijn tussen switches.

[ Voor 21% gewijzigd door rapture op 17-04-2005 04:33 ]

[CyBeR]

rapture schreef op zondag 17 april 2005 @ 04:27:

Dan kan je ook aan de netwerkkant gaan zien, [afbeelding]Dit en niks anders, aan vele topics te zien, kan je dat nooit genoeg herhalen. Het is van "levensbelang" dat netwerkkabels fatsoenlijk "geconnectorized" worden, niet alleen de standaard volgen. Je mag een stuk utp niet meer dan een halve inch untwisten om een RJ-45 op te zetten, dit beperkt de Near-End-X(cross)-Talk-interference.

Dit is trouwens ook een goede. Voor gigabit is 't vrij belangrijk dat je kabels Goed zijn. Heb je ze zelf gecrimpt of heb je kant-en-klare cat5e kabels?

[Verwijderd]

r0b schreef op zondag 17 april 2005 @ 04:17:
Heb je wat meer info over de netwerkkaarten die je gebruikt, en welke bekabeling?

PC1 heeft een supermicro mobo met onboard Dual Intel Gigabit Ethernet Controllers (One: 82541, One:82547GI)

PC2 heeft een onboard Marvell Yukon Chipset based Gigabit Ethernet Controller

PC3 heeft een Intel MT/1000 Gigabit Controller

Alle pc's zijn verbonden met CAT5e kabels (kant en klare)

[Verwijderd]

CyBeR schreef op zondag 17 april 2005 @ 04:20:
Die switch kan inderdaad op alle poorten gbit full duplex switchen. Waarmee verstuur je die files? Windows Filesharing (SMB/CIFS) is niet de snelste.. De enige goede manier om echte real-world throughput van een nic te meten is als je 't niet met file meuk vanaf schijf (of zelfs geheugen, hoewel dat wel al een bottleneck elimineert) doet maar met een programma als iperf (punt sourceforge.net) of netcps (iirc).

Overigens trunk je helemaal niets. Je doet aan link aggregation, da's precies het tegenovergestelde van trunken. (Meerdere kanalen over een draadje versus een kanaal over meerdere draadjes).

Ik verstuur de files via Windows Filesharing tussen PC2 en PC3, bij PC3 heb ik Samba en Vsftpd draaien wat ook is getest. Ftp ging wel iets sneller maar dat komt door de kleinere headerpackets.

Ik had zelf via telnet trunking ingesteld, maar volgens HP hoefde dit niet tenzij je 2 switchen met elkaar gaat verbinden dus hij detecteert trunking automatisch, dit kon ik ook goed zien aan de webbased port utilization grafiek van de switch.

[Verwijderd]

Ik zal nog wel de tips van jullie uitvoeren op de pc's, dat van die crosslink kabel tussen pc's is een goeie tip die zal ik ook aansluiten.

Ik laat het jullie wel weten hoe het gegaan is alvast bedankt voor jullie reacties.

[richard_kraal]

trekt je raid5 het wel?

draai atto bench eens? ben zeer benieuwd naar de results


:edit

ik heb zelf 3 van die switches bij een klant hangen, o.a. met glasmodules en servers op gbit cat, zelf heb ik nooit snelheids problemen gehad

toevallig firmware al eens geupdate?

[ Voor 55% gewijzigd door richard_kraal op 17-04-2005 14:04 ]

[rapture]

Verwijderd schreef op zondag 17 april 2005 @ 11:02:
Ik zal nog wel de tips van jullie uitvoeren op de pc's, dat van die crosslink kabel tussen pc's is een goeie tip die zal ik ook aansluiten.

Ik laat het jullie wel weten hoe het gegaan is alvast bedankt voor jullie reacties.

En zonder trunking proberen boven 700Mbps te gaan voordat je begint met trunking, hier kan ook iets verkeerd gaan.

[ Voor 3% gewijzigd door rapture op 17-04-2005 14:03 ]

[Zwelgje]

heb je mischien jumbo frames aanstaan op je nics die switch kan namelijk geen jumbo frames aan

[jealma]

Kun je niet ergens een andere gbit switch lenen en die even uitproberen, als je dan speed's van rond de 50 mbps haalt, weet je dat het aan die HP switch ligt.

[FatalError]

Hier op The Party staat ook zo'n ding, waar we gewoon 115 MByte/s mee halen tussen 2 pc's.

[M14]

Ik denk dat gebruik van cat6 kabels heel veel scheelt. Hierbij zijn de ader-paren tot ver in de connector getwist. Zijn ook niet zelf te maken.

Anders moet je eens een cross-cable pakken en tussen je server en switch gaan testen. Als dat voor geen meter loopt heeft het natuurlijk geen zin om de switch de schuld te geven.

[RRX]

Heb je nu al geprobeerd die 2 pc's crosslinked aan te sluiten? en dan te kijken wat voor snelheid je haalt?

[Verwijderd]

FatalError schreef op zondag 17 april 2005 @ 14:19:
Hier op The Party staat ook zo'n ding, waar we gewoon 115 MByte/s mee halen tussen 2 pc's.

Die HP's zijn normaal _bloedjesnel_ inderdaad, ik vond ze altijd in ieder geval super werken Tenzij de TS een maandagmorgen exemplaar heeft, ligt de oorzaak niet in de switch maar in de netwerkkaarten / kabels / RAID array.

M14 schreef op zondag 17 april 2005 @ 14:42:
Ik denk dat gebruik van cat6 kabels heel veel scheelt. Hierbij zijn de ader-paren tot ver in de connector getwist. Zijn ook niet zelf te maken.

Anders moet je eens een cross-cable pakken en tussen je server en switch gaan testen. Als dat voor geen meter loopt heeft het natuurlijk geen zin om de switch de schuld te geven.

Ik zeg niet dat het niet kan schelen hoor, maar hele volksstammen gebruiken CAT5e voor gigabit, allemaal met prima prestaties. Dat het hier opeens in de CAT5e kabel zou zitten lijkt mij persoonlijk heel stug

[ Voor 44% gewijzigd door Verwijderd op 17-04-2005 16:40 ]

[rapture]

M14 schreef op zondag 17 april 2005 @ 14:42:
Ik denk dat gebruik van cat6 kabels heel veel scheelt. Hierbij zijn de ader-paren tot ver in de connector getwist. Zijn ook niet zelf te maken.

Gigabit is wel degelijk ontworpen voor "ouwe kabels" CAT5e. Vroeger waren er 2 soorten 100MBps over koper. De 100Base-TX 100MBps over CAT5, hier worden maar 2 paren gebruikt. Er was 100Base-T4 100MBps over CAT3, hier worden alle 4 paren volledig gebruikt. Zo is het huidige Gigabit, deze gebruikt gewoon alle 4 paren van een CAT5e en met de speciale "Gigabit" technieken moet dat perfect draaien als je netjes de standaard volgt. CAT6 is een overkill-kabel, deze wordt interessant als men 10GBps over koper begint te introduceren.

[ Voor 14% gewijzigd door rapture op 17-04-2005 18:33 ]

[FatalError]

Gigabit moet zelfs prima werken op cat5. HEt is wel ERG belangrijk dat de aderen in de goede volgorde in de stekker zitten.

[Verwijderd]

Trage prestaties bestaan niet, slechte prestaties wel.

[Shuriken]

Hoe zit het met QoS? staat dat misschien op de windows machines aan?

[Verwijderd]

De snelheden worden met DU Meter gemeten voor de duidelijkheid. Heb net een crosslink kabel geprobeerd tussen PC2 en PC3 hier kreeg ik wisselvallige resultaten met af en toe pieken van 40MB/s en stabiel 36MB/s en soms weer het oude verhaal met max 22MB/s.

- Jumbo frames staan uit
- Firmware had ik al geupdate naar 8.62
- RAID5 werkt naar behoren

Heb ook een HP 2560 hier liggen die haalt makkelijk 11MB/s stabiel.

[ Voor 14% gewijzigd door Verwijderd op 17-04-2005 21:10 ]

[Verwijderd]

Verwijderd schreef op zondag 17 april 2005 @ 20:42:
Trage prestaties bestaan niet, slechte prestaties wel.

Je begrijpt toch wat ik bedoel

[Verwijderd]

Shuriken schreef op zondag 17 april 2005 @ 20:49:
Hoe zit het met QoS? staat dat misschien op de windows machines aan?

QoS moest alleen op de switch aan staan hoefde niet op de Windows machines.
Heb dus qos-passthrough-mode aangezet.

[Verwijderd]

Heb Netio123 gedraait op alle pc's en hier zijn de resultaten.

Netio Client (PC2)
Netio Server (PC1)

TCP connection established.
Packet size 1k bytes: 52971 KByte/s Tx, 83700 KByte/s Rx.
Packet size 2k bytes: 56589 KByte/s Tx, 84072 KByte/s Rx.
Packet size 4k bytes: 55292 KByte/s Tx, 85456 KByte/s Rx.
Packet size 8k bytes: 54453 KByte/s Tx, 84092 KByte/s Rx.
Packet size 16k bytes: 52480 KByte/s Tx, 83970 KByte/s Rx.
Packet size 32k bytes: 49625 KByte/s Tx, 85125 KByte/s Rx.
Done.

Netio Client (PC2)
Netio Server (PC3)

TCP connection established.
Packet size 1k bytes: 63210 KByte/s Tx, 32548 KByte/s Rx.
Packet size 2k bytes: 69432 KByte/s Tx, 26952 KByte/s Rx.
Packet size 4k bytes: 78642 KByte/s Tx, 23908 KByte/s Rx.
Packet size 8k bytes: 77516 KByte/s Tx, 16272 KByte/s Rx.
Packet size 16k bytes: 73436 KByte/s Tx, 24870 KByte/s Rx.
Packet size 32k bytes: 70115 KByte/s Tx, 26284 KByte/s Rx.
Done.