Gigabit netwerk presteert ondermaats

[Verwijderd]

Ik heb al druk gezocht in alle topics (en op de rest van internet), maar ik kan niet vinden waar het aan ligt dus ik hoop dat jullie me kunnen helpen met het volgende.

We hebben hier op het werk een drietal IBM servers (1 Netfinity 4500R, 1 Netfinity 6000R en een xSeries 350) die verbonden zijn met een Cisco Gigabit 3550 switch.

Er worden Cat5E kabels gebruikt om de servers met de switch te verbinden en de servers zijn alledrie uitgerust met 2 IBM Pro/1000 XT NIC's. Verder zijn 2 servers voorzien van een SAN FastT200HA (niet relevant wellicht, maar zet het er toch maar bij).

De bedoeling is dat de datatransfersnelheid van de servers onderling zoveel mogelijk de 1 GB benadert. Nu weet ik wel dat dat praktisch niet mogelijk is maar op dit moment komen we niet hoger dan 170 MB per seconde en volgens "de expert" zouden we toch rond de 700 moeten kunnen komen.

Het kopieren van een bestand van 1 GB van server naar server neemt rond de 5 minuten in beslag en de switch utilization geeft aan dat de switch voor nog geen 10% wordt gebruikt.

We hebben al van alles geprobeerd om de snelheid omhoog te krijgen maar het wil maar niet lukken en waar het nou aan ligt is ook niet helemaal duidelijk. Een crosscable tussen 2 servers verdubbeld de snelheid maar dat is nog steeds te weinig.

Ik heb echt van alles gelezen over wat je nu nodig hebt voor een GB netwerk maar volgens mij voldoen we aan alle eisen. Ik hoop dat jullie me kunnen helpen, eventuele vragen zal ik zo goed mogelijk beantwoorden.

Aanverwant probleem: de Gigabit switch is verbonden met een 3Com SuperStack II Switch 3300 met een crosscable, maar de switch geeft constant een duplex mismatch aan ongeacht of ik op beide autonegotiation, 100FD, 100HD aanzet. De snelheid is ook om te huilen. Enig idee waar dat aan ligt? Kabel is al nagekeken, andere poorten ook al geprobeerd... het lijkt wel alsof ze niet zo goed met elkaar overweg kunnen.

[Verwijderd]

Vergeten te vermelden... de servers draaien op WIN NT met servicepack 6.a.

[slacksoff]

dit is wel erg vreemd ja. mijn simpele 100mbit netwerk kopiert 1GB nog sneller meer dan 30 seconden zou hij er toch niet over moeten doen. je hebt de kabel nagekeken. heb je ook al andere gebruikt? en.. ik weet niet of het mogelijk is. maar kan je 2 servers aan elkaar koppelen DMV een crosscable? dan kan je zien of het probleem in de servers zit of in de bekabeling/switch.

[Verwijderd]

We hebben inderdaad een crosscable gebruikt en dan verdubbeld de snelheid naar ongeveer 400 MB en doet hij over het kopieren van 1GB bestand ongeveer 2.5 minuten.

De rest van ons (100 MB) netwerk presteert prima. Snelheden van 90 MB zijn geen uitzondering.

[Cereal]

170 MB/s is het max wat je kunt halen, het is namelijk 1 Gbit, niet Gbyte! dus 700 MB/s is onzin.

Neemt niet weg dat 1 GB/5min te traag is.

Doet dit probleem zich ook voor als je die 3com niet aansluit, dus als je alleen de cisco pakt, en daar de 3 servers op aansluit en verder niets?

[Cereal]

Hmm, ik begrijp dat je met MB => Mbit bedoeld, vergeet wat ik hierboven als eerste typte

[Verwijderd]

Ik heb het nu net nog even nagemeten en ik krijg dit te zien van de ene naar de andere server: Transfer: 155 MBytes en Bandwith: 130 Mbits/sec. Deze snelheden wisselen dus ook echt enorm van moment tot moment.

We hebben de onderlinge snelheid getest met die 3Com eraan vast en los van die 3Com (dus alleen switch en 3 servers) om uit te sluiten dat er misschien een bepaalde routering plaats zou kunnen vinden. Maakt geen verschil.

[ Voor 51% gewijzigd door Verwijderd op 11-06-2003 10:49 ]

[OruBLMsFrl]

1 Gigabyte / 5 min = 1000 MB / 300 sec = 3.33 MegaByte per seconde = 27 Mbit, das dus om te huilen... Hoe kom jij op 170 Mbit uit?
Wat ik alleen niet snap is dat het met een cross cable nog maar met 54 Mbit gaat... weet je wel zeker dat die kabels goed zijn? Zijn er niet per ongeluk Cat3 connectoren gebruikt?
Ik heb dit soort problemen ook gehad met verkeerde 100 Mbit kabels, waar send en receive van hetzelfde draadpaar waren. Op 10 Mbit geen problemen, maar op 100 Mbit daalde de snelheid dramatisch, duurde opeens minuten om iets over te zenden...

[ Voor 115% gewijzigd door OruBLMsFrl op 11-06-2003 11:00 . Reden: 3com Switch is uitgesloten... ]

[Verwijderd]

De tool die we gebruiken en waarmee we op genoemde snelheden uitkomen is deze http://dast.nlanr.net/Projects/Iperf/

Maar om niet alleen op een tool te vertrouwen hebben we dus ook kopieerslagen gemaakt waarmee we dus 5 minuten doen over een kopie van 1 GB bestand van sever 1 naar server 2. Terug kopieren gaat overigens wel iets sneller maar dat heeft denk ik te maken met het in een cache aanwezig zijn van het bestand.

Crosscables verdubbelen de snelheid overigens... niet halveren. Dus met crosscable gaat het wel degelijk sneller maar nog niet snel genoeg.

[ Voor 15% gewijzigd door Verwijderd op 11-06-2003 11:11 ]

[FatalError]

Er valt VEEL te tweaken om hogere snelheden te halen..
Lees o.a. de laatste 3 bladzijden eens:
http://members1.chello.nl/~a.ossendrijver01/hsln-lcn.pdf

[Verwijderd]

Heel erg bedankt voor het document. Hier blijkt in ieder geval uit dat we qua netwerkkaart wel een juiste keuze hebben gemaakt. Verder zijn er nog een aantal zaken die ik wellicht kan controleren maar ik blijf het lastig vinden om te zeggen waar nou precies de bottleneck zit,

[Verwijderd]

Je hebt hele mooie netwerkanalyse aparaatjes verkrijgbaar van +- 50 euro tot heel veel die je in serie in de Eth kabel zet en daar eventuele problemen kan opsporen, bv attenuation overgangsweerstand impendantie en niet te vergeten inductieinvloeden van buitenaf..

Men vergeet vaak, zeker met de netwerkken die op hogere snelheden "draaien" "hoe" de Netwerk kabels lopen (met aandacht voor stroomkabels ) en een UPS kan een aardlus veroorzaken waardoor de packets niet of niet goed aankomen en de com verstoord raakt

[Verwijderd]

Misschien niet helemaal logisch maar mischien dat je probleem helemaal niet bij je netwerk te zoeken is maar meer in de richting van (bijna) volle/langzame harde schijf?

[Coen Rosdorff]

1Gbit is theoritsch 125MB per seconden. Voor een betrouwbare meting moet je dus in IPerf minimaal met 2 GigaByte meten. Met 125MB zal je nooit een goede meting krijgen. Het tcp/ip protocol gaat dan te veel in de weg zitten (slow-start)

[Verwijderd]

Verwijderd schreef op 11 June 2003 @ 14:37:
Misschien niet helemaal logisch maar mischien dat je probleem helemaal niet bij je netwerk te zoeken is maar meer in de richting van (bijna) volle/langzame harde schijf?

dat is toch het eerste waar je aan denkt? Of ga ik er nu onterecht vanuit dat een beetje netwerkbeheerder dit als ouwe koek beschouwd?

maargoed je hebt wel gelijk,, regelmatig de schijfies schoonmaken en zorgen dat je platform goed loopt is een basisvereiste..