Traag gigabit netwerk

[Phreak]

Hey medetweakers,

Ik heb sinds vanmiddag eindelijk m'n gigabit netwerkje klaar.
Alleen valt me de snelheid behoorlijk tegen.
Ik krijg in du-meter een flat-line op 15mb/s terwijl ik er van overtuigt ben dat dit veel harder moet gaan.

Situatie:

Pc1 > Amd 3200+, 7200rpm pata 200gb maxtor, 3com 3c2000-t gigabit pci kaart
pc2 > Amd 4800+, raid-0 7200rpm sata 2x 250gb, onboard nvidia gigabit en onboard Marvel Yukon (Asus SLI Premium bord).

Beide pc 's zijn aangesloten op een Dell Powerconnect 2708 managed switch.
Beide pc's geven aan dat ze op 1000mbit Full Duplex draaien.
De switch geeft het zelfde aan.
Kabels zijn allemaal nieuw uit de zak, 2mtr cat5e gecertificeerd.

Zelf geprobeerd:

Search gebruikt, geen tips kunnen vinden.
Beide onboard kaarten geprobeerd, allebei zelfde resultaat > 15mb/s.
Van beide pc's een kopie geinitialiseerd, dus kopieren van pc1 naar pc2 en andersom. > 15mb/s.
Google probeerd wat te zoeken maar ik kom er niet uit.

Doe ik hier nu iets heel stom verkeerd of heb ik een instelling op m'n netwerkkaart verkeerd staan?

[DaRoot]

Die PC1 heeft een losse netwerkkaart, die nu begrenst wordt door de snelheid van de PCI bus. Heeft laatst nog in 1 of ander computerblad gestaan. Gigabit Ethernet heeft alleen zin als de netwerkkaart PCI-Express is, of direct aan de North of Southbridge gekoppeld is. Als ie via PCI aangekoppeld is (dit kan dus ook met onboard kaarten), beperk je gewoon de bandbreedte.

[Mishmash]

Heb je je netwerkkaarten op 1000mbit vast ingesteld of doen ze aan autosensing? Zet ze eens vast op 1000mbit!

[joopv]

DaRoot schreef op woensdag 12 april 2006 @ 20:29:
Die PC1 heeft een losse netwerkkaart, die nu begrenst wordt door de snelheid van de PCI bus. Heeft laatst nog in 1 of ander computerblad gestaan. Gigabit Ethernet heeft alleen zin als de netwerkkaart PCI-Express is, of direct aan de North of Southbridge gekoppeld is. Als ie via PCI aangekoppeld is (dit kan dus ook met onboard kaarten), beperk je gewoon de bandbreedte.

Aannemende dat de TS 15 megabit/sec. bedoeld is de PCI bus zeker niet de beperkende factor.

Een standaard PCI bus (33 MHz / 32 bits) kan in theorie 132MByte/sec data verstouwen.

In de praktijk is dat inderdaad niet voldoende om gigabit ethernet te verzadigen. Maar bij 15 Mbit/sec (2Mbyte/sec) is de PCI bus zeker geen bottleneck.

[cyspoz]

DaRoot schreef op woensdag 12 april 2006 @ 20:29:
Die PC1 heeft een losse netwerkkaart, die nu begrenst wordt door de snelheid van de PCI bus. Heeft laatst nog in 1 of ander computerblad gestaan. Gigabit Ethernet heeft alleen zin als de netwerkkaart PCI-Express is, of direct aan de North of Southbridge gekoppeld is. Als ie via PCI aangekoppeld is (dit kan dus ook met onboard kaarten), beperk je gewoon de bandbreedte.

PCI bus levert totaal 133 MB/s. Nou zal dat niet allemaal beschikbaar zijn maar moet toch wel meer kunnen zijn dan de genoemde snelheid van de topic starter.

Edit: JoopV was me voor.

Ik voorzie wel een mogelijk probleem bij PC2. Kan het zijn dat die RAID controller ook op de PCI bus zit van de south bridge. Moet je even de schema's van moederbord erbij pakken. Dan kan het namelijk zijn dat het overhead verzorgt. Kun je niet eens kijken wat er gebeurd met een test programma dat random data overstuurt zonder de HD nodig te hebben.

[ Voor 25% gewijzigd door cyspoz op 12-04-2006 20:40 ]

[Phreak]

Mishmash schreef op woensdag 12 april 2006 @ 20:34:
Heb je je netwerkkaarten op 1000mbit vast ingesteld of doen ze aan autosensing? Zet ze eens vast op 1000mbit!

Ik heb ze op auto sensing staan, in de webpagina in de switch geeft hij op die betreffende poorten ook aan dat ze op 1000mbit full duplex staan.
De onboard kaarten van pc2 kan je niet vast zetten op 1000mbit full duplex, alleen tot 100mbit.
De pci kaart van pc1 staat op 1000mbit full duplex vast.
Hiermee heb ik hetzelfde probleem.

Ik probeer net nog even wat anders, ik heb de nvidia onboard aangesloten op het netwerk.
Maar volgens mij zit m'n raid-0 set op de zelfde controller, ik probeerde ff snel vanaf m'n andere hd te kopieren en dat gaat wel sneller.
Dat is een raptor 74gb die volgens mij aan een andere sata controller hangt.
Nu gaat hij constant op 22MB/s.

sorry ik bedoel dus echte mega bytes

[ Voor 6% gewijzigd door Phreak op 12-04-2006 20:42 ]

[Verwijderd]

Hoe hoog ligt het processorgebruik tijdens het kopieren van bestanden over het netwerk? De wat goedkopere of onboard netwerkkaarten hebben meestal geen of een trage eigen processor en leunen zwaar op de CPU.

De 3com kaart zal hierbij denk ik niet het probleem zijn, maar de nvidia kaart aan de andere kant misschien wel. Bekijk het processorverbruik eens, misschien dat het al naar 100% uitslaat.

Ikzelf heb ook een gigabit netwerk met 2 D-Link DGE-528T kaarten, ook redelijk goedkoop, ik haal er met een schijf naar schijf transfer ongeveer 15MB/s, met aan de ene kant dus een xp1600+ die op dat moment 100% load laat zien.

[ Voor 7% gewijzigd door Verwijderd op 12-04-2006 20:46 ]

[koelkast]

Update de drivers eens, kan een groot verschil maken

[cyspoz]

Ik heb ooit een programma gehad HD Speed of zoiets. Die maakte eerst een groot bestand op de HD aan en dan las hij dat zo snel mogelijk terug. Als je dat nu eens probeert met een network drive. Dan test je dus niet HD-NETWERK-HD maar gewoon NETWERK-HD. Dan krijg je vaak de max snelheid er uit.

[bakvis]

22 Megabyte per seconde voor een raid 0 controller of voor je netwerk?
Als het voor je raid 0 controller is is dat zeeer weinig (haal hiet met IDE 55-60 megabyte p/s)

je netwerk draait nu zeker wel op 1 gbit, (100/8 = 12.5 mb/s max in theorie, 1000/8 = 125mb/s)
Maar waar zit de bottelneck? Heb je mischien een cross cabel die je tussen de 2 pc;s kunt zetten (dus zonder switch) mischien is je switch wel je bottelneck...

anders zul je het tog even in je systemen moeten zoeken.

[gjs]

Als je kaarten forceert op fullduplex en de switch op auto staat, dan gaat het fout. Of allebij op auto of allebij hard instellen. Met het pakketje netio http://www.ars.de/ars/ars.nsf/docs/netio kan je netwerk snelheid testen zonder de bottleneck van je schijven.

[Wim Leers]

Ik heb hier iets gelijkaardig aan de hand: mijn pc (Windows XP SP2) en m'n server (Windows Server 2003), verbonden dmv 100mbit (internet access) en direct met elkaar dmv gigabit. (Beide hebben een ASUS A7N8E-Deluxe mobo, met onboard Marvell gigabit.)
PC -> server (upload): ~20MBps
server -> PC (download): ~30MBps

CPU verbruik is niet hoog (rond de 50 procent dacht ik), in device manager staat 'optimize for performance' aangevinkt (op beide systemen). Deze tests zijn gedaan dmv bestanden van 700MB.

Ik heb dan maar eens besloten om Jumbo Frames aan te zetten op beide systemen. Resultaat: maximaal 1,5 MBps (of zelfs nog minder, weet ik niet meer goed).

Nochtans halen beide systemen makkelijk een transfer rate (HDDs dus) van 40-50 MBps.

[Phreak]

Verwijderd schreef op woensdag 12 april 2006 @ 20:46:
Hoe hoog ligt het processorgebruik tijdens het kopieren van bestanden over het netwerk?

Processor gebruikt op beide pc's ongeveer tot 10% wat dus niet veel is.
Ik heb net de drivers geupdate maar het wordt er niet sneller van.

Ik heb Netio126 ff gedraait die geeft de volgende waarden, dit op de Marvel Yukon:

code:

NETIO - Network Throughput Benchmark, Version 1.26
(C) 1997-2005 Kai Uwe Rommel

C:\netio126\bin>win32-i386.exe -t 192.168.1.16

NETIO - Network Throughput Benchmark, Version 1.26
(C) 1997-2005 Kai Uwe Rommel

TCP connection established.
Packet size  1k bytes:  22363 KByte/s Tx,  60763 KByte/s Rx.
Packet size  2k bytes:  25929 KByte/s Tx,  66132 KByte/s Rx.
Packet size  4k bytes:  27234 KByte/s Tx,  70800 KByte/s Rx.
Packet size  8k bytes:  51269 KByte/s Tx,  71659 KByte/s Rx.
Packet size 16k bytes:  55819 KByte/s Tx,  65757 KByte/s Rx.
Packet size 32k bytes:  53859 KByte/s Tx,  72302 KByte/s Rx.
Done.

Hier is pc2 de server en pc1 de client.

Andersom is het het volgende:

code:

NETIO - Network Throughput Benchmark, Version 1.26
(C) 1997-2005 Kai Uwe Rommel

TCP connection established.
Packet size  1k bytes:  54083 KByte/s Tx,  19488 KByte/s Rx.
Packet size  2k bytes:  62937 KByte/s Tx,  25440 KByte/s Rx.
Packet size  4k bytes:  69206 KByte/s Tx,  21516 KByte/s Rx.
Packet size  8k bytes:  68877 KByte/s Tx,  38850 KByte/s Rx.
Packet size 16k bytes:  69336 KByte/s Tx,  53470 KByte/s Rx.
Packet size 32k bytes:  69683 KByte/s Tx,  54556 KByte/s Rx.
Done.

Crosskabel heb ik ook geprobeerd, kom op de zelfde snelheid 15MB/s constant.
Ik denk toch dat dat onboard gigabit niet zo snel is dan dat het zich voordoet.

[ Voor 30% gewijzigd door Phreak op 12-04-2006 21:10 ]

[FatalError]

De nvidia nic is sneller dan de marvel.
Echter, de 3Com 2000T is stiekem dezelfde Marvell als die op de A8N SLI.
Je zou echt hogere snelheden moeten kunnen halen met die marvell overigens.

[cyspoz]

Nou volgens je netwerk throughput tool kun je wel degelijk snel. Het lijkt er op dat het probleem meer in je computers zit op het moment dat je bestanden gaat overgooien. Je moet nu alleen even uitzoeken welke pc er niet zo goed en netwerk en hd activiteit tegelijkertijd kan afhandelen.

[DaRoot]

cyspoz schreef op woensdag 12 april 2006 @ 21:42:
Nou volgens je netwerk throughput tool kun je wel degelijk snel. Het lijkt er op dat het probleem meer in je computers zit op het moment dat je bestanden gaat overgooien. Je moet nu alleen even uitzoeken welke pc er niet zo goed en netwerk en hd activiteit tegelijkertijd kan afhandelen.

Hier zit misschien ook wel de clou van het verhaaltje. Zoals ik bovenaan al aangaf, is de PCI bus gewoon beperkt. Hij lijkt misschien voldoende voor de Gigabit kaart, maar vergeet niet dat op diezelfde PCI bus ook bijv. de IDE controller zit. Waar diezelfde data dan ook weer overheen moet...

Edit:
Ik heb dat computerblad gevonden waar ik eerder over sprak. Die hebben een vergelijkbare situatie nagebootst, en met PCI gigabitkaarten komen ze niet verder dan 14MB/s. Via PCI-Express gaat het veel sneller. Dus PCI is de vertragende factor.

[ Voor 16% gewijzigd door DaRoot op 12-04-2006 21:53 ]

[Pingelmonster]

Bij kennissen heb ik een tijdje terug ook een gbit-lan aangelegd. Daarbij gebruikte ik Intel PRO/1000MT kaartjes en een Asus Gbitswitch.

In PC1 zat 1x 250GB ATA100 schijf, in PC2 een 250GB SATA schijf. Wat me opviel is dat een transfer van pc naar pc niet sneller ging dan 32/33MB/s wat naar mij idee de limiet van de ATA-100 schijf is...heb ik het bij t juiste eind?

[Phreak]

Ik zag net dat ik de drivers van m'n Sata controllers nog niet geinstalleerd had.
Windows had een standaard driver erop gezet.
Ik heb deze handmatig geinstalleerd. Voor de Nvidia sata controller en voor de Silicon Image controller.
Na dat ik dit gedaan had ging het kopieren met 23MB/s constant vanaf m'n raid-0 naar mijn andere pc.
Zelfde vanaf m'n Raptor 74gb naar m'n andere pc, ook constant 23MB/s.

Vreemde is wel, als ik het andersom doe, van m'n "oude pc" kopieren naar m'n nieuwe met onboard dan haal ik nu 40MB/s.

Voorlopig is dit al wel genoeg, ik denk dat dit het grootste probleem geweest is.

Iedereen bedankt voor de tips.

[cyspoz]

NC_Phreak schreef op woensdag 12 april 2006 @ 22:24:
Vreemde is wel, als ik het andersom doe, van m'n "oude pc" kopieren naar m'n nieuwe met onboard dan haal ik nu 40MB/s.

Is niet zo heel vreemd. Die nieuwe kan gewoon sneller data wegschrijven. Schijven kunnen over het algemeen sneller lezen dan schrijven. 40 Is verder een erg mooie snelheidl. Meeste mensen komen niet verder dan 25 MB/s en dat is meestal ook meer dan genoeg. Kun je mooi DVD's op leuke snelheid over netwerk branden en als je vaak bestanden van een gig over moet gooien dan is dat allemaal nog binnen redelijke tijd te doen.

@DaRoot: Voor zover ik weer zitten IDE Controllers nog altijd in je South Bridge en zijn die niet op de PCI bus aangesloten.

[redguy]

2 dingen :

- TCP Window size
Gezien de snelheid van je LAN kun je uit je TCP window size lopen. Hoger instellen van deze window siza kan de snelheid aanzienlijk verhogen. Dit is afhankelijk van je netwerk delay. In jou geval verwacht ik dus dat de invloed hiervan in je huidge setup wat minder is.

Ik zag dat je met test tooltjes aan de gang gegaan was. Stel deze eens in op UDP ipv TCP, als dit aanzienlijke verschillen geeft dan zou je eens naar je TCP wnidow size moeten kijken.
Overigens zou dit effect minder moeten worden als je meerdere TCP streams naast elkaar start.
(zie m$ knowledge base, doe een search op tcp window size en/of window scaling)

- Jumbo frames
Om de snelheid van je Gb LAN optimaal te benutten zou je jumbo frames (max 9000 ipv 1500 bytes)moeten gaan gebruiken. De vraag is echter of jou switch dat kan ondersteunen. RTFM for that.
(zie m$ knowledgebase of google)

Als deze settings goed staan dan kun je behoorlijke snelheden halen.. Ik merk tussen mijn 2 linux machines nauwelijks verschil tussen local transfers van hd->hd of via het netwerk.

[ Voor 6% gewijzigd door redguy op 13-04-2006 07:27 ]

[DaRoot]

cyspoz schreef op woensdag 12 april 2006 @ 23:01:
[...]
@DaRoot: Voor zover ik weer zitten IDE Controllers nog altijd in je South Bridge en zijn die niet op de PCI bus aangesloten.

Niet bij alle boards hoor... Tuurlijk, de meer recente boards wel natuurlijk, maar STEL dat het niet zo is, vertraagt het natuurlijk wel enorm, dat moet je wel met me eens zijn.

[quo_]

Verwijderd schreef op woensdag 12 april 2006 @ 20:46:
..................... De wat goedkopere of onboard netwerkkaarten hebben meestal geen of een trage eigen processor en leunen zwaar op de CPU..............

Ik ben ook aan t pionieren met een gigabitnetwerkje en loop ook tegen het probleem van tegenvallende performance aan (ca. 9 megabyte/sec). Heb om eenvoudig te beginnen de keus gemaakt voor sweex kaartjes met een realtek chip wetende dat je hier ook geen wonderen van moet verwachten. Maar uit dit topic maak ik op dat 15 a 20 MB/sec toch wel haalbaar moet zijn dus ik vraag mij af hoe ik een betere nic kan selecteren die wat minder op de cpu leunt.
(botweg 75 euro neertellen voor een kaartje werkt misschien wel maar is niet zo uitdagend)

[FatalError]

De Intel Pro/1000GT is een van de beste kaartjes die je kan krijgen, en kost 'maar' e38,-
Ik haal overigens met n Realtek kaart 30MByte/s (naar laptopschijf) en ongeveer 80MByte/s met netio.
De Intel doet strak 120MByte/s met netio overigens.

[ Voor 16% gewijzigd door FatalError op 20-04-2006 13:20 ]

[DJSmiley]

Ook mijn netwerk is niet helemaal optimaal.
Server haal ik 60mb/sec tussen de schijven. Op werkstation zo'n 40.
Echter, via een kabeltje kom ik rond de 25mb uit.

NetIO komt ook hier op 80+ uit.

Server: P4 2.0 / 3com980 in normaal PCI slot
WS: dual P3 / 3com980 in 64bit pci slot.

[Verwijderd]

Misschien kan je eens kijken naar Cat6 kabel. Cat5e is dan mss wel 'gigaspeed', maar voldoet echt maar nét aan de eisen.

[Phreak]

DJSmiley schreef op donderdag 20 april 2006 @ 11:45:
Ook mijn netwerk is niet helemaal optimaal.
Server haal ik 60mb/sec tussen de schijven. Op werkstation zo'n 40.
Echter, via een kabeltje kom ik rond de 25mb uit.

NetIO komt ook hier op 80+ uit.

Server: P4 2.0 / 3com980 in normaal PCI slot
WS: dual P3 / 3com980 in 64bit pci slot.

Bij mij ging het harder nadat ik drivers had geupdate van m'n netwerkkaarten en van m'n hd controllers.
Misschien dat je dat nog eens kan proberen.

/edit
te snel tikken = typo's
/edit

[ Voor 8% gewijzigd door Phreak op 20-04-2006 13:29 ]