10Gbit lage snelheid in iperf

[XenoMorpH]

In mijn netwerk heb ik 2 "domme" 10Gb switches va Trendnet en 1 Zyxel T65 router.
Staat als volgt opgesteld. Router->Switch->Switch. Alles is bedraad met cat 6 kabels.

Aan elke switch hangt 1 pc met een 10Gbs Netwerk kaart. PC1 heeft een Intel X550-T1 en PC2 (TRUENAS) een INSPUR X540-T2.
Nu krijg ik met iperf maar snelheden van ca 3.24Gb/sec. Om uit te sluiten of het de PCIE-3.0 1x slot van het NAS boordje die de bottleneck is, heb ik de kaart in de pc van mijn zoon gestopt (PCIE 3.0 16x) en ook hier haal ik met iperf maar snelheden van rond 3Gb/s (zelfs lager dan op de TRUENAS server). Op een 2.5Gb onboard aansluiting ca 2.37Gb/s.

Op beide kaarten staan de JumboFrames op 9014 ingesteld, maar ik heb zo geen flauw idee wat het kan zijn.

[bramassendorp]

Welke snelheid haal je als je beide PC's aan dezelfde switch hangt?

[XenoMorpH]

Zelfde snelheid. Heb nu de fan aangesloten (vergeten) haal nu 3.24Gb/s, zelfde waarde als met de Truenas.

[bramassendorp]

Netwerkkaarten geven wel 10Gb aan?

[XenoMorpH]

Ja, beide kaarten geven 10/10 (Gbps), hebben tevens de laatste drivers. De Inspur werkt overigens niet op mijn eigen moederbord.

[IceTeaGX]

En de toestellen rechtstreeks met elkaar verbinden?

[eric.1]

Al eens meerdere streams geprobeerd?

Bash:

iperf3 -P 4 -c ....

[XenoMorpH]

IceTeaGX schreef op donderdag 7 maart 2024 @ 16:47:
En de toestellen rechtstreeks met elkaar verbinden?

Nee, nog niet geprobeerd, wordt wel lastig, zo'n lange UTP kabel heb ik niet , anders wordt het maar pc-tje slepen, wachten to morgen, want zoon lief heeft hem nodig....

eric.1 schreef op donderdag 7 maart 2024 @ 16:47:
Al eens meerdere streams geprobeerd?

Bash:

iperf3 -P 4 -c ....

Ja, eigenlijk gelijk al, zelfde door de MTU/Jumboframes op 9000 te zetten, blijft hangen op 3.27 Gb/s. Ik zou bijna zeggen dat die Inspur wellicht niet goed werkt.

[Ben(V)]

Als er ergens een device in je netwerk hangt die geen 10Gbps aankan dan werken jumbo frames contra productief.
En aangezien die router geen 10Gbps is zal dat hier het geval zijn.

Zet die jumbo frames eens gewoon uit en probeer het nog eens.

Over het algemeen voegen jumbo frames met de huidige software en hardware nauwelijks iets toe maar kan wel de boel verslechteren.

[XenoMorpH]

De router is (op dit moment) een Zyxel T65 2.5Gb. Zou dan de max snelheid dan sowieso niet op max 2.5 zitten? Ik haal wel 3.27Gb/s, dat zou dan niet logisch zijn toch? Maar wordt de router dan niet gewoon overgeslagen wanneer er pakketjes van PC1->switch->switch->PC2 gaan?

Met mijn oude zelfbouw NAS moest ik in Treunas juist wel de MTU op 9000 zetten, omdat ik daar eerst max 1.3Gb/s haalde, daarna haalde ik wel mooi de 2.48Gb/s, 280MB/s upload/download. Ik kon daar toen niet beide kaarten testen omdat de Inspur in mijn pc en de NAS niet werd herkend. Nieuwe NAS onderdelen waren toen al in bestelling en vond oen nog niet echt de noodzaak verder te kijken of 10Gbe het wel zou doen.

[Zenix]

iperf3 is niet zo goed voor hoge snelheden, want single threaded standaard probeer eens iperf2 die werkt beter multi threaded of je moet meerdere iperf3 sessies opzetten (instanties dus niet alleen streams) en cores koppelen aan bepaalde instanties.

[ Voor 36% gewijzigd door Zenix op 08-03-2024 00:05 ]

[DJSmiley]

Die ervaring herken ik niet.

Ik heb met iperf3 niet echt problemen, trek lokaal een 10Gbit ongeveer dicht, en haal zo'n 4-5Gbit naar een lokatie 120km verderop (via een Eurofiber lijntje die m knijpt)

[bramassendorp]

Probeer anders eens met iperf3 op UDP, let wel op, even max bitrate instellen, standaard is het een vrij lage waarde.

[XenoMorpH]

Ik heb de pc's onderling verbonden en zowel iperf 2 als 3, MUT/Jumboframes op 1514 en 9014 gezet.
Ik haal met iperf 2 als op 3 op 9014, beide pc's 3.24Gb.s, 5014 was deze lager 2.11Gb.s. Dus de switches treffen dus geen blaam.

[ Voor 6% gewijzigd door XenoMorpH op 08-03-2024 10:16 . Reden: typo en stukje van 5014 vergeten ]

[DRaakje]

Al gekeken naar andere bottlenecks? Denk aan PCI Express snelheid en cpu limit.

[XenoMorpH]

Beide zitten in een PCI-4.016x slot. 1PC heeft een AMD 5900X en de andere een 3700X, lijkt me ruim voldoende.

[k-janssen]

Ander OS (liveUSB image) en een andere kabel tussen beide systemen.

[Zenix]

DJSmiley schreef op vrijdag 8 maart 2024 @ 09:28:
Die ervaring herken ik niet.

Ik heb met iperf3 niet echt problemen, trek lokaal een 10Gbit ongeveer dicht, en haal zo'n 4-5Gbit naar een lokatie 120km verderop (via een Eurofiber lijntje die m knijpt)

Als beiden computer snelle cores hebben, dan zal je het wel halen. Ik test ook dagelijks met iperf, maar ik ben vaker tegen zo'n limiet aangelopen.

Maar gezien de TS snelle cores heeft, zal dat het probleem niet zijn.

[ Voor 7% gewijzigd door Zenix op 08-03-2024 11:40 ]

[XenoMorpH]

Ik heb de Inspur X540-T2 vervangen door een (echte) X550-T2 10Gbe kaart. De Iperf speeds zijn nu 4.95Gbits/sec.
Het lag dus aan de Inspur (CN) kaart, deze haalde niet de maximale snelheid.

De behaalde 5Gb/s is eigenlijk ook te laag tov wat de PCI-e 3.0 1x slot theoretisch aan zou kunnen (ca 7.88 Gbit). Ik zal het nogmaals proberen tussen beide pc's en kijken of dan wel de volle 10Gbit wordt behaald.

[XenoMorpH]

Goed, het testen van de snelheid met de kaart in de pc van mijn zoon lukte niet bepaald. Ik kreeg maar snelheden van 100Mbit daar beide kaarten geen volle 10Gbit connectie wilde maken (zonder switch er tussen). De T2 werd in eerste instantie ook niet goed herkend door het moederbord, pc wilde pas opstarten wanneer ik de bootdrive in de bios selecteerde.

Had maar besloten om de T2 in mijn eigen pc te stoppen en de T1 in de NAS. MTU's weer op 9000 gezet en nogmaals iperf gestart. Ik krijg nu gemiddeld 6.9Gbit/s. En een overdracht van ca 700MB/s.

Problem solved, zou ik zeggen .