Marvell AQtion AQC113C (X670E AORUS XTR) 10gb niet haalbaar

[Gijs007]

Op mijn Gigabyte X670E AORUS XTREME moederbord zit een Marvell AQtion AQC113C netwerkkaart, deze zou tot 10gb/s moeten ondersteunen, maar die snelheid heb ik de afgelopen jaren nog nooit gehaald. Ondanks verschillende opstellingen en hardware.

De PC is verbonden met een server, de server heeft een Intel X710 T4 NIC en Intel Xeon E-2146G CPU.
De PC draait Windows 11, zie specs in mijn onderschrift.

In de praktijk haal ik rond de 3Gb/s upload vanaf de PC, download vanaf de server gaat tot ongeveer 5Gb/s.
Als ik met OpenSpeedTest intern een test uitvoer, dan krijg ik rond de 4700mb/s down en 2200-2800mb/s up. Met andere test opstellingen krijg ik vergelijkbare snelheden te zien.

Heb al het e.a. fysiek getest:
1. Andere switch tussen PC en server.
2. Server en PC direct verbonden (zonder switch) en andere kabel gebruikt.
3. Netwerkkabels getest met een tester
4. Mobo omgeruild.
5. CPU omgewisseld (had een 7950X)

In alle gevallen zie ik dat de onderhandelde link speed gewoon 10Gb/s is. Dus bekabeling en switch problemen zijn eigenlijk wel uitgesloten.

Softwarematig getest:
1. BIOS update's van Gigabyte X670E AORUS XTREME moederbord uitgevoerd.
2. Driver update van NIC en chipset.
3. Firmware update Intel X710 NIC.
4. Windows Server 2022 met Hyper-v vervangen voor Proxmox.
5. Verbinding direct naar Proxmox host, i.p.v. naar een onderliggende VM met een docker container van OpenSpeedTest.

Ik ben op dit moment een beetje radeloos en weet geen oplossingen meer.
Enige denkrichtingen die ik nog heb is
1. Dat er software matig iets niet lekker zit, maar wat?
2. Dat de AQC113C NIC zelf brak is.
3. Dat de PCIe lanes een bottleneck vormen op de PC;
De NIC zit op een interne PCI Express 4.0 Bus X2 bus, deze wordt vanuit de AMD chipset op X4 gedeeld met de tweede AMD chipset, die vervolgens op X4 met de CPU is verbonden.
4. Dat er op de server toch iets niet helemaal lekker is, ondanks high-end NIC.

Heeft er iemand nog tips?

Het enige wat mij is opgevallen is dat bepaalde NIC instellingen, de throughput een paar honderd Mbps verhogen:
Dat was door Receive segment coalescing in te schakelen, i.c.m. met Recieve Side Scaling uit, Flow Control uit, en interrupt moderation aan.

Verder viel mij op dat als ik "Maximum RSS queues" verhoog van de Marvell NIC, van de standaard instelling van 4, naar 8, de connectiviteit instabiel wordt.

[Shuriken]

OpenSpeedTest als in https://openspeedtest.com/? want daarmee test je je internet verbinding.

Om je 10Gbit intern te testen zou je iets met iperf moeten testen.

[Gijs007]

Shuriken schreef op dinsdag 10 september 2024 @ 16:42:
OpenSpeedTest als in https://openspeedtest.com/? want daarmee test je je internet verbinding.

Om je 10Gbit intern te testen zou je iets met iperf moeten testen.

Nee, OpenSpeedTest draait hier intern in een docker container. Maar ook met andere bandbreedte intensieve toepassingen zie ik dezelfde resultaten; ISO bestanden uploaden naar Proxmox of file transers via SMB naar een Windows Server.

[grasmanek94]

Je zult toch echt met Wireshark moeten kijken wat er aan de hand is, en dan gaan experimenteren met instellingen.

Bij mij waren er veel TCP retransmissions (alles rood, driver fout?). Na wat experimenteren bleek dat ik RSS (Receive Side Scaling) moest uitschakelen in de netwerk adapter properties, geen TCP errors meer, volle snelheid met gemak gehaald.

Iets met mijn CPU en 10 Gbit kaart werkte niet fijn samen, en haal nu veel hogere snelheden (9+Gbit).

Bij een andere PC, andere netwerkkaart moest ik iets anders qua hardware offloading uitschakelen om volle snelheid te krijgen.

En ik zou zeker ook niet de server uitsluiten, om daar instellingen aan te passen.

Verder; hoe test je je snelheid? Exacte commando's met alle parameters graag niet vergeten indien relevant.

[ Voor 31% gewijzigd door grasmanek94 op 10-09-2024 17:13 ]

[Shuriken]

Heb je Jumbo (9k) frames aan staan?

[grasmanek94]

Shuriken schreef op dinsdag 10 september 2024 @ 16:53:
Heb je Jumbo (9k) frames aan staan?

Dat is vaak echt niet nodig om 10Gbps te halen. Ja het maakt het makkelijker voor de hardware, maar dit zal zeer waarschijnlijk niks veranderen in de situatie van de TS.

[Gijs007]

Shuriken schreef op dinsdag 10 september 2024 @ 16:53:
Heb je Jumbo (9k) frames aan staan?

Heb met en zonder getest.

grasmanek94 schreef op dinsdag 10 september 2024 @ 16:49:
Je zult toch echt met Wireshark moeten kijken wat er aan de hand is, en dan gaan experimenteren met instellingen.

Bij mij waren er veel TCP retransmissions (alles rood, driver fout?). Na wat experimenteren bleek dat ik RSS (Receive Side Scaling) moest uitschakelen in de netwerk adapter properties, geen TCP errors meer, volle snelheid met gemak gehaald.

Iets met mijn CPU en 10 Gbit kaart werkte niet fijn samen, en haal nu veel hogere snelheden (9+Gbit).

Bij een andere PC, andere netwerkkaart moest ik iets anders qua hardware offloading uitschakelen om volle snelheid te krijgen.

En ik zou zeker ook niet de server uitsluiten, om daar instellingen aan te passen.

Verder; hoe test je je snelheid? Exacte commando's met alle parameters graag niet vergeten indien relevant.

Thanks, ga dit proberen. Zal ook eens een Linux live draaien vanaf een USB stick om te testen, wellicht dat ik dan nog tot interessante inzichten kom.

[Shuriken]

grasmanek94 schreef op dinsdag 10 september 2024 @ 16:55:
[...]

Dat is vaak echt niet nodig om 10Gbps te halen. Ja het maakt het makkelijker voor de hardware, maar dit zal zeer waarschijnlijk niks veranderen in de situatie van de TS.

De situatie hebben we nog niet helder. En met deze vraag probeer ik ook een beetje hoogte te krijgen van het kennis niveau van de TS. Lijkt me verder geen rare vraag of het aan of uit staat toch?

[Gijs007]

Zojuist een BIOS update uitgevoerd en SR-IOV uitgezet, gezien dat niet nodig is op een desktop.
De upload snelheid is in Windows nu iets hoger, rond de 3500 Mbps.

Heb daarna meteen ook met een Linux Mint (22) live USB stick getest.
Haal ook op Linux rond de 5.000 Mbps down, i.p.v. ~9.000 Mbps.
Wat wel opvallend is, is dat de upload beduidend hoger is dan in Windows. Deze zit nu op ongeveer 5.400 Mbps in Linux.
De eerste paar testen schommelde de upload nog wel erg, en viel ook even terug naar < 3.000 Mbps.



Update: In Windows de Edge browser gebruikt, daarmee haal ik in de upload test een hogere snelheid van 5.740 Mbps.
Deel van het probleem zal dus wel in mijn vervuilde Firefox installatie zitten.

Ik ga i.i.g. morgen ook even met Iperf testen.

[ Voor 16% gewijzigd door Gijs007 op 17-09-2024 22:56 ]

[jurroen]

Ha! Browsers hebben een flinke overhead. Ben heel benieuwd wat het resultaat met iperf is. Je gaat in ieder geval zéker niet de eerste zijn die dan veel dichter in de buurt komt van line-speed.

Afhankelijk van de resultaten daarvan kunnen we verder kijken en een plan maken om t zwikkie verder te optimaliseren.

Oh en gezien niemand anders het al gevraagd had - je geeft aan dat je de lage snelheid ook bij samba merkt... Maar wat is de opslag aan beide kanten? HDD/SSD? En welke bus/aansluiting? Welk filesystem? En indien RAID, hardwarematig of softwarematig plus welke RAID vorm?

[Gijs007]

Proxmox en Windows directe verbinding
Heb inmiddels met Iperf3 vanaf de desktop met Windiws 11 naar de Proxmox server getest (dus op L3 direct verbonden, de switch zit er wel tussen).
Haal nu netjes rond de ~9,09 Gbits/sec up/down, met UDP krijg ik vergelijkbare waardes, mits ik 4 cores voor Iperf gebruik:

code:

-P 4 -u -b 10000m

OPNsense
Tussen de Docker Ubuntu 24.04 VM (waar OpenSpeedTest op draait) en Windows 11 zag ik nog wel lagere performance; rond de 3,6 Gbps.

Ook zag ik dat het CPU gebruik van mijn OPNsense VM omhoog schiet naar precies 25%. Leek er dus op dat deze 1 core maximaal belast i.p.v. 4 en dat daar een bottleneck zit.

Heb vervolgens deze tweaks uitgevoerd op OPNsense: https://docs.opnsense.org/troubleshooting/performance.html
Dit gaf veel verbetering;

Linux VM's of toch OPNsense?
Haal nu met de UDP test 9,24 Gbps sender en 3,91 Gbps receiver naar de Ubuntu VM.
Met de Iperf TCP test blijft ie rond de 5,3 Gbps hangen voor zowel send als receiver.

Op een andere VM, met Debian 11, haalde ik 6,4 Gbps met de TCP test.

Wellicht dat hier in Linux nog wat tweaks nodig zijn om het maximale er uit te halen, en wellicht in OPNsense ook nog het e.a. of op de Proxmox VM instellingen.

Update:
iperf3 tussen de twee Linux VM's doet 25,6gbps op TCP en 2,5 gbps op UDP.
Dat UDP lager is, is wel opvallend.

Maar het lijkt erop dat de bottleneck dus nog steeds in OPNsense zit, of tussen OPNsense en de Proxmox VirtIO NIC.

[ Voor 10% gewijzigd door Gijs007 op 18-09-2024 16:57 ]