PCIe 3.0 slot draait op 1.0 snelheid

[dion_b]

Klein raadseltje hier... ik heb voor een netwerktestje met Mellanox ConnectX-3 40GbE kaarten hoge bandbreedte nodig: minimaal PCIe 3.0 8x op twee computers.

Daar heb ik twee wat oudere moederborden voor geregeld. Beide hebben een PCIe 3.0 16x slot waar de kaarten in kwestie in passen. Beide systemen draaien Ubuntu Linux 24.04.3. Verwacht gedrag is dat ze op PCIe 3.0 8x zullen verbinden. Vervolgens kan ik met iperf3 testen en zou ik ~37Gbps verwachten tussen de kaarten.

Maar dat haal ik niet, ik blijf rond de 13.5Gbps steken. Dat klnikt verdacht als een PCIe bottleneck en inderdaad, als ik met sudo lspci -vv draai krijg ik tussen de uitdraai de PCIe link capability en hoe het daadwerkelijk aangesloten is.

Op de goede is dat:

code:

LnkSta: Speed 8GT/s, Width x8

Netjes PCIe 3.0

Op de andere:

code:

LnkSta: Speed 2.5GT/s (downgraded), Width x8

Owch, hij draait wel op 8 lanes, maar slechts op PCIe 1.0.

Kaarten uitgewisseld en situatie blijft hetzelfde: andere kaart op goede bord draait 3.0, andere kaart op slecht bord draait ook 1.0.

In BIOS gekeken, maar geen instellingen voor PCIe versie per slot gevonden zoals op meer high-end borden te vinden is. Volgens specs zou het moeten kunnen maar iets gaat niet goed. Iemand een idee wat ik zou kunnen proberen?

Specs 'goed':
Gigabyte GA-Z270-HD3P, Celeron G3900, 8GB DDR4, 64GB SATA SSD, Mellanox ConnectX-3 NIC

Specs 'probleem':
Asrock FM2A68M-DG3+, Athlon X4 845, 4GB DDR3, 128GB SATA SSD, GeForce FX5200 PCI, Mellanox ConnectX-3 NIC

Bord ondersteunt FM2 en FM2+ CPUs, met FM2 zou de 16x PCIe slot 2.0 zijn, met FM2+ PCIe 3.0. CPU is een Carrizo FM2+ CPU die inderdaad PCIe 3.0 ondersteunt. CPU heeft geen iGPU, vandaar de FX5200.

Als ik zoek hierop vind ik veel hits, maar antwoorden helpen niet veel - veel mensen halen aantal lanes en PCIe versie door elkaar (power management verlaagt aantal lanes bij idle kaarten). Suggestie is om load te genereren zodat het weer opschaalt. Ik trek die PCIe bus 100% plat en het schaalt niet op - ook niet gek want dat is hier niet aan de orde, de kaarten zijn netjes met 8 lanes verboden.

[HugoBoss1985]

Misschien heeft het met het gebruik van de fx5200 te maken? Dat het bord daardoor alles op pci snelheid laat draaien.

[ Voor 32% gewijzigd door HugoBoss1985 op 04-02-2026 08:26 ]

[Galaxis]

Asrock bordje is het probleem. Alleen bovenste PCIE slot is 3.0 16x. Het andere slot is dat niet.

Uit de manual : PCIE Slots:
PCIE1 (PCIe 3.0 x16 slot) is used for PCI Express x16 lane width
graphics cards.
PCIE2 (PCIe 2.0 x1 slot) is used for PCI Express cards with x1 lane
width cards.

https://download.asrock.com/Manual/FM2A68M-DG3%2b.pdf


Kan je de netwerkkaart en de graka niet omwisselen van slot ? Of is die 2.0 geen full size slot ?

[ Voor 12% gewijzigd door Galaxis op 04-02-2026 12:13 ]

[gbspeel]

Zou de bottleneck misschien in de CPU zitten? Als ik specs van de processor opzoek, is de maximale bandbreedte 8 lanes op PCIe 3. Zijn er andere devices die van PCIe gebruik maken of pikt het 2e PCIe-slot misschien bandbreedte in?

[dion_b]

Galaxis schreef op woensdag 4 februari 2026 @ 12:12:
Asrock bordje is het probleem. Alleen bovenste PCIE slot is 3.0 16x. Het andere slot is dat niet.

Uit de manual : PCIE Slots:
PCIE1 (PCIe 3.0 x16 slot) is used for PCI Express x16 lane width
graphics cards.
PCIE2 (PCIe 2.0 x1 slot) is used for PCI Express cards with x1 lane
width cards.

https://download.asrock.com/Manual/FM2A68M-DG3%2b.pdf


Kan je de netwerkkaart en de graka niet omwisselen van slot ? Of is die 2.0 geen full size slot ?

Nee, die kan ik niet omwisselen - de videokaart is een PCI (niet PCIe) kaart die ik juist gebruik omdat ik de 16x slot voor de Mellanox NIC nodig heb. PCI past niet in PCIe

[Galaxis]

dion_b schreef op woensdag 4 februari 2026 @ 12:56:
[...]

Nee, die kan ik niet omwisselen - de videokaart is een PCI (niet PCIe) kaart die ik juist gebruik omdat ik de 16x slot voor de Mellanox NIC nodig heb. PCI past niet in PCIe

Ah verkeerd begrepen haha. Nog een tandje ouder dus die graka. Draai je toevallig ook de laatste versie van de BIOS ? Om alles dan maar even uit te sluiten...

[dion_b]

gbspeel schreef op woensdag 4 februari 2026 @ 12:13:
Zou de bottleneck misschien in de CPU zitten? Als ik specs van de processor opzoek, is de maximale bandbreedte 8 lanes op PCIe 3. Zijn er andere devices die van PCIe gebruik maken of pikt het 2e PCIe-slot misschien bandbreedte in?

Lanes zijn alvast het probleem niet: hij draait netjes op 8 lanes (meer heb ik er niet nodig), het probleem is dat de lanes zelf op 2.5GT/s = PCIe 1.0 snelheid draaen.

De bottleneck komt ook netjes overeen met 8 lanes op PCIe 1.0, dus die 8 lanes zijn wel degelijk beschikbaar, alleen per lane te traag.

[gbspeel]

dion_b schreef op woensdag 4 februari 2026 @ 12:58:
[...]

Lanes zijn alvast het probleem niet: hij draait netjes op 8 lanes (meer heb ik er niet nodig), het probleem is dat de lanes zelf op 2.5GT/s = PCIe 1.0 snelheid draaen.

De bottleneck komt ook netjes overeen met 8 lanes op PCIe 1.0, dus die 8 lanes zijn wel degelijk beschikbaar, alleen per lane te traag.

Wat ik bedoel is: de CPU kan maximaal 8x PCIe 3.0 aan. De Mellanox-kaart zou die volledig kunnen benutten. Er is echter nog een tweede PCIe 2.0 slot die "hallo" zegt tegen de CPU, waardoor de CPU tegen het eerste slot zegt: je mag 8 lanes gebruiken, maar wel op een lagere snelheid omdat ik anders slot 2 niet meer kan bedienen.

Eerlijk gezegd zou ik dan wel verwachten dat het eerste slot ook op PCIe 2.0 zou kunnen draaien, maar ik weet niet of er nog meer onderdelen op het moederbord gebruik maken van de PCIe-bus. Het kan ook zo zijn dat het moederbord alleen of 3.0 of 1.0 voor het eerste slot ondersteunt.

Leuke puzzel wel. Ik zou proberen een CPU van één trede hoger te zoeken, een Athlon X4 850. Die ondersteunt 16 lanes op 3.0 (net als de Celeron G3900).

[DeNachtwacht]

gbspeel schreef op woensdag 4 februari 2026 @ 13:17:
Er is echter nog een tweede PCIe 2.0 slot die "hallo" zegt tegen de CPU, waardoor de CPU tegen het eerste slot zegt: je mag 8 lanes gebruiken, maar wel op een lagere snelheid omdat ik anders slot 2 niet meer kan bedienen.

Ik denk ook dat dat het is en zou dit even in de manual van het betreffende moederbord opzoeken. En check even met welke andere poorten (SATA?) de PCIe lane ook deelt.

Verder:
- BIOS niet up-to-date of verkeerde instellingen? Oudere BIOS-versies ondersteunen Carrizo mogelijk niet volledig; update naar de nieuwste. En kijk onder Advanced > PCIe of Chipset voor 'PCIe Link Speed' of zet op 'Gen3' of 'Auto'.

- Link training failure? PCIe devices onderhandelen speed/width; bij falen valt het terug naar PCIe 1.0. Mogelijk door signaalintegriteit (slot vuil, kromme pins), power issues of incompatibiliteit tussen Mellanox CX3 en deze oude FM2+ root complex.

Ik zou beide iig even doen om te kijken of het probleem dan weg is.

[gbspeel]

DeNachtwacht schreef op woensdag 4 februari 2026 @ 13:45:
[...]

Ik denk ook dat dat het is en zou dit even in de manual van het betreffende moederbord opzoeken. En check even met welke andere poorten (SATA?) de PCIe lane ook deelt.

De manual had ik al doorgespit en die is daar helaas niet duidelijk in. Er is ook geen vermelding dat SATA-poorten worden gedeeld met een PCIe lane (wat in mijn ervaring meestal pas vanaf een 5e poort is). Vandaar dat ik denk dat de CPU de bottleneck is door (op z'n minst) het tweede PCIe slot

[ Voor 3% gewijzigd door gbspeel op 04-02-2026 15:29 ]

[jazzozo]

Een PCI GPU is wel bijzonder, die zie je niet veel.

Het zou me niks verbazen als het bordje daarop rare fouten gaat vertonen. Misschien toch een APU proberen? Staan er twee op V&A voor een tientje.

[dion_b]

CPU is alvast niet het probleem. Heb een Radeon RX460 opgegraven en erin geprikt in plaats van de NIC (en PCI VGA). Nu wel netjes 8GT/s width x8. Betekent dat CPU inderdaad maar 8 lanes heeft voor de eerste PCIe slot, maar meer heb ik er niet nodig, zolang ze maar elk op 8GT/s draaien.

Volgende stap is kijken of de aanwezigheid van de PCI VGA kaart er iets mee te maken heeft - heb die naast de RX460 erin geprikt. Gevolg: nog steeds 8GT/s width x8 op de RX460.

Dus CPU en moederbord lijken ook in aanwezigheid van PCI VGA in staat om een PCIe 3.0 kaart in de eerste PCIe slot op 8GT/s te laten draaien. Alleen niet als het de Mellanox ConnectX-3 is. Zou je denken dat het aan de kaart ligt, maar diezelfde kaart doet prima 8GT/s als ik het in dat ander moederbord prik die ook PCIe 3.0 direct vanaf de CPU trekt.

[Dennism]

Kan natuurlijk ook simpelweg een compatibiliteit dingetje zijn, heb met oudere hardware wel vaker van dit soort eigenaardigheden gezien met 'oudere' enterprise hardware in 'budget' consumenten systemen 'voor de leuk' (lees homelab). En ja, pre-Ryzen vaker bij AMD dan bij Intel. Misschien kijken of je er nog ergens een 2de Intel cpu + bordje kan vinden ter test, of een post Ryzen AMD system.

[ Voor 3% gewijzigd door Dennism op 04-02-2026 21:45 ]