/u/12038/crop69547035714ff_cropped.png?f=community)
Klein raadseltje hier... ik heb voor een netwerktestje met Mellanox ConnectX-3 40GbE kaarten hoge bandbreedte nodig: minimaal PCIe 3.0 8x op twee computers.
Daar heb ik twee wat oudere moederborden voor geregeld. Beide hebben een PCIe 3.0 16x slot waar de kaarten in kwestie in passen. Beide systemen draaien Ubuntu Linux 24.04.3. Verwacht gedrag is dat ze op PCIe 3.0 8x zullen verbinden. Vervolgens kan ik met iperf3 testen en zou ik ~37Gbps verwachten tussen de kaarten.
Maar dat haal ik niet, ik blijf rond de 13.5Gbps steken. Dat klnikt verdacht als een PCIe bottleneck en inderdaad, als ik met sudo lspci -vv draai krijg ik tussen de uitdraai de PCIe link capability en hoe het daadwerkelijk aangesloten is.
Op de goede is dat:
Op de andere:
Kaarten uitgewisseld en situatie blijft hetzelfde: andere kaart op goede bord draait 3.0, andere kaart op slecht bord draait ook 1.0.
In BIOS gekeken, maar geen instellingen voor PCIe versie per slot gevonden zoals op meer high-end borden te vinden is. Volgens specs zou het moeten kunnen maar iets gaat niet goed. Iemand een idee wat ik zou kunnen proberen?
Specs 'goed':
Gigabyte GA-Z270-HD3P, Celeron G3900, 8GB DDR4, 64GB SATA SSD, Mellanox ConnectX-3 NIC
Specs 'probleem':
Asrock FM2A68M-DG3+, Athlon X4 845, 4GB DDR3, 128GB SATA SSD, GeForce FX5200 PCI, Mellanox ConnectX-3 NIC
Bord ondersteunt FM2 en FM2+ CPUs, met FM2 zou de 16x PCIe slot 2.0 zijn, met FM2+ PCIe 3.0. CPU is een Carrizo FM2+ CPU die inderdaad PCIe 3.0 ondersteunt. CPU heeft geen iGPU, vandaar de FX5200.
Als ik zoek hierop vind ik veel hits, maar antwoorden helpen niet veel - veel mensen halen aantal lanes en PCIe versie door elkaar (power management verlaagt aantal lanes bij idle kaarten). Suggestie is om load te genereren zodat het weer opschaalt. Ik trek die PCIe bus 100% plat en het schaalt niet op - ook niet gek want dat is hier niet aan de orde, de kaarten zijn netjes met 8 lanes verboden.
Daar heb ik twee wat oudere moederborden voor geregeld. Beide hebben een PCIe 3.0 16x slot waar de kaarten in kwestie in passen. Beide systemen draaien Ubuntu Linux 24.04.3. Verwacht gedrag is dat ze op PCIe 3.0 8x zullen verbinden. Vervolgens kan ik met iperf3 testen en zou ik ~37Gbps verwachten tussen de kaarten.
Maar dat haal ik niet, ik blijf rond de 13.5Gbps steken. Dat klnikt verdacht als een PCIe bottleneck en inderdaad, als ik met sudo lspci -vv draai krijg ik tussen de uitdraai de PCIe link capability en hoe het daadwerkelijk aangesloten is.
Op de goede is dat:
code:
Netjes PCIe 3.01
| LnkSta: Speed 8GT/s, Width x8 |
Op de andere:
code:
Owch, hij draait wel op 8 lanes, maar slechts op PCIe 1.0.1
| LnkSta: Speed 2.5GT/s (downgraded), Width x8 |
Kaarten uitgewisseld en situatie blijft hetzelfde: andere kaart op goede bord draait 3.0, andere kaart op slecht bord draait ook 1.0.
In BIOS gekeken, maar geen instellingen voor PCIe versie per slot gevonden zoals op meer high-end borden te vinden is. Volgens specs zou het moeten kunnen maar iets gaat niet goed. Iemand een idee wat ik zou kunnen proberen?
Specs 'goed':
Gigabyte GA-Z270-HD3P, Celeron G3900, 8GB DDR4, 64GB SATA SSD, Mellanox ConnectX-3 NIC
Specs 'probleem':
Asrock FM2A68M-DG3+, Athlon X4 845, 4GB DDR3, 128GB SATA SSD, GeForce FX5200 PCI, Mellanox ConnectX-3 NIC
Bord ondersteunt FM2 en FM2+ CPUs, met FM2 zou de 16x PCIe slot 2.0 zijn, met FM2+ PCIe 3.0. CPU is een Carrizo FM2+ CPU die inderdaad PCIe 3.0 ondersteunt. CPU heeft geen iGPU, vandaar de FX5200.
Als ik zoek hierop vind ik veel hits, maar antwoorden helpen niet veel - veel mensen halen aantal lanes en PCIe versie door elkaar (power management verlaagt aantal lanes bij idle kaarten). Suggestie is om load te genereren zodat het weer opschaalt. Ik trek die PCIe bus 100% plat en het schaalt niet op - ook niet gek want dat is hier niet aan de orde, de kaarten zijn netjes met 8 lanes verboden.
Oslik blyat! Oslik!
:strip_exif()/u/199591/crop67714e65d41e0_cropped.webp?f=community)