Moederbord PCIe lanes vraag voor Gaming + AI PC

[NumesSanguis]

Ik wil een PC bouwen met 2 GPUs en ben verward over:
- Hoe het nu precies zit met beschikbare PCIe lanes en Chipset(s) connecties,
- PCIe lanesplitting (bifurcation)
- en welk AMD X870(E) moederbord de juiste PCIe lanes opzet heeft voor een nieuwe PC + een 2e oude GPU.

De meeste info heb ik gehaald uit het moederbord artikel van Tweakers (zie onder Hardware). Als ik het goed begrijp gaan PCIe lanes of direct van de Processor / CPU naar een component (e.g. GPU / M2 SSD) of eerst naar een Chipset, waarvan daaruit weer lanes naar andere componenten gaan. Dat begreep ik van dit plaatje:


Voor de snelle componenten wil je direct PCIe lanes hebben vanaf de CPU en niet eerst door de Chipset. Voor de AMD 9xxx CPU zijn er 24 PCIe 5.0 lanes. Voor AMD X870(E) moederborden moeten er 16 naar een GPU slot en 4 naar een M2 SSD slot gaan. Dit houdt in dat er nog 4 lanes over zijn. Als ik het goed begrijp gaan deze laatste 4 naar de Chipset. 4 PCIe 5.0 lanes hebben een throughput van 32GB/s | 256Gbit/s (1 PCIe 5.0 lane geeft 8GB/s | 64Gbit/s). Vragen hierover:
1. Klopt het inderdaad dat er dus 4 lanes van de CPU naar de Chipset gaan?
2. De E moederborden hebben 2 "ASMedia Promontory 21-chip" chips ipv 1 van de AMD x870 (zonder E). Fysiek zijn er nog maar steeds 4 lanes van de CPU over. Betekent dat beide chips maar 2 lanes per chip beschikbaar zijn? Dus ook al geeft de E-versie meer USB poorten enzo, de totale bandbreedte is hetzelfde als de niet-E versie? Dus als alles dat aangesloten is op de Chipset te gelijk gebruikt wordt, is dit gebottlenecked op 256Gbit/s?
3. Moederborden zoals de "ASUS ROG Strix X870E-E Gaming WiFi" ondersteunt geen lane splitting en sluiten de 2de PCIe slot op de Chipset aan (ipv direct op de CPU). Dit 2de slot heeft PCIe 4.0 x4 lanes, wat neer komt op maximaal 128Gbit/s. Stel dat ik hier een GPU in stop dat PCIe 4.0 (of hoger) gebruikt en dus alle 4 lanes maximaal gebruikt worden, betekent dit dan dus dat er nog meer 128GBit/s (256Gbit/s - 128Gbit/s) beschikbaar is voor alle andere componenten die aangesloten zijn op de Chipset?
4. Dus voor mijn dubbel GPU setup moet het moederbord 8x/8x lanesplitten ondersteunen (wat er maar weinig zijn)? Of toch maar 2de slot via Chipset, want m'n oude GPU is maar PCIe 3.0, wat dus max 64Gbit/s is?

Aanvulling op vraag 2 & 3.

De 4 PCIe 5.0 lanes op de Chipset heeft een snelheid van 256Gbit/s. De "ASRock X870E Taichi Lite" heeft de volgende USB connecties (aangesloten op de Chipset?):
- USB-C intern: 20Gbit/s
- 2x USB4 40Gbit/s: 80Gbit/s
- 5x USB 10Gbit/s: 50Gbit/s
- 3x USB 5Gbit/s: 15Gbit/s
- 2x USB 2.0: ~1Gbit/s
- 4x M.2. SSD PCIe 4.0 x4: 64Gbit/s (8000 MB/s seems to be the max 4.0 SSDs get in benchmarks)
Wat een totaal van ~166GB/s voor alleen de USB poorten en met 4 SSDs erbij op 230 Gbit/s. In het geval van een 2de GPU (128Gbit/s) op de Chipset, zoals in vraag 3, ga je dus over de beschikbare bandwidth heen.

...
Hardware:
- CPU: AMD Ryzen 7 9700X of 9800X3D
- Moederbord: AMD X870(E) moederbord (Tweaker artikel: review: AMD X870-moederborden - Update - De beste AM5-borden met USB4 en PCIe...)
- Lanesplitting 8x/8x (PCIe 5.0-lanes splitsen in x8 voor het eerste slot en x8 voor het tweede) wordt blijkbaar alleen ondersteunt door: ASRock X870E Taichi (Lite), ASUS ROG Crosshair X870E Hero en ASUS ProArt X870E-Creator WiFi.
- 1e GPU: NVIDIA RTX 5070Ti (PCIe 5.0)
- 2e GPU: NVIDIA GTX 1080Ti (PCIe 3.0, heb ik nog liggen)
...

Use-case: Ik zit naar een nieuwe PC build te kijken die voor zowel gamen als voor het runnen (en trainen) van AI models gebruikt kan worden door middel van 2 GPUs. Bijvoorbeeld een Ollama LLM model op de 2 GPU voor een privé ChatGPT. Nu zit ik naar een AMD CPU te kijken en de AMD X870-moederborden. 2 GPUs is niet echt meer een setup voor gamers, dus zelfs de high-end moederborden ondersteunen het niet allemaal.

Extra (wat ik al weet):
- Ik weet al dat de moederborden met meer dan 1 M.2. PCIe 5.0 SSD mijn situatie verslechterd, want als ik in een 2de slot een SSD insteek, dan worden er PCIe lanes weggesnoept van de GPU (van het Tweakers artikel)
- De 2e GPU zit op PCIe 3.0. Dat betekent dat 1 fysieke lane maar de snelheid tot 3.0 ondersteund. Voor maximale snelheid zou je dan hiervoor ook 16 lanes willen hebben (ook al is het 5.0), maar voor AI toepassingen lijkt 8 (en zelfs 4) genoeg te zijn.
...

[mrc4nl]

Ik denk dat een deel van je vragen te beantwoorden zijn met een blockdiagram. Voor elk moederbord zou er eentje moeten te vinden zijn in de gebruikershandleiding. Dit is bijvoorbeeld voor mijn b650



Zoals je ziet gaan er van de cpu ook directe verbindingen naar usb en dat niet alles via de chipset loopt.
Maar dus het meeste wel. En die verbinding met de chipset heeft dezelfde limiet als pcie x4 daar kom je niet onderuit.

het kan dus zijn dat je met snelle apparaten als een SSD of GPU via de chipset de boel verzadigd raakt en er geen snelheid meer over is voor bijvoorbeeld wifi of lan. Of de chipset is zo slim en verdeeld de beschikbare snelheid evenredig en zorgt dat alle apparaten toch een beetje krijgen, dat weet ik niet.

Maar in de praktijk valt dit vaak mee omdat je ssd of gpu nooit de volle 100% van de bandbreedte benutten, of in ieder geval niet continu.

[ Voor 6% gewijzigd door mrc4nl op 26-01-2025 18:31 ]

[Abbadon]

NumesSanguis schreef op zondag 26 januari 2025 @ 17:52:

1. Klopt het inderdaad dat er dus 4 lanes van de CPU naar de Chipset gaan?
2. De E moederborden hebben 2 "ASMedia Promontory 21-chip" chips ipv 1 van de AMD x870 (zonder E). Fysiek zijn er nog maar steeds 4 lanes van de CPU over. Betekent dat beide chips maar 2 lanes per chip beschikbaar zijn? Dus ook al geeft de E-versie meer USB poorten enzo, de totale bandbreedte is hetzelfde als de niet-E versie? Dus als alles dat aangesloten is op de Chipset te gelijk gebruikt wordt, is dit gebottlenecked op 256Gbit/s?
3. Moederborden zoals de "ASUS ROG Strix X870E-E Gaming WiFi" ondersteunt geen lane splitting en sluiten de 2de PCIe slot op de Chipset aan (ipv direct op de CPU). Dit 2de slot heeft PCIe 4.0 x4 lanes, wat neer komt op maximaal 128Gbit/s. Stel dat ik hier een GPU in stop dat PCIe 4.0 (of hoger) gebruikt en dus alle 4 lanes maximaal gebruikt worden, betekent dit dan dus dat er nog meer 128GBit/s (256Gbit/s - 128Gbit/s) beschikbaar is voor alle andere componenten die aangesloten zijn op de Chipset?
4. Dus voor mijn dubbel GPU setup moet het moederbord 8x/8x lanesplitten ondersteunen (wat er maar weinig zijn)? Of toch maar 2de slot via Chipset, want m'n oude GPU is maar PCIe 3.0, wat dus max 64Gbit/s is?


...

1) Ja.
2) De beide chips zijn als een ketting aan elkaar gekoppeld; de eerste hangt met 4 lanes direct aan de cpu, de tweede hangt met 4 lanes aan de eerste. Zie ook het diagram hieronder van de Taichi X870E.
3) Als je een gpu in een x4 slot van de chipset steekt, dan kan de gpu potentieel alle bandbreedte van de chipset opsouperen. In de praktijk zal het hooguit met korte pieken gaan en blijft er zodoende bandbreedte over voor de andere aan de chipset gekoppelde onderdelen.
4) Er zijn er inderdaad niet heel veel. Hier een overzicht. Zie kolom BN voor de PCIe-eigenschappen.




Let ook op de fysieke plaatsing van de PCIe-sloten. Het onderste slot van bijvoorbeeld de Taichi ligt heel dicht tegen de onderzijde van het moederbord, dat laat in een standaard kast weinig ruimte voor de gpu (of hij past niet of hij is vlak boven de bodem van de kast gemonteerd wat issue's met koeling op kan leveren).


Bij gebruik van twee gpu's zou ik persoonlijk voor een moederbord gaan waarbij de 16 lanes gedeeld kunnen worden in tweemaal 8 lanes. Je belast de chipset zo niet onnodig (want slechts 4 lanes) en gpu's presteren met 8 lanes gelijk of slechts een paar procent minder dan met 16 lanes.