Onverwacht PCIe x4/8/16 slot te kort

[skaiman]

Hallotjes,

Ik werk als editor bij een ad agency en help semi mee met de hardware/software zaakjes voor het team.
We hebben een tijd geleden rack machines laten bouwen met een MSI MPG X570 Gaming Edge Wifi met een Ryzen 5950x. Geen specifieke redenen voor die keuze, ik denk dat die gewoon was voorgesteld en we hadden toendertijd niet goed bedacht dat extra PCIe ruimte wel handig had kunnen zijn.

Nou zitten we met het volgende. We hebben naast de GPU 2 andere componenten nodig.
1: 10Gbe netwerk kaart. x4 kaart (Deze zit momenteel al geinstalleerd in alle racks in 2e x16 slot)
2: Een Blackmagic Decklink 8K Pro. x8 kaart.

Het feit dat die x8 kaart er nu bij moet is dus een uitdaging.

We zijn aan het kijken naar de meest praktische en rendabele oplossing en weten op dit moment het volgende:
- USB3 10GBe adapters bestaan niet omdat de bandbreedte te laag zou zijn...
- TB3/4 10GBe adapter kan niet op dit mobo.
- Er schijnt iets als PCIe bifurcation/splitting te zijn waarbij we mogelijk 1 x16 slot zouden kunnen splitten naar 2x8? Gezien 't 2e slot als het goed is al op x8 draait zou t effectief 2x4 zijn? Maar dat maakt voor ons niet uit want over de decklink 8k zou enkel 1 4K30 signaal max uit hoeven gaan maar ik weet niet hoe dat zou aflopen compatibility wise. Ook heb ik geen idee welke producten ik exact zou moeten kopen.
- Pragmatischer alternatief is de mobo's swappen met eentje die wel 3x x16 slots heeft.
Zo heb ik Gigabyte B550 AORUS ELITE V2
als goedkoopste oplossing gevonden. Al weet ik niet of die goed samen gaat met een 5950x.

Hoor graag jullie meningen en tips hoe ik dit het beste kan aanvliegen!

[D-dark]

5950X wordt ondersteund met het bord wat je gevonden hebt:

https://www.gigabyte.com/...10-11/support#support-cpu

[Verwijderd]

skaiman schreef op donderdag 11 januari 2024 @ 15:30:
Hallotjes,

Ik werk als editor bij een ad agency en help semi mee met de hardware/software zaakjes voor het team.
We hebben een tijd geleden rack machines laten bouwen met een MSI MPG X570 Gaming Edge Wifi met een Ryzen 5950x. Geen specifieke redenen voor die keuze, ik denk dat die gewoon was voorgesteld en we hadden toendertijd niet goed bedacht dat extra PCIe ruimte wel handig had kunnen zijn.

Nou zitten we met het volgende. We hebben naast de GPU 2 andere componenten nodig.
1: 10Gbe netwerk kaart. x4 kaart (Deze zit momenteel al geinstalleerd in alle racks in 2e x16 slot)
2: Een Blackmagic Decklink 8K Pro. x8 kaart.

Het feit dat die x8 kaart er nu bij moet is dus een uitdaging.

We zijn aan het kijken naar de meest praktische en rendabele oplossing en weten op dit moment het volgende:
- USB3 10GBe adapters bestaan niet omdat de bandbreedte te laag zou zijn...
- TB3/4 10GBe adapter kan niet op dit mobo.
- Er schijnt iets als PCIe bifurcation/splitting te zijn waarbij we mogelijk 1 x16 slot zouden kunnen splitten naar 2x8? Gezien 't 2e slot als het goed is al op x8 draait zou t effectief 2x4 zijn? Maar dat maakt voor ons niet uit want over de decklink 8k zou enkel 1 4K30 signaal max uit hoeven gaan maar ik weet niet hoe dat zou aflopen compatibility wise. Ook heb ik geen idee welke producten ik exact zou moeten kopen.
- Pragmatischer alternatief is de mobo's swappen met eentje die wel 3x x16 slots heeft.
Zo heb ik Gigabyte B550 AORUS ELITE V2
als goedkoopste oplossing gevonden. Al weet ik niet of die goed samen gaat met een 5950x.

Hoor graag jullie meningen en tips hoe ik dit het beste kan aanvliegen!

Let ook op hoeveel lanes er per slot beschikbaar zijn. Niet alle x16 sloten hebben ook 16 lanes.

[Verwijderd]

Als je toch al consumenten spul gebruikt, kan je dan niet de GPU in het eerste x16 slot steken, de Declink in het tweede slot en de Netwerkkaart met een m.2->PCI-E x4 adapter?

Als ik me niet vergis heb je dan aan het M.2 PCI-E 3.0 slot voldoende en kan je een SSD in het 4.0 slot steken.

[DataGhost]

Op dat Gigabyte-bord heeft het tweede x16-slot maar twee PCIe3.0-lanes en het derde x16-slot heeft er maar eentje. Qua bandbreedte zou dat krap aan voldoende zijn voor de 10Gb-kaart maar ik zou eerst checken of die wel op een of twee lanes wil werken, aangezien het een x4-kaart is. Hetzelfde wil je checken voor die Decklink. Het kan zomaar zo zijn dat ze allebei niet gaan werken.

Als je andere moederborden zoekt moet je ook kijken of het qua bandbreedte allemaal wel gaat. Het bovenste x16-slot zit meestal direct aan de CPU maar op AM4 zitten de overige sloten doorgaans aan de PCH die zelf met een x4-link aan de CPU verbonden is. Dus je deelt de bandbreedte van alle aangesloten apparaten op de PCH over die link, eventueel dus ook SATA en dat soort zaken.

Ik weet niet wat voor GPU erin zit en waar die voor gebruikt wordt, maar als het er eentje is die qua bandbreedte maar 8 PCIe4.0-lanes nodig heeft zou je met bifurcation en wat geknutsel met risers dat slot kunnen splitten in tweemaal 8x en dan kan je je huidige moederbord houden. Om de in de vorige alinea genoemde redenen wordt bifurcation eigenlijk nauwelijks ondersteund op andere sloten dan de bovenste, het heeft namelijk geen zin om lanes te splitten die er niet zijn. Het tweede x16-slot op je MSI-bord heeft maar 4 lanes bijvoorbeeld, via de PCH.

[ Voor 26% gewijzigd door DataGhost op 11-01-2024 16:14 ]

[skaiman]

D-dark schreef op donderdag 11 januari 2024 @ 15:54:
5950X wordt ondersteund met het bord wat je gevonden hebt:

Thanks! Ik bedoelde meer in de context of performance wel goed is dan omdat het een super budget mobo is met een high end CPU.

Verwijderd schreef op donderdag 11 januari 2024 @ 15:59:
[...]


Let ook op hoeveel lanes er per slot beschikbaar zijn. Niet alle x16 sloten hebben ook 16 lanes.

Dank, yes volgens mij is het 2e slot alleen 8. Maar als het zou werken is 2x4 ook voldoende. Ik weet alleen niet of zo'n Declkink kaart dat dan toelaat of dat hij gewoon niet werkt dan.

Verwijderd schreef op donderdag 11 januari 2024 @ 16:00:
Als je toch al consumenten spul gebruikt, kan je dan niet de GPU in het eerste x16 slot steken, de Declink in het tweede slot en de Netwerkkaart met een m.2->PCI-E x4 adapter?

Als ik me niet vergis heb je dan aan het M.2 PCI-E 3.0 slot voldoende en kan je een SSD in het 4.0 slot steken.

Goed idee! Echter hebben de racks al 2x M2 SSDs 1 voor OS en 1 voor cache...

DataGhost schreef op donderdag 11 januari 2024 @ 16:09:
Als je andere moederborden zoekt moet je ook kijken of het qua bandbreedte allemaal wel gaat. Het bovenste x16-slot zit meestal direct aan de CPU maar op AM4 zitten de overige sloten doorgaans aan de PCH die zelf met een x4-link aan de CPU verbonden is. Dus je deelt de bandbreedte van alle aangesloten apparaten op de PCH over die link, eventueel dus ook SATA en dat soort zaken.

Ik weet niet wat voor GPU erin zit en waar die voor gebruikt wordt, maar als het er eentje is die qua bandbreedte maar 8 PCIe4.0-lanes nodig heeft zou je met bifurcation en wat geknutsel met risers dat slot kunnen splitten in tweemaal 8x en dan kan je je huidige moederbord houden. Om de in de eerste twee alinea's genoemde redenen wordt bifurcation eigenlijk nauwelijks ondersteund op andere sloten dan de bovenste, het heeft namelijk geen zin om lanes te splitten die er niet zijn. Het tweede x16-slot op je MSI-bord heeft maar 4 lanes bijvoorbeeld, via de PCH.

Duidelijk. Ik weet niet hoe het precies werkt met benodigde aantal lanes vs actief gebruik van lanes? Als een kaart x8 nodig heeft maar er loopt maar 2GB/s overheen o.i.d. blijft de rest dan 'beschikbaar'?

[DataGhost]

skaiman schreef op donderdag 11 januari 2024 @ 16:15:

[...]
Duidelijk. Ik weet niet hoe het precies werkt met benodigde aantal lanes vs actief gebruik van lanes? Als een kaart x8 nodig heeft maar er loopt maar 2GB/s overheen o.i.d. blijft de rest dan 'beschikbaar'?

Dat hangt vooral af van hoe de kaart gebouwd is. Dus dat moet je aan de fabrikant vragen als het niet in handleidingen vermeld is.

Lanes zijn in ieder geval fysiek aangelegd dus een kaart die minder lanes gebruikt maakt niet opeens op een ander slot meer lanes vrij voor iets anders, tenzij er een soort switch (zoals de PCH) tussen zit, dan zou het wel mogelijk kunnen zijn. Het is eigenlijk een beetje hetzelfde als normale netwerken, je zou (als analogie!) kunnen zeggen dat je bovenste slot een 10Gb-verbinding heeft (2x5Gb of 4x2.5Gb trunked), je PCH een enkele 2.5Gb-verbinding en van daaruit gaan een paar 2.5Gb en 1Gb-verbindingen naar de overige slots, zonder support voor trunking. En dan heeft bijvoorbeeld "een van je 2.5Gb-kaarten" (Decklink bijv.) misschien wel of misschien geen support voor terugvallen naar een 1Gb-verbinding. Misschien maakt dat het wat duidelijker?

[ Voor 36% gewijzigd door DataGhost op 11-01-2024 16:27 ]

[DataGhost]

Trouwens, aangezien je MSI-bord maar x4 lanes op het tweede x16-slot heeft zou je bij wijze van test de 10Gb-netwerkkaart eruit kunnen halen en proberen of de Decklink daar wel mee werkt. Dan weet je al iets meer.

[peize9]

Kan dit? Met passen en meten lukt het net. De vraag is of je het ook wil doen. Misschien is het handig om toch te kijken naar een upgrade richting een ander platform wat genoeg lanes heeft. Met wat je plaatst kom je op 20 lanes uit van de 24 die de cpu heeft...

[skaiman]

Thanks @DataGhost ! Dat kan ik zeker even testen op die manier!

Ik denk dat we verder momenteel een beetje landen op 2 opties die we nog verder willen uitzoeken in contact met de personen waar we de producten hebben gekocht.

1. Mobo's laten swappen voor goede 3x x16 slots. (en daarbij alsnog goed checken of dat goed gaat met 2x M2 SSDs, 10gbe kaart, decklink monitor kaart, GPU). Deze oplossing is redelijk duur omdat we een aantal nieuwe mobos moeten kopen.

2. De decklink kaarten terug brengen en swappen voor HDMI -> SDI 12G converters en de video feed als desktop monitor laten verlopen. Dit is een goedkopere oplossing maar een lastige situatie met het bedrijf waar we het gekocht hebben omdat ze voor de grote bestelling die we hebben gedaan niet echt volle bedrag willen retourneren maar een tegoed bon voor hun winkel. (iemand die daar iets over kan zeggen betreft consument recht? Meeste zit nog nieuw in verpakking maar is waarschijnlijk wel voor ons besteld ipv dat t al op voorraad was)

De andere kwestie is dat een 3e desktop zwaarder is voor de PC en video technisch is een clean feed los van de GPU wenselijker. Al komt een 3e desktop wel met t voordeel dat de 3e monitor (TV) ook als extentie gebruikt kan worden dus een internet window kan er ook naartoe ipv alleen de fullscreen video van het edit programma.

peize9 schreef op donderdag 11 januari 2024 @ 16:32:
Kan dit? Met passen en meten lukt het net. De vraag is of je het ook wil doen. Misschien is het handig om toch te kijken naar een upgrade richting een ander platform wat genoeg lanes heeft. Met wat je plaatst kom je op 20 lanes uit van de 24 die de cpu heeft...

Ik zie je reactie nu net binnen komen. Ervanuit gaande dat we dus GPU, 2x M2, 10gbe, decklink hebben. Dit kan uberhaupt niet dan? Of juist net wel. Met evt. ander moederbord bedoel ik maar wel de 5950x.

[DataGhost]

skaiman schreef op donderdag 11 januari 2024 @ 16:38:
1. Mobo's laten swappen voor goede 3x x16 slots. (en daarbij alsnog goed checken of dat goed gaat met 2x M2 SSDs, 10gbe kaart, decklink monitor kaart, GPU). Deze oplossing is redelijk duur omdat we een aantal nieuwe mobos moeten kopen.

Ik zie je reactie nu net binnen komen. Ervanuit gaande dat we dus GPU, 2x M2, 10gbe, decklink hebben. Dit kan uberhaupt niet dan? Of juist net wel. Met evt. ander moederbord bedoel ik maar wel de 5950x.

Hangt dus helemaal van de bandbreedte-eisen van alle kaarten af (incl GPU) wat er te schuiven zou zijn qua lanes. Met AM4 zit je iig vast aan 24 lanes in totaal, dat is een platform-beperking, waarvan er dus doorgaans 4 naar het eerste M2-slot gaan, 16 naar de GPU en 4 naar de PCH, waarvanuit de rest gevoed wordt. Als je voor je netwerk, tweede SSD en video-feed genoeg hebt aan ~8GB/s (PCIe4.0 x4) zou het met passen en meten kunnen aan de PCH mits de slots van voldoende lanes voorzien zijn om je kaarten uberhaupt te laten werken, alleen is het voor de SSD heel makkelijk om die bandbreedte vol te knallen waardoor je netwerk inkakt en (waarschijnlijk erger) je videofeed zou kunnen gaan haperen.

Ik denk dat dus het meeste te halen is bij de GPU, als die geen 3D-taken hoeft te doen (maar dat heb ik je nog niet zien zeggen) heb je waarschijnlijk maar een fractie van de bandbreedte nodig en kan je daar dus lanes vandaan snoepen met een riser en bifurcation. Of je kan zelfs de hele GPU vervangen door een x1-GPU als deze alleen maar wat 2D-desktopzooi hoeft te laten zien.

Maar het is zoals @peize9 hierboven zegt niet het optimale platform voor je wensen. Het kan misschien. Alleen dit topic is nu al een gekloot om iets werkbaars te fantaseren met AM4 dus je zit denk ik een beetje op de grens van wel/niet Threadripper zegmaar (als je bij AMD blijft).

Dit is een goedkopere oplossing maar een lastige situatie met het bedrijf waar we het gekocht hebben omdat ze voor de grote bestelling die we hebben gedaan niet echt volle bedrag willen retourneren maar een tegoed bon voor hun winkel. (iemand die daar iets over kan zeggen betreft consument recht? Meeste zit nog nieuw in verpakking maar is waarschijnlijk wel voor ons besteld ipv dat t al op voorraad was)

Vast niet wat je wilt horen, maar

skaiman schreef op donderdag 11 januari 2024 @ 15:30:
Ik werk als editor bij een ad agency

Dus je zit gewoon aan B2B voorwaarden vast lijkt me.

[ Voor 7% gewijzigd door DataGhost op 11-01-2024 16:56 ]

[D-dark]

Je kan nog de iets lastigere optie proberen.
Bios zo instellen dat er zonder videokaart opgestart kan worden.
Wait on errors uitzetten

Dan kan je de bestaande sloten gebruiken.

Voor onderhoud hang je dan helaas aan terminal sessie

[skaiman]

DataGhost schreef op donderdag 11 januari 2024 @ 16:54:
[...]

Vast niet wat je wilt horen, maar

[...]

Dus je zit gewoon aan B2B voorwaarden vast lijkt me.

Oja, dat vergeet ik ook zo lekker makkelijk.

De workload is 4 tot 8k raw footage, Premiere Pro, After Effects, Resolve, en sinds kort ook meer 3d projecten met Redshift dus er zullen wel degelijk momenten zijn met volle lading GPU maar ik weet niet precies wat de werking is tussen load vs data tussen de verschillende programmas en wat je daadwerkelijk aan het uitrekenen bent vs hoe vol je gpu ram zit. Maar snap iig dat wanneer je zoveel devices wilt runnen het huidig platform misschien niet helemaal praktisch is.

Dit maakt me meer nijgend naar de 3e desktop via de GPU oplossing voor deze hele situatie.