High-end workstation uitbreiden naar dual GPU

[tweakje86]

Eerder advies welke ik heb ingewonnen / gepost: High-end workstation obv. AMD Threadripper 3990x (64 core). Nu het vervolg:

Ik zoek een?
Oplossing welke het mogelijk maakt mijn huidige systeem uit te breiden naar een dual GPU systeem zonder waterkoeling toe te passen. Mogelijkheden bekijken van evt. PCI-e bifurcation om de twee Optane drives op 1 PCI-e slot te krijgen wat mogelijk nog wat extra ruimte geeft om te "spelen" met de indeling?

Wat is je budget?
-

Heb je bepaalde (merk)voorkeuren?
V.w.b. de GPU keuze wil ik gaan voor 2x RTX 3090. Op dit moment heb ik 1x RTX 3090 Founders Edition maar dit is een 3-slots kaart wat op dit moment het uitbreiden vrijwel onmogelijk maakt. Hiervoor heb ik gebruik gemaakt van EVGA GeForce RTX 2080 Ti XC Ultra (11G-P4-2383-KR) welke me altijd zeer goed is bevallen. Lichte voorkeur dus voor EVGA.

Specificeer het systeem en de omgeving waarin je het product gaat gebruiken.?
Huidige configuratie:

code:

Case: Thermaltake Level 20 XT
Case fans1: Corsair ML120 PRO RGB LED PWM
Case fans2: be quiet! Silent Wings 3 PWM
Motherboard: Asus ROG Zenith II Extreme Alpha
CPU: AMD Ryzen Threadripper 3990X
CPU Cooler: Noctua NH-U14S TR4-SP3 (2x Noctua NF-A15 HS-PWM fan)
Memory: G.Skill Ripjaws V F4-3200C16Q2-256GVK
SSD: 4x Seagate FireCuda 520 2TB (1x OS, 3x RAID 0 – Stripe)
PSU: Corsair AX1600i

PCI-e slot 1: Nvidia RTX 3090
PCI-e slot 2: (blocked)
PCI-e slot 3: Optane 905P (#1)
PCI-e slot 4: Optane 905P (#2)

Zoals hierboven beschreven wil ik graag upgraden naar een dual GPU systeem. De slot-spacing op dit moment is sub-optimaal en door de 3-slot Nvidia RTX 3090 is mijn 2de PCI-e slot blocked. Dit was overigens ook al het geval met de EVGA GeForce RTX 2080 Ti XC Ultra (ook een 3-slot kaart) maar had gehoopt dat met de performance van de Nvidia RTX 3090 ik met een single-card af zou kunnen. Er is echter toch de behoefte te upgraden naar een dual GPU oplossing.

De kaart die ik op dit moment op het oog heb is deze: EVGA GeForce RTX 3090 XC3 ULTRA GAMING omdat deze een 2.2 slot dikte heeft. Airflow in deze case is m.i.z. afdoende om twee van deze kaarten te koelen (7x in, 10x out). CPU temps onder full-load komen eigenlijk nooit hoger dan 72-75C en de GPU blijft ook prima rond de 65-70C. Ik heb echter van deze kaart nog niet echt goede reviews gezien en ik vraag me af of ik in de configuratie slot #1 en slot #2 met deze kaart afdoende spacing heb?

De Optane 905P drives hebben ook half-height PCI brackets. Mogelijk is er met een bifurification riser het mogelijk om nog een PCI-e slot vrij te spelen waarmee er meer keuzes zijn v.w.b. indeling / kaart keuze.

Creative ideeën zijn welkom!

[Djarune]

Het enige wat ik kan bedenken is sloten vrijspelen door een PCIe 4.0 X16 Riser Cable te gebruiken. Thermaltake verkoopt zelf alleen PCIe 3.0 risers, maar de kast schijnt wel geschikt te zijn ervoor.

[tweakje86]

Djarune schreef op donderdag 8 oktober 2020 @ 10:39:
Het enige wat ik kan bedenken is sloten vrijspelen door een PCIe 4.0 X16 Riser Cable te gebruiken. Thermaltake verkoopt zelf alleen PCIe 3.0 risers, maar de kast schijnt wel geschikt te zijn ervoor.

Probleem met een riser blijft echter nog steeds: waar laat je de grafische kaart. De Thermaltake Level 20 XT is geen tower case maar het moederbord ligt plat (voordeel: gpu sag). Ik zie alleen niet echt een goede mogelijkheid om de kaart dan ergens "te mounten".

[99ruud99]

Had de NVIDIA NVLINK daar niet een functie voor?

[ Voor 52% gewijzigd door 99ruud99 op 08-10-2020 10:58 ]

[tweakje86]

99ruud99 schreef op donderdag 8 oktober 2020 @ 10:56:
Had de NVIDIA NVLINK daar niet een functie voor?

Functie voor wat exact? Als je doelt op het "bridgen" van de GPU's - ja - dat kan met NVLink maar voor mijn doeleinden hoef ik niet per-c de NVLink te gebruiken. Kaarten worden direct aangestuurd. Ik zit dus voornamelijk met de logistieke uitdaging hoe ik 2x GPU en 2x Optane ga plaatsen in deze case. Mocht een andere case hier beter voor uitgerust zijn hou ik me ook daarvoor aanbevolen.

[5pë©ïàál_Tèkén]

Je kunt EATX moederborden overwegen. Ik denk dat je dan ruimte zat hebt.
Tenzij je je MoBo niet wil wijzigen, in dat geval niks gezegd
Ik heb de PCIe 4.0 filter aangezet.

[ Voor 5% gewijzigd door 5pë©ïàál_Tèkén op 08-10-2020 13:11 ]

[DukeBox]

Ik weet niet exact hoe je hem wilt inzetten maar bij ons op de zaak gebruiken we een aantal RTX2080ti in een PCIe-thunderbolt 3 eGPU enclosure. Performance verlies is ongeveer 6% tot 13% afhankelijk wat er gedaan wordt.

We hebben als test een laptop met een RTX2080 (hybrid) en 2 TB3 poorten voorzien van 2x zo'n eGPU en dat werkte probleemloos al is er niet heel veel software die gebruik kan maken van meer dan 2 kaarten.

[tweakje86]

5pë©ïàál_Tèkén' schreef op donderdag 8 oktober 2020 @ 13:10:
Je kunt EATX moederborden overwegen. Ik denk dat je dan ruimte zat hebt.
Tenzij je je MoBo niet wil wijzigen, in dat geval niks gezegd
Ik heb de PCIe 4.0 filter aangezet.

Bedankt voor het meedenken! Echter, de Asus ROG Zenith II Extreme Alpha is een E-ATX moederbord en daarnaast een van de weinige sTRX4 moederborden met 256GB ram ondersteuning.

Het enige "waardige alternatief" die ik heb gezien is deze: https://tweakers.net/pric...ator-trx40/specificaties/ maar heeft helaas maar 3x on-board M.2 SSD support (heb er nu 4 in gebruik). Ze leveren wel een 4x M.2 AIC maar dat kost dan weer een PCI-e slot. De slot spacing van dat moederbord lijkt wel te voorzien in:

Slot #1: 3 slot GPU
Slot #2: 1 slot Optane 905P
Slot #3: 2.2(?) slot GPU (lijkt op de afbeeldingen kleinere spacing te hebben dan Slot #1->#2)
Slot #4: 1 slot Optane 905P

[tweakje86]

DukeBox schreef op donderdag 8 oktober 2020 @ 13:24:
Ik weet niet exact hoe je hem wilt inzetten maar bij ons op de zaak gebruiken we een aantal RTX2080ti in een PCIe-thunderbolt 3 eGPU enclosure. Performance verlies is ongeveer 6% tot 13% afhankelijk wat er gedaan wordt.

We hebben als test een laptop met een RTX2080 (hybrid) en 2 TB3 poorten voorzien van 2x zo'n eGPU en dat werkte probleemloos al is er niet heel veel software die gebruik kan maken van meer dan 2 kaarten.

Dank voor de "creatieve" oplossing . Wat ik zelf vervelend vind aan de externe behuizingen is dat deze ook weer een eigen externe voeding hebben. De PC zelf heeft een zeer krachtige 1600 watt voeding die ik graag inzet voor het voeden van de GPU's. Mijn huidige moederbord heeft geen TB3 poort dus dat zou dan ook nog een addin card betekenen voor enkel de connectivity naar de eGPU's. Geen ondenkbare oplossing maar ideaal is het m.i.z. ook niet echt.

[1Kb]

Wat ook kan is dat 1 pcie via een extender dwars wordt geplaatst zoals in deze kast:
https://www.fractal-desig...efine/define-r6/blackout/

Het is meer bedoeld als voorbeeld, ik kan niet zeggen of het goed werkt. Je zou in deze bijv. de 2 optane drives dwars monteren.

[tweakje86]

1Kb schreef op donderdag 8 oktober 2020 @ 15:37:
Wat ook kan is dat 1 pcie via een extender dwars wordt geplaatst zoals in deze kast:
https://www.fractal-desig...efine/define-r6/blackout/

Het is meer bedoeld als voorbeeld, ik kan niet zeggen of het goed werkt. Je zou in deze bijv. de 2 optane drives dwars monteren.

Ik heb inmiddels een aantal cases bekeken die een 2-slot of soms zelfs 3-slot vertical GPU mount hebben evt. met GPU sag stand-offs. Als je bijv. deze Youtube video bekijkt: https://youtu.be/ziaEMAyR0Io?t=34 (bewust opgezocht voor Define R6 en stil gezet op 34 seconden voor goed overzicht) dan zou je idealiter de onderste twee slots via een riser oplossing doen zodat slot #1 en slot #2 op me moederbord vrij zijn voor de GPU. Lastige is dat de huidige 3-slot Nvidia RTX 3090 Founders Edition al me slot #2 blocked en je dus eigenlijk "weinig opschiet".

[1Kb]

Het is voor mij een lastige usecase (zit niet in die situatie dus kan niet inschatten wat de ruimtes zijn)
Neemt niet weg dat:
https://m.nl.aliexpress.c...wwdetail2mobilesitedetail

Oftewel een riser met elbow mij te binnen schoot. Er is als het goed is ruimte onder de koeler waar dit net onder zou kunnen passen.

Ik heb ook gekeken naar gpu mining kasten met eatx, maar die waren niet mooi en vaak open. Ook modulaire kasten kon ik niet vinden waar de uitbreidingssloten haaks op het moederbord zaten. Vandaar een beetje mijn vorige reactie als semi oplossing.

[tweakje86]

1Kb schreef op donderdag 8 oktober 2020 @ 18:17:
Het is voor mij een lastige usecase (zit niet in die situatie dus kan niet inschatten wat de ruimtes zijn)
Neemt niet weg dat:
https://m.nl.aliexpress.c...wwdetail2mobilesitedetail

Oftewel een riser met elbow mij te binnen schoot. Er is als het goed is ruimte onder de koeler waar dit net onder zou kunnen passen.

Ik heb ook gekeken naar gpu mining kasten met eatx, maar die waren niet mooi en vaak open. Ook modulaire kasten kon ik niet vinden waar de uitbreidingssloten haaks op het moederbord zaten. Vandaar een beetje mijn vorige reactie als semi oplossing.

Dank voor de toelichting. Ik vermoed dat mogelijk 2x 2.2-slot 3090 kaarten nét wel gaan passen echter beschikbaarheid is op dit moment wat beperkt. Als ik nu kijk naar de 3090 FE dan zie je net de rand van het 2de PCI-e slot.

De 3090 FE: 313 mm x 138 mm x 55 mm

Versus bijvoorbeeld:

EVGA GeForce RTX 3090 XC3 ULTRA GAMING, 24G-P5-3975-KR
Height: 4.38 in - 111.15mm
Length: 11.23 in - 285.37mm
Width: 2.2 Slots (wat doorgaans ± 42 mm is)

Ofwel daarmee "win" ik 1.3cm tussen Slot #1 -> Slot #2 en de ruimte tussen Slot #2 -> Slot #3 lijkt me afdoende. Desnoods is de Optane drive nog "weg te werken" met een riser kabel (PCI-e 3.0 risers zijn ook eenvoudiger te krijgen dan 4.0).