High-end workstation obv. AMD Threadripper 3990x (64 core)

[tweakje86]

Ik zoek een?
High-end workstation op basis van de AMD Threadripper 3990x met minimaal 128GB (liefst 256GB) geheugen en Nvidia 2x 2080 Ti video-kaarten. Optioneel een Intel Optane 905p. Idealiter ga ik voor een systeem wat luchtgekoeld kan worden i.p.v. waterkoeling. Ik ben niet voornemens om de CPU of video kaarten te overklokken.

Wat is je budget?
-

Heb je bepaalde (merk)voorkeuren?
Processor is duidelijk: AMD Threadripper 3990x. Op dit moment heb ik in me bestaande computer een EVGA GeForce RTX 2080 Ti XC ULTRA zitten. De tweede video kaart zou idealiter dezelfde kaart zijn of bijv. de 2-slot versie (EVGA GeForce RTX 2080 Ti XC Gaming) om wat ruimte te besparen.Ik ben tevreden over de rekenkracht van deze kaart maar achteraf iets minder over het 3-slot design. Ja, de kaart blijft goed koel onder hoge GPU load maar in een dual GPU systeem met 2x een 3-slot video kaart gaat het m.i.z. krap worden als ik nog andere zaken wil toevoegen.

Specificeer het systeem en de omgeving waarin je het product gaat gebruiken.?
Het systeem zal ik voornamelijk inzetten voor analyses die zowel CPU bound zijn als GPU bound. Disk I/O is op dit moment niet het grootste issue maar wil wel graag het systeem hierop voorbereiden zodat er meer uit het systeem gehaald kan worden. Vandaar de optionele keuze voor de Intel Optane 905p al is dit waarschijnlijk overkill en volstaat een PCI-express add-in card met een aantal M.2 NVMe sticks hoogstwaarschijnlijk ook.

Hoe meer informatie je geeft, hoe beter we je kunnen helpen.
Op dit moment gaat mijn eerste voorkeur uit naar de TRX40 AORUS XTREME met als nadeel dat dit een XL-ATX bord is. De spacing van de PCI sloten is voor mij op het eerste zicht de eerste grote plus. Daarnaast komt het moederbord met een add-in card waar ik op termijn 4x M.2 NVMe sticks in kwijt kan wat mogelijk de noodzaak voor een Intel Optane 905p overbodig maakt. Op dit moederbord lijkt me deze slot-layout / indeling het meest logisch:

Slot 1: EVGA GeForce RTX 2080 Ti XC ULTRA (de 3-slot kaart)
Slot 2: zal zeer waarschijnlijk onbruikbaar zijn
Slot 3: EVGA GeForce RTX 2080 Ti XC Gaming (het 2-slot model) .
Slot 4: PCI-express add-in card (*)

(*) Mijn grootste zorg op dit moment is of ik deze kaart wel met afdoende spacing / koeling kan plaatsen in het onderste slot.

De case die ik voor ogen heb is de DARK BASE PRO 900 rev. 2 maar ik twijfel of de spacing voor het onderste slot t.o.v. de PSU shroud genoeg is i.c.m. een XL-ATX moederbord:

- YouTube: Dark Base Pro 900 Rev. 2: Case Review & Build!
- YouTube: Be Quiet! Dark Base 700 Case Review

Een ander moederbord wat v.w.b. de specs en slot spacing aardig lijkt is de MSI Creator TRX40. Dit is een E-ATX bord maar wel een gunstige spacing tussen Slot 1 en Slot 2. De layout in dat geval zou hetzelfde als hierboven kunnen zijn met als pluspunt dat het vinden van een case wellicht makkelijker is.

Zelf ben ik onvoldoende op de hoogte van evt. "goede" PCI-express riser kabels met PCI-express 4.0 ondersteuning. Dat zou eventueel nog een oplossing kunnen zijn om het laatste slot te gebruiken en de add-in kaart bijv. verticaal te mounten. Ook de MSI Creator TRX40 komt met een handige 4x M.2 NVMe add-in card.

Mijn vragen:
Algemeen:
Zie ik essentiële zaken over het hoofd? Zijn er wellicht betere combinaties te maken v.w.b. 2080 TI's die de slot configuratie versimpelen? Naast wat bestaande storage (2x 3.5" schijven, 6x 2.5" SSD) hoeft er weinig "spannends" in het systeem en zijn de standaard moederbord features (10G lan) prima.

Geheugen:
Zelf ben ik niet echt thuis in high-end PC geheugen. Het geheugen wat ik op het oog heb (o.b.v: https://help.corsair.com/...pper-DDR4-Compatibility):

- CMK128GX4M8Z2933C16

Ik heb alleen geen kits kunnen vinden voor 256GB.

Alvast veel dank voor het meedenken!

[DenHond]

256GB kits zijn er zeker, sTRX4 borden hebben plaats voor 8 geheugen sticks. Waar je misschien wel rekening mee moet houden is of je ECC geheugen nodig hebt voor je toepassingen.

Ivm met de opslag, kan je niet gewoon de 4 m.2 slots voorzien van pci-e gen 4 ssd's? Op vlak van iops doen ze het zelfs beter dan de optanes (voor zover ik uit de pricewatch kan zien), dan blijft het onderste slot vrij voor de luchttoevoer van je 2e 2080.

[Voor 5% gewijzigd door DenHond op 17-04-2020 20:21]

[tweakje86]

DenHond schreef op vrijdag 17 april 2020 @ 20:21:
256GB kits zijn er zeker, sTRX4 borden hebben plaats voor 8 geheugen sticks. Waar je misschien wel rekening mee moet houden is of je ECC geheugen nodig hebt voor je toepassingen.

Ivm met de opslag, kan je niet gewoon de 4 m.2 slots voorzien van pci-e gen 4 ssd's? Op vlak van iops doen ze het zelfs beter dan de optanes (voor zover ik uit de pricewatch kan zien), dan blijft het onderste slot vrij voor de luchttoevoer van je 2e 2080.

Bedankt voor je reactie! Voor mijn workloads is het niet noodzakelijk ECC geheugen te gebruiken. Vreemd dat deze 256GB kit niet op een van deze lijsten staat?

- https://help.corsair.com/...ble-with-AMD-Threadripper

- https://help.corsair.com/...ripper-DDR4-Compatibility

De optie v.w.b. de 4x M.2 slots gebruiken op het moederbord i.c.m. bijvoorbeeld de FireCuda 520 is ook een serieuze optie al is het zonde de meegeleverde PCI-express add-in card al direct "af te schrijven". Als het deze keuze zal worden is er ook weinig reden om niet voor de 3-slot kaart te gaan gelet op de iets betere koelprestaties. Als ik dan Slot 1 en Slot 3 vul met beide een 3-slot EVGA 2080 ti dan is wellicht Slot 4 niet bruikbaar als slot zelf maar de spacing t.o.v. de PSU shroud zou dan geen issue moeten zijn.

Aanvulling
Kennelijk heeft https://www.gigabyte.com/...X399-AORUS-XTREME-rev-10/ "slechts" ondersteuning tot 128 GB ("8 x DDR4 DIMM sockets supporting up to 128 GB of system memory").

De MSI Creator TRX40 geeft wel ondersteuning van 256 GB aan https://www.msi.com/Motherboard/Creator-TRX40/Specification ("MAX MEMORY (GB) : 256").

Lastige keuze want MSI Creator heeft helaas maar 3x M.2 slots op het moederbord aanwezig waarbij de PCI-express add-in card dan toch wel fijn is om achter de hand te hebben als "upgrade".

[Voor 13% gewijzigd door tweakje86 op 17-04-2020 22:07]

[DenHond]

De Asus Rog Zenith II extreme (en de alpha) komen met 3 m.2 slots (weliswaar 1 achteraan het moederbord) + een uitbreidingskaart die naast de geheugenmodules komt die nog eens 2 m.2 slots voorzien zodat je 5 pci-e gen 4 m.2 slots hebt. Dit in combinatie met support tot 256GB geheugen.

De alpha heeft een betere 16 fase stroomvoorziening die ‘speciaal’ voor de 3990x ontwikkeld is.

[tweakje86]

DenHond schreef op vrijdag 17 april 2020 @ 23:26:
De Asus Rog Zenith II extreme (en de alpha) komen met 3 m.2 slots (weliswaar 1 achteraan het moederbord) + een uitbreidingskaart die naast de geheugenmodules komt die nog eens 2 m.2 slots voorzien zodat je 5 pci-e gen 4 m.2 slots hebt. Dit in combinatie met support tot 256GB geheugen.

De alpha heeft een betere 16 fase stroomvoorziening die ‘speciaal’ voor de 3990x ontwikkeld is.

Zeer goed alternatief! Handleiding is vrij compleet en slot 1 en slot 3 lijken goede spacing te bieden.

https://dlcdnets.asus.com..._EXTREME_ALPHA_UM_WEB.pdf

De handleiding geeft ook netjes 256GB ondersteuning aan en hun lijst met QVL is ook overzichtelijk met een aantal G.SKILL sets voor 256GB: https://www.asus.com/Moth...lpha/HelpDesk_QVL_Memory/

Hier kan ik voorlopig mee uit de voeten

[-The_Mask-]

Waar bestaan de andere componenten uit?

Voor de videokaarten doe je er iig verstandig aan om blower koelers te nemen zodat de warmte direct de behuizing uit geblazen wordt. Doe je dat niet dan heb je iets van 800W aan warmte onder maximale belasting wat de casefans weg moeten werken.

[tweakje86]

Ik hoop dat dit overzicht vanuit mijn wensenlijst goed overkomt. De enige goed beschikbare 256GB set die ik kan vinden is de "G.Skill Trident Z RGB F4-3200C16Q2-256GTZR" maar deze komt niet exact voor op de QVL lijst ( https://www.asus.com/Moth...lpha/HelpDesk_QVL_Memory/ ).

Echter de lijst vermeld wel deze types welke nagenoeg (op de suffix van de uitvoering) overeenkomen:

G.SKILL F4-3200C16Q2-256GVK
G.SKILL F4-3200C16Q2-256GTZSW
G.SKILL F4-3200C16Q2-256GTZN
G.SKILL F4-3200C16Q2-256GTRG
G.SKILL F4-3200C16Q2-256GTRS

Het enige waarbij ik nog wat (kleine) twijfels heb is de RAM module clearance t.o.v. de CPU koeler. Al staat hier een foto van G.SKILL TridentZ i.c.m. deze koeler: https://linustechtips.com...-whats-its-ram-clearance/ wat lijkt te werken.

Zelf ben ik geen groot fan van blower design cards gelet op de vaak wat hogere fan noise. Wellicht dat met 2x een 3-slot 2080 Ti én een deze high-airflow case dit afdoende te koelen valt met een aantal 140mm case fans?

#	Category	Product	Prijs	Subtotaal
1	Processors	AMD Ryzen Threadripper 3990X	€ 4.094,05	€ 4.094,05
1	Moederborden	Asus ROG Zenith II Extreme Alpha	€ 998,-	€ 998,-
1	Videokaarten	EVGA GeForce RTX 2080 Ti XC Ultra (11G-P4-2383-KR)	€ 1.169,-	€ 1.169,-
1	Behuizingen	be quiet! Dark Base Pro 900 rev. 2 Zwart/Oranje	€ 229,90	€ 229,90
1	Processorkoeling	be quiet! Dark Rock Pro TR4	€ 75,14	€ 75,14
1	Geheugen intern	G.Skill Trident Z RGB F4-3200C16Q2-256GTZR	€ 1.479,54	€ 1.479,54
1	Voedingen	be quiet! Dark Power Pro 11 1200W	€ 226,-	€ 226,-
4	Solid state drives	Seagate FireCuda 520 1TB	€ 263,96	€ 1.055,84
1	Solid state drives	Seagate FireCuda 520 500GB	€ 134,99	€ 134,99
Bekijk collectie Importeer producten			Totaal	€ 9.462,46

[-The_Mask-]

Qua geheugen kun je het jezelf flink gemakkelijker maken door 8 maal een 32GB reepje te kopen, 4 maal een setje van 2x32GB, of 2 maal een set van 4x32GB. Ook veel handiger als er één defect is, hoeft niet gelijk alles terug.

Wat betreft de geluidsproductie dat is met een blower dus vaak lager omdat die koeling veel effectiever werkt.

[tweakje86]

-The_Mask- schreef op zaterdag 18 april 2020 @ 11:04:
Qua geheugen kun je het jezelf flink gemakkelijker maken door 8 maal een 32GB reepje te kopen, 4 maal een setje van 2x32GB, of 2 maal een set van 4x32GB. Ook veel handiger als er één defect is, hoeft niet gelijk alles terug.

Wat betreft de geluidsproductie dat is met een blower dus vaak lager omdat die koeling veel effectiever werkt.

Nog een kleine aanpassing: voeding AX1600i omdat met de power calculator ( https://www.bequiet.com/en/psucalculator ) van be quiet! hij toch wel hoog zou uitkomen onder full-load met een 1200W voeding.

Ik zal nog eens wat reviews bekijken van een blower 2080 ti uitvoering. In elk geval bedankt voor de suggestie. Mijn eerdere blower cards (AMD) waren juist altijd van die fluitende krengen bij full-load, wellicht dat Nvidia daar geen last van heeft.

[-The_Mask-]

tweakje86 schreef op zaterdag 18 april 2020 @ 13:43:
[...]


Nog een kleine aanpassing: voeding AX1600i omdat met de power calculator ( https://www.bequiet.com/en/psucalculator ) van be quiet! hij toch wel hoog zou uitkomen onder full-load met een 1200W voeding.

Je wil uitbreiden naar vier videokaarten? Dan is de AX1600i idd een goed idee. En dan moet je sowieso of waterkoeling gebruiken of alleen maar gebruik maken van blower koelers.

Ik zal nog eens wat reviews bekijken van een blower 2080 ti uitvoering. In elk geval bedankt voor de suggestie. Mijn eerdere blower cards (AMD) waren juist altijd van die fluitende krengen bij full-load, wellicht dat Nvidia daar geen last van heeft.

Gebruik van een blower, of één, twee of drie top down fans staat in principe gewoon helemaal los van de geluidsproductie. Dat is gewoon afhankelijk van alle omstandigheden en niet van alleen het type koeler.

[superduper]

Ben wel heel benieuwd wat je hiermee wilt gaan doen, 'analyses' is nogal vaag om 10k€ op stuk te gooien.

[Wekko306]

Be Quiet geeft zelf aan dat de Dark Rock TR4 geschikt is voor CPU's met een max tdp van 250W en 'up to 32 cores'. Dat betekent natuurlijk niet dat jouw CPU te heet zou worden en zou gaan throttle, maar een nog capabele te koeler is misschien toch een goed idee.

Wat betreft geluidsproductie van GPU koelers is een blower design misschien niet per definitie luidruchtiger, maar in de praktijk is het dat wel.

[tweakje86]

Wekko306 schreef op zaterdag 18 april 2020 @ 14:34:
Be Quiet geeft zelf aan dat de Dark Rock TR4 geschikt is voor CPU's met een max tdp van 250W en 'up to 32 cores'. Dat betekent natuurlijk niet dat jouw CPU te heet zou worden en zou gaan throttle, maar een nog capabele te koeler is misschien toch een goed idee.

Wat betreft geluidsproductie van GPU koelers is een blower design misschien niet per definitie luidruchtiger, maar in de praktijk is het dat wel.

Doel je dan op een AIO? Zo ja, welke? De Dark Rock TR4 Pro en bijv. de Noctua NH-D15 liggen aardig dicht bij elkaar op wat montage verschillen en ram clearance na? ( o.a.: YouTube: Noctua NH-D15 vs BeQuiet Dark Rock Pro 4 — Which $90 Premium Tower C... )

[Navi]

Hier een mooie vergelijking tussen ThreadRipper AIO en Air:
YouTube: Threadripper Cooler Comparison: Full Coverage Liquid vs. Air

En zoals hierboven gezegd zul je voor 4 GPU's inderdaad wel voor blower koelers moeten gaan. Wordt het overigens nog wel ondersteund? 4x Geforce kaarten? Of moet je dan bij Quadro's zijn?

[millman]

Wij draaien voor onze renderfarm 4x 2080ti en een 3960 op een Asrock trx 40 creator. De spacing is daar perfect voor 4x 2slots of 2x 3 slots. Enige vraag die ik nog niet kan beantwoorden is of er 256Gb wordt ondersteund. nu 128GB 3200Mhz en dat doet t prima. We zijn aan het expirimenteren en willen kijken naar 256GB ondersteuning. Qua kaart raad ik eigenlijk alleen maar blower stijl koeler aan. Die warmte moet de kast uit...

[tweakje86]

@-The_Mask- : Nee ik wil (vooralsnog) niet uitbreiden naar 4x 2080 Ti, als ik de https://www.bequiet.com/en/psucalculator gebruik dan kom ik met 2x 2080 Ti, een 3990x en wat randzaken op 88% load en 94% efficiency. Ofwel je zit vrijwel aan de max van deze PSU. Dat is op zich niet erg maar ik wil graag flexibel blijven naar de toekomst toe vandaar de keuze om toch maar een wat zwaardere PSU te nemen.

@millman Op QVL lijst https://my.msi.com/Mother...ator-TRX40#support-mem-25 als je zoekt op "256" laat een aantal setjes zien die getest zijn.

@Navi Dank voor je link!

Om toch on-topic te blijven: initiële setup blijft dus: 3990x i.c.m. 2x 2080 Ti. Ik heb reeds 1x 2080 Ti in bezit (EVGA 3-slot kaart) en ben dus zoekende naar de meest geschikte tweede 2080 Ti. Idealiter hou ik ze zoveel als mogelijk gelijk omdat in de huidige programmatuur ik niet per "backend" (cuda enabled grafische kaart) een ander profiel kan laden dus hoe gelijker ze zijn hoe makkelijker ik de jobs kan "scalen".

[millman]

tweakje86 schreef op zondag 19 april 2020 @ 09:04:
....

@millman Op QVL lijst https://my.msi.com/Mother...ator-TRX40#support-mem-25 als je zoekt op "256" laat een aantal setjes zien die getest zijn.


@Navi Dank voor je link!

Om toch on-topic te blijven: initiële setup blijft dus: 3990x i.c.m. 2x 2080 Ti. Ik heb reeds 1x 2080 Ti in bezit (EVGA 3-slot kaart) en ben dus zoekende naar de meest geschikte tweede 2080 Ti. Idealiter hou ik ze zoveel als mogelijk gelijk omdat in de huidige programmatuur ik niet per "backend" (cuda enabled grafische kaart) een ander profiel kan laden dus hoe gelijker ze zijn hoe makkelijker ik de jobs kan "scalen".

Allereerst maakt het niets uit wat voor een 2080ti je kiest. Zeker zolang je geen Nvlink gebruikt. Je enige zorg moet zijn: temperatuur. In je setup past sowieso 2x 3 slots lijkt me.

Verder geef je een link van de MSI creator. Maar ik Had het over de Asrock trx40 creator.m verwarrend.. ik weet t. Asrock is de enige met een 4x dualslot spacing. Heerlijk bord zover trouwens. Als eerste ervaring met Asrock in pakweg 15 jaar Is t een feestje.

[-The_Mask-]

tweakje86 schreef op zondag 19 april 2020 @ 09:04:
@-The_Mask- : Nee ik wil (vooralsnog) niet uitbreiden naar 4x 2080 Ti, als ik de https://www.bequiet.com/en/psucalculator gebruik dan kom ik met 2x 2080 Ti, een 3990x en wat randzaken op 88% load en 94% efficiency. Ofwel je zit vrijwel aan de max van deze PSU. Dat is op zich niet erg maar ik wil graag flexibel blijven naar de toekomst toe vandaar de keuze om toch maar een wat zwaardere PSU te nemen.

Aha vandaar zo'n grote afwijking. Beter niet zo'n PSU calculator gebruiken, dan krijg je hele rare cijfers te zien. Want zoals gezegd gebruik je de AX1600i dus pas op het moment dat je vier van zulke videokaarten gaat gebruiken.

pricewatch: be quiet! Straight Power 11 1000W
pricewatch: be quiet! Straight Power 11 Platinum 1000W
pricewatch: Corsair HX1000i

Zijn drie zeer goede voedingen en zijn al zeer ruim gekozen. Bij de Corsair kun je ook nog via software het verbruik van de PC uitlezen als je dat interessant vindt.

[Voor 27% gewijzigd door -The_Mask- op 20-04-2020 22:56]

[tweakje86]

Dank voor de PSU suggesties, de 1600i is dan wellicht iets te "extreem". Andere zorg die ik nog wel zie is de spacing t.o.v. het eerste PCI-express slot met i.c.m. de be quiet! Dark Rock Pro TR4.

Een post op Reddit ( https://www.reddit.com/r/...eadripper_cooler_does_it/ ) verwijst naar een review waar duidelijk te zien is dat op een Asus Rog Zenith extreme moederbord de spacing te krap is: https://i2hard.ru/upload/...df3fa79731d0124bc0717.jpg

Nu is het zo dat deze review geschreven op basis van een Asus ROG Zenith Extreme bord ipv de Asus ROG Zenith II Extreme Alpha maar die layout is lastig vergelijken.

Edit:
Mogelijk zal ik dus een koeler als deze moeten overwegen: https://www.coolermaster....0-rgb-tr4/#Specifications

[Voor 11% gewijzigd door tweakje86 op 21-04-2020 20:55]