Computer bouwen voor GPU rendering

[kaito2005]

Dag tweakers,

Ik ben van plan om binnenkort een nieuwe PC samen te stellen. En daar heb ik jullie advies bij nodig. Alle soorten input is welkom ("ik zou dit en dit anders doen" - is ook prima).

Een een korte beschrijving van wat ik doe en hoe ik deze PC ga gebruiken: Ik ben een Vormgever / motion designer die laatste tijd heel veel werk met 3D. hiervoor gebruik ik de software Cinema 4D (modeling & animatie), Houdini (voor sims), Redshift (GPU render engine), Fusion & After Effects (voor Composting). Overige design werk doe ik op een macbook, dus dat hoef niet met deze PC.

Voor mij is het allerbelangrijkste dat ik heel snel een beeld kan krijgen van mijn 3D creaties zodat ik veel sneller design keuzes kan maken. Ik werk tegenwoordig met zware texture setups en grote scenens en dat gaat voor mij net niet snel genoeg. Ik wil dus een nieuwe systeem met focus op GPU rendering. Ook goed om te weten: Redshift vreet CUDA cores. Dus AMD kaartjes zijn geen optie.

Dit is voorlopig mijn idee:
- AMD threadripper 3970x als basis. Hier ben ik nog niet 100% over uit. Ik moet in ieder geval genoeg kracht hebben voor Houdini sims.
- 2x rtx 3090 founders edition. Ik wil in eerste instantie 1 kaart kopen en dan iets later uitbreiden een tweede.
- 64GB ram. Ik hoop dat dit voldoende is (?).
- ± 1TB SSD

En dan mijn vraag:
- Wat voor een board moet ik kopen? Het moet genoeg ruimte hebben voor (uiteindelijk) 2x 3090 founders edition. En ik die 3090's met SLI moet ik goed kunnen draaien zonder bottlenecks.
- wat voor een voeding heb ik nodig?
- Hoe moet ik deze systeem gaan koelen?

Budget: 7k (incl.BTW).

Nogmaals, alle soorten feedback is welkom.

[Uszka]

Voor gpu rendering gebruik je juist geen SLI!

Wat zijn de systeemeisen voor Houdini?

[Bartske]

Ben je voor dit soort werk niet beter af met een workstation met de garantie dat het goed werkt?

[Umbrah]

Klopt, geen SLI, maar meer zaken als nVlink, en hoewel ik houdini niet ken, zijn veel tile/chunk based GPU workloads zonder nVlink juist erg goed te verdelen over meerdere GPU's. Let wel dat de RTX3090 nét geen echte nVlink kent, itt Quadro's/Tesla's/etc... Blender e.d. is erg goed in niet-linked multi-GPU renderen, maar hoe het gaat in Redshift/Houdini/Adobe weet ik niet.

Wel denk ik that TR40x een goed platform is, omdat het de PCIe lanes + bandbreedte bied om het geheel te laten werken.

Denk er overigens ook aan dat mocht SLI (dus mét bridge, je kan multi GPU zonder bridge doen) tóch een noodzaak is, dat het lijst je TR40x borden met de juiste PCIe spacing én 16x wiring lastig te vinden is (waar je idealiter overigens CPU lanes pakt IPV PCH-lanes). nVidia heeft in hun eindeloze wijsheid nogal wat gare bridging gedaan, en ook nogal wat gekke beslissingen genomen mbt. het standaardiseren van de GPU-side connector: koop altijd 2x zelfde GPU want de connector kan bij elk model weer op een andere hoogte/breedte zitten...

[kaito2005]

Umbrah schreef op zondag 13 december 2020 @ 17:48:
Klopt, geen SLI, maar meer zaken als nVlink, en hoewel ik houdini niet ken, zijn veel tile/chunk based GPU workloads zonder nVlink juist erg goed te verdelen over meerdere GPU's. Let wel dat de RTX3090 nét geen echte nVlink kent, itt Quadro's/Tesla's/etc... Blender e.d. is erg goed in niet-linked multi-GPU renderen, maar hoe het gaat in Redshift/Houdini/Adobe weet ik niet.

Wel denk ik that TR40x een goed platform is, omdat het de PCIe lanes + bandbreedte bied om het geheel te laten werken.

Denk er overigens ook aan dat mocht SLI (dus mét bridge, je kan multi GPU zonder bridge doen) tóch een noodzaak is, dat het lijst je TR40x borden met de juiste PCIe spacing én 16x wiring lastig te vinden is (waar je idealiter overigens CPU lanes pakt IPV PCH-lanes). nVidia heeft in hun eindeloze wijsheid nogal wat gare bridging gedaan, en ook nogal wat gekke beslissingen genomen mbt. het standaardiseren van de GPU-side connector: koop altijd 2x zelfde GPU want de connector kan bij elk model weer op een andere hoogte/breedte zitten...

Ah yes, ik bedoelde ook NVlink. Het is wel handig om die kaarten aan elkaar te koppelen toch? Voor Redshift is NVlink niet vereist. Mijn renders worden daar niet sneller van volgens mij, maar ik kan wel meer geo data inladen als de vram wordt gebundeld.

Alhoewel.. ik weet niet of ik echt meer dan 24gig aan vram nodig heb. Ik doe het nu met 12 en daar kom ik al een heel eind mee. Ik wil in ieder geval geen performance laten liggen. gezien de prijskaartje van zo een machine.

Houdini heeft trouwens niet veel aan gelinkt GPU's. Houdini gaat vooral goed op een sterke CPU met veel cores en heel veel ram. Cinema 4D heeft daar weer weinig aan, want die is eens niet volledig multithreaded. After Effects (en Adobe in het algemeen) is dan weer een grote puinhoop en draait heel anders per systeem. Daarom doe al mijn design werk (met Adobe software) op een macbook. Daar draait Adobe een stuk stabieler in mijn ervaring.

[Umbrah]

Mja, dat is dus het probleem van GeForce NVLink. Op quadro's e.d. wordt die 2x24GB ook effectief 48GB, bij GeForce niet... als je nu echter al met 12 een eind komt, dan zal 24 ruim voldoende zijn. Het mooie is dat er wél een vorm van ECC op de consumentenkaarten zit.

[kaito2005]

Uszka schreef op zondag 13 december 2020 @ 17:42:
Voor gpu rendering gebruik je juist geen SLI!

Wat zijn de systeemeisen voor Houdini?

https://www.sidefx.com/Support/system-requirements/

Umbrah schreef op zondag 13 december 2020 @ 18:59:
Mja, dat is dus het probleem van GeForce NVLink. Op quadro's e.d. wordt die 2x24GB ook effectief 48GB, bij GeForce niet... als je nu echter al met 12 een eind komt, dan zal 24 ruim voldoende zijn. Het mooie is dat er wél een vorm van ECC op de consumentenkaarten zit.

Check. Dan is het beter om ze niet aan elkaar te linken.

[ Voor 46% gewijzigd door kaito2005 op 13-12-2020 19:01 ]

[Djarune]

Als voeding heb je tenminste 1200W of meer nodig. Een high-end multi-rail lijkt me verstandig:
pricewatch: be quiet! Dark Power Pro 12 1500W
pricewatch: Enermax Platimax EPM1700EGT
pricewatch: Antec HCP-1300 Platinum

[kaito2005]

Djarune schreef op maandag 14 december 2020 @ 10:57:
Als voeding heb je tenminste 1200W of meer nodig. Een high-end multi-rail lijkt me verstandig:
pricewatch: be quiet! Dark Power Pro 12 1500W
pricewatch: Enermax Platimax EPM1700EGT
pricewatch: Antec HCP-1300 Platinum

Iets rond de 1500W lijkt mij ook wel handig toch? Vooral als ik straks 2x 3090 er in ga stoppen. Ik ga mij even inlezen over multi-rail voedingen.

En dan is nog de vraag: Hoe houd ik de temps laag.. water cooling vs air cooling? Ik zou het graag met air cooling willen proberen (met een kast met goede airflow), maar misschien is dat niet realistisch? zeker als ik de GPU's urenlang ga belasten.

[ybysaia]

kaito2005 schreef op zondag 13 december 2020 @ 19:00:
[...]


https://www.sidefx.com/Support/system-requirements/


[...]

Uit die link haal ik dat een multi-GPU-opstelling momenteel niet wordt ondersteund:
"GPU acceleration currently does NOT make use of multiple OpenCL devices (i.e. two or more graphics cards) but this may change at a future date."

Kan zijn dat je dit al wist natuurlijk.

[Umbrah]

Threadripper op lucht kan, en kan zelfs erg goed. Zowel Noctua als AMD zelf (via Cooler Master) hebben redelijke luchtkoeling. Ik ben zelf voor water gegaan, en het gevoel is eigenlijk een stuk fijner. Wel custom loop: ga niet voor asetek-stijl waterkoeling, en al helemaal niet voor Enermax (ondanks dat die aantrekkelijk zal lijken). Door de mega-IHS van Threadripper zal iets als een NZXT koeler wel aantrekkelijk LIJKEN, maar ik kan het (uit ervaring) afraden. Er zitten gewoon dies aan de buitenkant van de IHS, en ondanks het "spreader" effect is een coldplate er direct boven altijd beter.

2x 3090 + threadripper op lucht lijkt me goed te kunnen, maar verwacht wat meer "spiky" temperaturen. Het is ook wat meer onderhoud vrij... want bij water + threadripper is denk ik custom loop haast het meest realistisch... (persoonliijk maar één GPU, een 2080, en ook die zit op water, maar het fijne is dat ik gewoon 3 bakbeesten van radiatoren met super trage fans er op heb lopen).

[Djarune]

kaito2005 schreef op maandag 14 december 2020 @ 12:29:
[...]

Iets rond de 1500W lijkt mij ook wel handig toch? Vooral als ik straks 2x 3090 er in ga stoppen. Ik ga mij even inlezen over multi-rail voedingen.

Power limit van een RTX 3090 FE = 370W
CPU gebruikt maximaal 286W bij 32 cores.
Ik denk bij nader inzien dat 1200W net te weinig is bij maximaal gebruik. 1300W of meer is voldoende. De Dark Power 12 is in ieder geval zeer high end.

En dan is nog de vraag: Hoe houd ik de temps laag.. water cooling vs air cooling? Ik zou het graag met air cooling willen proberen (met een kast met goede airflow), maar misschien is dat niet realistisch? zeker als ik de GPU's urenlang ga belasten.

High-end luchtkoeling gaat prima. Bedenk wel dat je ook moet investeren in case koeling met die 2 hete graka's

[Hackus]

Reken op 400-450 W per GPU. en voldoende PCIe Rails.
ikzelf zou deze voeding gaan gebruiken pricewatch: be quiet! Dark Power Pro 12 1500W

[kaito2005]

ybysaia schreef op maandag 14 december 2020 @ 12:37:
[...]


Uit die link haal ik dat een multi-GPU-opstelling momenteel niet wordt ondersteund:
"GPU acceleration currently does NOT make use of multiple OpenCL devices (i.e. two or more graphics cards) but this may change at a future date."

Kan zijn dat je dit al wist natuurlijk.

Ja klopt dat klopt, maar ik gebruik Houdini vooral voor simulaties (water, vuur, rook / wolken, softbody/dynamics, etc). Dan wordt vooral je CPU belast en niet zozeer je GPU. De boel mooi maken en renderen doe ik met Cinema 4D en dan heb ik alle CUDA cores nodig die ik kan krijgen.

@Djarune Thanks. yes, als ik met fan ga moet ik wel echt gaan kijken naar een goede airflow. Waarschijnlijk moet ik de hele kast gaan volstoppen met fans hahaha. noise level zal niet best zijn, maar dat maakt mij minder uit.

@Umbrah Check. water cooling betekent dus sowieso custom loops. Daar was ik al een beetje bang voor. Ik heb weinig ervaring met water cooling, dus laat staan custom loops. En volgens hangt er ook een flinke prijskaartjes aan een custom loop (?), dus ik weet ook niet of dat wel past bunnen mijn budget.

Voor moederbord zit ik te trouwens te denken aan deze: pricewatch: ASUS ROG Zenith II Extreme Alpha

[Umbrah]

Ik zou de voeding inderdaad ook een factor laten zijn (en zoals @ybysaia al aangaf: ook de noodzaak dual GPU). Zowel the Threadripper kan van 8-9W naar die 280W (en dan met turbo trekt hij soms wel >340W) schakelen, terwijl de GPU's ook makkelijk tussen 10W en die 300W+ kunnen schakelen. Dus max vermogen is niet alles... de mogelijkheid om snel te schakelen zonder surges is ook een mega factor!

kaito2005 schreef op maandag 14 december 2020 @ 13:21:
[...]


@Umbrah Check. water cooling betekent dus sowieso custom loops. Daar was ik al een beetje bang voor. Ik heb weinig ervaring met water cooling, dus laat staan custom loops. En volgens hangt er ook een flinke prijskaartjes aan een custom loop (?), dus ik weet ook niet of dat wel past bunnen mijn budget.

Ik zeg niet 100% custom loop. Naast de enermax variant zijn er vast ook wel andere AIO's te vinden die een threadripper IHS-formaat snappen. Zelf ben ik voor de custom loop gegaan, maar dat had naast koeling/stilte voor mij ook andere redenen (hobby, looks, etc...). Ik zal zeker aanraden om het op lucht te proberen!

[ Voor 48% gewijzigd door Umbrah op 14-12-2020 13:27 ]

[dylan111111]

Umbrah schreef op zondag 13 december 2020 @ 18:59:
Mja, dat is dus het probleem van GeForce NVLink. Op quadro's e.d. wordt die 2x24GB ook effectief 48GB, bij GeForce niet... als je nu echter al met 12 een eind komt, dan zal 24 ruim voldoende zijn. Het mooie is dat er wél een vorm van ECC op de consumentenkaarten zit.

Een kleine toegevoegde reactie hierop, het ECC gedeelte zit alleen in het GDDR6X VRAM geheugen van de kaart, fouten kunnen nog steeds voorkomen in andere delen van de kaart.

Op een GPU waarop een computerspel draait veroorzaakt één geheugenfout doorgaans geen problemen (bijvoorbeeld, Één pixelkleur is mogelijk niet correct voor één frame). Het is zeer onwaarschijnlijk dat de gebruiker zich van het probleem bewust is. Technische computertoepassingen zijn echter afhankelijk van de nauwkeurigheid van de gegevens die door de GPU worden geretourneerd.

NVIDIA Tesla GPU's kunnen single-bit fouten corrigeren en double-bit fouten detecteren en een waarschuwing hiervan geven. Op de nieuwste Tesla V100, Tesla T4, Tesla P100 en Quadro GV100 / GP100 GPU's zit ECC-ondersteuning in het HBM2-geheugen, evenals in de register files, shared memories, L1 cache and L2 cache.

Nu kan ik mij voorstellen dat het voor video's renderen het niet zo veel uitmaakt maar wanneer je gpu's dagen lang staan te stampen op een berekening dan kan de kleinste bit flip er voor zorgen dat de uitkomst anders is. Dit is de meerwaarde van een Quadro of Tesla kaart.

Bron: https://www.microway.com/...us-and-nvidia-tesla-gpus/

@kaito2005

Als lucht koeler zal ik niks minder dan een be quiet! Dark Rock Pro TR4 pakken. Zo lang je zelf niet gaat overclocken is prima wat ik lees op het internet. Pak ook een kast met goede airflow en extra case fans om de warmte goed te kunnen afvoeren!

[Djarune]

Je hebt trouwens een moederbord nodig met 4x PCIe 4.0 x16 poorten zodat er ruimte tussen de 2 kaarten zit.

pricewatch: ASRock TRX40 Creator
pricewatch: MSI TRX40 PRO WIFI
pricewatch: MSI TRX40 PRO 10G
pricewatch: Gigabyte TRX40 Aorus Pro WiFi

Koeling is een dingetje. Je kunt er misschien voor kiezen om een volledig open kast te nemen of een kast die aan alle kanten gaas heeft met fans.

[ Voor 48% gewijzigd door Djarune op 14-12-2020 15:04 ]

[Hackus]

@kaito2005 Welke PC gebruik je nu eigenlijk ?

[kaito2005]

Umbrah schreef op maandag 14 december 2020 @ 13:21:
Ik zou de voeding inderdaad ook een factor laten zijn (en zoals @ybysaia al aangaf: ook de noodzaak dual GPU). Zowel the Threadripper kan van 8-9W naar die 280W (en dan met turbo trekt hij soms wel >340W) schakelen, terwijl de GPU's ook makkelijk tussen 10W en die 300W+ kunnen schakelen. Dus max vermogen is niet alles... de mogelijkheid om snel te schakelen zonder surges is ook een mega factor!

Wat houd dat in precies? Ik volg je niet helemaal. Waar moet ik nog meer op letten behanve de max vermogen van de voeding?

@dylan111111 Thanks voor de info. Tijdens renderen krijgt de GPU nieuwe instructies per pass. Volgens mij is dat hoe Redshift werkt. Dus hoewel ik soms een dag over doe om een 3D shot te renderen is de GPU per pass en per frame bezig met nieuwe instructies. Dit moet dan geen probleem zijn toch?

@Djarune Thanks. Ik ga even goed kijken. Ik zat zelf ook nog te denken aan de ASUS ROG zenith II extreme. Of is dat overkill?

@Hackus Ik heb nu een kastje met i9-9900KF en 2x 2080ti.

[Umbrah]

Waar je nog meer op moet letten, is of de voeding snel kan schakelen zonder enorme dips te genereren. Dat is niet zo snel in een "cijfer" uit te drukken: transient response time komt het beste in de buurt. Je VRM zal altijd 12V als input moeten geven, en een zeker voltage naar de CPU toe. Het verschil is dat je van ~4 Ampere load, ineens naar 20 gaat. V*A, en logischerwijs zul je als "gevolg" krijgen dat het voltage afneemt bij dit soort gedrag. De voeding moet dit compenseren, langer dan ~100ms beneden die 12V kan twee gevolgen hebben: de PC valt uit/doet gek, of je raakt hardware kwijt. En bij voorkeur doet een voeding dit soort schakelacties zonder óók nog eens de overcurrent bescherming te triggeren (threadripper + 2x3090 + sommige seasonic 1200W gevallen zijn berucht). Anders is het een stabiel systeem, totdat je iets doet. En dan POEF

[Hackus]

kaito2005 schreef op maandag 14 december 2020 @ 18:17:


@Hackus Ik heb nu een kastje met i9-9900KF en 2x 2080ti.

Zou je niet beter uit zijn qua prijs performance met AMD 5950X ?
Ik zou daar eerst eens onderzoek naar doen, voor je een TR gaat kopen van E2000,- (alleen CPU)

Kast: pricewatch: Fractal Design Meshify 2 XL Dark Tempered Glass
Koeler: pricewatch: be quiet! Dark Rock Pro 4
MB: pricewatch: MSI MEG X570 Godlike
CPU: pricewatch: AMD Ryzen 9 5950X Boxed
GPU: pricewatch: MSI GeForce RTX 3090 Gaming X Trio
SSD: pricewatch: WD Black NVMe SSD SN850 1TB (zonder heatsink)

[ Voor 105% gewijzigd door Hackus op 14-12-2020 19:11 ]