Systeem voor rekenen (FFT, matrix) en beeldverwerking

[Nijn]

Ik werk voor (en ben klein-aandeelhouder van) een startup die een 3D printer ontwikkeld via een nieuw proces. Ik zou het graag doen, maar helaas kan ik daar pas volgende maand meer over vertellen

Voor onze eerste twee prototypes gaan we twee systemen aanschaffen. Systemen samenstellen ligt buiten mijn expertise, dus ik hoop dat jullie met me mee kunnen kijken.

Wat wil je doen met je nieuwe systeem?
De systemen staan aangesloten op onze 3D printer. Ze zijn de interface voor de hardware, waaronder twee GigE camera's. Om snel beelden te kunnen encoden gebruiken we een NVidia GPU. Die kaart heeft echter nog een veel belangrijkere rol: Ons proces vergt veel rekenkracht. We doen veel FFT / Matrix berekeningen, waar een GPU natuurlijk perfect voor is.

Wat mag het systeem gaan kosten?
Het budget was €2800 / €3000. Maar we gaan er iets overheen zodat we een RTX3080 kunnen nemen.

Zijn er componenten of randapparatuur die je al hebt en mee wil nemen naar je nieuwe systeem?
De meeste componenten maken verbinding via Ethernet, dus weinig speciale eisen. Enige 'rare' is dat we 'm in een 19" rack willen ophangen.

Wat denk je allemaal nodig te hebben?
Deze systemen zullen de hele dag aan staan. Ons normale print process vergt niet heel veel. We tonen wel live camera beelden, maar slaan daar slechts snapshots van op. Een paar keer per uur zal er een burst van een minuut of twee zijn waarin ze stevig moeten rekenen. (Bij het starten van een nieuwe print).
Opslag is onbelangrijk: Beelden die we maken gaan vanuit ram naar een NAS.

Heb je nog bepaalde (merk)voorkeuren?
De grafische kaart moet CUDA ondersteunen, dus NVidia. Maar dat mogen gewoon 'consumenten' kaarten zijn.

Heb je nog bepaalde eisen/wensen?
Ze zijn (helaas) niet om te gamen / krijgen veel kans om af te koelen.

Ga je overklokken?
Nee. Stabiliteit is belangrijker.

Wat verwacht je van ons?
Bevestiging dat mijn keuzes zinvol zijn. Of uitgelachen worden omde domme fouten die ik gemaakt heb


Het systeem wat ik heb samengesteld is als volgt:
Update hier

#	Category	Product	Prijs	Subtotaal
1	Processors	AMD Ryzen 9 5950X Boxed	€ 755,65	€ 755,65
1	Moederborden	Gigabyte X570 AORUS ELITE	€ 175,90	€ 175,90
1	Videokaarten	Gigabyte GeForce RTX 3080 TURBO 10G (rev. 2.0)	€ 1.499,-	€ 1.499,-
1	Behuizingen	Silverstone RM41-506	€ 189,90	€ 189,90
1	Processorkoeling	be quiet! Dark Rock Pro 4	€ 75,22	€ 75,22
1	Geheugen intern	Kingston Fury Renegade KF436C16RB1K2/32	€ 147,90	€ 147,90
1	Voedingen	Corsair RM750x (2018) (EU-model) Zwart	€ 104,89	€ 104,89
1	Solid state drives	Samsung PM9A1 1TB	€ 144,90	€ 144,90
			Totaal	€ 3.093,36

De keuzes zijn op basis van de recente BBG's. Het is een update van de Streaming- en editing-pc uit november. Op basis van de Processor BBG van januari ben ik bij een Ryzen CPU gebleven. Ik denk zelf dat er nog iets te halen valt bij een ander moederbord. Bewust gekozen om bij de de X570 chipset te blijven i.v.m. bandbreedte naar de videokaart. Ik zie goedkopere moederborden die prima zouden voldoen, maar durf niet zo goed te besparen op de VRM's. Ik lees dat die er best toe doen, zelfs zonder overclocken?

[Nutral]

Ik heb een beetje gekeken naar fft op cuda cores, vind alleen iets over een andere library (vkFFT https://openbenchmarking.org/test/pts/vkfft ). in benchmarks van cuda cores zie ik dat de 2080 TI ook nog best wat performance heeft, maar de informatie is wat vaag en zo makkelijk is een 2080 ti ook niet te krijgen. https://compubench.com/result.jsp

Wat ik zo lees op internet heeft die gigabyte niet echt hele goede Geheugen koeling, compute leunt vaak flink op het geheugen, en als je hem constant gebruikt is het denk ik betrouwbaarder om een 3080 te nemen die wat betere geheugen koeling heeft
( https://www.reddit.com/r/...ts/mc1j9h/rtx_3080_turbo/ )

Je geeft aan dat er even flink gerekend word, dus de rest van de tijd doet hij niks? Hoe belangrijk is het dat dit 2/3 minuten kost ipv bijvoorbeeld 6 minuten?

[Nijn]

De rekenkracht is voor ons erg belangrijk, omdat het redelijk bepalend is voor de user experience. Bij het starten van de print is de gebruiker zelf aanwezig. Als de berekening 6 minuten duurt i.p.v. 2, gaat dat een enorm verschil maken. Zeker gezien dat met onze snelheid meerdere keren per uur is. We willen in de toekomst ook naar een meer gecentraliseerde oplossing: Server met X kaarten.

Ik vind het zelf ook moeilijk om in te schatten welke kaart goed is voor onze workloads. Maar er lijkt wel een relatie te zijn met het aantal CUDA-cores. Gezien de 3080 100% meer CUDA-cores heeft dan de 2080 TI denk ik dat dat een veilige keuze is.

Geheugen koeling is een goed punt. Daarbij moet ik wel vermelden dat onze rack kast juist vanaf voor naar achteren gaat blazen. Toevallig blijkbaar precies wat deze kaart lijkt te doen. Dus ik denk eigenlijk dat dit juist een hele goeie voor ons is. (Totaal by chance).

[ Voor 3% gewijzigd door Nijn op 06-01-2022 16:28 ]

[ColonelPhantom]

Ik lees in je post vooral veel over je GPU-eisen, maar niks over CPU. Tenzij die eis er wel is maar niet genoemd, is een 5950X misschien wat overdreven en zou een 5900X of lager een optie zijn.

Ik geloof dat moederbord chipset niet extreem belangrijk is, zeker als je bij een single-GPU systeem blijft. Ik lees dat jullie in de toekomst misschien wel meerdere kaarten willen, het gekozen moederbord zal echter niet verder komen dan 2. Als je snelle communicatie wil met veel GPU's zal je waarschijnlijk toch aan Threadripper/Epyc/Xeon moeten geloven.

[Nijn]

Je hebt gelijk. Over m'n CPU keuze heb ik een stuk minder twijfel, denk dat ik er daarom niet aan gedacht heb

De techniek is ontwikkeld door natuurkundigen die dol zijn op Python. Toen ik betrokken raakte bij het project ben ik al begonnen wat dingen wat logischer in te delen en efficienter te maken. 'Mijn' deel van de code draait nu in 5 verschillende processen waar zij niet aan zitten. Hun algorithmes draaien nog in Python en maken mondjesmaat gebruik van multi-threading & multi-processing om hier en daar wat snelheidswinst te halen. (Meestal ook door mij geschreven). Ik heb bewust gekozen voor een stevige processor met redelijk wat cores, zodat we alle mogelijkheden om te paraleliseren kunnen benutten. Maar tegelijkertijd loopt single-core performance niet al te veel achter, zodat ze hun nieuwe algorithmens snel kunnen implementeren en testen. (Gebeurt meerdere keren per week).

N.B. Ik ben goed bekend met de CPython GIL en de problemen die dat oplevert voor multi-threading

---
Dit systeem gaat niet multi-GPU draaien. Waneer we daar klaar voor zijn (en geld hebben) gaan we een nieuw systeem bouwen met een x aantal GPU's en ongetwijfeld een andere architectuur voor een betere bandbreedte naar de GPU's. Op dit moment is dat nog geen optie. (Zowel financieel als infrastructuur-wise als software)

---
Ik ga toch weer kijken naar een B550 moederbord. Eerder had ik die optie afgewezen i.v.m. PCIe 4 ondersteuning, maar dat heeft ie wel gewoon

[Nijn]

B550 moederbord lijkt mij inderdaad prima. Is nog een upgrade ook, en goedkoper.

Aangepaste shopping list:

#	Category	Product	Prijs	Subtotaal
1	Processors	AMD Ryzen 9 5950X Boxed	€ 759,-	€ 759,-
1	Moederborden	MSI MAG B550 Tomahawk	€ 139,-	€ 139,-
1	Videokaarten	Gigabyte GeForce RTX 3080 TURBO 10G (rev. 2.0)	€ 1.499,-	€ 1.499,-
1	Behuizingen	Silverstone RM41-506	€ 189,90	€ 189,90
1	Processorkoeling	Noctua NH-U9S chromax.black	€ 64,90	€ 64,90
1	Geheugen intern	Kingston Fury Renegade KF436C16RB1K2/32	€ 147,90	€ 147,90
1	Voedingen	Corsair RM750x (2018) (EU-model) Zwart	€ 104,89	€ 104,89
1	Solid state drives	Samsung PM9A1 1TB	€ 144,90	€ 144,90
			Totaal	€ 3.049,49

Update: be quit! koeler vervangen voor Noctuna i.v.m. hoogte

Koeler is compatible.
Noctua koeler is compatible met moederbord en kast

[ Voor 4% gewijzigd door Nijn op 07-01-2022 17:11 ]

[ColonelPhantom]

De koeler lijkt niet compatibel, die is 162,8mm hoog en de pagina van de behuizing geeft 148mm aan.

[Nijn]

Wauw

Ik had enkel compatibaliteit met het moederbord gecontrolleerd.

Deze Noctua heeft een hoogte van 125mm, is volgens de Noctua site compatible met het moederbord en is onder de 148mm aangegeven voor het moederbord.

[Joesv]

Is er een reden waarom je voor de UH9S Chromax.black wilt gaan ipv de normale variant? Het scheelt maar 12 euro maar als je het in een rack wilt plaatsen heeft een ander kleurtje m.i. niet heel veel toegevoegde waarde.