[Bouw een PC] Budget build rondom AMD EPYC 9654 voor Monero

Pagina: 1
Acties:

Vraag


  • licon
  • Registratie: April 2025
  • Laatst online: 17-01 01:44
Wat wil je doen met je nieuwe systeem?
Ik wil een systeem bouwen specifiek voor CPU-mining, gericht op Monero (RandomX). Geen gaming of workstationsoftware; puur gericht op hash/watt-efficiëntie. Volgens de officiële benchmark op xmrig.com/benchmark behaalt de AMD EPYC 9654 een hashrate van 184 kH/s op RandomX. Daarmee is het een van de snelste CPU’s voor Monero-mining op dit moment.

Wat mag het systeem gaan kosten?
Zo goedkoop mogelijk. Ik heb inmiddels een 96-core AMD EPYC 9654 op het oog, die op eBay te koop staat voor €2052:
https://www.ebay.nl/itm/185996558782
Totaalbudget liefst onder de €5000, maar hoe lager, hoe beter. Tweedehands onderdelen zijn geen probleem mits betrouwbaar.

Zijn er componenten of randapparatuur die je al hebt en mee wil nemen naar je nieuwe systeem?
Nee, alles moet nieuw of tweedehands aangeschaft worden.

Wat denk je allemaal nodig te hebben?

AMD EPYC 9654 (96-core, SP5 socket, TDP 360W)

SP5 moederbord (liefst zo goedkoop mogelijk)

Minimaal 4× DDR5-4800 ECC RDIMM modules (128GB)

1000W+ Platinum voeding

Passende koeler voor SP5 socket (zoals SilverStone XE04-SP5)

4U rackmount of SSI-EEB compatibele behuizing

Kleine NVMe SSD (bv. 500GB)

Heb je nog bepaalde (merk)voorkeuren?
Geen voorkeur voor merk, prijs/prestatie is leidend. Bekende servermerken zoals Supermicro, Micron, Hynix, etc. zijn prima.

Heb je nog bepaalde eisen/wensen?

Stilte is niet belangrijk (het komt in een afgesloten ruimte)

Efficiëntie is wél belangrijk i.v.m. stroomkosten

Laag stroomverbruik idle mag, maar onder full load moet alles stabiel zijn

Ga je overklokken?
Nee, alles draait op standaard instellingen.

Wat verwacht je van ons?
Ik zoek hulp bij het optimaliseren van deze build voor lage kosten. Concreet zoek ik antwoorden op:

Wat is het goedkoopste betrouwbare SP5 moederbord dat de EPYC 9654 ondersteunt?

Wat is het goedkoopste ECC DDR5-geheugen dat goed genoeg is voor RandomX mining?

Zijn er verborgen valkuilen bij deze CPU qua compatibiliteit of prestaties?

Zijn er betere alternatieven voor eBay om aan serveronderdelen te komen?


Voorbeeldconfiguratie (ter referentie):

CPU: AMD EPYC 9654 – €2052 (eBay)

Moederbord: T2SEEP Server Motherboard – ±€700

Geheugen: 4×32GB Samsung DDR5-4800 ECC RDIMM – ±€214,57 per stuk

Voeding: be quiet! Straight Power 11 Platinum 1000W – ±€229,50

Koeler: SilverStone XE04-SP5 – ±€150

Behuizing: InWin IW-RS104-02 – ±€200

SSD: Crucial P3 500GB NVMe – ± €49,95
Totaal: ± €3845

[ Voor 9% gewijzigd door licon op 11-04-2025 18:01 ]

Alle reacties


  • Dekar
  • Registratie: Juni 2005
  • Laatst online: 07:35
Wat je ook met het geld kan doen is beleggen in een goed aandelenfonds. Dat levert waarschijnlijk veel meer op. En je hebt er geen omkijken naar.

ROI van je rig is denk ik 7 tot 10 jaar. Je bent afhankelijk van stroomprijzen, en je schrijft natuurlijk ook een groot deel af omdat over 7 jaar al die hardware nog maar een schijntje waard is. Of Monero daalt in waarde en je hebt ook niks meer aan je rig. En ik weet niet hoe Monero werkt, maar als meer mensen gaan minen kan het mogelijk ook moeilijker worden om te minen.

Als je toch gaat beginnen omdat je het leuk vind, dan zou ik ook zeker je CPU proberen maximaal te undervolten, zodat je zo weinig mogelijk kosten maakt.

Maar als het super lucratief zou zijn, dan had bv. Wall Street al warehouses vol van die rigs gebouwd.

[ Voor 48% gewijzigd door Dekar op 12-04-2025 14:00 ]

The Beauty of the House is immeasurable; its Kindness infinite"


  • White Feather
  • Registratie: Januari 2000
  • Laatst online: 03-02 19:22
Ik ben inderdaad benieuwd naar de return on investment.

Je kunt ook die 4k direct in Monero stoppen. En dat is nog exclusief stroom kosten over de jaren heen.

  • 99ruud99
  • Registratie: December 2018
  • Laatst online: 14:45
Ik zou zo'n pc juist in winter gebruiken... In zomer wil je geen 1000W continue verwarming.

In winter heb je dan gratis klein kacheltje. Als die 24/7 aan staat houdt die je kantoor warm ^^.

Hoeveel is 1 Monero waard? Want opstartkosten van 5000 euro is flink...

Stel je probeert het eerst met een standaard cpu, build van zon 500 euro, en kijkt dan hoeveel winst je draait... Is dat een optie?

  • paknaald
  • Registratie: Juni 2001
  • Laatst online: 28-01 19:23
https://www.coinwarz.com/...=KH&hc=3995.00&hs=-1&hq=1

:o

Heb twee keer gechecked en ook de prijs van Monero nog los opgezocht. ROI in dagen of weken? Zelf geen crypto kenner of enthousiasteling, maar wat ik niet snap is dat met deze prijzen zelfs huurservers nog haalbaar lijken?

600 euro per maand voor een stevige AMD Epyc server bij Worldstream.

Edit: Sorry, middelbare school natuurkunde. H/s versus kH/s

[ Voor 51% gewijzigd door paknaald op 12-04-2025 19:01 ]


  • sig69
  • Registratie: Mei 2002
  • Laatst online: 03-02 16:44
Je zit er een factor 1000 naast volgens mij (hashrate). Maar ik ben geen expert.

[ Voor 29% gewijzigd door sig69 op 12-04-2025 19:01 ]

Roomba E5 te koop


  • br00ky
  • Registratie: Januari 2014
  • Laatst online: 12:28

br00ky

Moderator Harde Waren
Gokje, minen met de Nederlandse energieprijzen is niet winstgevend. Maar goed, we horen graag terug van TS :).

  • licon
  • Registratie: April 2025
  • Laatst online: 17-01 01:44
Dekar schreef op zaterdag 12 april 2025 @ 13:53:
Wat je ook met het geld kan doen is beleggen in een goed aandelenfonds. Dat levert waarschijnlijk veel meer op. En je hebt er geen omkijken naar.
Nee, dan heb je al dat anti-witwas gezeur! Anoniem internetgeld zoals Monero is veel interessanter om te minen.

  • licon
  • Registratie: April 2025
  • Laatst online: 17-01 01:44
White Feather schreef op zaterdag 12 april 2025 @ 16:13:
Ik ben inderdaad benieuwd naar de return on investment.

Je kunt ook die 4k direct in Monero stoppen. En dat is nog exclusief stroom kosten over de jaren heen.
Zeer speculatief! Maar de achterliggende IT techniek (RandomX, RingCT en Bulletproofs Zero Know Proofs) is wel interessant om beleggingen mee te spreiden, dus bijvoorbeeld 4k direct kopen en 4k minen lijkt me wel interessant.

[ Voor 5% gewijzigd door licon op 12-04-2025 20:13 ]


  • licon
  • Registratie: April 2025
  • Laatst online: 17-01 01:44
br00ky schreef op zaterdag 12 april 2025 @ 20:05:
Gokje, minen met de Nederlandse energieprijzen is niet winstgevend. Maar goed, we horen graag terug van TS :).
Ik heb goede energieprijzen, dus daar zit de belemmering niet.

  • thunder7
  • Registratie: Januari 2003
  • Laatst online: 11:01

thunder7

houten vaas/schaal nodig?

Ik zie overigens dat de epyc 9754 QS meer cores heeft en goedkoper is op ebay - omdat het een QS versie is zullen de clocks wel lager zijn, maar ik weet niet of een kwart meer cores daar tegen op weegt.

hout-nerd - www.hetmooistehout.nl of www.houtenschalen.nl


  • Dekar
  • Registratie: Juni 2005
  • Laatst online: 07:35
@licon wat bedoel je met anti-witwas gezeur?

The Beauty of the House is immeasurable; its Kindness infinite"


  • br00ky
  • Registratie: Januari 2014
  • Laatst online: 12:28

br00ky

Moderator Harde Waren
licon schreef op zaterdag 12 april 2025 @ 20:13:
[...]


Ik heb goede energieprijzen, dus daar zit de belemmering niet.
Volgens de eerder genoemde calculator (en een random andere) en je target hash is zelfs bij gratis stroom de ROI ~4 dollar per dag. Is dat wat je door ogen hebt? Ik zit verder niet in die wereld dus misschien is dit heel normaal?

  • martyw
  • Registratie: Januari 2018
  • Laatst online: 11:50
Ik ga er vanuit dat je zelf ook gerekend hebt, en tot de conclusie gekomen bent dat je business case klopt, zelf zit ik niet in Crypto en wil dat zo houden ;)

Bedenk dat als je dit soort onderdelen via E-Bay van buiten de EU laat komen er nog BTW overheenkomt, dan ben je met een lijstje met bij lokale webshops ongeveer net zo duur uit.
Voor een CPU die 400 Watt kan verstoken heb je geen voeding van een kilowatt nodig.

#CategorieProductPrijsSubtotaal
1ProcessorsAMD EPYC 9654€ 3.224,72€ 3.224,72
1MoederbordenASRock Rack GENOAD8UD-2T/X550€ 924,90€ 924,90
1BehuizingenInter-Tech 4U 40255€ 140,70€ 140,70
1ProcessorkoelingDynatron J10€ 59,99€ 59,99
4Geheugen internKingston Fury Renegade Pro KF560R32RBE-32€ 169,90€ 679,60
1VoedingenCorsair RM650e (2025)€ 89,90€ 89,90
1SSD'sWD Green SN3000 512GB€ 37,95€ 37,95
Totaal€ 5.157,76

[ Voor 4% gewijzigd door martyw op 13-04-2025 11:14 ]


  • Dekar
  • Registratie: Juni 2005
  • Laatst online: 07:35
@martyw weet je zeker dat die 1x 4+4 pins genoeg is voor een 400W CPU? Moederbord heeft namelijk 3 aansluitingen.

The Beauty of the House is immeasurable; its Kindness infinite"


  • martyw
  • Registratie: Januari 2018
  • Laatst online: 11:50
Dekar schreef op zondag 13 april 2025 @ 12:44:
@martyw weet je zeker dat die 1x 4+4 pins genoeg is voor een 400W CPU? Moederbord heeft namelijk 3 aansluitingen.
Goed punt, deze levert wel voldoende op de 12+4 pins, Corsair RM850x (2024), de 650 Watt voeding levert onvoldoende....

[ Voor 29% gewijzigd door martyw op 13-04-2025 21:18 ]


  • licon
  • Registratie: April 2025
  • Laatst online: 17-01 01:44
White Feather schreef op zaterdag 12 april 2025 @ 16:13:
Je kunt ook die 4k direct in Monero stoppen.
4k in Monero een maand geleden is nu trouwens 6k waard! Maar het steunen van een decentraal netwerk met meer rekenkracht heeft zelf natuurlijk ook een meerwaarde daar bovenop.
Dit systeem is daarnaast ook bedoeld als een prive test- en uitrolserver voor AI-agent-projecten. GitHub rekent $0,008 per minuut voor rekentijd bij privéprojecten. Als ik 24 parallele taken 24/7 tegelijk uitvoer op 96 processorkernen (94/24=4-core VMs), komt dat neer op meer dan $8.000 per maand aan vergelijkbare waarde bespaard op de belachelijk hoge prijzen van GitHubActions/Azure.

  • White Feather
  • Registratie: Januari 2000
  • Laatst online: 03-02 19:22
licon schreef op zaterdag 10 mei 2025 @ 00:32:
[...]


4k in Monero een maand geleden is nu trouwens 6k waard! Maar het steunen van een decentraal netwerk met meer rekenkracht heeft zelf natuurlijk ook een meerwaarde daar bovenop.
Dit systeem is daarnaast ook bedoeld als een prive test- en uitrolserver voor AI-agent-projecten. GitHub rekent $0,008 per minuut voor rekentijd bij privéprojecten. Als ik 24 parallele taken 24/7 tegelijk uitvoer op 96 processorkernen (94/24=4-core VMs), komt dat neer op meer dan $8.000 per maand aan vergelijkbare waarde bespaard op de belachelijk hoge prijzen van GitHubActions/Azure.
Ok, ik mag alleen hopen dat je je beslissing niet alleen neemt over “wat je hebt bespaard”.

Als ik namelijk een Ferrari koop voor € 400.000 en elders is die € 500.000, dan heb ik misschien € 100k bespaard, maar wel 400k uitgegeven.

Ik zou dus eerst de berekening maken wat het je aan systeem en stroom kost (rekening houdend met andere doeleinden van de server). Als de Roi op het minen van Monero negatief is, dan moet je wel heel erg pro-coin zijn om ze te gaan minen ipv kopen.

  • Glamourt
  • Registratie: September 2013
  • Laatst online: 27-01 18:09
Vroeger kon ik met mijn videokaart R9 270X 2GB - 1 Monero in de 6 dagen minen :D
Gekheid, maar waarom wil je minen? Koop dan gewoon een staking coin, zoals cardano krijg je 4-5% ROI per jaar en heb je er geen omkijken naar. Behalve als je wilt laag inkopen / hoog verkopen. Handelen is veel lucratiever. Gebruik wel de dag chart en doe aan swing traden ;-)

Daytrading verlies je van de big boys

[ Voor 34% gewijzigd door Glamourt op 11-05-2025 11:23 ]


  • KaWaReZ
  • Registratie: Oktober 2005
  • Laatst online: 05-01 22:01
Oud topic,
Ben benieuwd of TS door is gegaan met deze poc ;)

Die 184khs is een dual cpu setup die "getuned" is middels script aanpassingen etc.
Overigens ga je met een paar plankjes niet ver komen, gezien je elk kanaal een reepje moet hebben om in de buurt te komen van die 184khs.
(24 plankjes)

Overigens: als je deze setup in een rackmount wilt proppen: kijk eens naar een 24bay supermicro chassis oid.
Psu's kun je gebruiken (zeker de 920 of als die ondersteund worden 1280w sq's)
Zijn al meteen platinum rated en hebben de juiste connectoren.

  • Dekar
  • Registratie: Juni 2005
  • Laatst online: 07:35
Gok van niet. ROI is dermate lang dat een PC van 5K volledig is afgeschreven voordat je er wat mee verdient. En heel gemakkelijk geredeneerd, als het wel lucratief zou zijn, dan zouden veel meer mensen het doen.

Crypto is een waardeloze investering als je kijkt naar risico versus behalen van je financiële doelen. Lekker wat opzij zetten in een fonds of ETF en de kans dat je een beter rendement haalt is veel groter. Ik beleg al decennia en heb veel meer rendement dan 100% van de cryptobro's die ik ken. Een enkele weet wellicht veel meer geld te pakken, maar dat is met kansberekening makkelijk te verklaren.

The Beauty of the House is immeasurable; its Kindness infinite"


  • licon
  • Registratie: April 2025
  • Laatst online: 17-01 01:44
Toch wel! 5K is kleingeld ookal is de hashrate inderdaad lager zoals hierboven aangegeven.
Het gaat er niet om dat sommige fondsen beter rendement kunnen geven dan sommige crypto die naar nul kan zakken, maar bijvoorbeeld om de risicospreiding tegen centrale partijen die om allerlei redenen zomaar je rekeningen mogen bevriezen.

[ Voor 8% gewijzigd door licon op 11-09-2025 13:40 ]


  • Dekar
  • Registratie: Juni 2005
  • Laatst online: 07:35
Je hebt het over anti-witwas gezeur en bevriezen van rekeningen. Dit doet mij vermoeden dat je belasting aan het ontduiken bent of met zwart geld bezig bent.

Je argument vind ik onbegrijpelijk. Omdat 5K kleingeld is, moet je het maar in een belegging steken waar je van weet dat het praktisch niks oplevert?

The Beauty of the House is immeasurable; its Kindness infinite"


  • licon
  • Registratie: April 2025
  • Laatst online: 17-01 01:44
Dekar schreef op donderdag 11 september 2025 @ 13:47:
Je hebt het over anti-witwas gezeur en bevriezen van rekeningen. Dit doet mij vermoeden dat je belasting aan het ontduiken bent of met zwart geld bezig bent.
Nee, er is geen sprake van zwart geld of belastingontduiking, maar alleen van zorgen over hoe banken soms té ver gaan met controles en blokkades, zelfs als alles keurig in orde is.
Dekar schreef op donderdag 11 september 2025 @ 13:47:
Je argument vind ik onbegrijpelijk. Omdat 5K kleingeld is, moet je het maar in een belegging steken waar je van weet dat het praktisch niks oplevert?
Een high-end PC is niet per se een slecht “rendement”. Zo’n systeem kan namelijk ook voor AI-toepassingen of andere productieve taken worden ingezet. Bovendien zijn er genoeg mensen die meer dan 5K uitgeven puur voor een gaminghobby zonder enig praktisch nut of financieel rendement. In dat licht bezien is het helemaal niet zo’n onbegrijpelijke keuze.

  • Dekar
  • Registratie: Juni 2005
  • Laatst online: 07:35
Natuurlijk. Die reden had je niet genoemd. Je haalde er enkel vreemde argumenten bij, waar normale mensen geen last van hebben. In dat geval is het al stukken begrijpelijker. Voor AI heb je echter ook een dikke videokaart nodig.

The Beauty of the House is immeasurable; its Kindness infinite"


  • licon
  • Registratie: April 2025
  • Laatst online: 17-01 01:44
Dekar schreef op donderdag 11 september 2025 @ 14:05:
Voor AI heb je echter ook een dikke videokaart nodig.
llama.cpp liet eerder al zien dat CPU haalbaar is voor LLMs en GPU optioneel was.
Ik zou SIMD en multicore met terabytes aan RAM (tot wel 6 TB RAM per CPU) niet onderschatten: bij de grootste frontier-modellen kan zo’n 96‑core CPU, dankzij optimalisaties (zoals AVX‑512, VNNI, NUMA‑tuning) en het ontbreken van VRAM‑limieten zoals bij een GPU, in de praktijk beter presteren dan een gemiddelde GPU die veel minder VRAM-geheugen heeft en daardoor zulke modellen niet eens kan draaien.

[ Voor 34% gewijzigd door licon op 11-01-2026 00:45 ]


  • DeNachtwacht
  • Registratie: December 2005
  • Laatst online: 15:24

DeNachtwacht

youtube.com/@hisrep

Het raakt een beetje offtopic hier, maar je weet dat ddr7 in een RTX 50xx serie een theoretische snelheid van ~1.792 GB/s heeft en ddr5-6000 ongeveer ~96 GB/s, en dat tegenwoordig offloading (dus delen even in het gewone ramgeheugen stallen en daarna terug in het vram zetten) steeds beter gaat?

En ja, er zijn modellen die 100gb groot zijn maar dan heb je het al over zwaar professioneel spul, maar dan gaat een RTX 5090 met 128gb of zelfs maar 96 gb ram en 32GB vram jouw setup met 4x128GB door die snelheden nog steeds fluitend voorbij. Simpelweg omdat het stukje dat in die 32GB zit 20x sneller gaat.

Maar voor de meeste grote modellen van 40-60gb is zelfs dat niet eens nodig en heb je aan 64GB ram al genoeg om een 512gb DDR5 systeem fluitend voorbij te gaan.

[ Voor 15% gewijzigd door DeNachtwacht op 11-01-2026 00:54 ]

youtube.com/@hisrep


  • licon
  • Registratie: April 2025
  • Laatst online: 17-01 01:44
DeNachtwacht schreef op zondag 11 januari 2026 @ 00:52:
Het raakt een beetje offtopic hier, maar je weet dat ddr7 in een RTX 50xx serie een theoretische snelheid van ~1.792 GB/s heeft en ddr5-6000 ongeveer ~96 GB/s, en dat tegenwoordig offloading (dus delen even in het gewone ramgeheugen stallen en daarna terug in het vram zetten) steeds beter gaat?

En ja, er zijn modellen die 100gb groot zijn maar dan heb je het al over zwaar professioneel spul, maar dan gaat een RTX 5090 met 128gb of zelfs maar 96 gb ram en 32GB vram jouw setup met 4x128GB door die snelheden nog steeds fluitend voorbij. Simpelweg omdat het stukje dat in die 32GB zit 20x sneller gaat.

Maar voor de meeste grote modellen van 40-60gb is zelfs dat niet eens nodig en heb je aan 64GB ram al genoeg om een 512gb DDR5 systeem fluitend voorbij te gaan.
Het klopt dat VRAM sneller is dan systeem‑RAM, maar dat voordeel geldt alleen zolang het hele model in VRAM past. Zodra een model groter is dan de 32 GB VRAM van een RTX 5090, moet de GPU continu data uit het gewone RAM halen. Vanaf dat moment draait de hele pipeline op RAM‑snelheden en staat de GPU vooral te wachten.
En moderne frontier‑modellen zijn gigantisch: DeepSeek‑R1‑671B gaat richting de 400 GB bij een sterk gecomprimeerde 4-bit versie en tot wel 1.3TB bij FP16. Zulke modellen passen nooit in 32 GB VRAM, hoe snel dat geheugen ook is. Zelfs bij een MoE-model zoals DeepSeek-R1, waarbij per stap maar een fractie van het model 'actief' is, moet de volledige 400 GB (4-bit) in het snelst bereikbare geheugen staan. Omdat de router per token beslist welke experts nodig zijn, veroorzaakt het verplaatsen van deze data vanuit systeem-RAM naar de 32 GB VRAM van een RTX 5090 een enorme vertraging.

[ Voor 12% gewijzigd door licon op 11-01-2026 01:06 ]


  • DeNachtwacht
  • Registratie: December 2005
  • Laatst online: 15:24

DeNachtwacht

youtube.com/@hisrep

Dat klopt dus niet, dat heet offloaden en je zit dan alleen af en toe met een wachttijd omdat een nieuwe chunk de gpu in moet en de oude naar het ddr worden verplaatst. Dus ja het gaat af en toe even trager omdat de auto’s over een zandpad waar ze 5 km/u kunnen moeten voor ze de volgende snelweg waar ze 100 km/u op gaan, maar jouw cpu is een zandweggetje waar nooit meer dan 5km/u mogelijk is. Je kan zo uitrekenen dat ook met een 80gb groot model bij veel taken de RTX 5090 build uiteindelijk sneller is. Als de klus (=af te leggen afstand) maar lang genoeg is wint die altijd omdat er een snelweg mogelijk is die jij niet hebt.

En die 400gb modellen dat is zwaar professioneel spul, als er één wereld is waarop ze dat nóóit op een cpu draaien is het daar wel, wil je veel met AI in die wereld dan ga je voor een RTX 6000 pro blackwell met 96GB vram die nog veel minder over het zandpaadje hoeft, of zelfs nog grotere modellen met tot 384gb vram, maar dan ben je wel een kleine €60.000 lichter voor alleen de gpu :P en dan werken ze natuurlijk met een multi-gpu setup.

Er is geen bedrijf ter wereld die voor dat soort modellen überhaupt maar nadenkt over een cpu setup. Er is een reden dat nvidia zoveel waard is momenteel ;)

[ Voor 9% gewijzigd door DeNachtwacht op 11-01-2026 01:19 ]

youtube.com/@hisrep


  • licon
  • Registratie: April 2025
  • Laatst online: 17-01 01:44
DeNachtwacht schreef op zondag 11 januari 2026 @ 01:12:
Dat klopt dus niet, dat heet offloaden en je zit dan alleen af en toe met een wachttijd omdat een nieuwe chunk de gpu in moet en de oude naar het ddr worden verplaatst. Dus ja het gaat af en toe even trager omdat de auto’s over een zandpad waar ze 5 km/u kunnen moeten voor ze de volgende snelweg waar ze 100 km/u op gaan, maar jouw cpu is een zandweggetje waar nooit meer dan 5km/u mogelijk is. Je kan zo uitrekenen dat ook met een 80gb groot model bij veel taken de RTX 5090 build uiteindelijk sneller is. Als de klus (=af te leggen afstand) maar lang genoeg is wint die altijd omdat er een snelweg mogelijk is die jij niet hebt.

En die 400gb modellen dat is zwaar professioneel spul, als er één wereld is waarop ze dat nóóit op een cpu draaien is het daar wel, wil je veel met AI in die wereld dan ga je voor een RTX 6000 pro blackwell met 96GB vram die nog veel minder over het zandpaadje hoeft, of zelfs nog grotere modellen met tot 384gb vram, maar dan ben je wel een kleine €60.000 lichter voor alleen de gpu :P en dan werken ze natuurlijk met een multi-gpu setup.

Er is geen bedrijf ter wereld die voor dat soort modellen überhaupt maar nadenkt over een cpu setup. Er is een reden dat nvidia zoveel waard is momenteel ;)
De metafoor van de "snelweg" voor de HPC geheugen-bottleneck klopt niet omdat een AI-model geen vrachtwagen is die één keer een lading aflevert, maar een supermarkt waar je voor elk woord opnieuw doorheen moet lopen.

Stel je voor:
De RTX 5090 is een topkok die extreem snel kan snijden ('PFLOPS'), maar hij heeft een aanrechtje zo groot als een snijplank (32 GB). Het recept dat hij moet maken is echter een kookboek zo groot als een bibliotheek (400 GB).
Voor elk deelwoord ('token') dat de AI typt, moet de kok:
De bibliotheek in rennen om één pagina te lezen ('Latency/Bandwidth').
Terugrennen naar zijn snijplank.
Eén ui snijden.
En dan voor het volgende deelwoord weer de hele bibliotheek in rennen om alle 400.000 pagina's te scannen op zoek naar die ene aanwijzing.
Het maakt dan niet uit dat hij een topkok is die razendsnel kan snijden. Hij is 99% van zijn tijd aan het rennen naar de bibliotheek. Een "langzamere" kok met een aanrecht waar het hele kookboek wél op past (zoals een Mac met veel geheugen of een professionele server), is dan altijd vele malen sneller klaar.

  • DeNachtwacht
  • Registratie: December 2005
  • Laatst online: 15:24

DeNachtwacht

youtube.com/@hisrep

De analogie mag dan niet helemaal op gaan, en gelukkig is het geen wedstrijdje analogieën bedenken want die van jou klopt ook niet ;).

Even serieus en los van de analogieën het antwoord is simpelweg dit. Een model van 80gb gaat met een RTX 5090 in een systeem met 64gb ram altijd sneller zijn dan jouw epyc setup puur omdat een heel groot deel van de workload op 20-voudige snelheid gaat tov jouw setup. De eerste +/- 30gb gaat razend veel sneller en daarna is het inderdaad meteen fors minder snel, maar gemiddeld nog steeds sneller dan bij jou epyc setup omdat we idd even fors moeten wachten tot er weer een nieuw block van +/- 30 gb is ingeladen, maar daarna gaat het rekenwerk van de volgende chunk op de gpu gewoon weer factor 20 sneller dan jouw dieseltje dat op constante trage snelheid doorrekent. Er is bij een gpu dus alleen een aantal momenten forse verplaatsingsvertraging, maar dat doet niks af aan de forse winst die je tijdens het berekenen van de klus hebt.

Dus een epyc setup is voor een 80gb model simpelweg een slechte koop want een RTX 5090 pc met 64GB ram is goedkoper én sneller. En voor dit soort dingen zijn beiden al véél te traag om echt serieus iets voor te stellen, want met zo’n model koop je dus een RTX 6000 pro met 96GB vram die om allebei rondjes draait. En voor het draaien van nog grotere modellen is het simpelweg onzinnig want jouw epyc setup is met een 80gb model al zó traag dat een model van 400g niet eens zin heeft omdat de klus zo groot is dat het gewoon eonen duurt voordat de berekening gedaan is.

We kunnen er hier vannacht nog een urenlang arena gevecht van gaan maken maar het antwoord is dat een cpu setup in alle gevallen prijs/kwaliteit een slecht idee is voor AI taken. Ik ga zelf te bed maar mocht je door willen gaan dan is ChatGPT voor je beschikbaar om je haarfijn uit te leggen waarom dat in elk mogelijk geval zo is ;)

[ Voor 34% gewijzigd door DeNachtwacht op 11-01-2026 23:36 ]

youtube.com/@hisrep

Pagina: 1