Systeem wat 192 gb RAM en Ubuntu ondersteund

[Sander10]

Wat wil je doen met je nieuwe systeem?
Ik ben op zoek naar een systeem met veel geheugen om daarmee onder Ubuntu 24.04 LTS rstudio en R te gaan gebruiken. Ik wil een systeem waar op zijn mindst 128 Gb RAM in kan en bij voorkeur 192GB RAM. Ik wil dat er een snelle processor in zit. een gewone sympele (onboard) videokaart is prima.

Wat mag het systeem gaan kosten?
Ik denk dat dit wel moet lukken met een systeem wat onder de 2500 euro kost

Zijn er componenten of randapparatuur die je al hebt en mee wil nemen naar je nieuwe systeem?
nee. Ik wel wel de mogelijkheid om er in de toekomst een professionele viodeokaart in te zetten die nvidia cuda ondersteund.

Wat denk je allemaal nodig te hebben?
het belangrijkste is echt minimaal 128 maar bij voorkeur 192 gb geheugen.

Heb je nog bepaalde (merk)voorkeuren?
nee, maar ik wel al een offerte van Alternate. ik wil hem best graag hier alles bestellen.

Heb je nog bepaalde eisen/wensen?
Zo veel mogelijk geheugen en conmpabiliteit met de nieuwste Ubuntu.

Ga je overklokken?
nee

Wat verwacht je van ons?[i]
De belangrijkste vraag voor mij is dat ik een systeem wil wat bij voorkeur 192 gb RAM ondersteund met de nieuwste Ubuntu.
we liepen al te denken aan:
-Intel Core i9−14900K 3200 1700 BOX
-Asus PROART Z790−CREATOR WIFI Z790
-D5192GB 5200−38 Vengeance bk K4 COR
Mijn belangrijkste vraag is of dit compatiple is met Ubuntu 24.04 LTS.

[Rolfie]

Gewoon naar workstations kijken van HP, Lenovo of Dell?

Daar staat gewoon bij, hoeveel geheugen de machines ondersteunen of en Linux volledig ondersteund is.
Vaak hebben die modellen ook memory interleaving actief, waarbij geheugen optimaal gebruikt kan worden en dus sneller is.

Maar ik zou verwachten dat je asus ook wel werkt, eventueel de de chipset, netwerkkaart even googlen op Linux ondersteuning?

[Vogels60]

Ik zou ook naar een Workstation kijken (een HP Z.. of vergelijkbaars). Dan heb je vaak ook meteen 8 plaatsen voor RAM. Moet je er alleen een losse GPU bij prikken.

[martyw]

Volgens de specs van Asus ondersteunt het moederbord 192 GB RAM (check hier), en ook de CPU kan er mee overweg (check hier), voor zover ik weet is dat voor Ubuntu ook geen probleem (maar ik ben niet in de omstandigeden dat ik het zelf geprobeerd heb...)

[ Voor 22% gewijzigd door martyw op 04-07-2024 11:14 ]

[Oon]

Wil je dit persé als gewone workstation?
Met zulke hoeveelheden geheugen is het wel interessant om naar ECC te gaan kijken, en dan kom je snel in serverhardware terecht. Een losse server waar gewoon headless Linux op draait is daarnaast ook wel ideaal voor taken die dit soort specs nodig hebben.

[Umbrah]

Het probleem is dat je:

1. Het soort geheugen
2. De snelheid van het geheugen als je daisy-chained
3. Met dit soort density double rank/single rank nogal een factor is

En de praktijk is dat desktop CPU's met twee kanalen hier eigenlijk niet echt goed in zijn. Denk er ook aan je met vier slots moet daisy chainen, en dus al heel snel te maken krijgt met hoge timings en lage kloksnelheden.

Je zult twee 96GB kits kunnen installeren, let op dat de QVL van een board dat ondersteund, maar waarschijnlijk zul je niet op de XMP-snelheid van de set kunnen werken.

Threadrippers, Epycs, en Xeons (intel heeft geen echt HEDT platform meer zoals Threadripper) hebben vier kanalen, en ondersteunen (met dergelijk grote sets echt wel belangrijk) vaak ECC.

Met juist dit soort voorbeelden zal ik kijken naar zaken als: "What would Linus Torvalds do?"

Alternatief: kun je een machine huren? Een VPS?

[bwerg]

Wat betreft de "snelle CPU" zou ik me ook even afvragen wat je daar precies van verwacht. Waar verwacht je de bottleneck? Bij de hoeveelheid geheugen, bij geheugenbandbreedte (en/of CPU-cache), bij CPU single-core prestaties, bij CPU multi-core prestaties?

Een i9 is een redelijke all-rounder maar afhankelijk van je eisen kan een epyc bijvoorbeeld een veel betere keuze zijn. Of in zeer specifieke situaties een CPU met 3D-cache. Ik ken R niet, en ik verwacht niet dat het een typische kandidaat voor 3D-cache is, maar wel goed om je er even bewust van te zijn. Een CPU van 350 euro kan het in jouw specifieke applicatie zomaar beter doen dan die 14900K van 600 euro.

En zoals al door @Umbrah aangegeven, hetzelfde geldt voor geheugen. Veel geheugen met een bandbreedte-bottleneck is nogal jammer.

[ Voor 17% gewijzigd door bwerg op 04-07-2024 11:40 ]

[grasmanek94]

Oon schreef op donderdag 4 juli 2024 @ 11:10:
Wil je dit persé als gewone workstation?
Met zulke hoeveelheden geheugen is het wel interessant om naar ECC te gaan kijken, en dan kom je snel in serverhardware terecht. Een losse server waar gewoon headless Linux op draait is daarnaast ook wel ideaal voor taken die dit soort specs nodig hebben.

Mwah, tegenwoordig kan je ook 4x 48GB consumer grade DIMM doen in een normaal bordje.

Maar een beetje ryzen die goed is met een bijpassend mobo en alles erop en eraan kost al gauw 2000 eur samen, dus 2500 is te doen zou ik zeggen.

En of TS voor server grade hardware moet gaan hangt toch echt van veel factoren af zoals waar die berekeningen nou voor zijn. Als 't hobby is ga dan geen geld uitgeven aan server hardware..

En qua Linux, is meestal meer compatible met veel spul dan Windows, als het niet om graphics gaat.

[ Voor 32% gewijzigd door grasmanek94 op 04-07-2024 11:54 ]

[Umbrah]

grasmanek94 schreef op donderdag 4 juli 2024 @ 11:50:
[...]

Mwah, tegenwoordig kan je ook 4x 48GB DIMM doen in een normaal bordje.

True, maar met een hele hoop mitsen en maren:

- Met dit soort volumes wíl je ECC; "stabiel" wil niet zeggen "correct", zeker als je het over R hebt, wat veelal voor datascience/statistiek wordt gebruikt.
- consumenten CPU's daisy-chainen geheugen, dit soort DIMM's zijn dual rank (eigenlijk twee dimms op één module, meer chips), en dát daisy chain je dan ook nog eens. Om de signalering goed te hebben moet je dus twee dingen doen: lagere kloksnelheden, en hogere toleranties (dat doe je door lossere timings te realiseren). Je zou best een situatie kunnen hebben dat je 5600MT/s CL34 DIMM in zo'n configuratie hooguit 4400MT/S CL40 gaat draaien.

De R-interpreter is single-threaded, maar een hoop libraries zijn wél multithreaded -- sterker nog: zeer veel zaken kunnen zelfs gebruik maken van CUDA (heck, in de python wereld zijn er drop-in replacements voor bijvoorbeeld pandas die dat kunnen), maar zonder veel meer te weten van TS z'n workflow is het lastig in te schatten.

Dé gouden combo van hoge singlethreaded en veel geheugen is namelijk momenteel nogal een niche, en eigenlijk vindt je dat alleen bij threadripper.

Veel van deze soort tooling vaart in performance bij lage cache-miss, en dat krijg je door veel cache, en hoge geheugenbandbreedte... en ook dat zijn dingen waar Threadripper erg goed in is.

[Detmer]

Ik denk idd dat je voor performance niet aan de threadrippers ontkomt. Een nieuw workstation zal niet binnen budget vallen en als ik naar gebruikte workstations kijk kom je er met de Intels niet. Nog buitenom het geheugen wat @Umbrah hierboven mooi uitlegt zit je bij een gebruikt workstation met oudere CPU's. Dan moet je al 2x een Xeon Gold nemen om op ongeveer gelijke performance uit te komen t.o.v. de i9 in de startpost.

[Sander10]

Oke, wat toelichting.

Ik ga R gebruiken voor bioinformatica. iets specifieker voornamelijk het analyseren van single cell RNA expressie data met het R package seurat. Ik zou inderdaad een processor wensen die single threaded heel snel is. Mogelijk wil ik hem ook nog eens voor alignement van reads uit next generation sequensing data gebruiken, daarbij is multi threaded wel van belang. Maar nu voorlopig ook veel met R wat gedeeltelijk single en gedeeltelijk multi threaded is.

R/Seurat gebruikt voornamelijk heel veel RAM. de processor hoeft niet heel snel te zijn. eventueel zou een I7 ook nog goed zijn qua snelheid.

qua videokaart ga ik nu alleen de grafische omgeving van ubuntu draaien. zolang ik wat plotjes van R kan zien en gewoon internet en een you tube filmpje, dan ben ik tevreden. Maar de drivers moeten dus wel gewoon op de juiste resolutie dual monitor dit ondersteunen onder ubuntu.

Eventueel kan ik ipv Ubuntu ook Fedora of Debian gebruiken.

maar mijn voornaamste vraag hier zit hem in dat ik minimaal 128 en bij voorkeur 192 GB RAM wil. en of het systeem goed ondersteund word op de nieuwste Ubuntu. Als ik dit systeem gekocht heb, dan kan ik het niet meer zo maar even terug sturen.

[Sander10]

en zoals hier ook al opgemerkt wordt, zou een epyc of xeon processor ook een optie zijn. dus dat overweeg ik ook, maar dan kan je qua prijs ook gelijk hoger uit.

Maar mijn voornaamste vraag is eigenlijk de Ubuntu ondersteuning. En ja, misschien moet ik als ik echt zekerheid wil hebben toch voor een workstation van een bekend merk gaan waar echt in de specs staat dat Ubuntu word ondersteund.

[BeefHazard]

Weet je zeker dat je hiervoor zelf een systeem wil kopen? Een 192GiB/24vCPU VM heb je bij DigitalOcean al voor $1,50/h. Draait altijd op moderne hardware, gaat niet stuk, heeft gegarandeerd een dikke internetlijn om je data binnen te halen, en als je 'm niet gebruikt zet je 'm uit en betaal je (bijna?) niks.

Sander10 schreef op donderdag 4 juli 2024 @ 14:07:
Maar mijn voornaamste vraag is eigenlijk de Ubuntu ondersteuning. En ja, misschien moet ik als ik echt zekerheid wil hebben toch voor een workstation van een bekend merk gaan waar echt in de specs staat dat Ubuntu word ondersteund.

Maak je daarover geen zorgen. Je hebt het (in feite) over serverhardware, en serverland is linuxland. En Linux kan óók (juist?) prima met veel geheugen overweg

code:

******@xeon0:~$ free -h
               total        used        free      shared  buff/cache   available
Mem:           1.0Ti       3.6Gi       1.0Ti       3.0Mi       942Mi       999Gi

[ Voor 56% gewijzigd door BeefHazard op 04-07-2024 14:30 ]

[Sander10]

Ik weet wel dat linux met veel geheugen overweg kan. Mijn vraag zit in of Ubuntu de GPU/chipset/netwerk wel ondersteund.

Mijn voorkeur zit wel bij zelf een systeem kopen.

[Umbrah]

Voor dit soort dingen is "on demand" compute inderdaad al erg snel aantrekkelijk, de grootste kosten zitten hem in het data van/naar de cloud pompen (en het goed configureren, want trust is natuurlijk een factor die je niet moet vergeten).

Wil je zelf een systeem kopen, zeker voor dit soort dingen, zal ik toch vrij snel, zeker gezien het geheugen, momenteel de HP Z6 G5A serie aanraden. Die zijn Threadripper based, hebben ook ECC geheugen, en zijn Ubuntu/Linux certified.

Bovendien komen ze met ECC geheugen, (no offense als je dat niet belangrijk vindt, maar je bent zeker voor dit soort dingen dan niet goed bezig), en ze schalen tot aan 1TB geheugen, wat bovendien octochannel is.

Wel categorie "zakelijk", dus "bellen voor offerte", maar een config niveau:

- Threadripper Pro 7945WX (12C, 5.3 boost, 76MB Cache)
- 8x32GiB 5200MTs DDR5 ECC
- 1TiB M.2 (werk vanaf een NAS aub als je dit soort dingen doet)
- Quadro RTX A2000 (6GiB, bezuinigd op kosten, met geforce raak je je ubuntu certified kwijt)

zie ik voor zo'n €5500 bij een omgeving waar ik je helaas geen toegang toe kan geven. Klinkt als veel, maar dat is voor een 256GiB ram bak met support, Ubuntu certified, enterprise management, en sterke SLA's eigenlijk peanuts.

Kort door de bocht, zeker als on-prem je wens is, is je wens "veel geheugen" en "consumentenhardware" niet echt te verenigen. Zeker niet als betrouwbaar (op zowel het uitvoeren van je werk als het resultaat er van), ontzorging (no offense, maar je komt me niet over als iemand die voor de gein een stuk of twee-drie dagen z'n memorytimings gaat lopen tunen en vervolgens gaat deep-testen, zeker met deze volumes is een memtest mét validate nogal een fors iets), en performance een afweging is.

Elk OS kan met veel geheugen overweg gaan, maar niet elke hardware. Zowel AM5 als LGA1700 zal ik momenteel niet meer dan 96GiB op adviseren: 2x 48GiB double-rank.

[bwerg]

Sander10 schreef op donderdag 4 juli 2024 @ 14:43:
Mijn vraag zit in of Ubuntu de GPU/chipset/netwerk wel ondersteund.

Een heel standaard linux-variant met eveneens behoorlijk gangbare hardware, ik zie daar geen risico in. Een IGP of een ethernet-chipje is nou niet echt meer iets wat fout gaag op welke linux-distro dan ook, laat staan op Ubuntu.

---

En over de consumentenhardware vs. server-hardware: het is ook maar hoe hoog je eisen zijn. Ja, met consumentenhardware heb je misschien een bottleneck op bandbreedte, en dat kost prestaties, maar als je niet meer budget hebt is dat nog altijd beter dan wanneer je data simpelweg niet in het geheugen past. De prestaties zullen 10 keer beter zijn dan wanneer je naar opslag moet swappen. Bovendien is dat niet zo best voor je SSD.

[ Voor 37% gewijzigd door bwerg op 04-07-2024 19:56 ]

[Woezik]

Voorbeeld van een 14900K build met 192Gb van een medetweaker: https://gathering.tweakers.net/forum/view_message/78499504

[Sander10]

Woezik schreef op donderdag 4 juli 2024 @ 20:12:
Voorbeeld van een 14900K build met 192Gb van een medetweaker: https://gathering.tweakers.net/forum/view_message/78499504

Leuk om dit systeem te zien! maar hier draai je Windows op of ook Linux?

[ludimus]

Voor mn werk heb ik wat servers voor bioinformatics op ubuntu draaien.
De meeste zijn Dell servers. tot aan 3TB aan geheugen.

Hardwareondersteuning is eigenlijk nooit een probleem. Soms een Raid controller die niet herkend wordt, maar is eigenlijk altijd op te lossen met een kernel of driver update. Zeker als je U24 gaat draaien zou dat geen probleem mogen zijn.

Gebruikers hebben idd altijd vraag naar meer RAM en laatste tijd ook GPU compute.

[Dennism]

Sander10 schreef op donderdag 4 juli 2024 @ 14:01:


R/Seurat gebruikt voornamelijk heel veel RAM. de processor hoeft niet heel snel te zijn. eventueel zou een I7 ook nog goed zijn qua snelheid.

Moet het enkel veel ram zijn of ook snel ram. Snel kun je namelijk waarschijnlijk wel vergeten op consumenten bordjes met deze hoeveelheden. Veel wil nog wel lukken, maar dan wel met de mitsen en maren waar o.a. @Umbrah ook al duiding aan geeft.

Als dit zakelijk is / je verdient hier je geld mee, dan zou ik zeker overwegen niet op een paar euro te beknibbelen en gewoon lekker voor een prebuild workstation te gaan. Zeker als eventuele uitval / instabiliteit / niet correcte resultaten vanuit de software je geld kost qua omzet.

consumenten hardware is leuk voor de hobby, en zakelijk zolang het probleem loos werkt, maar zodra er problemen komen is het vaak huilen (vaak genoeg meegemaakt bij zakelijke relaties en dan mochten wij weer opdraven om de boel op te losses (voor veer geld)

[ Voor 14% gewijzigd door Dennism op 05-07-2024 11:22 ]

[Sander10]

En ik vraag me af, wat is de kans op problemen van geen ECC RAM. begrijp ik het goed dat de meerderheid van de verkochte consumenten systemen geen ECC RAM hebben?

[BeefHazard]

Sander10 schreef op vrijdag 5 juli 2024 @ 11:21:
En ik vraag me af, wat is de kans op problemen van geen ECC RAM. begrijp ik het goed dat de meerderheid van de verkochte consumenten systemen geen ECC RAM hebben?

Dat klopt, meeste consumentensystemen hebben ook geen 192GB RAM...

[Sander10]

Dennism schreef op vrijdag 5 juli 2024 @ 11:21:
[...]


Moet het enkel veel ram zijn of ook snel ram. Snel kun je namelijk waarschijnlijk wel vergeten op consumenten bordjes met deze hoeveelheden. Veel wil nog wel lukken, maar dan wel met de mitsen en maren waar o.a. @Umbrah ook al duiding aan geeft.

Als dit zakelijk is / je verdient hier je geld mee, dan zou ik zeker overwegen niet op een paar euro te beknibbelen en gewoon lekker voor een prebuild workstation te gaan. Zeker als eventuele uitval / instabiliteit / niet correcte resultaten vanuit de software je geld kost qua omzet.

consumenten hardware is leuk voor de hobby, en zakelijk zolang het probleem loos werkt, maar zodra er problemen komen is het vaak huilen (vaak genoeg meegemaakt bij zakelijke relaties en dan mochten wij weer opdraven om de boel op te losses (voor veer geld)

het geheugen hoeft niet extreem snel te zijn. maar nu ga ik ver buiten mijn beschikbare geheugen en dan begint die te swappen en dan gaan de prestraties dramatisch naar beneden.

In hoeverre kan software incorrecte resultaten gaan geven? kan dit door geheugen fouten komen die ik met ECC kan voorkomen? Ik heb geen systeem van een bank wat gararandeerd een uptime en betrouwbaarheid van van 99.999999% moet hebben. maar het moet wel gewoon goed draaien.

[Woezik]

Sander10 schreef op vrijdag 5 juli 2024 @ 11:10:
[...]

Leuk om dit systeem te zien! maar hier draai je Windows op of ook Linux?

@Inverted_World Je hebt een prachtig systeem gebouwd met 192Gb memory, maar op welk OS draait het? In dit topic wordt een systeem gezocht dat ook Linux (Ubuntu) ondersteund.

DDR5 geheugen heeft ingebouwde data controle, maar de controles van EEC geheugen gaan verder, zie: https://www.corsair.com/u...emory/is-ddr5-ecc-memory/

[Thomg]

't Is misschien ook ff de moeite waard om even de Zen 5 kat uit de boom te kijken of dat verbetering brengt.

[Umbrah]

Ik wil ECC even staven door het volgende (legendarische) artikel te linken wat destijds door de tech-media vrij zwaar vergroot is: https://www.realworldtech...d=198497&curpostid=198647

Samenvatting in andere artikelen:

https://www.theregister.c...torvalds_ecc_memory_fail/
https://arstechnica.com/g...-ecc-ram-in-consumer-pcs/

Om ECC toch even te staven: zonder ECC heb je doorgaans zo'n 0,5% "foute" acties. Voor een consumenten PC is dat doorgaans geen probleem, want:

- Veel "desktop" software heeft voorspelbare uitkomsten, en een foutje is zo hersteld
- Veel software met niet voorspelbare uitkomsten, zoals een game, maakt het eigenlijk niets uit. De volgende frame (waar je zo'n 60 van rendert per seconde) leest de input weer goed, tekent het wél correcte resultaat, of laat de AI wél de goede kant op lopen.
- Soms is een bit flip op een 128-bit getal niet eens zo rampzalig, veel datascience workloads gaan soms echter om 4-bit

Als ik biotech/science dingen lees, en proteïneclusters zoals RNA langs zie komen, dan denk ik dat ECC wél heel belangrijk is. Sterker nog; het is kritiek tenzij je al je werk vier/vijf voudig wilt doen, zoals platformen als F@H het doen.

Thomg schreef op vrijdag 5 juli 2024 @ 11:59:
't Is misschien ook ff de moeite waard om even de Zen 5 kat uit de boom te kijken of dat verbetering brengt.

Nee, want: https://www.anandtech.com...ssors-zen-5-with-navi-3-5

AM5 blijft het platform; en dat is een dual channel, non-ECC platform, met daisy chained geheugen wat in principe bij voorkeur slechts twee ranks/channel doet tenzij je naar dingen als CAMM gaat kijken, of absurd dikke borden.

Tenzij we magischerwijs een absurde toename in DRAM density gaan zien (en dat lijkt niet het geval te zijn gezien het feit dat iedereen nu vooral HBM aan het ontwikkelen is en DRAM wat stil lijkt te liggen), zal tijdens de huidige generatie platformen de 48GB, dual-rank wel een beetje de max/dimm zijn tenzij je naar registered gaat kijken (maar da's vals spelen).

Denk eerder dat we CPU's met on-die HBM gaan zien.

[Thomg]

@Umbrah Er zijn zat verhalen te vinden van mensen die 192GB RAM draaien met Zen 4, maar de catch is vrijwel altijd dat het tot de tandjes getweaked is, instabiel is en/of niet uitgebreid getest is. Met een competentere IMC zou ik niet zien waarom 192GB niet zou kunnen lukken. We zien immers als met de 8000 series dat de IMC al beter is en hogere snelheden ondersteunt met exotischere combinaties.

Of dit verstandig is voor het beoogde doel van TS is twee, klinkt als ECC helemaal geen overbodige luxe is en dan kan je net zo goed voor prosumer spul gaan.

[gambieter]

@Sander10 op mijn werk heb ik heb meerdere computers die voor vergelijkbare doeleinden worden gebruikt, zoals shotgun metagenomics, genome assembly etc, vooral bacterien maar ook steeds meer eukaryoten (parasieten etc). Nog geen RNA-seq maar dit zijn dingen die we deels niet goed op de HPC van onze universiteit konden runnen. Een deel van mijn tijd faciliteer ik het onderzoek van andere onderzoekers die niet zoveel kaas van bioinformatica hebben gegeten.

Ik kan helaas geen Linux draaien als basis OS of via dual boot, omdat de gebruikers dan geen toegang hebben tot de netwerkshares etc, en omdat ze vaak geen Linux kennis hebben (en IT weigert het te ondersteunen of toe te laten). Ik draai dus Windows, en heb via Hyper-X Ubuntu virtuele computers lopen die ik kan bijstellen qua RAM, aantal cores etc.

Wat gezegd wordt over Xeon vs i9 kan ik beamen. Ik heb vorige maand een nieuw werkstation in gebruik genomen met een Xeon w9-3495X en 256 GB RAM, en die blaast zijn voorganger i9-10940X met 128 GB RAM compleet weg. Ik run op de Xeon 4 virtuele computers die sneller zijn dan eentje op de i9 met meer RAM.

Het runnen van virtuele computers heeft het nadeel van de overhead, maar het voordeel dat je gewoon een Delletje koopt en alles binnen het universiteitsnetwerk past. Ik heb wel local admin rechten via Admin-by-Request (whitelisted) en de gebruikers werken via Remote Desktop en hun eigen account voor file transfer etc, en een lokaal account voor het runnen. Ze hebben toegang to de virtuele Ubuntu computers via de terminal, de computers runnen onder mijn account.

Qua ECC: de Xeon heeft ECC DDR5, de i9 heeft non-ECC DDR4, de i9 is bijna anderhalf jaar ouder. Alleen de prijzen zijn niet wat jij voor ogen hebt, de Xeon is een Dell Precision 7960 en was ~€10k, de i9 is een Precision 5820 met een prijskaartje van €5k.

Hopelijk heb je hier wat aan

[bwerg]

Umbrah schreef op vrijdag 5 juli 2024 @ 12:26:
Om ECC toch even te staven: zonder ECC heb je doorgaans zo'n 0,5% "foute" acties. Voor een consumenten PC is dat doorgaans geen probleem, want:

- Veel "desktop" software heeft voorspelbare uitkomsten, en een foutje is zo hersteld
- Veel software met niet voorspelbare uitkomsten, zoals een game, maakt het eigenlijk niets uit. De volgende frame (waar je zo'n 60 van rendert per seconde) leest de input weer goed, tekent het wél correcte resultaat, of laat de AI wél de goede kant op lopen.

Dit is echt wel veel te kort door de bocht. Als je letterlijk 0.5%, oftewel 1 op 200, van je bitjes aan data gaat flippen draait ook een niet-kritische applicatie als een spelletje nog geen milliseconde stabiel zonder segfault. "Een spelletje" is niet alleen graphics, alle control flow en data structuren die daar verband mee houden lopen echt compleet in de soep als er een significante hoeveelheid bitflips plaatsvindt. Je hebt dan echt geluk als je applicatie dat weet te herstellen. Wat ook een groot woord is, want de applicatie heeft niks door en kan dus niks herstellen, dus het is eerder "toevallig niet crashen".

Sterker nog, aan control-logica gebeurt er in een gemiddelde moderne game waarschijnlijk duizend keer meer dan in de wetenschappelijke tools waar dit topic over gaat. Dat is veel meer relatief kleine logica over gewoon heel veel data.

Dus ook op consumenten-spul zal onder water toch iets ECC-achtigs draaien, mogelijk als houtje-touwtje-oplossing in de DIMM zelf. Als je daadwerkelijk de data benadert met 0,5% aan foute bitjes dan kun je je computer naar de stort brengen. Of dat nou met 8GB of 192GB geheugen is.

[ Voor 8% gewijzigd door bwerg op 05-07-2024 13:30 ]

[Woezik]

Intel optie, geheel leverbaar door Alternate:

#	Category	Product	Prijs	Subtotaal
1	Processors	Intel Core i9-14900K Boxed	€ 616,29	€ 616,29
1	Moederborden	Gigabyte Z790 AORUS ELITE AX	€ 229,-	€ 229,-
1	Behuizingen	Fractal Design Define 7 Zwart	€ 169,-	€ 169,-
1	Waterkoeling	Arctic Liquid Freezer III 420	€ 74,90	€ 74,90
1	Geheugen intern	Corsair Vengeance CMK192GX5M4B5200C38	€ 721,90	€ 721,90
1	Voedingen	MSI MPG A850G PCIE5	€ 119,90	€ 119,90
1	SSD's	Kingston KC3000 2TB	€ 154,-	€ 154,-
			Totaal	€ 2.084,99

Z790 heeft een dual channel memory controller.
De quad memory set staat op de support list bij Gigabyte: https://www.gigabyte.com/...10/support#support-memsup
De 420 radiator past bovenin en de rear fan zou ik als bottom fan monteren, zodat je ook 3x 14cm intake hebt.

Gigabyte Z790 lijkt ook Ubuntu ondersteuning te bieden: https://www.linuxlookup.c...ster_x_motherboard_review Wifi ondersteuning kan nog wel op zich laten wachten.

[Sander10]

Hartelijk bedankt voor alle reacties. Erg fijn om zo veel interessante reacties te krijgen! Het heeft toch wel een andere wending gekregen dan ik verwacht had. Ik had de wending van ecc geheugen niet verwacht. Maar wel goed dat ik er op gewezen word. In hoeverre het nu een beetje of heel belangrijk is is me nog steeds niet helemaal duidelijk. Ik kan eventueel een analyse voorafgaand aan publicatie ook meerdere keren draaien om de resultaten te verifiëren. Maar ik voel toch wel wat om nu maar met een computer met ecc geheugen te gaan. Wel fijn om te horen dat jullie eigenlijk allemaal geen problemen met Ubuntu verwachten.

Bij voorkeur blijf ik een beetje in dezelfde prijsklasse. Ik heb eens zitten kijken. Wat dachten jullie van onderstaand alternatieve configuratie? Naar mijn gevoel een systeem dat zeker net zo goed is dan de I9-14900k maar dan met ecc geheugen:
uitvoering: AMD EPYC 4464P Tray
495 euro
uitvoering: ASUS ProArt X670E-CREATOR WIFI
479 euro
uitvoering: Kingston KSM56E46BD8KM-48HM
192 gb ram is 4*257 euro = 1028 euro

Processor + moederboard + geheugen = 2006 euro

Ik heb wel ergens de behoefte om hoger te kunnen gaan dan 192 gb ram. Bv graag 256 of misschien wel nog wat hoger. Als ik echt hoger kan gaan dan 192 gb, dan hebben we er eventueel wel meer geld voor over en kan ik ook eventueel mijn leidinggevende wel overtuigen dat het wat meer ga kosten. Ik zat te denken aan 2 configuraties.

AMD configuratie 1:
uitvoering: AMD Ryzen Threadripper PRO 3955WX Boxed
1183 / 1350 euro
uitvoering: ASRock WRX80 Creator R2.0
768 euro
https://www.alternate.nl/...ugen/html/product/1822344
256 gb is 4*199 euro = 796 euro

Processor + moederboard + geheugen = 2747 euro

AMD configuratie 2:
uitvoering: AMD Ryzen Threadripper 7960X Boxed
1542 euro
uitvoering: Gigabyte TRX50 AERO D
749 euro
https://www.alternate.nl/...en/html/product/100039146
256 gb is 4*299 euro = 1196 euro

Processor + moederboard + geheugen = 3487 euro

Bovenal blijft het wel belangrijk dat alles goed ondersteund wordt onder de nieuwste Ubuntu.

Als het even kan blijft ik toch liever binnen het budget. Maar die duurdere opties zouden eventueel kunnen. Ik ben erg benieuwd wat jullie hier van denken!

[superduper]

Ik zou je echt willen aanraden om te kijken naar lokale HPC facilities en/of cloud compute (via Surf, vrij snel gratis), AWS, Google, Azure etc.

Je kan nu een beest neerzetten met 192 GB ram, en over 4 maanden heb je veel meer cellen gedaan, data verzameld en is dat weer niet genoeg (kijk ook naar optimalisaties van je R code naast Seurat). Ik heb al collegas die vroegen of ze een node met 1 TB RAM konden krijgen, want 512 GB was niet genoeg...

disclaimer: ik manage het cluster voor het Utrecht Science parc

[Woezik]

Ik had onderstaande build nog uitgezocht, maar ik vind het lastig inschatten hoe belangrijk de cpu power is.

#	Category	Product	Prijs	Subtotaal
1	Processors	AMD Ryzen Threadripper Pro 5955WX Tray	€ 1.065,53	€ 1.065,53
1	Moederborden	ASRock WRX80 Creator R2.0	€ 768,60	€ 768,60
1	Videokaarten	Inno3D GeForce GTX 1650 Twin X2 OC V3	€ 152,90	€ 152,90
1	Behuizingen	Chieftec APEX AIR	€ 75,90	€ 75,90
1	Processorkoeling	Noctua NH-U14S TR5-SP6	€ 119,90	€ 119,90
4	Geheugen intern	Samsung M393A8G40BB4-CWE	€ 193,55	€ 774,20
1	Voedingen	MSI MPG A850G PCIE5	€ 119,90	€ 119,90
1	SSD's	Kingston KC3000 2TB	€ 151,92	€ 151,92
			Totaal	€ 3.228,85

De 5955WX is Zen3 en sneller dan de oudere 3955WX. De 7960X is veruit het snelste, maar duur door het DDR5 memory. Ook het moederbord met maar 4Dimm sloten is eigenlijk niet wat je wilt.
Voordeel van het Threadripper platform is de quad channel memory controller die veel meer bandbreedte biedt dan een consumentenplatform met LGA1700 of AM5 die een dual channel memory controller bieden.
Een deel van de winst van quad channel gaat echter verloren, omdat DDR4 minder bandbreedte biedt dan DDR5.
Op dit moederbord met 4x 64Gb memory kun je echter nog uitbreiden met 4x 128Gb.
Voor de cpu-koeler moet overigens nog een (gratis) mounting kit worden aangevraagd voor sWRX8.
https://ncc.noctua.at/mot...ASRock-WRX80-Creator-5737
Voor een volledige PC ga je echter wel flink over je budget doel heen.

[yoga]

Kijk hier eens

https://www.lenovo.com/nl...abkey=Workstation%20Deals

Intell model met extra geheugen blijft dan binnen je budget.

[rapture]

Als je nu naar 192GB RAM zoekt, dan ga ik ervan uit dat je dit minstens nog een keertje kan verdubbelen. Dan kom je bij serversloop uit en goed kijken naar de afschrijvingstermen bij de hyperscalers. Wanneer worden de eerste, tweede, derde,... generatie Epyc CPU's en moederborden massaal gedumpt.

Ik zit te kijken naar een Supermicro Epyc bord met 8 of 16 geheugensloten.

[Sander10]

superduper schreef op woensdag 10 juli 2024 @ 14:59:
Ik zou je echt willen aanraden om te kijken naar lokale HPC facilities en/of cloud compute (via Surf, vrij snel gratis), AWS, Google, Azure etc.

Je kan nu een beest neerzetten met 192 GB ram, en over 4 maanden heb je veel meer cellen gedaan, data verzameld en is dat weer niet genoeg (kijk ook naar optimalisaties van je R code naast Seurat). Ik heb al collegas die vroegen of ze een node met 1 TB RAM konden krijgen, want 512 GB was niet genoeg...

disclaimer: ik manage het cluster voor het Utrecht Science parc

Ik heb al een aantal opties bekeken. er is een slurm cluster, maar daar moet je alles op een scheduler zetten, en wat je wil is gewoon in rstudio werken en rustig programmeer regeltjes toevoegen en kijken wat dat voor resultaat geef en dan weer programmeerregeltjes toevoegen. En dat is het fijn dat alle tijd je data gewoon geladen kan blijven. Naast dat je verder ook gewoon je eigen OS wil kiezen en dat ik ook graag een allround workstation prettig vind om voor allerlei doeleinden te kunnen gebruiken.

Ook naar DRE gekeken. Daar als je de kosten van bereken dan kom je ook op best wel wat kosten uit als je het maanden lang dag en nacht ga gebruiken. En je wil je eigen OS kiezen. En de DRE is erg gericht op een veilige omgeving, dus qua datatransfer heb ik geen toegang tot de netwerkschrijven van het UMC waar ik werkt en je heb te maken met dat het internet apart open gezet moet worden.

Kortom bovenstaande opties zijn mogelijk maar niet ze heel flexibel.

De andere opties die je noem zal ik gaan bekijken. Bedankt hiervoor. Ik hoe ze ook wel in mijn gedachten voor als we per uitzondering eens met een heel groot aantal cellen te maken gaan krijgen. Want ik kan je collega’s zeker begrijpen dat ze steeds meer geheugen willen. Wat is persoonlijk zie is dat met de overgang van bulk naar single cell RNA-sequencing het geheugengebruik gewoon enorm toegenomen is.

[Sander10]

Woezik schreef op woensdag 10 juli 2024 @ 19:30:
Ik had onderstaande build nog uitgezocht, maar ik vind het lastig inschatten hoe belangrijk de cpu power is.

#	Category	Product	Prijs	Subtotaal
1	Processors	AMD Ryzen Threadripper Pro 5955WX Tray	€ 1.065,53	€ 1.065,53
1	Moederborden	ASRock WRX80 Creator R2.0	€ 768,60	€ 768,60
1	Videokaarten	Inno3D GeForce GTX 1650 Twin X2 OC V3	€ 152,90	€ 152,90
1	Behuizingen	Chieftec APEX AIR	€ 75,90	€ 75,90
1	Processorkoeling	Noctua NH-U14S TR5-SP6	€ 119,90	€ 119,90
4	Geheugen intern	Samsung M393A8G40BB4-CWE	€ 193,55	€ 774,20
1	Voedingen	MSI MPG A850G PCIE5	€ 119,90	€ 119,90
1	SSD's	Kingston KC3000 2TB	€ 151,92	€ 151,92
			Totaal	€ 3.228,85

De 5955WX is Zen3 en sneller dan de oudere 3955WX. De 7960X is veruit het snelste, maar duur door het DDR5 memory. Ook het moederbord met maar 4Dimm sloten is eigenlijk niet wat je wilt.
Voordeel van het Threadripper platform is de quad channel memory controller die veel meer bandbreedte biedt dan een consumentenplatform met LGA1700 of AM5 die een dual channel memory controller bieden.
Een deel van de winst van quad channel gaat echter verloren, omdat DDR4 minder bandbreedte biedt dan DDR5.
Op dit moederbord met 4x 64Gb memory kun je echter nog uitbreiden met 4x 128Gb.
Voor de cpu-koeler moet overigens nog een (gratis) mounting kit worden aangevraagd voor sWRX8.
https://ncc.noctua.at/mot...ASRock-WRX80-Creator-5737
Voor een volledige PC ga je echter wel flink over je budget doel heen.

Ik vind het wel interesant wat je hier noemt. wat ik me afvraag is hoeveel ECC geheugen je hier goed in de praktijk maximaal in kan zetten. jij zeg dus als ik er 4 x 64 in zet dan kan ik er daarnaast ook gewoon nog 4 * 128 bij zetten. En als ik het goed begrijp dan zou ik er zelf 8 * 128 GB ECC in kunnen zetten. want van DDR5 geheugen daarvan hoor ik dat er iets van een probleem is, en dat je daarom tot maximaal 256 GB ECC RAM DDR5 (of misschien maximaal 512 GB ECC DDR5) kan komen. maar dat probleem speelt hier dus niet en je kan gewoon tot 1024 GB ECC DDR4 RAM gaan?

[superduper]

Sander10 schreef op maandag 15 juli 2024 @ 14:14:
[...]

Ik heb al een aantal opties bekeken. er is een slurm cluster, maar daar moet je alles op een scheduler zetten, en wat je wil is gewoon in rstudio werken en rustig programmeer regeltjes toevoegen en kijken wat dat voor resultaat geef en dan weer programmeerregeltjes toevoegen. En dat is het fijn dat alle tijd je data gewoon geladen kan blijven. Naast dat je verder ook gewoon je eigen OS wil kiezen en dat ik ook graag een allround workstation prettig vind om voor allerlei doeleinden te kunnen gebruiken.


Ook naar DRE gekeken. Daar als je de kosten van bereken dan kom je ook op best wel wat kosten uit als je het maanden lang dag en nacht ga gebruiken. En je wil je eigen OS kiezen. En de DRE is erg gericht op een veilige omgeving, dus qua datatransfer heb ik geen toegang tot de netwerkschrijven van het UMC waar ik werkt en je heb te maken met dat het internet apart open gezet moet worden.


Kortom bovenstaande opties zijn mogelijk maar niet ze heel flexibel.

De andere opties die je noem zal ik gaan bekijken. Bedankt hiervoor. Ik hoe ze ook wel in mijn gedachten voor als we per uitzondering eens met een heel groot aantal cellen te maken gaan krijgen. Want ik kan je collega’s zeker begrijpen dat ze steeds meer geheugen willen. Wat is persoonlijk zie is dat met de overgang van bulk naar single cell RNA-sequencing het geheugengebruik gewoon enorm toegenomen is.

Slurm biedt ook gewoon de opties om een interactieve job te starten waar dat kan. Ik zelf heb een container gemaakt met Rstudio server die je launched en aan kan connecten via je werkstations browser. Dan heb je de power van de clusternode, maar kan je rustig lokaal coden en je werk doen. Als je in het Utrechtse zit, PM me dan even, kan ik verder wat toelichten

EIgen OS keuze, tja. Als ik mijn werk moet doen heb ik liever dat alles gewoon lekker beheerd wordt.

Qua DRE: eensch. Wordt overigens wel aan gewerkt voor een betere integratie zorg<>research.

[ Voor 27% gewijzigd door superduper op 15-07-2024 14:27 ]

[Woezik]

Als je op een consumentenbord (LGA1700, AM5) een quad kit gaat gebruiken met OC geheugen, dan zijn er nog weleens stabiliteitsproblemen. Voor 64Gb modules heb je double sided geheugen nodig, waardoor de modules heel dicht op elkaar zitten. Als je dan ook nog OC geheugen gebruikt met een hoger voltage dan kan de warmte stabiliteitsissues geven. Ook de kwaliteit van de memorycontroller verschilt nog wel eens per moederbord/fabrikant.

Bij (semi-) professionele moederborden wordt geen OC geheugen gebruikt en ken ik de problemen niet. Daarvoor zul je waarschijnlijk ook andere fora moeten raadplegen.

Op de memory support list van ASRock staan inderdaad 128Gb Samsung memory modules geschikt voor 8 sloten: https://www.asrock.com/mb...0R2.0/index.asp#MemoryCHL
De verouderde memory QVL lijsten en de beperkte leverbaarheid is soms nog wel een uitdaging. Wellicht een overweging om toch een geassembleerde server te kopen. Hier is dat bijvoorbeeld mogelijk (geen ervaring mee): https://www.pcspecialist.nl/amd-threadripper-computers/

[Sander10]

Woezik schreef op maandag 15 juli 2024 @ 20:21:
Als je op een consumentenbord (LGA1700, AM5) een quad kit gaat gebruiken met OC geheugen, dan zijn er nog weleens stabiliteitsproblemen. Voor 64Gb modules heb je double sided geheugen nodig, waardoor de modules heel dicht op elkaar zitten. Als je dan ook nog OC geheugen gebruikt met een hoger voltage dan kan de warmte stabiliteitsissues geven. Ook de kwaliteit van de memorycontroller verschilt nog wel eens per moederbord/fabrikant.

Bij (semi-) professionele moederborden wordt geen OC geheugen gebruikt en ken ik de problemen niet. Daarvoor zul je waarschijnlijk ook andere fora moeten raadplegen.

Op de memory support list van ASRock staan inderdaad 128Gb Samsung memory modules geschikt voor 8 sloten: https://www.asrock.com/mb...0R2.0/index.asp#MemoryCHL
De verouderde memory QVL lijsten en de beperkte leverbaarheid is soms nog wel een uitdaging. Wellicht een overweging om toch een geassembleerde server te kopen. Hier is dat bijvoorbeeld mogelijk (geen ervaring mee): https://www.pcspecialist.nl/amd-threadripper-computers/

ik zie https://www.asrock.com/mb...0R2.0/index.asp#MemoryCHL inderdaad een hele lijst. maar het kan dus zijn dat als ik er nu 4x64 in zet en dan over een paar jaar 2x128 dat het dan toch niet lekker gaat. er staat immers "1. Please DO NOT combine DIMMs from multiple kits. Combining multiple kits, even if they are rated for the same speed, may result in system stability issues." of zal dit in de praktijk wel meevallen? of gaat dat niet meevallen en als ik dan aanvankelijk 4 x 64 er in heb gezet, dat ik dan vervolgens met de uitbreiding ook het beste dezelfde soort 4 x 64 er bij kan zetten?

[GarBaGe]

Ik zou de 14900K mijden, gezien dit een hele instabiele processor is.
Net als de 13900K.
Zie onder andere hier:
YouTube: Intel has a Pretty Big Problem
en hier
YouTube: Intel's CPUs Are Failing, ft. Wendell of Level1 Techs
en hier
https://wccftech.com/warf...e-for-instability-issues/

Dan beter voor AMD gaan. En met veel geheugen op Threadripper platform.
Of huren, natuurlijk.

[ Voor 10% gewijzigd door GarBaGe op 16-07-2024 10:49 ]

[Sander10]

Met veel geheugen is Threadripper dus een optie, maar je heb ook nog de xeon. een andere optie is als ik 256 gb geheugen wil en wil kunnen uitbreiden naar 512 of eventueel wel 1024 gb is bv deze uitvoering: ASUS Pro WS W790-ACE met een xeon processor. https://www.kingston.com/...o-ws-w790-ace-motherboard
Hier kan dan 8 x 32 in. Maar kan er ook 8 x 64 gb DDR5 ECC RAM in? ik zie op tweakers dat de maximale grote 2 TB RAM is, maar in de praktijk haal je dat dus niet en kom je voor ECC ram maar tot 8 x 32 GB? Dus in de praktijk kom je dus met DDR4 ECC RAM nog hoger dan met DDR5 ECC RAM? Of zie ik het verkeerd? Dus dan is dus een Threadripper een betere optie als je heel veel ECC RAM wil dan de xeon?

[GarBaGe]

Je kan ook voor inspiratie hier kijken:
https://www.pugetsystems.com/

Puget is een Amerikaans bedrijf, welke custom workstations op maat kan leveren.
Voor Threadripper kunnen ze tot 1TB DDR5 leveren in de vorm van 8x128GB

Op Epyc platform kunnen ze tot 2.25TB leveren in de vorm van 24x96GB

Xeon's gaan bij hun niet verder dan 512GB (8x64GB)

[ Voor 8% gewijzigd door GarBaGe op 16-07-2024 11:49 ]

[Woezik]

Sander10 schreef op dinsdag 16 juli 2024 @ 10:42:
[...]

ik zie https://www.asrock.com/mb...0R2.0/index.asp#MemoryCHL inderdaad een hele lijst. maar het kan dus zijn dat als ik er nu 4x64 in zet en dan over een paar jaar 2x128 dat het dan toch niet lekker gaat. er staat immers "1. Please DO NOT combine DIMMs from multiple kits. Combining multiple kits, even if they are rated for the same speed, may result in system stability issues." of zal dit in de praktijk wel meevallen? of gaat dat niet meevallen en als ik dan aanvankelijk 4 x 64 er in heb gezet, dat ik dan vervolgens met de uitbreiding ook het beste dezelfde soort 4 x 64 er bij kan zetten?

In de bios van je moederbord kies je de timings van je geheugen en dat geldt dan ook voor alle memory modules. Alleen dezelfde memory snelheid is dus niet voldoende. Alle modules moeten op eenzelfde setting kunnen werken. Dat geldt voor alle moederborden.

Het beste kies je bij uitbreiding dus voor modules met dezelfde memory chips die dus dezelfde timings ondersteunen. Daarbij maakt het niet uit of het 32, 64, of 128Gb is, zolang ze maar op dezelfde timings werken. Voor server geheugen wordt geen OC geheugen gebruikt dus de variatie is hier wel veel minder, helaas geldt dat ook voor de beschikbare opties.

Een DDR4 3200 mhz zal ongeveer 50Gb/s halen en op een threadripper moederbord met quad channel memory controller en 4 geheugenmodules dus een doorvoersnelheid van 4x 50=200Gb/s.
Een DDR5 4800 mhz haalt ongeveer 70Gb/s en op een moederbord met dual channel memory controller (LGA1700/AM5) en 2 memory modules dus een doorvoersnelheid van 2x 70=140Gb/s.
Bij intensief memory gebruik is het dus af te raden om op een threadripper maar twee 128Gb DDR4 memory modules bij te plaatsen, want dan benut je maar de helft van de potentiële snelheid. 4x 64Gb is dan sneller.
https://tweakers.net/revi...ndbreedte-en-latency.html

[ Voor 3% gewijzigd door Woezik op 16-07-2024 19:10 ]