Desktop voor single core data-analyses

[supersoco80]

Ik ben op zoek naar de beste/meest kosten efficiënte oplossing om grote (meestal ca 5gb, soms een veelfout) datasets te analyseren. Zoals ik dat doe kan dat helaas (vaak) niet zonder multithreading of is het niet efficiënt om dat zo in te richten. Snelle CPU-kernen, voldoende RAM en een snelle schijf zijn dus (neem ik aan, maar ik ben hier echt niet in thuis) vereist. Verder zou ik graag af en toe wat met Blender klooien en wat soepeler foto's en video's willen bewerken.

Veel gebruikte Software:
- FME/Orange/Python
- Blender
- Luminar AI/Capture One/Filmora/DaVincie Resolve

Ik game niet op de PC.

Ik heb geen voorkeuren voor merken, met uitzondering van een afkeer voor alles waar een HP-logo op staat.

Kosten: Ik heb werkelijk waar geen idee wat zoiets zou moeten kosten. Ik zou erg happy zijn met iets tussen 1000 en 1500, maar geen idee of dat realistisch is. Ik zou een afweging willen kunnen maken met rekenen in de cloud (Azure).


Ik zou graag vooral (specifiek) advies krijgen op het gebied van de CPU, type en hoeveelheid RAM en welke opslag ik zou moeten kiezen. Ik denk dat die het meest bepalend zijn voor de snelheid van de analyses. Advies over een grafische kaart die voldoende is voor Blender en misschien ene keertje spelen met Unreal Engine is mooi meegenomen. Uiteindelijk ga ik het liefst voor een kant en klaar optie (dus volledige desktop).

[ Voor 3% gewijzigd door supersoco80 op 22-12-2023 11:45 ]

[GenericNickname]

Als je het hebt over data analyse, bedoel je dan statistische data analyse? Want in dat geval zou ik juist wel gaan voor goeie multicore performance; vaak zijn zulke analyses makkelijk te parallelliseren.

[Croga]

Alles staat en valt bij de parallelliseerbaarheid van je analyses. Hoe beter te paralelliseren, hoe sneller je zult kunnen werken maar ook, bijvoorbeeld, hoe belangrijker veel geheugen en snelle opslag is.

Maar zelfs als dat niet zo is, zul je meer informatie over de specifieke analyses moeten geven om een zinvolle uitspraak te kunnen doen. Sommige analyses vergen veel data in het geheugen waardoor vaak de snelheid van opslag minder belangrijk wordt. Sommige anlyses vergen veel IO waardoor je wellicht met minder geheugen af kunt maar snellere opslag nodig hebt.

Al met al is de enige manier om hier iets mee te doen gewoon testen...... Wellicht eens in Azure wat verschillende VMs aan maken en daar de analyses op draaien om te kijken welke factor nou echt belangrijk is.

[supersoco80]

De reden dat multi core analyses zo lastig gaan is omdat het vrijwel altijd om het combineren van datasets gaat en dan ook nog eens geografisch. Dus welke huizen (dataset BAG) staan binnen x meter van een gebeid met bestemming x of zoiets.

Dat is met wat moeite wel multi core te maken, maar daar zit bijna meer tijd in (en voegt kans op foute toe) dan single core runnen, zooo lang duurt dat nou ook weer niet.

Ik doe die analyses nu op een oude 13 inch surface book 2 en daar lukt het op zich prima op, het kan alleen (fors) sneller.

[Croga]

Da's inderdaad een interessante use case.

Wij draaien dat soort zaken met behulp van geo-joins in PostgreSQL. Daarmee worden ze door het DBMS multithreaded gemaakt. We hebben wel de bedoeling het over te gaan zetten naar Python maar geen idee hoe dat precies werkt.

Het is een beetje afhankelijk van hoe ingewikkeld je analyses zijn maar ik verwacht dat hoge IO en extreem veel geheugen geen hele belangrijke factoren zullen zijn. De berekeningen zijn een stuk lastiger dan de hoeveelheid data. Wat voor specs heeft je Surface book? Als je die neemt qua geheugen en IO met een moderne processor dan denk ik dat je een heel eind bent. En dan kan het ook nog een relatief eenvoudige processor zijn aangezien duurder CPUs op dit moment vooral cores toevoegen (en dan vaak ook nog ten koste van clock-speed)

[supersoco80]

De specs van de Surface book:

8 GB of 16 GB RAM 1866 MHz LPDDR3
8e generatie Intel® Core™ i7-8650U quad-core-processor, 4.2GHz Max Turbo
NVIDIA® GeForce® GTX 1050 discrete GPU w/2GB GDDR5 grafische geheugen

Tijdens een analyse ziet taakbeheer er continu ongeveer zo uit:




De beschreven analyse is een erg eenvoudig voorbeeld, meestal wordt er veel meer gecombineerd en daarbij wordt er erg, erg veel data ingelezen en weggeschreven. In eerste instantie wordt volgens mij het RAM-geheugen daarvoor aangeboord, als de analyse te groot wordt gaat het op de schijf verder.

Bij de wat zwaardere analyses worden er honderden gigabites weggeschreven en weer gewist per analyse.

[ Voor 17% gewijzigd door supersoco80 op 22-12-2023 14:03 ]

[Damic]

De meeste cpu's kunnen 1 core heel hoog boosten.

Ik denk als je al naar 64GB snel ram gaat dat je pc dan al wat meer adem ruimte heeft en meer in cache kan steken. Ook grote level 3 cache kan misschien helpen?

Zoiets: uitvoering: AMD Ryzen 7 7800X3D Boxed met een setje uitvoering: G.Skill Trident Z5 Neo RGB F5-6000J3040G32GX2-TZ5NR

[White Feather]

Zelfs een Ryzen 5 7600X is al veel sneller dan die 8650u.

https://www.topcpu.net/en...650U-vs-AMD-Ryzen-5-7600X

116% sneller (Cinebench 23 single core) en het is de vraag of en hoe lang de i7 op de maximale 4,2 GHz draait.

Is er geen systeem waar je een test op kunt draaien, dan zie je vanzelf waar je bottlenecks zitten (cpu sowieso begrijp ik, maar ook hoeveelheid geheugen en ssd).

[supersoco80]

White Feather schreef op zaterdag 23 december 2023 @ 13:40:
Zelfs een Ryzen 5 7600X is al veel sneller dan die 8650u.

https://www.topcpu.net/en...650U-vs-AMD-Ryzen-5-7600X

116% sneller (Cinebench 23 single core) en het is de vraag of en hoe lang de i7 op de maximale 4,2 GHz draait.

Is er geen systeem waar je een test op kunt draaien, dan zie je vanzelf waar je bottlenecks zitten (cpu sowieso begrijp ik, maar ook hoeveelheid geheugen en ssd).

Ik heb helaas geen mogelijkheid om verschillende systemen te testen. Ik neem aan dat je met 'zelfs de Ryzen 5 is sneller' bedoelt dat die Ryzen 5 zelf zeker niet de snelste is? Ik zou graag echt voor de optimale snelheid gaan.

[supersoco80]

Damic schreef op vrijdag 22 december 2023 @ 17:49:
De meeste cpu's kunnen 1 core heel hoog boosten.

Ik denk als je al naar 64GB snel ram gaat dat je pc dan al wat meer adem ruimte heeft en meer in cache kan steken. Ook grote level 3 cache kan misschien helpen?

Zoiets: uitvoering: AMD Ryzen 7 7800X3D Boxed met een setje uitvoering: G.Skill Trident Z5 Neo RGB F5-6000J3040G32GX2-TZ5NR

Dank je! Dit zijn het soort antwoorden waar ik naar zoek! Is Ryzen 7 en DDR5 en een vergelijke schrijfsnelheid iets waar ik op kan zoeken als ik op zoek ga naar een complete kast?

[Croga]

Damic schreef op vrijdag 22 december 2023 @ 17:49:
Ik denk als je al naar 64GB snel ram gaat dat je pc dan al wat meer adem ruimte heeft en meer in cache kan steken. Ook grote level 3 cache kan misschien helpen?

Als ik 11GB van 16GB in gebruik zie dan denk ik dat RAM geheugen geen factor is. Windows zal het RAM ten allen tijde proberen volledig als cache te gebruiken en zelfs dat krijgt het hier niet voor elkaar. Dat geeft voor mij aan dat de analyse maar heel erg weinig RAM gebruikt (een detail scherm van het geheugen gebruik per proces zou hier nuttig zijn.

Het idee van meer level 3 chache zou wel interessant kunnen zijn. Dat leunt wel heel sterk op de voorspelbaarheid van de analyse; daar kan ik zo niet over oordelen. De uitdaging daarbij is;
- Bij een repetitief proces over veel data is de voorspelbaarheid groot maar het nut van cache beperkt.
- Bij een niet-repetitief proces over weinig data is het nu van cache groot maar de kans op een cache-mis en purge ook. In het geval van zo'n mis zou het zelf performance kunnen kosten.
Een hele lastige.....

Al met al zie ik aan de screenshot weinig meer dan: Hoge kloksnelheid en recente CPU. Dan is één van de nieuwste generatie Ryzens, het liefst een hoog genummerde X variant, de beste keuze. Een 7950X gaat tot 5.7Ghz boost, een economische keuze zou de 7700X zijn met 5.4Ghz op iets meer dan de helft van de prijs.

Als je geen al te dure GPU nodig hebt zou een systeem rond de 7700X binnen de price range moeten passen. Combineer dat met 32GB RAM en 2 lege RAM slots, een goede PCI-e 4 SSD (de PCI-e 5 SSDs hebben nog teveel last van thermal throttling en dat moet je echt niet hebben) en je zou genoeg power moeten hebben binnen het budget.
Ik zou zelf niet voor de 7800X3D gaan omdat;
- Minder boostclock
- Geen zekerheid dat de 3D-cache helpt
- hogere prijs

[Uszka]

7800X3D is geen logische keuze als de hoogste single core prestaties gewenst zijn. Rond dezelfde prijs is een Intel i7-13700K 15% sneller. Een goedkopere R7 7700X is bijna 10% sneller.

[Croga]

Uszka schreef op zaterdag 30 december 2023 @ 08:18:
7800X3D is geen logische keuze als de hoogste single core prestaties gewenst zijn. Rond dezelfde prijs is een Intel i7-13700K 15% sneller. Een goedkopere R7 7700X is bijna 10% sneller.

De uitdaging is dat dit soort getallen allemaal aan de hand van synthethische benchmarks gemaakt worden. Ik gok dat geen enkele van die benchmarks precies doet wat TS wil doen. En daarmee zijn die benchmarks, en de bijbehorende prestatiecijfers, zinloos voor TS.

Het is daardoor ook enorm lastig om te zeggen dat een Intel processor in deze beter of slechter is dan een AMD processor. Het is vrij zeker dat een vergelijk tussen dezelfde generatie en hetzelfde merk puur op boostclock aan gaat komen.

Ofwel: De 7700X zal zonder twijfel sneller zijn dan eenzelfde CPU van die serie met een lagere boostclock (en ook hier is het weer lastig om een lijn te trekken met de 7800X3D aangezien de impact van de extra cache niet zeker is). De 13700K is niet op dezelfde manier vergelijkbaar; zal de Intel instructie set dit beter of slechter afhandelen dan die van AMD? Niemand van ons weet het.....

Maar zoals gezegd; ik ben het met je eens dat de 7700X een solidere keuze is dan de 7800X3D.

[White Feather]

supersoco80 schreef op zaterdag 30 december 2023 @ 07:53:
[...]


Ik heb helaas geen mogelijkheid om verschillende systemen te testen. Ik neem aan dat je met 'zelfs de Ryzen 5 is sneller' bedoelt dat die Ryzen 5 zelf zeker niet de snelste is? Ik zou graag echt voor de optimale snelheid gaan.

De Ryzen die ik noemde is “maar” een Ryzen 5, een moderne midrange dus.

Als je bovenin de site klinkt waarvan ik het overzicht stuurde, kun je andere vergelijkingen maken.


Een Ryzen 5 is dus 123% sneller, 2,23x zo snel als die je nu hebt.
De top of the range 16 core 7950x is 128% sneller, marginaal dus en ondertussen dus 590/235, dus 2,5x zo duur (zie Pricewatch).

1,28/1,23=1,04. Het snelheidsverschil is dus 4%.

Je draait op een 8 jaar oude ultra low voltage laptop-chip. Blijkbaar heeft het al die jaren goed genoeg gedraaid. Dan is het nogal extreem om nu voor het snelste van het snelste te gaan en zoveel geld uit te geven.

Een Ryzen 5 7600X heeft een boost tot 5,3 GHz, nauwelijks minder (nog geen 2%) dan de 5,4 GHz van een 7700X. En de 7700X is wel 344/235=46% duurder.

Bij Intel geldt hetzelfde. De 13900KS en 14900K draaien op 6 GHz en kosten rond de € 600.

Een 13700k/14600k/14700k draaien op 5,3/5,4 en 5,6 GHz en kosten van € 305-445.

Let er op dat, zoals al aangegeven, niemand weet op welke cpu deze software het beste draait en dat je de frequenties tussen AMD en Intel niet kunt vergelijken.

[Uszka]

De meerprijs zou ik over het hele systeem bekijken. €100 op €1000 is dan nog maar 10%.

[bwerg]

Croga schreef op zaterdag 30 december 2023 @ 08:12:
Bij een niet-repetitief proces over weinig data is het nu van cache groot maar de kans op een cache-mis en purge ook. In het geval van zo'n mis zou het zelf performance kunnen kosten.

Ik weet niet wat je met "het" bedoeld, maar meer cache gaat je nooit prestaties kosten. De lagere kloksnelheid van de 7800X3D-chips natuurlijk wel, dus in situaties waarin cache weinig toevoegt kan een 3D-chip inderdaad trager zijn.

Als ik het zo lees wil je snelle single-core prestaties, maar maakt die laatste 10% je nou ook weer niet zo veel uit. En ga je daar zeker geen honderden euro's voor uitgeven. Dan zou ik inderdaad gewoon kijken naar de maximale boost clock van de CPU, en dat afzetten tegen de prijs. Een i5 of Ryzen 5 is waarschijnlijk het gunstigste, een i9 of Ryzen 9 heeft vaak wel een hogere boost clock maar veel scheelt het niet. Je betaalt vooral meer voor extra cores. De maximale boost clock van elke CPU ga je wel halen. De CPU klokt zichzelf terug bij hoge temperaturen, maar single-core zal dat niet gebeuren.

De kloksnelheid van AMD en Intel is trouwens niet één-op-één te vergelijken. Of je beter Intel of AMD kan hebben valt niet te voorspellen, dat verschilt per applicatie.

Uszka schreef op zaterdag 30 december 2023 @ 08:18:
7800X3D is geen logische keuze als de hoogste single core prestaties gewenst zijn. Rond dezelfde prijs is een Intel i7-13700K 15% sneller.

Dit is een onzinnige uitspraak, het is afhankelijk van de applicatie of die sneller draait met hoge kloksnelheden of met veel cache.

Daar kom je alleen achter door het te meten. Als het custom software is en de hardware is niet nog beschikbaar dan is het dus koffiedik kijken. Er is een miniscule kans dat je daarmee 60% prestaties o.i.d. laat liggen maar die kans is klein dus dan voelt de meerprijs van een 3D-chip te hoog.

[Tazzios]

supersoco80 schreef op zaterdag 30 december 2023 @ 07:53:
[...]


Ik heb helaas geen mogelijkheid om verschillende systemen te testen. Ik neem aan dat je met 'zelfs de Ryzen 5 is sneller' bedoelt dat die Ryzen 5 zelf zeker niet de snelste is? Ik zou graag echt voor de optimale snelheid gaan.

Optimaal is wat anders dan maximaal.

Ik zou even het desktop aankoop advies sjabloon in vullen(Waarom je die verwijdert hebt is mij onduidelijk) met een budget en je wensen dan kan er gekeken worden wat er maximaal haalbaar en nuttig ismet je budget.

edit:
budget is al wel genoemd en de rest staat er eigenlijk ook wel in.

Misschien handig als de TS nog wat systeemlinks aangeeft waar hij aan denkt.

Ik denk persoonlijk dat een PC uit hetzelfde bouwjaar als de Surface book al 50 tot 100% sneller zal zijn. En dat het verder dus eigenlijk niet zo spannend is. Indien het echt perse de max moet zijn zal de TS zijn eigen benchmark moeten maken.
Heb je geen (moderne) desktop van iemand anders waar je het even op kan draaien? Dan weet je wat je kunt verwachten.

[ Voor 30% gewijzigd door Tazzios op 30-12-2023 10:29 ]

[Damic]

Tazzios schreef op zaterdag 30 december 2023 @ 10:17:
[...]

Optimaal is wat anders dan maximaal.

Ik zou even het desktop aankoop advies sjabloon in vullen(Waarom je die verwijdert hebt is mij onduidelijk) met een budget en je wensen dan kan er gekeken worden wat er maximaal haalbaar en nuttig is met je budget.

Prijs staat toch in de TS: tussen 1000 en 1500€

[Croga]

bwerg schreef op zaterdag 30 december 2023 @ 09:46:
Ik weet niet wat je met "het" bedoeld, maar meer cache gaat je nooit prestaties kosten. De lagere kloksnelheid van de 7800X3D-chips natuurlijk wel, dus in situaties waarin cache weinig toevoegt kan een 3D-chip inderdaad trager zijn.

er is, zo te zien, een t weg gevallen. Ik bedoelde "het nut".

De CPU vult de cache met de data die het verwacht nodig te hebben. Als de verwerking dan plots een andere kant op gaat kan het zijn dat de volledige cache leeg gegooid moet worden en opnieuw gevuld. Als de cache dan een stuk groter is kost dat een stuk meer tijd. En nee, dat zal niet veel zijn. Maar als het proces onvoorspelbaar is dan gebeurt dat vaker en zal de verwerking daardoor trager gaan.
Het is natuurlijk allemaal geneuzel in de marge. Maar als je kijkt naar de vergelijking tussen de top AM5 processoren dan is het dat allemaal. Het verschil tussen een boostclock van 5.4Ghz en 5Ghz is ook geneuzel in de marge. Alle marges bij elkaar zal zeker een verschil maken.

[mitsumark]

Iets concreter, als ik filter op een hoge turbo, discrete videokaart en uitbreidbaar geheugen, kom ik op zoiets:
uitvoering: Lenovo Legion T5 26ARA8 (90UY006KMH) of maybe deze: uitvoering: Paradigit Gaming Advanced AMD

Heel veel meer keus is er eigenlijk niet, tenzij je genoegen neemt met een oudere generatie processor, een lagere kloksnelheid, zelf videokaart toevoegen (mits voeding dat aankan) of 16GB geheugen welke je niet kunt uitbreiden (maar wel volledig vervangen).

[ Voor 23% gewijzigd door mitsumark op 30-12-2023 11:00 ]

[bwerg]

offtopic:
@Croga, interessante achtergrondinformatie, ik zou het vreemd vinden als het zo werkt omdat het technisch niet nodig (leeggooien kan ook voor een deel van de cache, en sowieso hoeft er niks "leeg", er moet alleen iets nieuws worden ingeladen), maar ik heb niet genoeg kennis om te kunnen zeggen hoe het in de praktijk geïmplementeerd is.

Hoe dan ook lijkt minder performance door meer cache me een hypotetisch nooit-voorkomend geval.

Maar on-topic, in de praktijk zou ik voor de genoemde applicatie gokken op weinig merkbare prestatiewinst/verlies.

[supersoco80]

Croga schreef op zaterdag 30 december 2023 @ 08:12:
[...]

Als ik 11GB van 16GB in gebruik zie dan denk ik dat RAM geheugen geen factor is. Windows zal het RAM ten allen tijde proberen volledig als cache te gebruiken en zelfs dat krijgt het hier niet voor elkaar. Dat geeft voor mij aan dat de analyse maar heel erg weinig RAM gebruikt (een detail scherm van het geheugen gebruik per proces zou hier nuttig zijn.

Het idee van meer level 3 chache zou wel interessant kunnen zijn. Dat leunt wel heel sterk op de voorspelbaarheid van de analyse; daar kan ik zo niet over oordelen. De uitdaging daarbij is;
- Bij een repetitief proces over veel data is de voorspelbaarheid groot maar het nut van cache beperkt.
- Bij een niet-repetitief proces over weinig data is het nu van cache groot maar de kans op een cache-mis en purge ook. In het geval van zo'n mis zou het zelf performance kunnen kosten.
Een hele lastige.....

Al met al zie ik aan de screenshot weinig meer dan: Hoge kloksnelheid en recente CPU. Dan is één van de nieuwste generatie Ryzens, het liefst een hoog genummerde X variant, de beste keuze. Een 7950X gaat tot 5.7Ghz boost, een economische keuze zou de 7700X zijn met 5.4Ghz op iets meer dan de helft van de prijs.

Als je geen al te dure GPU nodig hebt zou een systeem rond de 7700X binnen de price range moeten passen. Combineer dat met 32GB RAM en 2 lege RAM slots, een goede PCI-e 4 SSD (de PCI-e 5 SSDs hebben nog teveel last van thermal throttling en dat moet je echt niet hebben) en je zou genoeg power moeten hebben binnen het budget.
Ik zou zelf niet voor de 7800X3D gaan omdat;
- Minder boostclock
- Geen zekerheid dat de 3D-cache helpt
- hogere prijs

Ik vrees dat hier, en na jouw post, door mij wat verwarring geschept wordt. In FME (het programma dat liep tijdens het maken van het screenshot) kan je aangeven hoeveel geheugen er gebruikt mag worden. Omdat ik ook andere dingen wil kunnen doen heb ik die op 10gb gezet. Als ik die op 16 (of groter) zet, dan loopt het geheugen wel helemaal vol. Stomme fout, sorry.