Computer geoptimaliseerd voor wetenschappelijke berekeningen

[GenericNickname]

Beste Tweakers,

In de onderzoeksgroep waar ik werk is de wens ontstaan om een computer te kopen die kan worden gebruikt om snel taaie berekeningen te doen (denk aan het toepassen van statistische methoden op grote datasets). Nu
vroeg ik me af wat de optimale samenstelling van zo'n computer zou zijn, gegeven een budget van 3500 euro.

Ik heb gezien dat ze bij de Universiteit van Antwerpen een snelle rekencomputer hebben gemaakt door een paar GPU's te kopen. Is het aan te raden om dit ook te doen, ivm parallelisatie mogelijkheden? Wat voor CPU zou hierbij horen, en hoeveel geheugen is aan te raden? Ik las ergens dat het belangrijk is om de CPU en het geheugen dezelfde snelheid te laten hebben, is dit waar?

Sorry voor de litanie aan vragen, ik hoop dat iemand hier wat tips en suggesties kan geven.

[RobinHood]

Ook al heb ik vrij weinig verstand van echte rekenmonsters, is het wel belangrijk te weten welke software gebruikt word.

Een deel draait inderdaad erg goed op GPU's, AMD is daar momenteel beter in.
Een ander deel leunt voornamelijk op singlethreaded CPU-berekeningen, daarin zal een Intel i5/eventueel een Xeon beter zijn.
Een ander deel schaalt heel goed met cores. Hieren zullen een AMD-fx8350 of Intel Xeon/i7 het erg goed doen.

[leuk_he]

Het ligt er echt aan wat voor soort "grote dataset" en/of wat voor applicatie . Als die set goed te paralellisren is kun je voor dat bedrag wellicht beter een klein cluster bouwen.

Is er een bestaande applicatie?

[GenericNickname]

Op het moment werken we vooral in R, waarvan ik weet dat het een aantal parallelisatie mogelijkheden heeft. Ik heb begrepen dat het ook mogelijk is om met CUDA bezig te gaan, maar hier heb ik geen ervaring mee.

Wat statistische methoden betreft moet het goed mogelijk zijn om te paralleliseren. Zie, bijvoorbeeld, dit praatje: http://homepage.stat.uiowa.edu/~luke/talks/uiowa03.pdf, of deze presentatie van een parallele implementatie van PCA (dat we vrij vaak gebruiken): http://www.cs.berkeley.ed...sonRitterFinalProject.pdf

Een typische dataset bestaat uit 2700 waarnemingen van 30+ variabelen, over verschillende tijdspunten (een datatensor, zo u wilt).

[Verwijderd]

Hebben jullie geen computer experts on-site? Je vraag lijkt te komen van een totale computer leek zonder enige weet van computer technologie. Je zegt zelf dat de Belgen een snelle machine hebben en zoekt wat snels daarna vraag je of het slim is om dat ook te kopen? Je kan ook een PC van 15 jaar geleden halen en kijken hoever je daarmee komt natuurlijk? Ik zou me eerst wat inlezen op de huidige computer hardware en wat z’n ding eigenlijk is. Want een computer is maar net zo slim als zijn gebruiker natuurlijk en zonder enige kennis kom je niet ver. Eén tip: Voor een computer maakt het niet uit wat je ermee doet, zo is en game systeem gelijk aan een videobewerkings systeem en een 'wetenschappelijk systeem' of workstation zelfs (met een paar minimale verschillen) Alle apparaten zijn geijkt op 1 ding > snelheid.
Een meting van hoe snel z’n CPU ding is vind je hier: http://www.cpubenchmark.net/ (highend end betekend snelste die er is ongeveer). Dat verhaal over geheugen snelheid is 10 jaar oud en is al tijden niet meer een feit wil je daar meer over weten moet je is kijken wat overklokken is en kan, de uitleg hierover is zeer simpel. Wil je dat wij een systeem voor je samen stellen vraag dat dan dat doen we met liefde maar je moet zelf wel wat meer ondernemen kwa onderzoek en uitzoekwerk misschien?

[Bolletje]

> DAA

[leuk_he]

GenericNickname schreef op zaterdag 09 maart 2013 @ 14:22:
Op het moment werken we vooral in R, waarvan ik weet dat het een aantal parallelisatie mogelijkheden heeft.

http://www.rparallel.org/index.php

laatste versie uit 2008 (geen idee omdat dat wellicht ingebouwd is in R zelf of omdat het "klaar") is. Zo ge zien is dat een cluster oplossing, dus dan ga je een paar "relatief" goedkope recente pc's neerzetten, en telt op die manier de capaciteit bij elkaar op.

Of die CUDA oplossingen voor jouw situatie werken weet ik niet, maar besef dat je dan waarschijnlijk ook een specialistische programmeur daarvoor moet hebben. dat red je niet in dat budget waar jij over praat.

/edit : SPRINT is een meer up to date. zo op het eerste gezicht zoveel mogelijk snelle CPU's geheugen en een klein dedicated netwerk daarvoor zoeken. Bij gebrek aan beter zou je eens in de Best Buy guide kunnen kijken, en dan het high end game systeem waar je de high end GPU er niet in zet, en er dan 2 van koopt ofzo. Er zijn ook bedrijven die je high end servers willen verkopen, maar de vraag is of die sneller zijn dan een klein cluster van high end consumenten PC's.

[ Voor 41% gewijzigd door leuk_he op 09-03-2013 17:05 ]

[GenericNickname]

leuk_he schreef op zaterdag 09 maart 2013 @ 16:31:
[...]


http://www.rparallel.org/index.php

laatste versie uit 2008 (geen idee omdat dat wellicht ingebouwd is in R zelf of omdat het "klaar") is. Zo ge zien is dat een cluster oplossing, dus dan ga je een paar "relatief" goedkope recente pc's neerzetten, en telt op die manier de capaciteit bij elkaar op.

Of die CUDA oplossingen voor jouw situatie werken weet ik niet, maar besef dat je dan waarschijnlijk ook een specialistische programmeur daarvoor moet hebben. dat red je niet in dat budget waar jij over praat.

/edit : SPRINT is een meer up to date. zo op het eerste gezicht zoveel mogelijk snelle CPU's geheugen en een klein dedicated netwerk daarvoor zoeken. Bij gebrek aan beter zou je eens in de Best Buy guide kunnen kijken, en dan het high end game systeem waar je de high end GPU er niet in zet, en er dan 2 van koopt ofzo. Er zijn ook bedrijven die je high end servers willen verkopen, maar de vraag is of die sneller zijn dan een klein cluster van high end consumenten PC's.

Hartelijk dank.

[leuk_he]

GenericNickname schreef op zaterdag 09 maart 2013 @ 18:05:
[...]


Hartelijk dank.

En een bonus link:

http://cran.r-project.org...PerformanceComputing.html

Is aardig overzicht over R en uitbreidingen ervoor.
Met R kan dus alles, maar je moet er wellicht wel rekening mee houden.
Van simpel naar moeilijk:
-1 Snelle(intel) singelCPU machine met veel geheugen en snelle (SSD) disk.
-Multiprocessor machine
-Meerdere werkstations die als cluster inzet.
-OPENCL (cuda/grafische kaart) om heel specifieke routines te versnellen.

[ Voor 4% gewijzigd door leuk_he op 09-03-2013 20:48 ]