Optimaal werkstation voor grote statistische jobs. - Overige hardware

dinsdag 7 mei 2002 16:47

Acties:

Tele romeo

Topicstarter

Hey,

Hier op mijn werk draaien doen een aantal mensen zwaar statistisch rekenwerk mbv SAS. Het betreft hier datasets van rond de 100.000 records dus aardig heftig.

Op het moment draaien we deze jobs (transposen, tellen, statistische analyses als chi-square, T-testen, etc) via een Unix bak die dat prima voor ons doet. De process time ligt rond de 25 s per job. Hierin zit een behoorlijk spreiding omdat er natuulijk een diversiteit aan jobs is. Op een local station duren deze jobs ongeveer 10 keer zo lang. (pIII 1Ghz, 256 RAM: simpele dell GX1)

Binnenkort wordt de licentie voor SAS op deze unix bak wellicht opgeheven en zijn wij dus op zoek naar een een goed alternatief. We willen een dedicated workstation aanschaffen.

Mijn vraag aan jullie: Wat zijn belangrijke punten om zo`n dedicated workstation snel te laten draaien. Ik denk bv aan ultra-wide Scuzzy, 2 processoren etc. Ik weet hier niet zoveel vanaf dus ik hoop dat iemand mij wat advies kan geven. Misschien heeft iemand ooit eenzelfde afweging moeten kmaken.

Het budget voor dit systeem is in pricipe redelijk groot.
Randvoorwaarden: het workstation moet op windows NT draaien.

Hoop dat jullie me een beetje de weg kunnen wijzen.

I could feel at the time There was no way of knowing Fallen leaves in the night Who can say where they're blowing As free as the wind And hopefully learning Why the sea on the tide Has no way of turning

dinsdag 7 mei 2002 17:11

Acties:

eghie

Spoken words!

je mag mij ook wel zo'n systeem geven

dat is aardig wat rekenwerk, ik zou je wel ff wat op weg helpe, maar hoe groot is het budget.
het is aardig groot, maar noem eens een prijs dat er in de buurt ligt. als je een echte goeie wilt dan zal ik neme:
* dual amd xp 2200+
* 1024mb werkgeheugen
* 80gig hardeschijf
* gforce 4 ti 4600

of als het budget echt heel hoog ligt:

* 4x Pentium Northwood 2,2ghz
* moederbord met ondersteuning voor 4 northwoods
* 3gb DDR werkgeheugen
* 120gig hardeschijf
* 3d wildfinger kaart
* 10/100mb/s Ethernet kaard

dinsdag 7 mei 2002 17:26

Acties:

Dinictus208

Tele romeo

Topicstarter

Nee grafisch hoeft hij niet te presteren.

Het is me duidelijk dat ik voor een dual proc opstelling zal gaan. Ik ga me verder even inlezen op het gebied van raid en scuzzy etc.

Thnks voor het advies.

Het budget is overgens 5000 euro+

Misschien is er iemand die op zijn werk ook te maken heeft met systemen met scuzzy of raid omdat de werkzaamheden dit vereisen?

I could feel at the time There was no way of knowing Fallen leaves in the night Who can say where they're blowing As free as the wind And hopefully learning Why the sea on the tide Has no way of turning

dinsdag 7 mei 2002 17:30

Acties:

Mark_Steverink

Waar werk je?

Je vraag is me niet helemaal duidelijk. Hoeveel mensen doen er tegelijkertijd analyses? En je wilt nieuwe hardware aanschaffen omdat je softwarelicentie verloopt?

Misschien kan www.SPSS.nl iets voor je betekenen? OF www.MATLAB.com met de webserver?

dinsdag 7 mei 2002 17:30

Acties:

Verwijderd

gewoon een UNIX bak terug zetten.
begin natuurlijk niet aan AMD.. waterkoeling.. bladiebla...

kijk gewoon eens bij IBM rekenservers... Daar staan ze gewoon op de plank en ze zijn drvoor gemaakt...

dinsdag 7 mei 2002 17:32

Acties:

Hielko

Afhankelijk van het budget zou ik gaan voor een dual AMD Athlon MP 2000+ met 2-3GB geheugen. Als er meer budget is dan is een quad Xeon 2,2GHz met een E7500 moederbord ook met 2-4GB geheugen ook een leuke keus.

Maar het is natuurlijk moeilijk om dit uit te vogelen als je niet weet wat het programma nodig heeft. Ik neem iig aan dat het grafisch niks hoeft voor te stellen en HD performance lijkt me ook niet belangrijk. Je stopt de dataset in het geheugen en daar blijft het tot dat ie klaar is met rekenen. Als dat niet het geval is, is er te weinig intern geheugen. Desondanks lijkt het me wel verstandig om SCSI te nemen en dan wel een RAID opstellingkje met een mirror schijf.

dinsdag 7 mei 2002 19:11

Acties:

moser

And then there was silence

Op dinsdag 07 mei 2002 16:47 schreef Dinictus het volgende:
Hey,

Hier op mijn werk draaien doen een aantal mensen zwaar statistisch rekenwerk mbv SAS. Het betreft hier datasets van rond de 100.000 records dus aardig heftig.
Het budget voor dit systeem is in pricipe redelijk groot.
Randvoorwaarden: het workstation moet op windows NT draaien.

NT zal op bijna geen enkel systeem problemen geven, maar het blijft wel M$ dus alles is mogelijk

.
Ik zou zeggen een standaard grafische kaart vb Ati rage.
En dan 2 Intel Xeons wegens zwaar rekenwerk en zeker Rimm- geheugen. gewoon moederbord volsteken met 1024 Mb reepjes.
Misschien een scsi-HD, of anders een 15.000RPM HD.
geluid: onboard
een goeie netwerkkaart: intel pro of zoiets.
En waarom niet meer die Unix-bak gebruiken?

A busstation is where a bus stops,a trainstation is where train stops
On my desk, I have a workstation,
... No further comment.

dinsdag 7 mei 2002 19:15

Acties:

Sir_Killalot

Op dinsdag 07 mei 2002 17:26 schreef Dinictus het volgende:
Nee grafisch hoeft hij niet te presteren.

Het is me duidelijk dat ik voor een dual proc opstelling zal gaan. Ik ga me verder even inlezen op het gebied van raid en scuzzy etc.

Thnks voor het advies.

Het budget is overgens 5000 euro+

Misschien is er iemand die op zijn werk ook te maken heeft met systemen met scuzzy of raid omdat de werkzaamheden dit vereisen?

Het is: SCSI

dinsdag 7 mei 2002 20:30

Acties:

Dinictus208

Tele romeo

Topicstarter

Ja scsi.

Waarom die unix bak niet meer: Omdat de SAS licentie voor een server ENORM duur gaat worden voor ons.

spss is geen optie omdat we hier werken met SAS. De verschillen zijn voor de kenners erg essentiel.

Ik hoor al iets over 15.000 rpm schijven etc. Waarschijnlijk gaat iets in de richting worden van een dual proc systeem met een set van die 15.000 rpm schijven die via een scsi interface werken. (als ik datzo mag stellen)

Ik kom er wel uit. ik was benieuw of er iemand en gelijk soort situatie heeft meegemaakt en wat voor systeem zei gekozen hebben toen. Maargoed dat is dus niet het geval.

Waar ik werk doet er imho niet zo toe toch?

Thnks all.

I could feel at the time There was no way of knowing Fallen leaves in the night Who can say where they're blowing As free as the wind And hopefully learning Why the sea on the tide Has no way of turning

dinsdag 7 mei 2002 20:50

Acties:

moser

And then there was silence

Niet een soortgelijke situatie maar wel waar er veel rekenkracht nodig was, maar daarbij was grafische prestatie van groot belang.
Het ergste laten we steeds door Unix doen.

Maar ik raad zeker RIMM-geheugen aan als het budget het toelaat.

A busstation is where a bus stops,a trainstation is where train stops
On my desk, I have a workstation,
... No further comment.

dinsdag 7 mei 2002 21:43

Acties:

Dinictus208

Tele romeo

Topicstarter

Ik ga een wat lezen over dat rimm geheugen...

senks.

I could feel at the time There was no way of knowing Fallen leaves in the night Who can say where they're blowing As free as the wind And hopefully learning Why the sea on the tide Has no way of turning

woensdag 8 mei 2002 02:02

Acties:

Femme

Hardwareconnaisseur

Official Jony Ive fan

Als de dataset erg groot is en er sprake is van veel mutaties van de data, zul je zeker baat hebben bij snelle SCSI schijven- > Seagate Cheetah 36LP (eventueel in RAID 5 als het werkstation ook opslag doet). Veel geheugen zal ook zeker helpen. Rambus is waarschijnlijk niet sneller omdat de lagere latencies van DDR hoogstwaarschijnlijk meer voordeel opleveren dan de bandbreedte van dual channel Rambus.

Wat zijn de specificaties van de Unix bak? Als je die kunt noemen weet je ook wat voor vergelijkbare x86 hardware je nodig hebt.

Wat is het budget? Dual Athlon is erg betaalbaar, dual Xeon gaat zo'n 750-1000 euro meer kosten en quad Xeon gaat al snel richting de 10.000 euro voor een compleet systeem.

Op dinsdag 07 mei 2002 17:30 schreef OZz het volgende:
begin natuurlijk niet aan AMD.. waterkoeling.. bladiebla...

Gewoon het zaakje voldoende koelen en het draait als een rotsvast zonnetje. Xeons worden ook heet.

woensdag 8 mei 2002 02:22

Acties:

Tweak-Freak

ra ra wie is dat in mijn icon?

Op dinsdag 07 mei 2002 17:11 schreef eghie het volgende:
je mag mij ook wel zo'n systeem geven
dat is aardig wat rekenwerk, ik zou je wel ff wat op weg helpe, maar hoe groot is het budget.
het is aardig groot, maar noem eens een prijs dat er in de buurt ligt. als je een echte goeie wilt dan zal ik neme:
* dual amd xp 2200+
* 1024mb werkgeheugen
* 80gig hardeschijf
* gforce 4 ti 4600

of als het budget echt heel hoog ligt:

* 4x Pentium Northwood 2,2ghz
* moederbord met ondersteuning voor 4 northwoods
* 3gb DDR werkgeheugen
* 120gig hardeschijf
* 3d wildfinger kaart
* 10/100mb/s Ethernet kaard

Echt een inteligente opmerking vind ik dit niet

Wat moet hij nou weer met een Ti 4600 hij gaat er echt geen spelletjes op spelen of zo... Ik denk dat jij hier meer jou eigen "droom" computer neergezet hebt.

En 80Gig Hd zegt ook niet al te veel. Snellheid speelt hier veel meer een rol dan de grote van de schijf.
Bij het geheugen een beetje het zelfde, je roept maar 1024 omdat dat wel als lekker veel klinkt maar je geet niet aan wat voor soort geheugen. denk maar aan de grote verschillen in snelheid tussen de verschillende types geheugen die je hebt.

woensdag 8 mei 2002 08:53

Acties:

Verwijderd

Je zou toch ook kunnen denken aan een reken-cluster... Gewoon 5 van die GX1 machientjes aan elkaar koppelen..

woensdag 8 mei 2002 10:49

Acties:

Mark_Steverink

Op dinsdag 07 mei 2002 20:30 schreef Dinictus het volgende:
Waar ik werk doet er imho niet zo toe toch?

Klopt helemaal. Maar arbeidsmarkt gezien ben ik nogal ge-interesseerd in bedrijven/instanties waar data-analyses worden verricht.
Ik begrijp je opmerking dat SPSS geen optie is OMDAT mensen gewend zijn met SAS te werken niet zo goed. Je zult toch moeten overstappen op iets anders. Uit je eerste posting begrijp ik dat het rekenwerk zo zwaar is omdat je zoveel cases hebt, niet omdat het zo ingewikkeld is.

woensdag 8 mei 2002 15:01

Acties:

_JGC_

Kan je niet Unix van de huidige server afsmijten en Windows NT/Win2K op dat ding installeren? Of is die hardware zo specifiek dat MS er geen OS voor heeft (kan me voorstellen dat we het nu over een Alpha 64 bits systeem hebben, daar blijf je bij NT4 steken en heb je ook nog een 64bit alpha versie van je programma nodig

)

woensdag 8 mei 2002 19:13

Acties:

_JGC_

Als we het over een Alpha hebben: ga maar vast sparen voor het grootste bord met de meeste CPUs, want een beetje snelle Alpha is niet goed te verslaan met 32bit x86 CPUs.

woensdag 8 mei 2002 20:10

Acties:

Mark_Steverink

Op woensdag 08 mei 2002 18:01 schreef Dinictus het volgende:
Mark ik zie dat je Psycholoog bent. Zit je in het markonderzoek?

Ik ben inderdaad psycholoog. In 1997 ben ik afgestudeerd in wat voluit heet: Methoden en Technieken van Psychologisch Onderzoek. Vanaf 1998 tot nu zit ik in Leiden aan de universiteit als AiO. Ik heb daar gewerkt aan de ontwikkeling van een nieuwe data-analysemethode voor preferentiedata. Ik ben dus geen marktonderzoeker, maar heb wel kennis van methoden en technieken die in het marktonderzoek gebruikt kunnen worden.
Mijn contract loopt binnenkort af en ik moet dus op zoek naar iets anders om mijn hobby's (een vrouw, twee kinderen) te onderhouden.
Eigenlijk zouden we deze discussie per email moeten voeren, maar zowel jij als ik zijn nogal voorzichtig met ons emailadres, merk ik. Maar je hebt mijn profiel bekeken, en via mijn webpagina kun je mijn emailadres vinden...

donderdag 9 mei 2002 13:39

Acties:

moser

And then there was silence

Als je besloten hebt welk systeem, zou je dat ook eens willen post want ik denk wel dat er mensen zijn die hierin geïnteresseerd zijn (zoals ik)?

A busstation is where a bus stops,a trainstation is where train stops
On my desk, I have a workstation,
... No further comment.

donderdag 9 mei 2002 18:31

Acties:

croxz

Op een local station duren deze jobs ongeveer 10 keer zo lang. (pIII 1Ghz, 256 RAM: simpele dell GX1)

Misschien een idee om eens uit te zoeken wat de bottlenek van dit systeem is. Misschien is er genoeg processorpower maar niet genoeg geheugen, het heeft dan weinig zin om een duur dual systeem aan te schaffen. Kijk ook eens hoe intensief de hardeschijf belast wordt. Als het simpelweg een groot bestand in het geheugen laadt om daar dan mee te rekenen heb je geen SCSI 15k nodig, dat is meer voor het random benaderen van gegevens.

Draai het programma terwijl je de systeembronnen in de gaten houdt, dan kan je achterhalen wat je nodig hebt.

donderdag 9 mei 2002 21:01

Acties:

eghie

Spoken words!

Op woensdag 08 mei 2002 02:22 schreef Tweak-Freak het volgende:

[..]

Echt een inteligente opmerking vind ik dit niet

Wat moet hij nou weer met een Ti 4600 hij gaat er echt geen spelletjes op spelen of zo... Ik denk dat jij hier meer jou eigen "droom" computer neergezet hebt.

En 80Gig Hd zegt ook niet al te veel. Snellheid speelt hier veel meer een rol dan de grote van de schijf.
Bij het geheugen een beetje het zelfde, je roept maar 1024 omdat dat wel als lekker veel klinkt maar je geet niet aan wat voor soort geheugen. denk maar aan de grote verschillen in snelheid tussen de verschillende types geheugen die je hebt.

haha, nee ik ben ook nie echt inteligent

nee ik denk ook nie dat ie er spelletjes op gaat spele, maar ik d8 dat ie mischien ook wel grafische dingen er op deed dus dan is dat wel handig.

en dat is m'n droom pc trouwens niet hoor, dan mag er wel wat bij en een 3d wildfinger kaart, maar daar gaat et ff nie om.
en ja bij de hardeschijf is snelheid ook wel belangrijk, maar ik denk dat er ook wel wat mot opkunne.

donderdag 9 mei 2002 22:37

Acties:

Dinictus208

Tele romeo

Topicstarter

Op woensdag 08 mei 2002 20:10 schreef Mark_H.M._Steverink het volgende:

[..]

Ik ben inderdaad psycholoog. In 1997 ben ik afgestudeerd in wat voluit heet: Methoden en Technieken van Psychologisch Onderzoek. Vanaf 1998 tot nu zit ik in Leiden aan de universiteit als AiO. Ik heb daar gewerkt aan de ontwikkeling van een nieuwe data-analysemethode voor preferentiedata. Ik ben dus geen marktonderzoeker, maar heb wel kennis van methoden en technieken die in het marktonderzoek gebruikt kunnen worden.
Mijn contract loopt binnenkort af en ik moet dus op zoek naar iets anders om mijn hobby's (een vrouw, twee kinderen) te onderhouden.
Eigenlijk zouden we deze discussie per email moeten voeren, maar zowel jij als ik zijn nogal voorzichtig met ons emailadres, merk ik. Maar je hebt mijn profiel bekeken, en via mijn webpagina kun je mijn emailadres vinden...

Mark ik zal je eens mailen. wordt vast interessant. Ik mail je binnekort wel van mijn werkadres. (mischien niet meteen maandag maar ik mail je.) Het bedrijf waar ik werk vind je vast ook wel interessant. Kleine hint: ons aandeel stond vandaag rond de 71 Euro.

MOSER: Will do! Je hoort het nog.

I could feel at the time There was no way of knowing Fallen leaves in the night Who can say where they're blowing As free as the wind And hopefully learning Why the sea on the tide Has no way of turning

donderdag 9 mei 2002 23:30

Acties:

Verwijderd

Hoe hevig worden de schijven belast?

Als het echt erg is en de jobs zijn qua schijfgebruik niet al te groot (aantallen MB dus) is er een betaalbare SSD (Solid State Disk) voorhanden op www.cenatek.com in de vorm van een pci-kaart (helaas geen low-profile)

misschien toch te duur...

vrijdag 10 mei 2002 20:25

Acties:

Dinictus208

Tele romeo

Topicstarter

bbl:Ik zal eens gaan kijken. Ik denk dat de schijven wel zwaar belast gaan worden. Thnks voor je tip.

I could feel at the time There was no way of knowing Fallen leaves in the night Who can say where they're blowing As free as the wind And hopefully learning Why the sea on the tide Has no way of turning

vrijdag 10 mei 2002 20:48

Acties:

Fuzzillogic

Cool

Je zegt dat een job op de GX1 10x zo lang duurt als op de server. Hebben jullie dan zo'n stevig servertje staan, of zit er ergens een fikse bottleneck in die GX1?
M.a.w. gaat het op de GX1 traag omdat er maar 256MB in zit, PC133 is, of is die P3 gewoon traag?
Indien vooral het geheugen de key-factor is, dan is het nog de vraag of 256MB gewoon te weinig is (HD swapt als een gek) of dat het geheugen (PC133?) te traag is. In het eerste geval is Dual AMD/DDR geheugen wel de meeste "bang for the buck" t.o.v. Intel. Maar als de performance van het geheugen kritiek is dan zou een P4-systeem met PC800 (of PC1066 over een weekje of wat) geheugen wel te preferen zijn boven een AMD/DDR oplossing. Intel/RAMBUS steekt qua memory performance toch nog kop en schouder boven AMD uit.

Als de 1GHz CPU het probleem is, dan wordt het lastig. Lijkt me een zware klus om een x86 systeem voor €5000 te maken dat 10x zo snel is als die 1GHz P3..

Anyway, zoek je bottleneck op en richt je dan vooral daarop.

[add-on]
Ik weet niet hoe het bij NT4 zit, maar de verschillende versies van w2k ondersteunen ook een maximum aantal processoren; W2K Prof doet "maar" 2 CPU's. Is uiteraard wel goedkoper dan Server.

Misschien ook kijken naar de toekomst. Een Quad-plank werkt ook met 2 CPU's. Goedkoper nu, en goedkoop&makkelijk upgraden later (2 CPU's erbij en hoppa, bijna 2x zo snel, indien CPU de bottleneck is)
[/add on]

vrijdag 10 mei 2002 21:23

Acties:

_Thanatos_

Ja, en kaal

Ik weet niet hoe het bij NT4 zit, maar de verschillende versies van w2k ondersteunen ook een maximum aantal processoren; W2K Prof doet "maar" 2 CPU's. Is uiteraard wel goedkoper dan Server.

idd, hou dat in de gaten, NT4 workstation kan ook maar 2 CPU's aan, Server volgens mij 4 of 8 en Enterprise Server dan 16 of 32 stuks ofzo. Zal ook wel aan x86/Alpha/MIPS/PPC liggen hoeveel het er kunnen zijn.

Dus mensen: 'zomaar' een quad Xeon is niet 'de' oplossing als er NT4 workstation op moet...

日本！🎌

zaterdag 11 mei 2002 11:58

Acties:

Mary Wana

keyboard nut

Op dinsdag 07 mei 2002 17:11 schreef eghie het volgende:
je mag mij ook wel zo'n systeem geven
dat is aardig wat rekenwerk, ik zou je wel ff wat op weg helpe, maar hoe groot is het budget.
het is aardig groot, maar noem eens een prijs dat er in de buurt ligt. als je een echte goeie wilt dan zal ik neme:
* dual amd xp 2200+
* 1024mb werkgeheugen
* 80gig hardeschijf
* gforce 4 ti 4600

of als het budget echt heel hoog ligt:

* 4x Pentium Northwood 2,2ghz
* moederbord met ondersteuning voor 4 northwoods
* 3gb DDR werkgeheugen
* 120gig hardeschijf
* 3d wildfinger kaart
* 10/100mb/s Ethernet kaard

* gforce 4 ti 4600

hebben ze dus echt niet nodig

XP2600+ @ 2500mhz 1024mb Twinmos PC2700 @ CS2 WD1800JB Plextor 40x CDRW Ti 4600 ULTRA

zaterdag 11 mei 2002 12:04

Acties:

moser

And then there was silence

Op zaterdag 11 mei 2002 11:58 schreef Mary Wana het volgende:

[..]

* gforce 4 ti 4600 hebben ze dus echt niet nodig

lees de draad voor je blaat!
Dat was op de eerste pagina al gezegd.
eghie zei:

haha, nee ik ben ook nie echt inteligent
nee ik denk ook nie dat ie er spelletjes op gaat spele, maar ik d8 dat ie mischien ook wel grafische dingen er op deed dus dan is dat wel handig.
en dat is m'n droom pc trouwens niet hoor, dan mag er wel wat bij en een 3d wildfinger kaart, maar daar gaat et ff nie om.
en ja bij de hardeschijf is snelheid ook wel belangrijk, maar ik denk dat er ook wel wat mot opkunne.

A busstation is where a bus stops,a trainstation is where train stops
On my desk, I have a workstation,
... No further comment.

zaterdag 11 mei 2002 12:37

Acties:

Mary Wana

keyboard nut

Op zaterdag 11 mei 2002 12:04 schreef moser het volgende:

[..]

lees de draad voor je blaat!
Dat was op de eerste pagina al gezegd.
eghie zei:
[..]

Ik weet neit wat voor mege brak resolutie jij draai maa rik heb mar 1 pagina

XP2600+ @ 2500mhz 1024mb Twinmos PC2700 @ CS2 WD1800JB Plextor 40x CDRW Ti 4600 ULTRA

zaterdag 11 mei 2002 13:19

Acties:

moser

And then there was silence

Op zaterdag 11 mei 2002 12:37 schreef Mary Wana het volgende:

[..]

Ik weet neit wat voor mege brak resolutie jij draai maa rik heb mar 1 pagina

alles hangt af van de instelling hé nie te moeilijk doen.

A busstation is where a bus stops,a trainstation is where train stops
On my desk, I have a workstation,
... No further comment.

zaterdag 11 mei 2002 14:50

Acties:

Mary Wana

keyboard nut

Op zaterdag 11 mei 2002 13:19 schreef moser het volgende:

[..]

alles hangt af van de instelling hé nie te moeilijk doen.

zit wat in

XP2600+ @ 2500mhz 1024mb Twinmos PC2700 @ CS2 WD1800JB Plextor 40x CDRW Ti 4600 ULTRA