Beowulf cluster

[Verwijderd]

Voor mijn onderzoeksproject moet ik vaak complexe berekeningen uitvoeren die veel tijd vergen. Dat is op zich niet erg, alleen soms moet ik er op wachten voordat ik verder kan met mijn werk. Ik kan nu wel een snellere PC kopen, maar dat zet geen zoden aan de dijk. Ik woon echter in een studentenhuis met allerlei enthousiaste computergebruikers die best willen helpen met mijn berekeningen (vanwege o.a. hoog maatschappelijk nut, nl Parkinson-onderzoek) en men heeft geopperd om een Beowulf cluster te maken dat 's nachts lekker kan rekenen.

We hebben aan ons netwerk met 10/100 Mbit switch de volgende computers hangen:
-486DX4 (8 MB RAM) 100 met 10 Mbit ISA kaart.
-486DX2 66 (8 MB RAM) met 10 Mbit ISA
-Pentium 166 (16 MB ram) met 10/100 Mbit PCMCIA kaart
-Pentium 4 1,8 GHz (1024 MB RAM) met 10/100/1000 Mbit kaart
-Athlon Thunderbird 1,3 GHz (256 MB RAM) met 2x 10/100 kaart
-Pentium 3 500 MHz (64 MB RAM) met 10/100 kaart
-Athlon XP 1800+ (512 MB RAM) met 10/100 kaart

Er hangt nog meer aan het netwerk (2x Apple nogwat en 2x Pentium 2), maar die rekenen niet mee.

Is het uberhaupt zinvol om die 486-en mee te laten rekenen? en zo ja hoeveel moet ik er geheugen bijprikken (Onder Windows XP neemt het programma ongeveer 8 MB in beslag)?

Maakt het uit welke Linux distributie er gebruikt wordt?
Wat zijn de ervaringen met beowulf?

BTW: De routines kunnen gemakkelijk naar Linux geport worden. Dat is geen problemo.

[Verwijderd]

Op donderdag 16 mei 2002 21:11 schreef Bladiebla het volgende:
Is het uberhaupt zinvol om die 486-en mee te laten rekenen? en zo ja hoeveel moet ik er geheugen bijprikken (Onder Windows XP neemt het programma ongeveer 8 MB in beslag)?

lijkt me een beetje overbodig naast die p4, zonde van de electriciteitsrekening en kosten aan extra geheugen, volgens mij heb je voor de meeste lunux versies 64 mb nodig.

[Predator]

Als het pure berekeningen zijn dan zullen die 486's niks bijbrengen.
Veel te traag ivm de andere.
Zelf die p166 zal niet veel doen.
Veel trage cpu & mem

Op donderdag 16 mei 2002 21:18 schreef boriz het volgende:

[..]

lijkt me een beetje overbodig naast die p4, zonde van de electriciteitsrekening en kosten aan extra geheugen, volgens mij heb je voor de meeste lunux versies 64 mb nodig.

64MB

Zonder X runt een linux zelfs met 8mb.
Moet je wel niet veel extra gaan doen.

[Verwijderd]

Het gaat inderdaad om 'pure' berekeningen. Laplace transformaties, Fourier, dat soort dingen. De helft van de code is gecopypasted uit Numerical Recipes voor c (voor wie dat wat zegt). Het kan waarschijnlijk daarom ook gemakkelijk geport worden naar Linux (geen grafische schil etc.) Er zijn wel al werkende versies voor HP-Unix gemaakt, maar ik weet niet of dat ook onder Linux draait. Sommige software die onder HP draait, draait nl niet onder Linux (vraag me niet waarom, ben Linux-nOOb). Ik had begrepen dat een 486 een relatief hoge IPC heeft (als je hem zou schalen naar 1 GHz), maar dat hij voor kantoorapplicaties te traag zou zijn vanwege het gemis aan MMX, SSE en SSE2, etc. Nu heb ik die laatste dingen toch niet nodig voor dit soort berekeningen.

[The Bad Seed]

Dat van die 486 kan best waar zijn, maar de cpu is niet geschaald naar 1 GHz , dus als het op brute rekenkracht aankomt zal je der niet zoveel aan hebben. Dan blijven er nog 4-5 computers over die de moeite waard zijn (stroomkosten/rekencapaciteit).
Volgens hetgeen ik gelezen heb over Beowulf clusters is het bovendien alleen maar nuttig voor processen die veel cpu-tijd gebruiken in verhouding met netwerk/schijfactiviteit. en dan enkel nog voor processen die eenvoudig parallel kunnen draaien(ene bereking hoeft niet te wachten op een andere).
Misschien dat je met dat beperkte aantal computers beter de progs afzonderlijk laat werken(elk op een verschillende range van gegevens, als dat mogelijk is).
Ben je met je onderzoek bezig aan een universiteit? Want er zijn verschillende uni's die al een distributed computing project lopen hebben, waar je dan rekenkracht van kan gebruiken.

[Verwijderd]

Op donderdag 16 mei 2002 22:10 schreef Duracell het volgende:Volgens hetgeen ik gelezen heb over Beowulf clusters is het bovendien alleen maar nuttig voor processen die veel cpu-tijd gebruiken in verhouding met netwerk/schijfactiviteit. en dan enkel nog voor processen die eenvoudig parallel kunnen draaien(ene bereking hoeft niet te wachten op een andere).

Dat er niet/ nauwelijks schijfactiviteit is kan ik simpel zien, maar hoe weet ik van tevoren hoeveel netwerkverkeer deze berekeningen in een Beowulf cluster genereren?

Misschien dat je met dat beperkte aantal computers beter de progs afzonderlijk laat werken(elk op een verschillende range van gegevens, als dat mogelijk is).

Dat is nu juist het hele probleem. Dat gaat dus niet.

Ben je met je onderzoek bezig aan een universiteit? Want er zijn verschillende uni's die al een distributed computing project lopen hebben, waar je dan rekenkracht van kan gebruiken.

Academisch ziekenhuis.
Ik weet waar je op doelt, nl. SARA, het grootste Beowulf cluster ter wereld. Nu krijg ik daar nooit rekentijd. Van andere mogelijkheden weet ik niets en ik heb ook geen zin om daar moeite voor te gaan doen (budget aanvragen,m wachten, 1000 formulieren invullen, etc.). Ik vind het nl ook wel een uitdaging om mijn eigen Beowulf cluster te bouwen. In een Academisch ziekenhuis is alles een beetje raar geregeld. Een medisch specialist kan 8 ton verdienen, maar voor een lege CD-rom is geen geld en bovendien als je een lege CD-rom wilt hebben moet je twintig declaratieformulieren invullen, wat tot gevolg heeft dat er heel veel divisiemanagers, zorgmanagers, clustercoordinatoren, afdelingshoofden, werkgroephoofden, directeuren, etc nodig zijn om de boel te managen. (geen politiek statement, no flames intended).

Ik heb gehoord dat je ook een cluster kan bouwen met Win2K Advanced server. Nu weet ik daar helemaal niks van. Zou dit voordelen kunnen bieden boven een Beowulf cluster?

[Predator]

Op vrijdag 17 mei 2002 13:55 schreef Bladiebla het volgende:

[..]

Dat er niet/ nauwelijks schijfactiviteit is kan ik simpel zien, maar hoe weet ik van tevoren hoeveel netwerkverkeer deze berekeningen in een Beowulf cluster genereren?
[..]

Berekeningen die heel erg complex zijn op weinig data zijn goed.

Ik heb gehoord dat je ook een cluster kan bouwen met Win2K Advanced server. Nu weet ik daar helemaal niks van. Zou dit voordelen kunnen bieden boven een Beowulf cluster?

Een paar wins2k AS licenses gaan je wel erg veel kosten...

[TheGhostInc]

Ik heb een oplossing die *WEL* geld kost, maar wel redelijk max is wat betreft kosten tov. prestaties.

Als je werkt met diskless machines (booten van netwerk), bespaar je fors, als je daarnaast bv. van die k7S5A -lan bordjes gebruikt (weet niet zeker of die goed booten van netwerk) dan kun je voor een klein bedrag al een hele bak rekenkracht regelen.

In alle andere gevallen, een cluster klinkt leuker dan het is, de machines worden allemaal dual-boot, computers staan continu te loeien. Het is een boel werk, dat je waarschijnlijk beter in je onderzoek zou kunnen steken.

* TheGhostInc : het kan dus wel, maar een P4 1,8 , TB1,3 , XP1800+ en een P3 500 zijn alles bij elkaar weinig power, het gaat misschien net 2x zo snel, terwijl je anders een dedicated machine 24 uur kan aan laten staan, winst gaat dan richting nul. (3,5 x 8 uur ofzo tegen 1x 24)

[BOOTZ]

je moet jezelf afvragen of je progje parallel kan rekenen. als je een programma op 1 computer uitvoert, begint de volgende instructie pas als de vorige klaar is, netjes op een rij dus. heb je meerdere cpu's tegelijk aan het rekenen doen ze van alles tegelijk. kan je algoritme dit aan?

/edit: oftewel: kan je meerdere stukken informatie tegelijk verwerken?