Wie heeft een cluster draaien?

[Arjan A]

Ik had net het bericht Verslag bezoek aan Genesis-cluster gelezen en nu wilde ik eigenlijk wel eens weten: Wie hebben thuis een cluster(tje) draaien?
Wat voor software gebruik je daarvoor en welk OS (ik ga er maar van uit dat windows geen optie is)?

[Verwijderd]

je bedoelt rekencluster of load balancing cluster?

[Arjan A]

Hoeps, daar ga ik. Wat is het verschil? Ik bedoelde eigenlijk zo'n cluster waar je de rekenkracht van alle in het cluster aanwezige PC's gebruikt en die dus ook maar één monitor en keyoard heeft. Zie ook dat artikeltje wat ik gelinkt had.
Verder denk ik bijv aan dat cluster dat de Titanic gerenderd heeft.

[aKra]

Ik zat daar ook aan te denken, maar het is mij niet gelukt met LINUX... Ik dacht nml. 1 koetje draaien met 20MKey/s...

Configgen ervan onder LINUX was een hoop geklooi, en is dus daadwerkelijk ook niet gelukt

[Arjan A]

Wat voor software heb je daarvoor gebruikt?
Ik had al iets gehoord van BeoWulf, maar volgens mij is dat niet te betalen.

[Verwijderd]

Daar kun je beowulf voor gebruiken. Ikzelf heb het ook eens getest, maar dat viel zwaar tegen, was namelijk èèn van de eerste dingen die ik wou uittesten toen ik begon met linux

Maar Beowulf kun je gewoon downloaden! En het zit standaard bij Suse, in ieder geval bij Suse 6.1

Het zag er vrij simpel uit dacht ik, maar daar ben ik van terug gekomen! Heb moeite zat gehad (en nog steeds) om gewoon linux draaiend te krijgen zoals ik wil.

Je kunt het downloaden bij http://www.beowulf.org/

[Arjan A]

Cool, ik ga dat eens proberen. 'k Heb intussen al zoveel gedaan met Linux, dat ik nu eens iets onmogelijks moet gaan doen.
Maar om even terug te komen op mijn eerste post:
Heeft iemand uberhaupt een cluster draaien?

[Kettrick]

Je moet toch al je progs die je in een cluster wil draaien , met een beowolf compiler bakken

dan kan je koe wel eens moeilijk worden

[eX0duS]

Je kunt met zo'n cluster echt niet gamen hoor, en voor dat je alles geconfigureerd hebt, ben je wel een paar jaar verder. Volgens mij is dat echt een hoop geklooi...

[Verwijderd]

Ik had begrepen dat [url="http://mosix"]www.mosix.org[/url] een makkelijk op te zetten cluster is. Voor beowulf heb je speciale binaries nodig en als je je kernel met mosix patcht, wordt cpu load en memory geloof ik redelijk automatisch over het netwerk versprijdt.

[Arjan A]

Het gaat mij echt niet om het gamen ofzo hoor. 't Is gewoon weer eens een uitdaging, 'k heb de 'gewone' dingen nu wel weer gezien eigenlijk. Ik dnk dat ik eens bij mosix en beowulf op de websites ga kijken.

[..]
Volgens mij is dat echt een hoop geklooi..

Mooi

Enne, koeien grazen is natuurlijk iets dat uiteindelijk wel moet kunnen

edit:

Overigens nog steeds niemand die een cluster heeft?

[deadinspace]

Een cluster is een groep computers die aan elkaar hangen en samen iets proberen te bereiken wat op 1 afzonderlijke computer niet snel genoeg kan. Het populairste gebruik is waarschijnlijk voor het uitrekenen van 'dingen' (denk aan simulaties van nucleaire ontploffingen, simulaties van vloeistofbewegingen, renderfarms, googles zoekmachine-farms, ...).

Beowulf is geen programma, het is een systeem dat beschrijft hoe computers zich moeten gedragen om een Beowulf cluster te vormen. Je zult de systemen in kwestie aan moeten passen, zodat deze hieraan voldoen. Je hebt dan een server node en een of meerdere client nodes. De server node krijg het programma dat gedraaid moet worden, en begint stukken hiervan over de client nodes te verdelen. Programma's moeten wel speciaal geprogrammeerd zijn om op een Beowulf cluster te kunnen draaien.

Mosix pakt dit anders aan. Mosix is een kernelpatch, en als je deze op je client nodes aanbrengt, dan zijn deze instaat taken van de server node te accepteren. Het programma hoeft niet speciaal gemaakt te zijn voor een mosixcluster, maar het programma moet wel meerdere uit meerdere processes bestaan. Een voorbeeld is xmms. Als je xmms draait, en dan 'ps auxf' doet, dan zie je ook meerdere malen, dit is omdat xmms extra processen start: dit process doet de gui, dit process de geluidskaart i/o, en dan hier nog 3 die tegelijk de mp3 decoden (of zoiets; you get the idea). Op deze manier kan xmms wat efficienter werken, maar xmms zou het niet zo hoeven te doen. Als je een programma op een mosix cluster wilt draaien, dan moet het wel uit meerdere processes bestaan, want een mosix cluster gaat verschillende processes op verschillende computers draaien. Als je dan zo'n programma op de mosix server node start, dan draait het hele programma op de server node. Die gaat dan kijken welke processes hij naar welke client nodes kan verplaatsen. Processes die veel geheugen gebruiken gaan naar een bak(ken) met veel ram, cpu-intensieve processes naar een snelle bak, enz.

Welke clusterings methode het interessantst is, hangt vrij sterk van je applicatie af.

[ontopic] Ik heb/gebruik zelf geen cluster btw [/ontopic]

[Verwijderd]

dingen zoals koe zijn niet nuttig op een cluster je kan het beste daarvoor crackrackbouwen

[Arjan A]

praise praise deadinspace (rijmt ook nog
Interessante informatie. Volgens mij is het dus absoluut niet zo simpel om 'even een clusterje' te bouwen. Nu had ik dat ook niet verwacht, maar deadinspace heeft erg goed uitgelegd hoe een cluster werkt/kan werken. Uit technisch oogpunt zou ik dus voor BeoWulf moeten kiezen denk ik, maar daar kan ik waarschijnlijk niet mijn huidige Linux-server voor gebruiken, omdat-ie gewoon productie draait zeg maar.
Ik denk dat ik dus eventjes moet wachten tot ik nog een machine heb. Misschien heb ik dan nix te doen en kan ik het weer eens proberen.
In ieder geval kan ik dus ook niet zeggen dat ik een cluster heb draaien. Iemand anders wel (ja ik blijf nieuwsgierig)?

[Arjan A]

Op vrijdag 13 juli 2001 11:15 schreef victorb het volgende:
dingen zoals koe zijn niet nuttig op een cluster je kan het beste daarvoor crackrackbouwen

Wat is een crackrack?

[Verwijderd]

http://www.tacube.com/pages/crackrack.html
dit is een crackrack

[JJJ]

Op vrijdag 13 juli 2001 11:29 schreef victorb het volgende:
http://www.tacube.com/pages/crackrack.html
dit is een crackrack

Lekker dingetje

[deadinspace]

Mosix is overigens beperkt tot Linux systemen, Beowulf niet.
Zie verder mosix.org (zoals oxonium al opmerkte), en kijk ook eens naar http://www.linux.com/howto/Beowulf-HOWTO.html.

Een cluster zal inderdaad niet 1 2 3 op te zetten zijn, en ik zou geen enkel nuttig doel kunnen verzinnen voor de thuisgebruiker (games kun je sowieso vergeten; die vereisen waarschijnlijk veel te veel interprocess communicatie, en dat moet dan allemaal tussen verschillende computers via het netwerk).
Voor iemand die dus geen cluster nodig heeft kan een cluster dus alleen maar leuk zijn, en niet nuttig (afgezien van de opgedane kennis) - hack value, zeg maar.
Mosix lijkt mij overigens makkelijker op te zetten, maar Beowulf is waarschijnlijk efficienter. Kwestie van afweging.
Dit is overigens wel iets waar die 486ers uit de kast leuk voor kunnen zijn. Toegegeven, die zijn niet snel, maar als het om snelheid gaat, ben je sowieso beter uit met een tbird 1.5ghz ofzo. Tenzij je echt een cluster nodig hebt, maar thuisgebruiker enzo...

[Verwijderd]

effe ter info
Buiten de beowulf heeft men ook nog andere clusters/methoden.

Men kan ook 2 (of meerdere) hosts transparant laten werken als 1 grote server waarbij de 2de dient voor loadbalancing en failover. Deze oplossing vereist wel wat HW oplossing zoals een shared memory bus of een shared scsi bus tussen beide nodes
In ieder geval gaan ze shared storage nodig hebben.
Dit kan met compaq TruCluster, gebaseerd op hun tru64 unix voor de alpha

Ik ken enkel de compaq 'oplossing' (heb een kameraad op de Alpha/Tru64 afdeling) maar sun, HP en IBM zullen waarschijnlijk wel iets gelijkaardig hebben

[Arjan A]

Wat is dan het principe van CoW? Die hebben in principe toch geen hw aanpassingen nodig, alleen client software (a la onze eigen koeien)? Op zich vind ik dat geen echt cluster, iig niet in de zin zoals ik bedoelde nl adh van het Genesis project.

[Verwijderd]

cow is dat de workstations een extra proggie draaien zodat ze s'nachts bijv reken opdrachten krijgen en over dag als normale workstation's dienen

[RG]

Op vrijdag 13 juli 2001 09:51 schreef Arjan_A het volgende:
Verder denk ik bijv aan dat cluster dat de Titanic gerenderd heeft.

Ja hoor die staat bij mij in de achtertuin Ik heb er ook wel eens over gedacht om een stel bakken te clusteren, maar wat heb je eraan? Juist: helemaal niks
Voor info kijk je maar in het verhaal van Dood in de ruimte, die heeft het IMHO perfect uitgelegd

[ACM]

Op vrijdag 13 juli 2001 01:15 schreef Arjan_A het volgende:
Ik had net het bericht Verslag bezoek aan Genesis-cluster gelezen en nu wilde ik eigenlijk wel eens weten: Wie hebben thuis een cluster(tje) draaien?
Wat voor software gebruik je daarvoor en welk OS (ik ga er maar van uit dat windows geen optie is)?

Ik, weliswaar niet thuis, maar wel op mijn werkplek (en dan bedoel ik niet het Genesis cluster, die is er natuurlijk ook nog)

Als je ervoor wilt/kan/moet programmeren, is mpich een heel makkelijke tool.

Voor distributed rekenen met multiprocess programma's die je niet zelf maakt, is het niet echt te gebruiken verder.

Overigens, is die mpich software erg eenvoudig in gebruik.

[Verwijderd]

Cluster van alle overbodige 286ers thuis - zou dat kunne ?

[deadinspace]

Op vrijdag 13 juli 2001 20:19 schreef DJ_PP het volgende:
Cluster van alle overbodige 286ers thuis - zou dat kunne ?

As far as speed goes: mja

En verder draait 'normaal' linux niet op een 286 (ontbrekende features ivm protected mode en 32bits addressering), maar als ik me niet vergis is er 'the Linux Elk Project' die als doel heeft GNU/Linux op 286ers te kunnen runnen, maar ik weet niet hoe ver dit al is.

Als je een stapel 286ers met GNU/Linux werkend krijgt en zo mp3s kunt afspelen, heb je wel iets om trots op te zijn natuurlijk

[Arjan A]

Zou je dus, als je bijv. genoeg 386-en hebt een 586 oid kunnen evenaren of voorbijstreven qua snelheid (ik doel op koeien etc en geen games)?

[deadinspace]

Op zaterdag 14 juli 2001 16:07 schreef Arjan_A het volgende:
Zou je dus, als je bijv. genoeg 386-en hebt een 586 oid kunnen evenaren of voorbijstreven qua snelheid (ik doel op koeien etc en geen games)?

Hangt er van af wat je erop wilt draaien. Als datgene wat jij wilt draaien CPU-intensief is en weinig interprocess communicatie nodig heeft, dan: misschien. En anders kun je dat waarschijnlijk wel vergeten. Het is sowieso in geen geval evenredig met de moeite die het kost.

[Verwijderd]

linux voor 286?????? weet je misschien welke site dat is ik heb namelijk wel een paar 386 en 286 kan ik daar namelijk nog een beetje pc van maken graag antwoord

sorry dat dit niet on topic is maar ik zou het graag willen weten

[Valium]

Met clusters moet je rekening houden met de grote hoeveelheid dataverkeer tussen de processen. Die is groter dan je zou verwachten.

MOSIX is een zeer eenvoudig te installeren clusterpakket. Ik had het hier draaien binnen een uur. Overigens was dat MOSIX 1.0 en is die NIET SMP-safe. 1 van de 2 compu's was een SMP-machine en die hing constant. Erg vervelend (ook voor mijn uniproc bak).

[deadinspace]

Op zaterdag 14 juli 2001 19:33 schreef tomazzz het volgende:
linux voor 286?????? weet je misschien welke site dat is ik heb namelijk wel een paar 386 en 286 kan ik daar namelijk nog een beetje pc van maken graag antwoord

sorry dat dit niet on topic is maar ik zou het graag willen weten

Zowel GNU/Linux op een 286 als clusters bouwen van oude computers heeft weinig nut. Het kost beide (redelijk) veel moeite om aan de gang te krijgen, en de snelheid die je eruit haalt is erg klein. Als je om een of andere reden een snelle computer nodig hebt, dan kunnen waarschijnlijk 100 486ers nog niet tippen aan een tbird 1.5ghz (nouja, 100 468DX4-100ers met 64meg en 100mbit pci ethernet zouden er wel een gooi naar kunnen doen).
Voor beide geldt eigenlijk dat het leuk knutselen is als je van computers houdt.

[Verwijderd]

sorry weer off topic
zou het mogelijk zijn als dat project slaagd mp3s op een 286 af te spelen????

[heuveltje]

en toch kluster ik ook

dagelijks op meerdere p2 en p3's hier in huis
3dmax rendert gewoon veel sneller met meerdere bakken

[Verwijderd]

death in space weet je echt niet welke site die mensen die aan dat project bezig zijn hebben? ik heb al gezocht maar vind niks
bedankt

[odysseus]

Tomazz, kijk eens op:

http://www.elks.ecs.soton.ac.uk/

Daar staat het project waar deadinspace waarschijnlijk op doelde. Het ziet er allemaal nogal experimenteel uit: versienummer is nu 0.0.84 en je kunt het draaiend krijgen door op een 'normaal' systeem te gaan crosscompilen, lijkt het. Succes ermee...

[Verwijderd]

thx

[deadinspace]

Over die mp3s: mp3s afspelen op 1 286 gaat je nooit lukken, en op een cluster is het waarschijnlijk ook onmogelijk.
Een 486dx4-100 kan mp3s (net) full bitrate afspelen. Als je er vanuitgaat dat een 486 per mhz 5 keer zo snel is als een 286 (geschat) en 12 mhz is, dan heb je dus zo'n 40 van die 286ers nodig om dezelfde rekenkracht te behalen. Maar als je die gaat clusteren, dan krijg je veel en veel minder performance wegens cluster-overhead. Ik denk dat het een zeer trage cluster wordt, omdat die 286 zowat al hun tijd kwijt zouden zijn met uitvechten wie wat doet en elkaar vertellen hoever ze ergens mee zijn en data voor de rekenjobs uit te wisselen.

Het punt is: een 286 is gewoon erg langzaam voor de eisen van vandaag.
Bovendien heb je als je een cluster bouwt, nooit 100% snelheid: een cluster van 4 compus is niet 4 keer zo snel als 1 compu. Dit komt vanwege comminucatie-overhead en synchronisatie problemen. En hoe meer compus je clustert, hoe erger dit wordt. En hoe trager de compus zijn, hoe eerder je dit effect merkt.
Ik schat, dat als je pIIs gaat clusteren, dat het bij 500 computers of zo gewoon niets meer uitmaakt in snelheid als je er toevoegt.
En bij 486ers veel eerder, en bij 286 nog veel eerder.
Vooropgesteld dat je ze uberhaupt aan het klusteren krijgt.

[Verwijderd]

Op vrijdag 13 juli 2001 21:09 schreef deadinspace het volgende:

[..]

As far as speed goes: mja

En verder draait 'normaal' linux niet op een 286 (ontbrekende features ivm protected mode en 32bits addressering), maar als ik me niet vergis is er 'the Linux Elk Project' die als doel heeft GNU/Linux op 286ers te kunnen runnen, maar ik weet niet hoe ver dit al is.

Als je een stapel 286ers met GNU/Linux werkend krijgt en zo mp3s kunt afspelen, heb je wel iets om trots op te zijn natuurlijk

zker weten -> een stereotoren van 50m³

edit:
[quote]
Op zaterdag 14 juli 2001 21:52 schreef deadinspace het volgende:
Over die mp3s: mp3s afspelen op 1 286 gaat je nooit lukken, en op een cluster is het waarschijnlijk ook onmogelijk.
Een 486dx4-100 kan mp3s (net) full bitrate afspelen. Als je er vanuitgaat dat een 486 per mhz 5 keer zo snel is als een 286 (geschat) en 12 mhz is, dan heb je dus zo'n 40 van die 286ers nodig om dezelfde rekenkracht te behalen. Maar als je die gaat clusteren, dan krijg je veel en veel minder performance wegens cluster-overhead. Ik denk dat het een zeer trage cluster wordt, omdat die 286 zowat al hun tijd kwijt zouden zijn met uitvechten wie wat doet en elkaar vertellen hoever ze ergens mee zijn en data voor de rekenjobs uit te wisselen.

Het punt is: een 286 is gewoon erg langzaam voor de eisen van vandaag.
Bovendien heb je als je een cluster bouwt, nooit 100% snelheid: een cluster van 4 compus is niet 4 keer zo snel als 1 compu. Dit komt vanwege comminucatie-overhead en synchronisatie problemen. En hoe meer compus je clustert, hoe erger dit wordt. En hoe trager de compus zijn, hoe eerder je dit effect merkt.
Ik schat, dat als je pIIs gaat clusteren, dat het bij 500 computers of zo gewoon niets meer uitmaakt in snelheid als je er toevoegt.
En bij 486ers veel eerder, en bij 286 nog veel eerder.
Vooropgesteld dat je ze uberhaupt aan het klusteren krijgt.
[/quote]

nou ja, ik kan wel 10 dx 100tjes ophoesten zonder probleem ( ik bedoel dus vinden niet dat mijn longen van ijzer zijn ofzo ). Het probleem is alleen dat ik wel vaker met linux gewerkt heb, maar ik hou meer van winNT omdat ik daar nu mee aan het experimenteren ben, zou het ook mogelijk zijn om een kluster te beginnen in NT ( ja zonder advanced server I mean, want dat kan ik niet betalen ) op bv NT4?

[TheGhostInc]

Da's nog eens wat anders dan een MP3 speler die je kwijt raakt omdat ie te klein is.

Clusters zijn wel erg grappig, maar behalve renderwerk, of zware simulaties is er weinig nut. De enige cluster die wat realtime doet is eigenlijk een internet cluster, maar dat is weer geen echt cluster .