[RH8.0] cluster bouwen

[Verwijderd]

eerst en vooral: ik weet niet of ik hier in het juiste forum ben, indien niet, verplaats me maar

Mijn vraag: Ik beschik over een aantal pc's (total verschillende bakken). Hier zou ik graag een cluster mee bouwen (ja, ik weet dat 1 snel systeem veel goedkoper aan stroom is ed, maar daar gaat het mij niet om). Na enig leeswerk (zowel op GOT als op google) kwam ik tot de conclusie dat ik op die pc's RedHat8.0 wil draaien, en dat ik OpenMosix kan gebruiken om de load te verdelen (voor alle duidelijkheid: ik wil rekenkracht kunnen verdelen)

Maar waar ik in de lectuur geen antwoord op gekregen heb:
kan ik vanop een windows (2000) pc mijn cluster gebruiken?
om er maar even een praktisch voorbeeld tegenaan te gooien: Ik rip een DVD, of ik encode een gecaptured videofragment, kan ik de benodigde rekenkracht hiervoor uit mijn cluster putten?
misschien maakt dit alles wat duidelijker:

code:

                                  Windows 2000-bak
                                    'opdrachtgever'
                                               |
---------------------------------------------------------------------------
|                 |                      |                    |
rekennode 1      rekennode 2         rekennode 3                ...

dit alles zou dan verbonden worden met een 10/100 MBit ethernet netwerk. Is dit snel genoeg? of kan ik dan best op gigabit overstappen? (ik denk dat 10/100 snel zat is, maar weet het niet zeker)

wie kan mij hier een (liefst duidelijk gestaafd) antwoord op geven?
en misschien tips/howto's om dit op poten te zetten?

bedankt al op voorhand...

[Leon]

AFAIK kun je op een cluster geen "gewone" software draaien zoals bijvoorbeeld een standaard encoder. Die moet speciaal geprogrameerd zijn om in verschillende taken opgedeeld te kunnen worden.

[jep]

Inderdaad. En AFAIK kon openmosix geen load van single procesjes over haar nodes verdelen.

[Verwijderd]

Dat hangt er allemaal vanaf wat voor software je op de cluster nodes gebruikt, en op de head node (de w2k bak). Bestaande oplossingen heb ik niet voor je, maar je zou eens op zoek kunnen gaan naar mosix compatible encoders voor linux. Mocht je verder niets kunnen vinden, lijkt me niet zo moeilijk om een scriptje te schrijven wat op de head node de rauwe data splitst en verdeelt over de cluster nodes.

[Verwijderd]

Het gaat denk ik iets minder makkelijk dan je denkt... Je moet er echt software voor hebben die in meerdere processoren kan draaien, en anders eventueel zoals al genoemd zelf maken.

Je zou een boek kunnen nemen over dit onderwerp: zelf heb ik 'How to Build a Beowulf' van Thomas L. Sterling, John Salmon, Donald J Becker & Daniel F Savarese... Ik vind het heel leerzaam (is wat ouderwets met de hardware, maar het idee is super..)

[Ercewee]

Er bestaan zeker wel mogelijkheden.
Hoe je precies de combinatie moet maken tussen windows en je linux cluster weet ik niet, misschien dat je met XDMCP iets kan doen.

Verder als een process multithreaded is kan je dat met PVM (Parallel Virtual Machine) verdelen over meerdere machines.

Ook kan je zelf je programmas gaan schrijven, daar is bijvoorbeeld MPI zeer handig voor. Hiervan is MPICH een implementatie die redelijk makkelijk te gebruiken is.

Een kleine HOWTO voor MPICH heb ik zelf ooit geschreven, misschien heb je er iets aan.

HTH

Edit: mosix is ook interessant, voornamelijk als je met veel users op een systeem zit te werken. Mosix kan namelijk processen verdelen over verschillende machines. Oftewel mosix doet aan 'loadbalancing'. Ook kan mosix zware taken aan snelle computers geven. Om 1 taak over meerdere machines te verdelen is mosix minder geschikt. Het kan wel, maar ik zou het er niet voor gebruiken.

[ Voor 19% gewijzigd door Ercewee op 25-09-2003 11:19 . Reden: aanvulling ]

[Verwijderd]

Verwijderd schreef op 25 September 2003 @ 01:07:
Mocht je verder niets kunnen vinden, lijkt me niet zo moeilijk om een scriptje te schrijven wat op de head node de rauwe data splitst en verdeelt over de cluster nodes.

dat idee had ik dus ook al, maar waar zou je dan voor opteren? Ik had gedacht aan een C(++) script. Dan had ik gedacht om een 'serverscript' te draaien op win2k, dat kijkt welke nodes momenteel een kleine processorload hebben (aan de hand van een 'clientscript' op de nodes. Zo lijkt het me zeer makkelijk om de cluster uit te bereiden. Maar zou daar nog geen software voor bestaan? In feite dus een soort grid-computing (zoals daar zijn DPC), maar dan niet toepassingsgebonden...