Linux 'cluster' voor distributed computing

[Verwijderd]

Beste GoT leden ,

Na hier op het forum al flink wat te hebben gelezen, alsmede Google, en diverse nieuwsgroepen blijf ik met een vraag zitten betreffende Linux te gebruiken voor het opzetten van een 'reken' cluster.

Na lokaal in het netwerk te hebben gewerkt met OpenMosix (in ClusterKnoppix) is het me gelukt een klein clustertje op te bouwen, welke ook goed presteerde.

Echter wil ik een cluster gaan maken van computers wat niet in hetzelfde netwerk draait, en diverse linux distributies (en kernels) draaien. Het gaat om een netwerkje van 12 linux computers waar ik dus op kernel niveau geen wijzigingen wil doorbrengen omdat de collega's daar niet op zitten te wachten.

Hoe krijg ik overige applicaties zoals bijvoorbeeld John the ripper (puur voor test doeleinden, gezien dit een CPU vretend programma is) en bijv Seti @ Home aan de praat op 1 computer waar de overige 12 nodes het werk ook 'overnemen'

Het installeren van software is voor mede-collegas geen probleem (ook niet als dit root rechten vereist).

Bij voorbaat dank voor de tips.

Mvr,

Dave

[capedro]

In de Linux Journal nummer 149 stond een artikel over Condor.

Misschien is dit iets waar je mee kan...

ik heb me er ook nog niet in verdiept...

[Verwijderd]

Ziet er leuk uit, helaas zijn er enkel binaries beschikbaar waar ik over twijfel of die ook op de 64 bit machines bij mede colega's zomaar werken

[capedro]

Na wat Google werk kwam ik via een slashdot artikeltje op de site Mithral Client-Server Software Development Kit .

Daar staat:

The Mithral Client Server Software Development Kit allows developers to quickly and easily write large scale client-server applications including "distributed computing" and "GRID" types. Examples of what this will allow you to build with this technology are distributed.net, SETI@Home, Napster, Gnutella, and hundreds of other applications. The example code is an instance of an application that hands out work for the clients to do, then collects the results.

Suc6

[ Voor 6% gewijzigd door capedro op 23-08-2006 15:25 ]

[Verwijderd]

Goed alternatief als je zelf met dingen aan de slag wil gaan. Dit is puur een hobby en zit momenteel de mogelijkheden van Condor te bekijken, hier zijn niet echt programmeer skills voor nodig, echter zit ik nog met wat vraagtekens over het definieren van het 'netwerk' gezien deze niet in een LAN draaien maar ook clients van andere netwerken 'meedoen'

Na wat te hebben gelezen is er voor de GRID optie (niet transparant migratie checkpoints) de mogelijkheid voor externe clients (buiten LAN) toe te voegen aan een 'pool'.

Mocht ik hier stuiten op onmogelijkheden zal ik zeker je tip verder napluizen voor de mogelijkheden.

Bedankt zover

[MTWZZ]

Condor is eigenlijk alleen maar scheduling en niet echt een programmeer toolkit.
Je zou kunnen kijken naar Globus, dat is een WS gebaseerde toolkit met scheduling etc. Het is wel een ongeloofelijk complex stuk software wat het ontwikkelen niet makkelijker maakt.

[Verwijderd]

Ik ben ook niet echt opzoek naar een stuk herprogrammeren. Ben gewoon opzoek naar software wat het mogelijk maakt bestaande (geschreven) software te draaien en daarbij gebruik te maken van andere CPU kracht van de computers van mede collega's.

De website van condor geeft mij een postief beeld over wat die software kan doen, en hoop ook dat deze presteerd met software als bijv. Seti @ Home, en andere CPU intensieve programma's (en voor testen van bijv, berekenen van pi )

[Seth4Chaos]

Verwijderd schreef op woensdag 23 augustus 2006 @ 21:51:
De website van condor geeft mij een postief beeld over wat die software kan doen, en hoop ook dat deze presteerd met software als bijv. Seti @ Home, en andere CPU intensieve programma's (en voor testen van bijv, berekenen van pi )

Wat ik begreep op de website van condor is dat je toch zelf moet compileren om condor te gebruiken dat is met John the ripper niet zo'n probleem maar volgens mij is Seti@home pre-compiled en kan je die ook niet zelf compileren (correct me if i'm wrong) en dan zal het niet gaan werken.

[cold]

als alle systeemen niet op de zelfde lan draaien is dat natuurlijk makkelijk op te lossen met een VPN...

[Verwijderd]

Seth4Chaos schreef op woensdag 23 augustus 2006 @ 23:21:
[...]

Wat ik begreep op de website van condor is dat je toch zelf moet compileren om condor te gebruiken dat is met John the ripper niet zo'n probleem maar volgens mij is Seti@home pre-compiled en kan je die ook niet zelf compileren (correct me if i'm wrong) en dan zal het niet gaan werken.

Je kan opnieuw linken heb ik begrepen, ook met precompiled elf binaries. Voor mij ook nog iets wat ik uit moet gaan vinden

Edit; VPN is inderaad een optie, gebruik momenteel OpenVPN zal voor deze doeleinden ook prima zijn.

[ Voor 8% gewijzigd door Verwijderd op 24-08-2006 07:36 ]

[Guru Evi]

Je kan niet zomaar een single-threaded programma nemen (zoals JtR) en dan verwachten dat deze zonder enige kernelaanpassingen zomaar instructies gaat uitlenen op andere nodes.

Eventjes opsommen wat je WEL kunt doen:

- Je maakt een programma zoals JtR die zichzelf (kan) opdelen in stukjes (vb passwoorden zoeken die beginnen met a-e en e-z). Compileer of installeer de binary op andere computers en schedule ze gewoon round robin en/of zodra ze klaar zijn via SSH. Eenvoudig, niets aan te passen, rondschedulen. Is wel een beetje administratief werk.

- Je maakt een programma zoals JtR multithreaded zoals Apache of MySQL. Het werk wordt dan verdeeld onder verschillende threads en dus onder verschillende processoren. Mosix-achtige oplossingen kunnen threads reschedulen en overdragen op andere computers. Het nadeel is dat je hardware iewat conform moet zijn (of via VMWare virtuele hardware gebruiken) zodat je bijvoorbeeld geen big-endian instructies krijgt op little-endian nodes (enorm simplistisch uitgedrukt) of je programma moet abstract genoeg zijn om de instructies uit te voeren die algemeen verstaan worden door de binary (zoals het ronddelen van SQL queries in een SQL cluster).

- Je maakt een kernel module of programma die de instructies opvangt en doorstuurt naar andere computers. Dit vereist wel uniformiteit in architectuur en kernels en ik denk dat het reschedulen en rondsturen van random instructies enorm veel meer tijd en resources gaat kosten.
Dit wordt gedaan in de supercomputers die bestaan uit verschillende nodes, allemaal dezelfde hardware hebben en vanaf een centrale bootlocatie hun kernel halen. De instructies zijn dan ook supergeoptimaliseerd, bekend en worden in batches doorgestuurd.