[Linux][OpenMosix] Wie werkt er mee?

[capedro]

Alloa,

in het kader van ontwikkeling, mag ik mij van mijn baas bezig gaan houden met clustering

Nu ben ik in de LJ wat zaken tegengekomen mbt Mosix, daarnaast kwam ik toen OpenMosix, die laatste heb ik ondertussen (eindelijk) aan de praat... de stresstest werkte leuk...

• 1x Athlon 1GHz als Masternode
• 1x Athlon 1GHz als Slavenode
• 1x P4m 1.8 Ghz als Slavenode
• 1x P4m 2.0 Ghz als Slavenode
• 1x P4 1.8GHz als Slavenode



Maar goed... alles leuk en wel... maar nu op naar het serieuze werk... ik zelf zat te denken dat zo'n clustertje o.a leuk is voor CPU intensieve zaken (make bzImage), maar ook voor MySQL, die laatste ga ik dus ook uitvoeren...

Maar nu ben ik benieuwd of mijn mede tweakerts (jullie dus ) ook ervaring hiermee hebben

* capedro is benieuwd

* capedro weet trouwens niet of dit de goede plek is voor dit topic... of dat het PNS moet...

[KompjoeFriek]

* KompjoeFriek heeft ook zitten zoeken voor clustering software voor linux, en heeft OpenMosix ook voorbij zien komen

Ik weet niet ok MySQL apparte processen of Threads start per aanvraag, maar volgens mij is het idee van OpenMosix gewoon threads verdelen over meerdere CPU's en voor MySQL heeft dat volgens mij weinig nut, omdat:

100 Query's op je MySQL DB.
voor elke query wordt een apparte thread gestart (volgens mij gebeurd dat niet eens)
5 op de 6 threads worden op een andere pc uitgevoerd dan waar de DB staat (op de master node meen ik aan)
die maaken weer verbinding met de DB op de masternode en krijgen antwoord.
het resultaat wordt weer naar de masternode gestuurt en die verwerkt het antwoord weer.

beetje vreemd, of niet?

kijk, als je nou bv. apache draait, die start standaard een aantal processen op.
Als die nou een aantal intensieve scripts tegelijk runt zie je wel een vooruitgang lijkt me.

_{Ik heb nog nooit met Mosix of OpenMosix gewerkt of werkend gezien, en weet ook niet zeker hoe MySQL van binnen omgaat mijn z'n gegevens, dus het zou best wel een hele prestatie winst kunnen zijn.
Ik zou zeggen, probeer eens een stuk of 1000 lastige queries op alleen de Masternode (zonder achterban) en doe excact de zelfde queries ook eens op de gehele cluster. zo kun je pas zien of het nut heeft lijkt me}

edit:
Ik las trouwens dat je PlumpOS gebruikt, lijkt me erg makkelijk aangezien het gewoon vanaf CD gestart kan worden en al OpenMosix bevat
Ik ben namelijk niet zo'n held in het compilen van kernels, vandaar
Kun je ook booten vanaf het netwerk? Dat zou helemaal relaxed zijn...

[ Voor 11% gewijzigd door KompjoeFriek op 06-01-2004 22:25 ]

[odysseus]

Mysql heeft zelf al replication ingebouwd, waarbij meerdere slave-servers samen werken met een masterserver. Multi-master-ondersteuning is er nog niet, maar ik denk dat je met de huidige ondersteuning ook al een leuk systeem kunt bouwen .

[0xDEADBEEF]

Je hebt vast wel eens gehoord van Knoppix

De clusterversie heet Clusterknoppix, en is geremastered met een openmosix kernel.

http://bofh.be/clusterknoppix

Misschien zou je ook een kleine Nederlandse tutorial/howto kunnen schrijven typen ?

[ Voor 7% gewijzigd door 0xDEADBEEF op 07-01-2004 09:12 ]

[capedro]

LaLaLand schreef op 07 januari 2004 @ 09:11:
Je hebt vast wel eens gehoord van Knoppix

De clusterversie heet Clusterknoppix, en is geremastered met een openmosix kernel.

http://bofh.be/clusterknoppix

Misschien zou je ook een kleine Nederlandse tutorial/howto kunnen schrijven typen ?

Ik zal eens kijken... beloof niks...

* capedro leest het engels net zo gemakkelijk als het nederlands

[AlterEgo]

Openmosix is niet echt clustering, maar meer load-balancing: processen worden toegewezen aan de machine die relatief de meeste power heeft op dat moment.

Compilaties zijn per definitie niet echt geschikt voor openmosix: de compileer-processen leven te kort om effectief te migreren naar een andere node.

Video-encoden zou een erg goede test zijn voor een mosix-cluster: langlevende threads en veel machine-belasting. DVDrip heeft een cluster-mode.

[smokalot]

AlterEgo schreef op 07 januari 2004 @ 13:04:
Openmosix is niet echt clustering, maar meer load-balancing: processen worden toegewezen aan de machine die relatief de meeste power heeft op dat moment.

Compilaties zijn per definitie niet echt geschikt voor openmosix: de compileer-processen leven te kort om effectief te migreren naar een andere node.

Video-encoden zou een erg goede test zijn voor een mosix-cluster: langlevende threads en veel machine-belasting. DVDrip heeft een cluster-mode.

Voor compilaties heb je daarom distcc, de distributed C compiler.

[killercow]

Het zou op zich wel stoer zijn als iemand dit kan laten zien op de aankomende NOS-lan, zie het sticky topic bovenin NOS.

Dit zijn toch de dingen die het leuk maken om met linux te werken,
mischien kunnen we wel een tijdelijk clustertje bouwen met die cluster-knoppix cd's.

Capedro, zou je (als ook naar de nos-lan komt) die tutorial daar ook willen voordragen/uitleggen (met beamer etc?)

[smokalot]

killercow schreef op 07 januari 2004 @ 15:18:
Het zou op zich wel stoer zijn als iemand dit kan laten zien op de aankomende NOS-lan, zie het sticky topic bovenin NOS.

Dit zijn toch de dingen die het leuk maken om met linux te werken,
mischien kunnen we wel een tijdelijk clustertje bouwen met die cluster-knoppix cd's.

Capedro, zou je (als ook naar de nos-lan komt) die tutorial daar ook willen voordragen/uitleggen (met beamer etc?)

Dat lijkt mij ook een goed idee...

Ben vooral benieuwd naar de stabiliteit en de efficiency.

[0xDEADBEEF]

killercow schreef op 07 januari 2004 @ 15:18:
Het zou op zich wel stoer zijn als iemand dit kan laten zien op de aankomende NOS-lan, zie het sticky topic bovenin NOS.

Dit zijn toch de dingen die het leuk maken om met linux te werken,
mischien kunnen we wel een tijdelijk clustertje bouwen met die cluster-knoppix cd's.

Capedro, zou je (als ook naar de nos-lan komt) die tutorial daar ook willen voordragen/uitleggen (met beamer etc?)

Het mooie is dat je (je client/server) ook headless kan booten, (etherboot )
Clusterknoppix heeft ook een Terminalserver aan boord, mogelijkheden genoeg.

[capedro]

Capedro, zou je (als ook naar de nos-lan komt) die tutorial daar ook willen voordragen/uitleggen (met beamer etc?)

* capedro voelt zich zeer vereerd, maar kan helaas niet komen... eigen huisje enzo

Ik heb tijdens mijn speurtocht over openmosix een leuk documentje gevonden, openMosix HOWTO (PDF).

_{Hij staat op mijn server thuis... (Basic ADSL), dus hij kan langzaam zijn}

[Verwijderd]

Voor een schoolproject mogen wij een soort gelijke opdracht doen.

Met een budget in onze broekzak mogen wij nieuwe hardware aanschaffen en daarmee een cluster opstelling maken. Het gaat ook om een OpenMosix cluster.

Wat meer informatie:

13 (+1 spare) nodes bestaande uit:
AMD XP 2500+
ASUS A7V600 (onboard gigabit lan)
512 MB geheugen

1 server node met:
zelfde config als boven met extra:
- 80 GB HD
- CD-ROM speler

Verder een Gigabit LAN tussen de nodes met CAT 5e.

De bedoeling is dat het een High Computing cluster wordt. Het besturingssysteem wordt Debian Stable (3.0) met een 2.4.21 kernel (tot zover gaan de OpenMosix patches). De kast maken we van MDF met wat extra ventilatoren voor een goede luchtstroom. Binnekort meer. We beginnen morgen met bouwen.

[ Voor 1% gewijzigd door Verwijderd op 07-01-2004 17:33 . Reden: mobo typo ]

[0xDEADBEEF]

Verwijderd schreef op 07 januari 2004 @ 17:30:
Het besturingssysteem wordt Debian Stable (3.0) met een 2.4.21 kernel (tot zover gaan de OpenMosix patches).

Waarom geen ClusterKnoppix hd install ? Is gebaseerd op Debian en heeft kernel 2.4.22 (binnenkort 2.4.22-2, waar die -2 ook voor mag staan) en je hebt de hele setup at once.

[ Voor 3% gewijzigd door 0xDEADBEEF op 07-01-2004 20:07 ]

[killercow]

capedro schreef op 07 januari 2004 @ 16:37:
[...]


* capedro voelt zich zeer vereerd, maar kan helaas niet komen... eigen huisje enzo

Ik heb tijdens mijn speurtocht over openmosix een leuk documentje gevonden, openMosix HOWTO (PDF).

_{Hij staat op mijn server thuis... (Basic ADSL), dus hij kan langzaam zijn}

hmm das jammer,

iemand anders dan? (ik weet er zelf te weinig van, en heb geen tijd om me er voor die tjid in te verdiepen)

[Verwijderd]

Verwijderd schreef op 07 januari 2004 @ 17:30:
De bedoeling is dat het een High Computing cluster wordt. Het besturingssysteem wordt Debian Stable (3.0) met een 2.4.21 kernel (tot zover gaan de OpenMosix patches). De kast maken we van MDF met wat extra ventilatoren voor een goede luchtstroom. Binnekort meer. We beginnen morgen met bouwen.

2.4.22 bestaat toch echt wel hoor (en ook al enige tijd).

Verder relatief weinig geheugen voor een dergelijk cluster.


Tja wat moet ik er van zeggen. Heb hier voordat ik de servers nodig had voor m'n bedrijfje ook een hele tijd een openmosix cluster draaiende gehad met shared memory patch, zodat je dus ook echt daemons als Apache kon laten migreren over de verschillende nodes. Werkte allemaal redelijk als een zonnetje. Gewoon goed de documentatie lezen, dan komt het vanzelf wel goed

[capedro]

Verwijderd schreef op 07 januari 2004 @ 20:18:
[...]

Heb hier voordat ik de servers nodig had voor m'n bedrijfje ook een hele tijd een openmosix cluster draaiende gehad met shared memory patch, zodat je dus ook echt daemons als Apache kon laten migreren over de verschillende nodes. Werkte allemaal redelijk als een zonnetje. Gewoon goed de documentatie lezen, dan komt het vanzelf wel goed

Is dit niet een idee voor onze vrienden zoals Femme en Kees... apache daemons e.d... en dan icm bv Bladservers om zo het rack efficienter te kunnen gebruiken.

[Verwijderd]

Neuh, ten eerste is die patch redelijk experimenteel en ten tweede wil er nog wel eens een procesje afgeschoten worden etc.

Dan is loadbalancing voor webservers een stabielere oplossing. Een oplossing die ook nog eens veel meer gebruikt wordt en waar dus iets meer info/expertise over te vinden is. Om nog maar te zwijgen over de enorme hoeveelheden verkeer die er over het interne netwerk geduwd zouden worden als je dat zou implementeren.

Bij openmosix zijn bijvoorbeeld hoogstzelden de nodes de bottleneck, maar bijna in alle gevallen het netwerk dat deze nodes verbindt.

[capedro]

Verwijderd schreef op 07 januari 2004 @ 21:06:
Neuh, ten eerste is die patch redelijk experimenteel en ten tweede wil er nog wel eens een procesje afgeschoten worden etc.

[...]

Bij openmosix zijn bijvoorbeeld hoogstzelden de nodes de bottleneck, maar bijna in alle gevallen het netwerk dat deze nodes verbindt.

* capedro denkt graag mee om een beter t.net te krijgen

Maar ik ga ff lekker er mee spelen op het werk , maar 1st moet ik nog een PERL-script afmaken voor een ander project...

* capedro is verrast over de aantal reacties op het forum

[bazzs2001]

Video-encoden zou een erg goede test zijn voor een mosix-cluster: langlevende threads en veel machine-belasting. DVDrip heeft een cluster-mode.

maar die heeft niets met openmosix te maken, als ik me niet vergis gebruikt DVDrip gewoon een "cluster" architectuur die die zelf afvangt.

2.4.22 bestaat toch echt wel hoor (en ook al enige tijd).

maar de shared memory patch bestond nog niet voor 2.4.22, dus hebben we die zelf maar geport .

zie ook http://gathering.tweakers.net/forum/list_messages/862024/