Light Cluster Server (HPC)

[massareal]

Hoi allemaal.


Ik ben momenteel bezig met het orienteren voor de bouw van een cluster-server(HPC).
Zelf ben ik veel met windows systemen bezig voor m'n werk en heb vrij weinig kaas gegeten van andere OS.

Wat wil ik er mee?
Ik wil uiteindelijk een gameserver draaien op een cluster.

Momenteel heb ik voor de test setup 4 systemen (PIII varienterend van 733 t/m 933)
Qua behuizing ben ik er al aardig uit (hoe&wat), maar qua software begeef ik me in de grote poel met OS-en(en verdrink zowat).
Windows Compute cluster server 2003 schijnt alleen te draaien op 64-bits systemen, dus daar kom ik niet ver mee.
Ik heb zelf al tig pagina's gebrowsed, maar weet niet welke ik het best kan kiezen.
Ergens had ik al ove BEOWULF gelezen, maar zag later dat het meer een concept is dan een daadwerkelijk OS.

Welke distro draait het beste?
Welke kernel draait het stabielst?
Welke tools heb ik nog meer nodig?
Welke games zou ik allemaal kunnen hosten?


Alle ID-tjes zijn welkom.

[BarthezZ]

Geen

Er zijn weinig game servers die kunnen draaien op meerdere systemen om 1 game zichtbaar voor clients te maken
Je schiet er vrij weinig op als je egen programmatuur gemaakt voor clusters voor handen heb

[massareal]

mmm, dacht dat je met een HPC-cluster de CPU-load van een applicatie kon verdelen over meerdere CPU?
Dit zou dan ook niet speciale programering voor meerder nodes in de applicatie(s) nodig hebben.
(hoewel de laatste manier uiteraard ideaal is, maarja dat kost net even te veel tijd )

[Sendy]

Er bestaat wel OpenMosix. Hiermee zou je waarschijnlijk wel Linux gameservers op een cluster kunnen laten draaien. Echter, als je nog nooit iets met GNU/Linux gedaan hebt kan ik je dit niet aanraden.

[freggy]

OpenMosix is een dood project. Er zijn niet echt veel SSI-clustersystemen voor Linux die het bekijken waard zijn tegenwoordig. Mosix zelf bestaat nog (alhoewel propriëtair/betalend, tenzij voor academische instellingen), en op dit moment komt Kerrighed wel een beetje op: momenteel staat die nog een beetje in de kinderschoenen, maar er wordt snel vooruitgang geboekt. Sowieso is dit pas nuttig als je applicaties ook echt multithreaded zijn, anders ben je uiteraard niets met een cluster. Voorzie ook maar een degelijke netwerverbinding om je machines met elkaar te verbindnen (vb. gigabit ethernet), anders wordt dat gauw de bottleneck.

In ieder geval, als je geen kaas gegeten hebt van andere OS'en, begin er dan maar niet aan. Of begin eerst wat basis-Linux te leren, en wie weet probeer je over een aantal maanden of een jaar eens zoiets uitgebreiders.

[Verwijderd]

Openmosix en mosix zijn mooie oplossingen maar niet te gebruiken bij gameservers. Dit komt doordat een gameserver zover ik weet gebruik maakt van shared memory. Indien dit gebruikt wordt kan je het vergeten. (Open-)mosix is te gebruiken voor programma's die meerdere threads starten die niet met elkaars geheugen spelen (shared memory). Ook kan je heel veel dezelfde processen starten die dan automatisch verdeeld worden over de cpu's. Zelf ben ik ook met linux begonnen rond 2000/2001 met het doel om een hpc op te zetten en deze te gebruiken om de hele cd collectie te encoderen naar MP3

Kort samengevat: ja kan het proberen maar ik denk niet dat de gameservers hiervoor geschikt zijn.

[ Voor 7% gewijzigd door Verwijderd op 08-10-2007 22:43 ]

[massareal]

mmm, ik ga het ID-tje van freggy proberen, dus Kerrighed installeren.
Deze ben ik zelf ook al een paar keer tegen gekomen.
Vond nog een mooi report van OPENSSI, MOSIX en Kerrighed; http://www.irisa.fr/paris...tBoiGalValMor05CCGrid.pdf

Ik zie inderdaad dat de bandbreedte gauw iets van 450MB/s moet kunnen bieden, dus is gigabit netwerk inderdaad aan te raden.

In dit document word gebruik gemaakt van de linux 2.4 kernel op PIII 1Ghz met 512MB
(ongeveer wat ik heb).

netwerk kaartjes heb ik nog niet (besteld), maar ik ga toch vast beginnen met de installatie/setup.
Als iemand nog een specifiek distro als OS kan aanraden...let me know!

Geheel "blanco" kom ik niet te ijs, ben zelf systeembeheerder en "speel" al vanaf mijn 12e met PC's.

bedankt voor de inbreng zo ver.

[massareal]

Hier vond ik nog wat over Kerrighed, deze zit ook in de OSCAR-tools.
zie: http://oscar.openclustergroup.org/
(hier staat ook een poll met wat het meest gebruikte distro is)

[Verwijderd]

Ik zie inderdaad dat de bandbreedte gauw iets van 450MB/s moet kunnen bieden, dus is gigabit netwerk inderdaad aan te raden.

450MB/s = 3600mbps Dat is geen gigabit netwerk maar een 3,6 gigabit netwerk. Je kan zulke snelheden alleen bereiken door meerdere goede gigabit lankaarten te 'bonden'. Of je moet kijken naar andere mogelijkheden zoals infiniband, welke hoofdzakelijk voor deze doeleinden gebruikt worden.

Je zit met jou doeleinden vast aan de shared memory, hierdoor moet je voor een goede performance wel een gigantisch snel netwerk opzetten, anders wordt dit je bottleneck ipv cpu.

Ik kende kerrighed nog niet. Misschien ga ik zelf binnenkort ook weer eens spelen ermee Het grootste gebrek wat ik had met (open)Mosix was dat deze geen shared geheugen ondersteunde maar kerrighed schijnbaar wel.

[ Voor 32% gewijzigd door Verwijderd op 11-10-2007 00:33 ]

[massareal]

mm, tja ik zat dat met die netwerkkaarten ook al een beetje te rommelen.
Wat is de handigste opstelling in dit geval.(met 4 PC's)
a) in een vierkant en elke pc 2 gigabit netwerkkaarten.
b) Een "hoofd pc" en elke "gast pc" zijn eigen dedicated link (ster-vormig)

* een andere optie die ik overwoog was een USB-netwerk....maar dat moet ik nog verder uitzoeken.
Waarschijnlijk is dit te langzaam.
( ter info: 1 MB = 8 Mbit = 1024 KB = 8192 Kbit )

Zijn er nog andere High-speed communicatie mogelijk die tevens betaalbaar zijn?

[SA007]

Firewire is 400MBit en heel makkelijk aan te sluiten (gewoon standaard firewirekabel tussen 2 pc's met firewire rossen.

[Verwijderd]

massareal schreef op donderdag 11 oktober 2007 @ 16:26:
mm, tja ik zat dat met die netwerkkaarten ook al een beetje te rommelen.
Wat is de handigste opstelling in dit geval.(met 4 PC's)
a) in een vierkant en elke pc 2 gigabit netwerkkaarten.
b) Een "hoofd pc" en elke "gast pc" zijn eigen dedicated link (ster-vormig)

* een andere optie die ik overwoog was een USB-netwerk....maar dat moet ik nog verder uitzoeken.
Waarschijnlijk is dit te langzaam.
( ter info: 1 MB = 8 Mbit = 1024 KB = 8192 Kbit )

Zijn er nog andere High-speed communicatie mogelijk die tevens betaalbaar zijn?

Je zit met nog een probleem valt me in: de pci-bus heeft slechts een bandbreedte van 127.2MB/s. Met ander woorden, 1 goede gigabit netwerkkaart trekt deze al grotendeels dicht. Ik zou gewoon eens wat benchmarks uitvoeren en ens kijken hoe de performance is met verschillende netwerkkaarten.

Hoogswaarschijnlijk wordt is er een sneller netwerk nodig indien er veel data heen en weer wordt geschoven door dat shared memory. Indien een programma dit niet of in mindere mate zou gebruiken zou er een thread van dat programma gewoon op bijna volle toeren kunnen draaien met alleen de overhead van de migratie naar een ander systeem.

[ Voor 21% gewijzigd door Verwijderd op 11-10-2007 21:36 ]

[massareal]

Op het moment heb ik als basis FEDORA_6 geinstalleerd en ga daar de bijpassende versie van Oscar installeren (staat bij de nightly builds).
Nu net ook maar even de handleiding uit geprint, iedere keer 3 etages op en neer te lopen om wat te lezen, werd me echt te veel.
(fotografisch geheugen bij mij is stuk)

Ik prop eerst mijn 100 MBit kaartjes erin en kijk wat het resultaat is.
* ik lees in het artikel wat ik eerder had gepost dat men dit gebruikte:
The experimental platform consists of 4 nodes based
on Intel Pentium III 1GHz processor with 512 MB physical
memory and interconnected with a Fast Ethernet network. <---
We tested Kerrighed version 1.0-rc7 based on Linux
2.4.24, openMosix version 2.4.22-3 based on Linux 2.4.22
and OpenSSI version 1.0.0-rc5 based on Linux 2.4.20.

Dit wijst er bij mij toch echt op 100MBit. We zullen zien

Firewire moet ik zowieso helemaal opnieuw aanschaffen, dus echt veel voordeel haal ik er niet uit.
(ethernet kan ik altijd nog voor een ander "project" gebruiken)

Als optie zal ik kijken of ik niet het shared memory kan uitschakelen en dit gewoon door het hoofd node te laten verwerken. Enkel de shared-CPU zou niet veel netwerkbelasting moeten geven.

Thanx voor de input.