[Project Micro Cluster / Phenomenon]

[StackMySwitchUp]

Beste Tweakers en Tweakettes,

Hierbij een aankondiging voor een project om een zeer goedkoop en efficient renderfarm/virtualisatieplatform te bouwen, plus een aantal vragen om de efficientie zo volledig mogelijk te perfectioneren.


Hierbij de aan te schaffen ingredienten:

12x m-atx am2+ mobo's met gigabit ethernet <50 euro (Asus M3N78-CM)
12x phenom x4 CPU's (Phenom 9550)
12x 1 of 2 GB pc2 800> (OCZ Gold OCZ2G10001G)
12x 2-8 GB usb sticks ( /care )
3 of 4x 500W> PSU (Ligt aan de prijs, NNB)
1 TB NAS (onder voorbehoud, geen idee)
Kast (ik dacht aan een archiefkast o.i.d.)
Overige meuk (Fans, kabels, gigabit switch, surge protector etc)

Ik ben van plan om dit aan te schaffen nadat de phenoms een stukje goedkoper zijn geworden.

Nu mijn vragen:

- Heeft iemand ervaring met het aansluiten van meerdere moederborden op 1 voeding? (Het kan, ik wil alleen graag weten hoe dit werkt met booten/afsluiten/stabiliteit)

- Is er een manier om 1 gelijke Windows distributie te booten van een NAS?
DWZ zo kaal mogelijke clients op USB-stick en de rest van een NAS disk.

Tips?
Tips of suggesties om het nog sneller/beter/mooier te maken worden altijd op prijs gesteld

Achteraf:
Ik orienteer me in dit project op zo veel mogelijk rekenkracht voor zo min mogelijk geld/stroomkosten.
Houd kritiek opbouwend.
Evt. constructie-ideeen zijn welkom.
Na het project zal ik waarschijnlijk heel wat idle-time overhouden, interesse in clock cycles?

<Edit>

Excuses voor het tekort aan informatie.
Ik ben wel degelijk vastbesloten in het kiezen van hardware, het ging mij meer om het meerdere mobo per voeding / boot concept, en ik laat de hardware open omdat mensen misschien veel betere ideeen hebben.
Ook fluctueren de prijzen zo erg dat wanneer ik dit uit wil voeren, ik weer andere hardware kan gaan uitzoeken.
Ik heb er nu in ieder geval wat specs bij gezet, zodat je kunt zien dat ik hier wel over heb nagedacht.

Projectnaam met dank aan kl00tzakje

[ Voor 17% gewijzigd door StackMySwitchUp op 10-10-2008 15:53 ]

[Question Mark]

Welke software ga je gebruiken om de load over de nodes te verdelen?

[StackMySwitchUp]

Voor nu draai ik standaard XP, en laat ik de rendersoftware zelf de load verdelen, ik heb ook geen ervaring met dedicated clusteringsoftware.
Mocht je een mooie oplossing weten.. Enlighten me

[TERW_DAN]

't Klinkt als een leuk project, maar ik denk niet dat het op deze manier een topic waard is.
Ik mis een aantal dingen, zoals waarom je deze hardware hebt gekozen, het doel van je project en wat je zelf al hebt uitgezocht mbt de voedingen en de software.

Omdat het niet direct een standaard systeem is blijft het natuurlijk leuk om erover te discussieren, maar zet de bovenstaande punten dan wel in je startpost, anders heeft het topic weinig zin, omdat het dan alsnog een 'wat moet ik nemen'-topic wordt, gezien je blijkbaar nog niet echt zeker weet welke hardware en software te pakken.

[StackMySwitchUp]

Terw_Dan schreef op vrijdag 10 oktober 2008 @ 14:19:
't Klinkt als een leuk project, maar ik denk niet dat het op deze manier een topic waard is.
Ik mis een aantal dingen, zoals waarom je deze hardware hebt gekozen, het doel van je project en wat je zelf al hebt uitgezocht mbt de voedingen en de software.

Omdat het niet direct een standaard systeem is blijft het natuurlijk leuk om erover te discussieren, maar zet de bovenstaande punten dan wel in je startpost, anders heeft het topic weinig zin, omdat het dan alsnog een 'wat moet ik nemen'-topic wordt, gezien je blijkbaar nog niet echt zeker weet welke hardware en software te pakken.

Excuus, heb nu e.e.a. ge-update, Het kan hier en daar enigszins aan de vage kant zijn, maar dit is vooral omdat ik rekening houd met de grote fluctuaties van prijzen momenteel (economisch is het niet aan te raden om nu te focussen op bepaalde hardware in bulk met zulke schommelende quota)

En het doel van het project.. zoveel mogelijk power voor zo min mogelijk geld? Dat staat er toch vrij duidelijk in

[ Voor 5% gewijzigd door StackMySwitchUp op 10-10-2008 14:52 ]

[Silver7]

Er is ene "tweaker" die 10 stuks of zo moederbord in IKEA-archiefkast gebouwd heeft.

Misschien als idee gebruiken?

[Nemesizz]

Het idee is opzich leuk, maar ik zit toch enorm te twijfelen aan 2 dingen:
-Dat moederbord, kunnen die PWM chips uberhaubt wel zo'n Phenom quadcore aan? (zijn een aantal berichten dat de chipjes gewoon ploffen wanneer er een Phenom quadcore gebruikt werd).
-En Sweex voeding...is volgens mij echt een no-go. Die dingen zijn onbetrouwbaar, metname voor doeleinden waar jij ze voor wil gebruiken (constant zware belasting, en volgens mij is het rendement ook niet geweldig).

[StackMySwitchUp]

Silver7 schreef op vrijdag 10 oktober 2008 @ 14:43:
Er is ene "tweaker" die 10 stuks of zo moederbord in IKEA-archiefkast gebouwd heeft.

Misschien als idee gebruiken?

Thanks, daar ben ik inderdaad tegenaan gelopen en is min of meer een soort van inspiratiebron geworden

Nemesizz schreef op vrijdag 10 oktober 2008 @ 14:44:
Het idee is opzich leuk, maar ik zit toch enorm te twijfelen aan 2 dingen:
-Dat moederbord, kunnen die PWM chips uberhaubt wel zo'n Phenom quadcore aan? (zijn een aantal berichten dat de chipjes gewoon ploffen wanneer er een Phenom quadcore gebruikt werd).
-En Sweex voeding...is volgens mij echt een no-go. Die dingen zijn onbetrouwbaar, metname voor doeleinden waar jij ze voor wil gebruiken (constant zware belasting, en volgens mij is het rendement ook niet geweldig).

Theoretisch als je een mobo met AM2+ socket aanschaft moet die alle phenoms kunnen dragen, ik laat me nog wel informeren want ik heb wel vreemdere dingen meegemaakt inderdaad.
Sweex voeding was een extreem voorbeeld, bedoel eerder een niet-top of the line voeding

<note to self:> geen extreem slechte b-merken noemen als voorbeelden </note to self>

[Verwijderd]

/me is het eens met eens met Nemesizz

Sweex voedingen?! Goedkopie m-ATX mobos met een phenom?? Wil je de boel opblazen ofzo? Nee, gewoon een paar goeie A merk voedingen en mobo's die er op voorbereid zijn.

Amerken voedingen zijn: Antec, Cooler Master, Zalman, OCZ, Be Quiet. Edit: Chieftecs zijn opzich ook niet erg slecht en niet erg duur.
Voor het moederbord zou je kunnen kijken naar de Asus M3N78-CM. Heb dit bordje zelf ook binnen voor een NAS. Opzich een redelijk bordje, ben alleen niet erg te spreken over de bios(geen onderclock opties). Deze heeft dubbele mossfeds voor de hoog wattage phenoms. Prijs is ook niet al te hoog.

Lees dit ook maar eens:
nieuws: High-end Phenom vernielt 780G-budgetmoederborden

Edit:
Wat voor software ga je draaien? Is het mogelijk om dat over meerdere mobo's heen te clusteren? Moet je hiervoor niet een speciale windows versie hebben? Worden het allemaal clients die taken krijgen? Al met al, hoe had je de infrastructuur kwa sofware bedacht? Lijkt me redelijk crusiaal dat je software hier mee om kan gaan, voordat je zoveel geld neer legt.

Na het project zal ik waarschijnlijk heel wat idle-time overhouden, interesse in clock cycles?

Sja je proc klokken zich wel terug, maar je verbruik is dan nog toren hoog

[ Voor 36% gewijzigd door Verwijderd op 10-10-2008 15:04 ]

[TERW_DAN]

Aan iedereen: ik wil dit topic best een kans geven, maar laat het dan wel gaan over de mogelijkheden van meerdere systemen op een enkele psu draaien bijvoorbeeld.

Welk moederbord hij moet kopen is prima zelf uit te zoeken en het lijkt me niet dat we dit nog een keer in het topic moeten bespreken

[StackMySwitchUp]

Verwijderd schreef op vrijdag 10 oktober 2008 @ 14:54:
/me is het eens met eens met Nemesizz

Sweex voedingen?! Goedkopie m-ATX mobos met een phenom?? Wil je de boel opblazen ofzo? Nee, gewoon een paar goeie A merk voedingen en mobo's die er op voorbereid zijn.

Amerken voedingen zijn: Antec, Cooler Master, Zalman, OCZ, Be Quiet.
Voor het moederbord zou je kunnen kijken naar de Asus M3N78-CM. Heb dit bordje zelf ook binnen voor een NAS. Opzich een redelijk bordje, ben alleen niet erg te spreken over de bios(geen onderclock opties). Deze heeft dubbele mossfeds voor de hoog wattage phenoms. Prijs is ook niet al te hoog.

Lees dit ook maar eens:
nieuws: High-end Phenom vernielt 780G-budgetmoederborden

Edit:
Wat voor software ga je draaien?

[...]

Sja je proc klokken zich wel terug, maar je verbruik is dan nog toren hoog

Veel kritiek

Ik had eerlijk gezegd geen idee dat ze zo'n aanslag zijn op de interne stroomtoevoer van het mobo, die borden die jij voorstelde zijn een mooie prijs, en ik zal er ook zeker naar gaan kijken.
De voedingen van lager budget zijn in mijn ervaring vaak ook vrij goed, en als de load goed verdeeld wordt kan het best.

Mooi nieuwsitem trouwens!

Terw_Dan schreef op vrijdag 10 oktober 2008 @ 15:00:
[mbr]
Aan iedereen: ik wil dit topic best een kans geven, maar laat het dan wel gaan over de mogelijkheden van meerdere systemen op een enkele psu draaien bijvoorbeeld.

Welk moederbord hij moet kopen is prima zelf uit te zoeken en het lijkt me niet dat we dit nog een keer in het topic moeten bespreken
[/mbr]

Precies, Terw_Dan heeft gelijk.

[ Voor 14% gewijzigd door StackMySwitchUp op 10-10-2008 15:05 ]

[Verwijderd]

Ik verplaats mijn edit hier ff heen, gezien ik het eigenlijk belangrijker vind dan mijn hardware keuze kritiek(/waarschuwing, voor we huilende mensjes hebben waarvan hun cluster is opgeblazen )

Edit:
Wat voor software ga je draaien? Is het mogelijk om dat over meerdere mobo's heen te clusteren? Moet je hiervoor niet een speciale windows versie hebben? Worden het allemaal clients die taken krijgen? Al met al, hoe had je de infrastructuur kwa sofware bedacht? Lijkt me redelijk crusiaal dat je software hier mee om kan gaan, voordat je zoveel geld neer leg

Edit2:
Deze al gelezen?

Edit 3:
Ik heb wat windows usb client dingen geprobeerd, maar op mijn usb stick werkte alleen die bartPE versies en die zijn nu niet echt lekker om mee te werken. Een normale instalatie op de usb stick geeft bij mij BSODs, maar het zou in theorie mogelijk moeten zijn.

[ Voor 30% gewijzigd door Verwijderd op 10-10-2008 15:15 ]

[StackMySwitchUp]

Verwijderd schreef op vrijdag 10 oktober 2008 @ 15:05:
Ik verplaats mijn edit hier ff heen, gezien ik het eigenlijk belangrijker vind dan mijn hardware keuze kritiek(/waarschuwing, voor we huilende mensjes hebben waarvan hun cluster is opgeblazen )

Edit:
Wat voor software ga je draaien? Is het mogelijk om dat over meerdere mobo's heen te clusteren? Moet je hiervoor niet een speciale windows versie hebben? Worden het allemaal clients die taken krijgen? Al met al, hoe had je de infrastructuur kwa sofware bedacht? Lijkt me redelijk crusiaal dat je software hier mee om kan gaan, voordat je zoveel geld neer leg

3D studio Max heeft zich al bewezen met DR, dit werkt op elke versie van Windows vanaf 2k sp2
Installeer een slave client van 3dsmax op de client en ze worden vanzelf geclustered door de master server
Dat wordt de voornaamste reden voor dit apparaat, verder is het een uit de hand gelopen hobby en dorst naar ruwe simultane cpu power.

De machine blijft ook niet permanent aanstaan, ik ben van plan om een parallel geschakelde manier in elkaar te knutselen om dit wake-on-lan te krijgen.

Edit2:
Deze al gelezen?

+fav!

Edit 3:
Ik heb wat windows usb client dingen geprobeerd, maar op mijn usb stick werkte alleen die bartPE versies en die zijn nu niet echt lekker om mee te werken. Een normale instalatie op de usb stick geeft bij mij BSODs, maar het zou in theorie mogelijk moeten zijn.

Ik heb eens een WinLite versie op USB stick gekregen, maar dit was een lange tijd geleden.
Ook heb ik nog een stoffige windows 2003 enterprise server staan die met PXE e.e.a. kan doen, maar dat wordt volgens mij een extreem ingewikkelde constructie omdat dit normaal voor RIS wordt gebruikt.

[ Voor 21% gewijzigd door StackMySwitchUp op 10-10-2008 15:20 ]

[Verwijderd]

Ahh, dat is makkelijk dat 3DS Max dat zelf doet. Hoe had je de netwerk infrastructuur in gedachte? Alles naar een switch? Geeft dit niet veel overhead op je netwerk(ik heb geen idee hoe actief de clients zijn met informatie heen en weer sturen)? Maybe in de master server meerdere NIC's?

[ Voor 17% gewijzigd door Verwijderd op 10-10-2008 15:20 ]

[StackMySwitchUp]

Verwijderd schreef op vrijdag 10 oktober 2008 @ 15:18:
Ahh, dat is makkelijk dat 3DS Max dat zelf doet. Hoe had je de netwerk infrastructuur in gedachte? Alles naar een switch? Geeft dit niet veel overhead op je netwerk(ik heb geen idee hoe actief de clients zijn met informatie heen en weer sturen)? Maybe in de master server meerdere NIC's?

Ook over nagedacht, heb eens de traffic gemeten tussen clients en server en de clients krijgen eenmalig de scene (1-20-weinig mb) toegestuurd, halen de materials van 1 punt af en krijgen door welke buckets ze moeten renderen, en sturen vervolgens het resultaat in 64 bit bitmap terug naar de server, buckets zijn eigen specificatie en worden per thread apart gepakt, kunnen bijvoorbeeld varieren van 2x2 pixels tot het hele plaatje
Vandaar dat multithreading er ook zo goed mee werkt.

[Verwijderd]

Het is mogelijk je 24pins verlengkabels(die kan je gewoon kopen) te y splitsen.
http://www.hardwarezone.c...s/view.php?cid=19&id=1928

Ik zit alleen met de 4 pins losse connector.

Gevonden:
http://www.overclock.net/...e-power-supply-power.html

Dat is ook mogelijk dus .

Ik zou trouwens niet te veel power supply's aan een voeding hangen gezien de load op de 12v lijn. Of een voeding nemen met een single 12volt rail met een erg hoge Amperage.

StackMySwitchUp schreef op vrijdag 10 oktober 2008 @ 15:24:
[...]
Ook over nagedacht, heb eens de traffic gemeten tussen clients en server en de clients krijgen eenmalig de scene (1-20-weinig mb) toegestuurd, halen de materials van 1 punt af en krijgen door welke buckets ze moeten renderen, en sturen vervolgens het resultaat in 64 bit bitmap terug naar de server, buckets zijn eigen specificatie en worden per thread apart gepakt, kunnen bijvoorbeeld varieren van 2x2 pixels tot het hele plaatje
Vandaar dat multithreading er ook zo goed mee werkt.

Dan is je overhead ook niet al te groot lijkt mij. FF overdreven rekenen 20mb*12=240mb/60mbs=4seconden in theory. Mocht je toch in problemen komen kan je altijd nog je netwerk in 2en splitsen met 2x een switch en 2x een gbit nic in je master.

[ Voor 107% gewijzigd door Verwijderd op 10-10-2008 15:35 ]

[StackMySwitchUp]

Verwijderd schreef op vrijdag 10 oktober 2008 @ 15:28:
Het is mogelijk je 24pins verlengkabels(die kan je gewoon kopen) te y splitsen.
http://www.hardwarezone.c...s/view.php?cid=19&id=1928

Ik zit alleen met de 4 pins losse connector.

Gevonden:
http://www.overclock.net/...e-power-supply-power.html

Dat is ook mogelijk dus .

Ik zou trouwens niet te veel power supply's aan een voeding hangen gezien de load op de 12v lijn. Of een voeding nemen met een single 12volt rail met een erg hoge Amperage.


[...]

Dan is je overhead ook niet al te groot lijkt mij. FF overdreven rekenen 20mb*12=240mb/60mbs=4seconden in theory. Mocht je toch in problemen komen kan je altijd nog je netwerk in 2en splitsen met 2x een switch en 2x een gbit nic in je master.

Het splitsen van kabels is geen probleem!

De bandbreedte ook niet, over gigabit moet het niet lang duren.
Rendertijd : Overdrachtstijd is een enorm verschil. Om een 1600x1200 scene van pakweg 150 mb te renderen met mooie belichting etc is 1 quadcore pc ongeveer 2 uur bezig.. tel uit je winst

[RuddyMysterious]

Ik heb onlangs een gelijkaardig project gezien, waarbij de nadruk echter meer lag op het zuinige/stille aspect dan het goedkope. Niet verwonderlijk, want de thread ervan staat op het silent pc review forum.

De specs van dat project zijn als volgt:

Main PSU is Seasonic 550 Energy+.

Main node:
DFI Lanparty JR
Phenom X4 9500 will underclock (cpu to be replaced later once 45nm are out)
2x2GB DDR 800 - 1.8v or lower (if possible) (not decided on manufacturer yet
Thermalright Ultra 120 extreme
ATI Radeon 4670
Gigabyte I-Ram - hosts main OS and cluster node OS
120GB 2.5" WD Scorpio


Render/Cluster nodes:
Gigabyte 740G
Phenom X4 9150e
1x 2GB stick - Kingmax
OS booted from net of main node
Everything else off

[...]

The nodes will all be pluged into 12V via Pico PSU (120W). Each node (based on estimate should not go beyond 80W)

Hij gebruikt voor elke clustercomputer een eigen voeding, maar dan wel een pico-psu. Aangezien de belasting van elke clustercomputer vrij laag is (geen harde schijf, lower power quadcore, zeer zuinig mobo) is het mogelijk om zo'n computer te voeden met mààr een pico-psu tijdens volledige belasting.

Dit om even terzijde te vermelden, want ik kan aannemen dat 12 keer een significante hoeveelheid minder verbruik tot wel leuke cijfertjes kan komen als we het elektriciteitsverbruik op een jaar eens gaan tellen.

Het gebruik van een 65W quadcore (X4 9150e 1,8GHZ of X4 9350e 2,0GHz) laat ook toe dat er goedkope 3-phase moederbordjes worden gebruikt, aangezien 65W vrij ver van de zogezegd veilige grens van 95W aanzit. Dus ofwel betere moederbordjes, ofwel zuinigere cpu's.

[ Voor 8% gewijzigd door RuddyMysterious op 11-10-2008 22:20 ]