Voeding voor 'thuis'-HPC (cluster)

[Qwerty-273]

Om het moment ben ik bezig met (of ten minste een poging tot) het in elkaar zetten van een ontwerp voor een compacte HPC oplossing voor thuis, ook wel klein cluster van computers waarover de rekentaken worden verdeeld. De kant van hardware en software is geen probleem en daar ben ik volgens mij ook al uit, een 10-tal nodes bestaande uit een mini-ITX moederbord met daarop een Intel Core 2 Quad Q9450 of Q9550 en 2 of 4 GB ddr2-geheugen (ligt een beetje aan het uiteindelijke budget wat mogelijk is. Verder is er niets nodig op deze nodes, ze zullen booten via het 'interne' netwerk van een hoofdnode (niet in dit stuk opgenomen) en daar de data vandaan halen en naar terug sturen - lokale opslag per node is niet nodig dus. Dit alles zal dan verwerkt worden in een afsluitbare kast waar dan alleen netwerk en stroom aansluitingen uitkomen, en natuurlijk de nodige ventilatie in/uitgangen. Mijn grootste probleem komt nu met het voorzien in stroom/spanning voor deze opstelling (vandaar dit topic in dit forum - alvast excuses als ik een term verkeerd gebruik hieronder).

Ik kan natuurlijk de makkelijkste weg kiezen om voor elk moederbord een standaard ATX-voeding aan te schaffen en een stekkerblok waar vervolgens de 10 stekkers in gaan en hup de muur in. Alleen is dan niet netjes/compact weg te werken natuurlijk.

Een compacte voeding is bijvoorbeeld de PicoPSU serie van mini-box.com. Voor het aansturen van een Core 2 Quad, die eigenlijk 24/7 volledig belast zal worden, zijn de kleinste modellen niet sterk genoeg en kom je terecht bij de PW-200 (1 2) modellen die ze leveren, waar de uiteindelijke keuze dan zal afhangen van de beschikbare ruimte op het moederbord / in de kast. De PicoPSU heeft een ingangspanning van 12V nodig en ze leveren een aantal adapters hiervoor (maar dan kom je dus op het zelfde 'probleem' uit van de eerste opzet, nog steeds veel ruimter nodig en tal van kabels).
Daarom was ik aan het kijken of er wellicht een voeding is die gewoon in het lichtnet prikt en voldoende stroom/spanning zou kunnen leveren voor 10 van deze modules. Alleen met mijn zeer beperkte kennis van electro loop ik hier eigenlijk vast.

Per systeem verwacht ik eigenlijk dat het verbruik zo rond de 125W max zou liggen (?) en dat zou dan bij 12V uitkomen op ongeveer 10,5A max (?). Dus voor deze 10 nodes zou het uitkomen op 105A (?). Of sla ik dan hier de plank compleet mis?

Met leuk google werk zie je eigenlijk dat dat best een behoorlijk verbruik is en je dan bij uitkomt bij een industriele voeding zoals de Delta Elektronika 1200S24 (link) die volgens de specs max 60A zou kunnen leveren - waar ik er dan twee van zou moeten aanschaffen. (deze voeding als voorbeeld genomen aangezien het totaal niet mijn terrein kwa kennis is - prijs zal waarschijnlijk behoorlijk vors zijn) Klopt dit een beetje met de praktijk of ben ik compleet op de verkeerde voet bezig met berekenen?

Wellicht zijn er ook andere en/of handigere opties om deze 10 nodes van stroom/spanning te voorzien?

[Sprite_tm]

Waarom niet 2 flinke voedingen kopen (a la 1KW ofzo) en dan per 5 mobo's het geheel op 1 zo'n voeding aansluiten? Misschien moet je wat prutsen met doorsolderen of verlengkabeltjes en splitters enzo, en ik kan me ook zo voorstellen dat je ff moet nadenken wat je bij power-on moet doen, maar het is iig een el-cheapo en werkende oplossing dunkt me.

[SA007]

Mjah, het punt is dat je 125W per node moeten hebben wat 10,5A per aansluiting is naar elke picopsu dan.
Dan zou je in totaal ruim 100 ampere op 12V moeten hebben, voeding daarvoor zijn heel erg duur (lees bijna onbetaalbaar) aangezien het ook nog eens gestabiliseerd moet zijn.

Ik zou gewoon per pc een picopsu en adapter pakken, das is best weg te werken, en zorgt voor een stabieler geheel (1 voeding stuk is niet meteen hele cluster dood)...

edit:
Mm, als ik deze zie:
http://samenkopen.net/action_product/228396/336897
Valt het nog best mee, met 2 van die dingen heb je zat stroom voor je cluster...

[ Voor 41% gewijzigd door SA007 op 12-09-2008 14:36 ]

[antonboonstra]

12V adapters van 125W zijn ook niet de goedkoopste. En bespaart dit nu zoveel ruimte t.o.v. bijvoorbeeld een flexATX voeding? Ik zou dat stekkerblok gewoon in die afsluitbare kast monteren, zodat je maar met 1 kabel uit de kast hoeft te komen. Snoeren intern netjes bundelen en klaar...

[swtimmer]

redelijk offtopic. Maar waarvoor heb je dit soort rekenkracht thuis nodig? Of komt het geheel wel in een bedrijf te draaien?

[Xiphalon]

Kan je niet een PicoPsu gebruiken, welke bedoeld is voor een auto? Dan hoeft er niet een strak geregelde spanning in, en kan je met een enorme rinkerntrafo naar +- 10V, dikke gelijkrichter erachter (of per psu een losse), evt een condensator en dan de psu in.

[mux]

Heel klein belangrijk vraagje: kunnen de VRMs op die ITXjes wel zoveel stroom leveren? Je weet dat Anandtech al grote problemen heeft gehad met microATX meuk die niet berekend was op 125W phenoms, en zelfs intelbordjes die geen quadcores aankonden. Gezien de toepassing van de meeste mini-ITXjes lijkt het me niet vreemd als die dingen ook finaal naar de jeweetwellen gaan zodra je er een quadcore in hangt.

[Qwerty-273]

Het is voor prive - voornamelijk het uitvoeren van wiskundige berekeningen met ecm en nfs.

Stel dat je zou gaan voor het idee van Sprite_tm, belast je dan de 12V lijn/rail niet te veel met per voeding dan 5 quad cores onder volledige belasting?

De kosten zullen zo ie zo toch wel aantikken denk ik. Voor 10 standaard voedingen zit je minimaal toch rond de 250-300 euro zo even snel in de pricewatch gekeken, en het nadeel van de extra ruimte wat mij redelijk zou irriteren (al moet dat ook wel weer gedeeltelijk te strippen zijn en vooraf na te meten zijn t.o.v. andere opties).
De 10 picopsu'tjes tikken zelf ook al aardig aan met 450$ per 10 ex verzending - en vervolgens nog de adapters er bij of een beetje dikke voeding ala 650$ voor een 1600W 12V (link of hier - geen idee over kwaliteit etc) maar opzich mag het best wat meer kosten voor minder ruimte.

-- edit
Deze borden zijn geschikt voor Core 2 Quads met een tdp tot 95W waar de twee genoemde modellen dus binnen vallen, ten minste volgens de producent in een snelle mail wisseling.

[ Voor 7% gewijzigd door Qwerty-273 op 12-09-2008 16:18 ]

[mux]

Ik denk niet dat je veel goedkoper dan die mouser/farnelllinks iets kwalitatief interessants zult krijgen. Ik zou verbaasd zijn als je het power-subsysteem in zn geheel goedkoper zou krijgen dan 1000e...

[Sprite_tm]

Qwerty-273 schreef op vrijdag 12 september 2008 @ 16:14:
Stel dat je zou gaan voor het idee van Sprite_tm, belast je dan de 12V lijn/rail niet te veel met per voeding dan 5 quad cores onder volledige belasting?

Da's toch gewoon na te kijken? Kijk wat zo'n board at max usage op z'n powerlijnen vraagt (desnoods door stomweg te meten), vermenigvuldig dat met 5 en je weet wat de specs van je rails moeten wezen.

Bovendien zijn de moderne brutere voedingen berekend op bijvoorbeeld een triple-SLI-systeem, en die vreten soms nog meer uit de 12V-lijn dan je quad-core'tjes

[ Voor 14% gewijzigd door Sprite_tm op 12-09-2008 17:04 ]

[Wilke]

Het lijkt me dat je met een normale dual-rail voeding toch in ieder geval 2 van die bordjes moet kunnen voeden (wordt wel een hoop geknutsel met kabels)? Verder misschien iets als dit bouwen: http://helmer.sfe.se/ (die gast gebruikt wel gewoon 1 voeding per normaal ATX bord, verder wel geinig hobby-project vond ik, maar niet echt compact wellicht)

Dan heb je er 5 nodig van ca. 40-50 euro/stuk (voor een kwalitatief goede). Maar wat is belangrijker, de ruimte die ze innemen, de prijs, of hoe energiezuinig het geheel wordt?

[ Voor 3% gewijzigd door Wilke op 12-09-2008 17:43 ]

[Mr_gadget]

Wou ook niet de helmer.sfe.se plaatsen maar zie dat hij er inmiddels al staat..
Wat voor berekingen doe je met ecm en nfs? Misschien is een cluster ps3's ook interessant?

[Verwijderd]

Het is al geroepen dat 2x1KW onderling verdelen wel een oplossing is. Een 12V voeding die minstens 100A levert is echt niet klein dan wel goedkoop, en die heeft ook zijn bergje koeling nodig.

Wellicht is het loadbalancen over 4 PSU's wel een idee. Beetje solderen met stekkers en zorgen dat alle 4 de PSU's een hoog rendement hebben, dan is het enigzins ook nog niet smijten met energie

[Qwerty-273]

Ok, denk dat ik inderdaad ga onderzoeken/meten hoeveel 1 zo'n node in volle belating zal verbruiken en dan daarop de complete voeding voor de 10 nodes af stellen. Kan nog wel even duren vanwege budget en beschikbare tijd. Wellicht dat inderdaad een beetje kwaliteit 1kW ATX voeding het vol kan houden met zijn 2'en of 3'en. Zit net te lezen dat er ook modellen zijn met 3 rails dus wellicht een optie. (mijn voeding kennis was nog uit de 'oude' doos zonder dubbele rails etc.)

Heeft inderdaad een vergelijking met dat helmer cluser, maar ik zou dan wel een netter geheel willen hebben staan dan dit. Daarnaast zin dit 10 nodes en geen 6 waardoor de kabel boel nog groter zou uitpakken.

offtopic:
Voor ecm -> http://mersennewiki.org/index.php/Elliptic_curve_method
Voor nfs -> http://www.nfsnet.org/faq-nfs.html
De code is behoorlijk geoptimaliseerd in asm voor x86 en omzetten naar cell/powerpc is volgens mij een behoorlijke taak. Er is wel 1 pakket wat alleen pure C gebruikt maar is gelijk stukken trager dan de geoptimaliseerde code.

[Reinstein]

Mocht je nog willen kijken naar een voeding met heel veel vermogen op de 12V rail, dan zou je een naar deze kunnen kijken: PSU 2000W, totaal 144A op 7x 12V rail

[Verwijderd]

Een compacte voeding is bijvoorbeeld de PicoPSU serie van mini-box.com. Voor het aansturen van een Core 2 Quad, die eigenlijk 24/7 volledig belast zal worden, zijn de kleinste modellen niet sterk genoeg en kom je terecht bij de PW-200 (1 2) modellen die ze leveren, waar de uiteindelijke keuze dan zal afhangen van de beschikbare ruimte op het moederbord / in de kast.

De picoPSU (op enkele uitzonderingen van model na) geeft gewoon een doorverbinding van de +12V lijn die hij als input krijgt, en voor de andere spanningen wordt DC-DC conversie gebruikt. Gezien de opstellling gaat het overgrote deel van vermogen (quasi alleen cpu) uit de +12V-lijn getrokken worden en hier vormt de picoPSU dus geen bottleneck, maar wel de voeding die voor de +12V input van de picoPSU zorgt (en de welke door de picoPSU enkel doorverbonden wordt). De picoPSU gaat bij wijze van spreke dan nog uit zijn neus staan te vreten.
Wat dat betreft is een picoPSU voor elke moederbord goed gebruikbaar indien je dus (een) voeding(en) hebt die al het nodig vermogen kan leveren op de +12V lijn.
105A @12V moet leverbaar zijn door 2 krachtige kwalitatieve normale ATX-voedingen (bv de Corsair TX750 kan 60A leveren, deze gebruik ik even verder als voorbeeld).
Echter bij gebruik van de picoPSU vervalt het verbruik op de andere lijnen bij Corsairs wat problemen kan geven (zeer veel verbruik op de 12V lijnen en niets op de andere lijnen). Hoe goed een voeding omkan met deze onevenwichtige belasting wordt getest op bv silentpcreview (bv hier onder de noemer "Crossload test") dus dat zou je daar kunnen nakijken.
Nuja ook het nut van de picoPSU vervalt bij gebruik van normale ATX voedingen omdat deze uiteraard ook de andere benodigde spanningen (buiten de +12V-lijn) kunnen leveren, en anderszijds zorgt dit ook voor een evenwichtigere belasting wat het probleem van hierboven moet oplossen.

Opties zijn dus:
1) elk mobo een picoPSU, en bv per 5 stuks een ATX voeding voor de 12V lijn (mogelijk probleem door onevenwichtige belasting op de ATX voedingen)
2) geen picoPSU's gebruiken en de ganse belasting (+12V en andere lijnen) verdelen over 2 ATX voedingen
3) voor een gedeelte vd mobo's picoPSU gebruiken (iets tussen optie 1 en optie 2 in)

Optie 3 of optie 1 lijken mij pas nuttig als optie 2 niet voldoet, maar dan nog zou ik waarschijnlijk eerder bv 3 ATX voedingen overwegen ipv 2 ATX + picoPSU's.

Dit alles in de veronderstelling dat redundantie niet nodig is, en de betrouwbaarheid van gewone kwalitatieve ATX voedingen volstaat voor de setup.

[donzz]

Je kan natuurlijk ook de controle-node aan de atx stekker hangen van die 2KW voeding, en dan allemaal picopsu's over de 12V rails verdelen.

[Verwijderd]

donzz schreef op zaterdag 13 september 2008 @ 18:51:
Je kan natuurlijk ook de controle-node aan de atx stekker hangen van die 2KW voeding, en dan allemaal picopsu's over de 12V rails verdelen.

Het punt is dat hierbij de picoPSU's niet eens nodig gaan zijn, omdat de gewone atx voeding normaal gezien ook voldoende vermogen kan leveren op de +3.3V +5V en -12V lijnen.

[donzz]

Verwijderd schreef op zaterdag 13 september 2008 @ 21:10:
[...]

Het punt is dat hierbij de picoPSU's niet eens nodig gaan zijn, omdat de gewone atx voeding normaal gezien ook voldoende vermogen kan leveren op de +3.3V +5V en -12V lijnen.

Daar heb je natuurlijk geheel gelijk in, maar wat wel scheelt is dat je met de picopsu's maar 2 draadjes richting elk moederbord hoeft te leggen (+2 voor de aan/uit schakelaar), tegenover 24 zonder picopsu. Daarbij heb je zelfs de mogelijkheid om eventueel de helft van de moederborden aan te zetten, terwijl met jouw oplossing altijd alles tegelijk aan gaat.
Het is natuurlijk allemaal een afweging van prijs tegen wegwerkbaarheid en flexibiliteit

[mux]

Zou je voor de algemene anti-doorfikheid niet vier/zes kabeltjes ipv twee willen leggen naar elk bordje? Er kan toch zomaar 12A worden getrokken plus peripherals. Niet schokkend, maar je kunt maar beter on the safe side zitten?

[Stoney3K]

Misschien even de bekende weg, maar hou er ook even rekening mee dat je zo'n ding wel op een aparte groep moet gooien. 10 nodes van elk 125W is al een continu verbruik van 1,25kW aan vollast, en daar heb je dan nog de marge van rendementen van voedingen en zo nog niet bijgeteld. Dus reken een rauwe 2kW aan verbruik op je 230V aansluiting, en da's dus ongeveer 8 à 9 ampère. Hou daar rekening mee met afzekering van de boel.

[Reinstein]

Verwijderd schreef op zaterdag 13 september 2008 @ 21:10:
[...]

Het punt is dat hierbij de picoPSU's niet eens nodig gaan zijn, omdat de gewone atx voeding normaal gezien ook voldoende vermogen kan leveren op de +3.3V +5V en -12V lijnen.

Idd, wel zo goedkoop 1 of 2 zware voedingen en dan moet je een heel eind komen. Voor het aan/uit schakelen zet je gewoon een schakelaar op de PS_ON (groen) lijn, en die lus je niet door naar je moederborden. Mocht je een deel van de nodes niet willen gebruiken, dan zet je een schakelaar tussen de PS_OK (grijs) lijn, zolang je die niet doorgeeft aan het moederbord, gaat hij ook niet aan.

[Zjosh]

Qua kosten is het volgens mij nog het voordeligst om 10 goedkope doch kwalitatief goede voedingen te kopen. In de pricewatch zijn al voedingen te vinden van 30 euro van antec en coolermaster. Je zou dan een toren kunnen bouwen, waarbij je alle voedingen in een hoek maakt. Dan de bordjes ook allemaal boven elkaar, enz enz. Je fabriceert dan zelf een 230 kabel die bij alle voedingen langs slingert, en 1 stekker heeft. Zo heb je iig niet dat je spullen gebruikt op een manier zoals ze niet echt bedoeld zijn.

[Wilke]

^ wat Zjosh zegt. Is ook veruit het makkelijkst en minste kans op problemen.

Want bedenk ook even: je gaat allemaal identieke systemen configureren, en daarop waarschijnlijk een bepaalde rekentaak gelijkmatig verdelen.

Dus als het ooit mocht gebeuren dat de machines gaan swappen, of op een andere manier ineens meer stroom vragen, dan doen ze dat zeer waarschijnlijk allemaal precies op hetzelfde moment....dat gaat een leuke piek opleveren. Zou jammer zijn als je 1 dure PSU koopt en die door zo'n geintje in rook opgaat..

[Promy]

Misschien kan je hier een voorbeeld aan nemen: http://helmer.sfe.se/

Hij maakt gebruik van gewone voedingen en steekt het geheel weg in een ikea burokastje

[AlexanderB]

per 5 moederborden 4 pico psu's en 1 1kw atx voeding..? scheelt weer 4 pico psu's, en tis makkelijk aan te sluiten

[Qwerty-273]

Ok ik heb net wat meer informatie binnen gekregen van de moederbord producent. Het bordje verbruikt in hun testlab met alleen een Intel core 2 Quad 2.4G en Kingston DDR2 800 1GB aangesloten onder 'full-load' zo rond de 4.5A op de 12V lijn, 3.5A op de 5V lijn, 0.2A op de 5Vsb lijn en 0.6A op de 3.3V lijn. Ik zal er zelf een iets snellere proc en wat meer geheugen instoppen maar dat zou niet al te veel moeten toevoegen. Dat valt dus nog best redelijk mee en zou dan met een simpeler picopsu gedaan kunnen worden - en dan de 12V zelf direct aansluiten via een of andere constructie (aangezien die via een 4-pins ATX +12V aansluiting word gevraagd) .

Andere oplossing is inderdaad gewoon 2 of 3 (ligt dan een beetje aan de verdeling) stevige atx voedingen aanschaffen en daar een complete kabelboom bij inelkaar klussen. Deze is waarschijnlijk een stuk goedkoper maar zal wel weer een berg extra kabels opleveren.

Ben er nog niet helemaal uit welke van de twee ik zal kiezen maar beide heb ik nu redelijk duidelijk in mijn hoofd zitten. Ga me nu eerst verder richten op de behuizing waar alles in zou moeten komen en vervolgens een besluit maken van welke voeding optie aan de hand van de beschikbare ruimte. Waar voornamelijk de mogelijke airflow een grote beslisser zal zijn; 10 quads zullen toch best wat warmte vrijmaken onder volledige belasting.

.. swappen zal geen probleem zijn aangezien ze niet uitgerust worden met lokale opslag, een deel van het ram zal gereserveerd worden als tijdelijk bestandssysteem wanneer een taak iets zal moeten 'opslaan' tussen door. De uiteindelijke berekende taken worden op de hoofdnode opgeslagen die buiten die clustertje valt.

.. het zal inderdaad op een aparte groep worden aangesloten - een dedicated groep voor de apparatuur in de 'werkkamer' waar dan ook de hoofdnode en een klein beetje netwerk apparatuur op hangt.

tot zover wou ik in ieder geval iedereen bedanken voor met mee denken.

[donzz]

ssj3gohan schreef op dinsdag 16 september 2008 @ 12:58:
Zou je voor de algemene anti-doorfikheid niet vier/zes kabeltjes ipv twee willen leggen naar elk bordje? Er kan toch zomaar 12A worden getrokken plus peripherals. Niet schokkend, maar je kunt maar beter on the safe side zitten?

of zorgen dat je draden gebruikt die dik genoeg zijn

[ Voor 0% gewijzigd door donzz op 17-09-2008 11:59 . Reden: small typo ]

[Reinstein]

Je bord produceert ongeveer: 12*4.5 + 5*3.5 + 5*0.2 + 3.3*0.6 = 74.48 W => 75W
Nagenoeg alles wat er in gaat wordt warmte.

Daarnaast zou je waarschijnlijk wel een deel van de draden weg kunnen laten/dunner uitvoeren omdat de belasting vrij laag is.

[memphis]

Zoek even op ebay naar voedingen voor een DELL SX260, SX270 en SX280, die worden soms erg goedkoop aangeboden, zijn klein en kunnen veel leveren.

[BJD]

Zoals je ziet zijn er een aantal lijnen dubbel uitgevoerd, en kun je je PS_ON / PWR_OK gewoon lokaal houden. De vraag is of je wel een losse +5VSB wilt hebben. Die kan opzich ook aan de +5VDC hangen. Dus dan houdt je over +5VDC, +12VDC, +3.3VDC, -5VDC, -12VDC en je GND. 6 lijntjes dus.
Check dan wel even of je voedingsfabrikant de verschillende voedingslijntjes niet over verschillende stroombegrenzingscircuits heeft verdeeld. (meerdere rails). Al acht ik die kans niet heel groot.

[Reinstein]

PWR_OK zou ik niet lokaal houden, je moederbord moet nl. wachten tot die OK geeft voor hij aan gaat Het feit dat dat werkt heeft voorkomen dat mn moederbord naar de knoppen ging. Mn Antec voeding gaf 8V op de 5Vvsb, en daarom wilde hij niet aan

[Infant]

Weet je wat 12 Volt 100A levert.... een dynamo in een auto....:) Zie hier je oplossing. Koop een auto.

Maar even serieus, weet niet of je zelf spoelen kunt wikkelen? Maar dat is altijd leuk. Die pico-psu dingen werken tm 18 Volt? Wikkel 230 windingen, en aan de andere kant 10x 12 windingen.... tadaa!

Gelijkrichten, koelen, picopsuding er aan.....

Je kunt altijd nog voor de auto optie gaan...., of losse PSU's...

[dalus]

Infant schreef op vrijdag 19 september 2008 @ 00:16:
Maar even serieus, weet niet of je zelf spoelen kunt wikkelen? Maar dat is altijd leuk. Die pico-psu dingen werken tm 18 Volt? Wikkel 230 windingen, en aan de andere kant 10x 12 windingen.... tadaa!

Gelijkrichten, koelen, picopsuding er aan.....

Ooit zelf eens een trafo gewikkeld. Volgens jouw id bestaat er een ideale trafo. Met zo weinig winding gaat je kern tevens verzadigen met als gevolg dat je de zekering eruit blaast.
En om zelf een dubbele E kern te wikkelen ben je ook wel een tijdje bezig, zeker omdat je rekening moet houden met de isolatie.

BTW naar een paar duizend windingen is het wat minder leuk

[ Voor 4% gewijzigd door dalus op 19-09-2008 07:37 ]

[soulrider]

een combinatie van pico-psu's van 120W - <55 euro - mini-itx.com-shop
http://mini-itx.com/store/?c=10#dcdc
samen met 1 of 2 powersupply's die 12v - 66 A leveren - 125 euro.. samenkopen-actie
http://samenkopen.net/action_product/228396/336897

geen optie samen met wat inventief bedraden ?

je kan zelfs met 2x zulke 12v-voedingen een enkele extra kabel gebruiken tussen stopcontact en cluster - 12V*66A = 792W - dat 2x geeft 1600W en dat is minder dan 8A door die kabel.

(okee voor 10 nodes komt je power dan op resp. ong. 675 of 800 euro, maar als je je al 10 nodes kunt aankopen is een goede stroom voorziening ook wel de moeite wrs en qua rendement blijf je goed boven de 90%)

edit: merk dat die actie al vermeld is in 't begin, maar er is niet echt op ingegaan toen...
mocht er een oplossing gevonden zijn, mag je 't altijd laten weten - voor de andere tweakers die spelen met het idee van een mini-tix-cluster...

[ Voor 17% gewijzigd door soulrider op 21-09-2008 11:49 ]

[Milosonator]

Kijk even naar dit project:
http://www.mini-itx.com/projects/cluster/

Hij vertelt dat hij het geheel met een soortgelijke pico-PSU en een grote 12V voeding gebruikt, maar hij vertelt erbij dat als hij volwaardige processors had gebruikt (Core 2 of AMD X2 of soortgelijk) hij dit nooit had kunnen doen omdat zijn systeem maar een paar honderd watt verbruikt...

Mijn aanrader: probeer gewoon zo goedkoop mogelijk een aantal lichte voedingen te scoren.. het is gewoon de makkelijkste oplossing voor dit probleem, misschien moet je iets meer toelichten hoe je je kabelzooi wou wegwerken. Als tweede optie zou ik proberen 2 systemen aan 1 voeding te knopen en dat dan 5 keer.

Kwa geld zit je dan waarschijnelijk het beste (30 euro x 10 nodes = 300) Maar kwa ruimte en efficientie zit je toch een tikkie minder...

[ Voor 10% gewijzigd door Milosonator op 24-09-2008 17:34 ]

[soulrider]

lees even de TS: hij wilt geen 10 stekkers naar de muur hebben lopen, of de bijhorende kabelhoop.

anderzijds met de link naar die cluster:

At present, the idle power consumption is about 140 Watts (for 12 nodes) with peaks estimated at around 200 Watts

dat kan je met een goede 12v-voeding al aan (200w op 12v is een kleine 17A)

(hij zegt nergens dat ie dat nooit had kunnen doen als hij intel of amd-cpu's ging gebruiken enkel:

In contrast, a 12-16 node cluster built with Intel or AMD processors will generate enough heat that you will likely need heavy duty air conditioning. Additionally, you will need adequate electrical power to deliver the 2-3 kilowatts peak load that your 12 node PC cluster will require. Plan on having higher than average utility bills if you use PC's...

"if you use pc's" dus, en dus de >90W-versie's met alle overschot en ook hoog slurperde chipsets en ineffeciente voedingen. ;-)
reden om daar niet voor te kiezen is voor hem de warmte die er af komt en niet het probleem van voeding - toen waren er ook nog geen intel of amd mini-itx'en

(2 voedingen die op 12v 66A leveren gebruiken samen minder dan 1600W: gebruiken dus nog geen 5A bij 220V - stel nog 10A wegens heel ineffecient)

de voeding waar ik (en iemand anders daarvoor al) heen verwijs geeft 66A: net geen 800W dus.
met de juiste kabels en pluggen kan je hier perfect meerdere pico-psu's aanhangen.
eventueel met een rail-systeem zoals in gewone elektriciteitskasten.

van de voeding een dikke kabel - +10mm^2 - naar 2 aansluitrails (plus en min), en van daaruit 1,5 of 2,5 mm^2 naar een pico-psu: en die laatste dan x-tal keren uitvoeren. om de belasting wat te verdelen kan je met 2 voedingen en aansluitrails werken: 5 nodes per voeding is max. 5x12A(ongeveer) en dus onder de 66A dat die kan leveren.
denk eraan dat een dualcore of een quadcore op een mini-itx niet dezelfde heethoofd kan zijn als die in je desktop zit: op mini-itx.com vind je bv een am2+ moederbord en de enige cpu's die ze aanraden zijn de 65W of 'koudere' single, dual en quadcore's... (hoger wordt niet ondersteund door het bord)
de c2d-borden zijn voor c2d-mobile cpu's en dus ook <65W'ers...)

daar moet je ook aan denken
(samen met vermelde actie kan het een pak goedkoper dan anders - zou ik spelen met het idee dan wist ik wat kiezen - heb er enkel het geld noch de tijd of plaats voor op dit moment)

en dat is ook iets om rekening mee te houden bij zulk een cluster:
de warmte die er af komt. (10x 65W = 650W hitte + ev. andere componenten maar 't ging een netwerk boot worden had ik begrepen dus geen HDD of zulke)

[ Voor 27% gewijzigd door soulrider op 24-09-2008 18:51 ]

[memphis]

https://shop.graupner.de/webuerp/servlet/AA?wgr=74

Betaalbare voedingen.

[donzz]

picopsu-120 op ebay hij heeft er 50 staat er, en is bij mijn weten de goedkoopste op het moment? of anders zelf een inkoopactie starten

[Xiphalon]

Je kan ook deze voeding aanpassen (de gnd poot van de 7812 direct aan de gnd hangen, ipv de tor/weerstand).

Kan je vrij goedkoop tot 500A komen

[Qwerty-273]

Kleine toevoeging:

Nogmaals iedereen bedankt voor het meedenken. Alleen het project gaat weer de ijskast in, voornamelijk vanwege het geen plek hebben voor dit cluster cq vriendin die niet zit te wachten op een 'luid' systeem dat vaak aan zou staan.
* Qwerty-273 zucht: "Vrouwen, je kan niet zonder ze helaas...." Zonder kan wel natuurlijk maar is niet zo gezellig, en als ik zou moeten kiezen dan worden het toch echt geen chippies...

Maar ter volledigheid, het is uiteindelijk (op papier dan) een systeem geworden met 22 nodes, 1 master en een 24x poorts 1GB switch - alles voorzien van stroom via 2x Murata Power 1600W voedingen icm PicoPSU's, voor het voorzien in voldoende stroom per node nog een doorlus van de 12V naar een P4 stekkertje per node. (Dat is tenminste wat er ongeveer in mijn budget gepast zou hebben / wat ik er voor over zou hebben)

Node basis:
- Intel Core 2 Quad Q9400 (eventueel Q9450 maar grotere cache biedt nog geen voordeel in beoogde situatie)
- Commel LS-572 (link)
- 1x 2GB DDR2 800 MHz
- 1x PicoPSU-120 120W

Master (grotendeels zelfde als een node):
- Intel Core 2 Quad Q9400
- Commel LS-572
- 1x 2GB DDR2 800 MHz
- 1x PicoPSU-120 120W
- 32 GB eenvoudige SSD (de volledig berekende data stukken worden doorgestuurd naar mijn eigen machine, dus geen grote storage nodig op de master - opdracht data is slecht een paar KB groot)

Netwerk switch:
- D-Link DGS-1224T ('goedkoop' en voldoet voor de omgeving)

Keuze voor het moederbord is voornamelijk vanwege het feit dat alle aansluitingen zelf op de juiste plek te zetten zijn en niet nog apart gemod moeten worden voor een 'handige' plaatsing in de kast.


Het geheel zou dan vervolgens in 1 kast met 3 lagen komen. Twee lagen met elk 8 basis nodes en één laag met 6 basis nodes en de master. Elke node apart uitschuifbaar en ontkoppelbaar vergelijkbaar met een kant en klaar bladechassis (alleen dan in hout omdat iets makkelijker te bewerken is).
Voedingen en netwerkswitch aan de binnenkant achterzijde bevestigd met de benodige bedrading om naar elke node stroom te leggen, samen met een netwerk aansluiting.

[soulrider]

damn, wel wat cpu-power dat je hebt op die manier
(gaat ie ook af en toe als koetje meedraaien in /5 ? - op't nachttarief dan, want 3,2kW telt ook vlot door)

en post je een casemod-postje hier op GoT ? ik ben namelijk wel nieuwsgierig naar het resultaat.
(net als naar de prijzen van die commell-bordjes)

ps: je voorziet ze toch van een aparte groep voor stroom voorziening eh ? want 3200W op 220 geeft een kleine 15A. (14,5... om juister te zijn) met smelzekeringen van 16A of automaten van 20A zit je daarmee al vrij kort op het maximum van 1 zekering groep.
en hopelijk voorzie je ook koeling tegen de zomer - met de winter bespaar je nu namelijk wel qua verwarmingskosten, met die 'kachels' van samen 3,2 kW - maar in de zomer wil je dat echt niet hebben vermoed ik

@Xander hieronder: op de moment staat het in de ijskast, maar vaak gaat zulk project uiteindelijk toch door heb ik gemerkt ('t duurt alleen maar langer omdat de vriendin te overtuigen is)
Maar ik geef hier vooral tips mee voor als ie toch irl gebouwd wordt

[ Voor 14% gewijzigd door soulrider op 04-11-2008 00:33 . Reden: 't is commell ipv comsoll ]

[Stoney3K]

FTMarcella schreef op woensdag 24 september 2008 @ 17:22:
Kijk even naar dit project:
http://www.mini-itx.com/projects/cluster/

Hij vertelt dat hij het geheel met een soortgelijke pico-PSU en een grote 12V voeding gebruikt, maar hij vertelt erbij dat als hij volwaardige processors had gebruikt (Core 2 of AMD X2 of soortgelijk) hij dit nooit had kunnen doen omdat zijn systeem maar een paar honderd watt verbruikt...

Hou er wel even rekening mee dat een bak van 12 C2Q's wel meer performance haalt dan 3,2GFlops/sec. Dat haal je namelijk bijna op één core al met een Q6600, de QX en Q9xxx series gaan er ruim overheen. Dus ik denk niet dat dat een vergelijk is, dat clustertje is leuk maar niet echt meer actueel. Ga je een array bouwen van 12 Q6600's dan heb je een aardige stroomrekening, maar ook even en factor meer processing power.

[Xander]

soulrider schreef op maandag 03 november 2008 @ 23:43:
(gaat ie ook af en toe als koetje meedraaien in /5 ? - op't nachttarief dan, want 3,2kW telt ook vlot door)

en post je een casemod-postje hier op GoT ? ik ben namelijk wel nieuwsgierig naar het resultaat.

Beetje lastig als hij het ding niet eens gaat bouwen...

Qwerty-273 schreef op maandag 03 november 2008 @ 16:21:
Kleine toevoeging:

Nogmaals iedereen bedankt voor het meedenken. Alleen het project gaat weer de ijskast in, voornamelijk vanwege het geen plek hebben voor dit cluster cq vriendin die niet zit te wachten op een 'luid' systeem dat vaak aan zou staan.
* Xander zucht: "Vrouwen, je kan niet zonder ze helaas...." Zonder kan wel natuurlijk maar is niet zo gezellig, en als ik zou moeten kiezen dan worden het toch echt geen chippies...