Beowulf cluster voor DPC

[Verwijderd]

Beste tweakers,

Ik denk dat dit voor de hardware geile mensen onder ons wel een leuk topic is, ik ben namelijk van plan om een beowulf cluster voor DPC te bouwen en ik wil jullie inbreng graag meenemen daar in.

Momenteel draai ik 2 computers voor DPC en in mijn vorige topic had ik gevraagd hoe ik die kan linken. Toen dacht ik bij mezelf "wat nou als ik dat met nog meer PCs zou doen?" Vandaar dus dit idee. Het doel is om een cluster te maken met een hoge kwaliteit/prijs ratio wat relatief gezien energie zuinig draait.

Qua hardware denk ik dat dit de beste prijs/kwaliteit is:

CPU: Intel® Celeron® G530 x2 2400MHz
GPU: NVIDIA GeForce GT 520 1024MB
RAM: Kingston ValueRAM 2 GB DDR3-1066
Moederbord: MSI H61M-P25 (B3)
Voeding: Chieftec GPA-350S 350W

Dat is bij elkaar ~170 euro. Koop ik dat dus 10x zit je op 1700 euro. Mijn idee was om er dan nog goedkope DVD-ROMs in te bouwen om het te booten. Als besturingssysteem zal linux het best en het goedkoopst zijn.

Communicatie laat ik dan (zoals in het andere topic gezegd werd) verlopen via een ethernet switch en kvm switch. Met mijn eigen PC beheer ik het dan.

Totale kosten ~2000 euro.

Ik zou zeggen brand los met de suggesties en als we dit een beetje goed uitgewerkt krijgen dan zal dat cluster er zeker komen.

[FreezeXJ]

Waarom wil je er een cluster van maken? Je kunt ze gewoon als aparte koetjes opzetten en configureren, het enige dat je dan nodig hebt is een switch/router. Overigens weet ik niet precies of een ouwe celeron het op kan nemen (prijs/prestatietechnisch) tegen nieuwer speelgoed, zoals de goedkopere quadjes van AMD. Mocht je een beetje handig zijn, dan kun je ook 2 moederborden op 1 goede PSU aansluiten, da's a. efficienter, en b. goedkoper Je grootste kosten gaan namelijk de stroomkosten zijn vermoed ik.

[Bubbles]

Waarom geen boot van usb?

Verder een leuk idee, maar verkijk je niet op de totale stroomkosten die je zal gaan moeten ophoesten als je dat 24/7 gaat stressen. Snel rekensommetje als ik ~200 watt per systeem trek onder volle belasting (en dat is denk ik nog voorzichtig):
200Watt x 10 = 2 kWh.
1 kWh = ~25 cent met alle overhead erbij.
0.25 x 24 x 365 x 2 = 4380 euro per jaar aan stroom. Per maand dus 365 euro!

Als je 20 cent per kWh rekent kom je op 3504 euro per jaar, 292 euro per maand.

Daarnaast levert 2000 Watt natuurlijk ook de nodige warmte op. Niet zo'n goed plan om zoiets in bijvoorbeeld een meterkast te proppen. Bovendien kan je niet heel veel meer aansluiten op diezelfde stroomgroep (~3600 Watt maximaal per groep), dus nog iets om rekening mee te houden.

Dit is overigens al eens eerder gedaan: [DC] Crackrack draait! (uitleg + pics)
Helaas zijn de plaatjes stuk, maar voor hen waren de lopende kosten uiteindelijk ook de reden om toch te stoppen.

[ Voor 4% gewijzigd door Bubbles op 21-04-2012 16:31 ]

[Qazwaplol]

Je bent dan voordeliger uit met 3x 2600K (á €450 per systeem)
Minder stroomverbruik, minder ruimte, meer performance.

En zou het je inderdaad afraden om er een cluster van te maken, weer extra overhead en toegevoegde waarde is...? (behalve dat het leuk is om het cluster op te bouwen).

En draai je boinc kan je ook iets als boincview gebruiken om ze allemaal gemakkelijk te beheren

[ Voor 14% gewijzigd door Qazwaplol op 21-04-2012 16:46 ]

[NLSchutP]

Mjah, sluit me aan bij de adviezen hierboven: koop die AMD quadcores, pak een iets goedkopere range en je gaat gegarandeerd goedkoper uit zijn!

Ik zie geen hard drives, op zich leuk, maar ik weet niet hoeveel invloed dit heeft op bepaalde DC projecten...Ook qua geheugen zou je je misschien moeten richten op 2 reepjes van 2GB per MoBo.

[Verwijderd]

Ouch, die 3504 euro per jaar aan stroom zag ik niet aankomen. Had dat nog niet uitgerekend. Dan kan je net zo goed allemaal high end PCs kopen. Kosten vallen toch in het niet over een tijdsbestek van een paar jaar.

edit/ HD is niet nodig. Je kan ook boten via dvd rom/usb stick. Heb dat alleen nog nooit via usb gedaan, vandaar dat ik voor dvd ging.

[ Voor 24% gewijzigd door Verwijderd op 21-04-2012 17:24 ]

[JDVB]

De lol hiervan is dan natuurlijk wel dat je hiermee in principe de snelste pc op een project kan krijgen.
Ook de PC met grootst geleverd aantal punten is zo vrij goed haalbaar, maar zou dat dan inderdaad wel doen met wat modernere hardware om toch een wat betere performance/watt verhouding te krijgen.

[Bubbles]

Begrijp me niet verkeerd, als je het ervoor over hebt, vooral doen (er zijn hier een stel mensen die nog meer per jaar betalen aan de energieboer). Maar het bleek inderdaad wel dat je die kosten had onderschat. 1 los pc'tje merk je nog niet direct heel hard, maar met 10 stuks gaat dat wel ineens heel snel oplopen. Dus dan toch maar wel even de waarschuwing voordat je ineens in financiële problemen komt.

[-AzErTy-]

De genoemde cijfers voor stroomverbruik zijn zéér zwaar overschat.
http://www.xbitlabs.com/a...entium-g620t_8.html#sect0

Een systeem met een moderne quad kan je al laten draaien voor 50-60Watt

[Camulos]

Ik sluit me bij de heren boven mij ^^
De hardware zijn de kosten niet... maar de stroom die het 24x7 trekt wel!

Persoonlijk denk ik dat je met de S-versies van de intel high-end procs de meeste punten per watt zult krijgen.
De huidige S-versies zijn 95 watt .. maar die bij Ivy Bridge zullen 65 watt verstoken (77 watt voor normale core-i7 stock-clocked).
edit: de T-versies verstoken nog minder, maar zijn zwaar veel lager geklokt of op andere manieren gekortwiekt

[ Voor 13% gewijzigd door Camulos op 21-04-2012 18:34 ]

[Witlof]

Zo'n project is altijd leuk. Moet er inderdaad wel aan denken dat het niet alleen de aanschafkosten zijn, maar de stroomkosten ook maandelijks terugkeren. Misschien wil er iemand sponsoren? Baas, ouders, stroomleveranciers?

Veel succes als je het in ieder geval echt gaat doorzetten en we willen dan natuurlijk ook wel foto's zien

[Bubbles]

-AzErTy- schreef op zaterdag 21 april 2012 @ 18:02:
De genoemde cijfers voor stroomverbruik zijn zéér zwaar overschat.
http://www.xbitlabs.com/a...entium-g620t_8.html#sect0

Een systeem met een moderne energiezuinige quad zonder noemenswaardige videokaart kan je al laten draaien voor 50-60Watt

FTFY.

Wellicht wat overschat, mijn cijfers, maar je kan het ook overdrijven. De genoemde processor heeft een TDP van 65W, de videokaart eentje van 29W. Tel daarbij gauw zo'n 20 Watt op voor het moederbord en geheugen en je zit al op 115 Watt, intern. Zet er een voeding naast dat aldus specs minimaal 72% rendement heeft (laten we zeggen 75% op het gevraagde vermogen) en je hebt aan het stopcontact een verbruik van ongeveer 150 Watt.

Zit ik met mijn 200 Watt toch wat dichter in de buurt dan jouw 50-60 Watt. TS ging uit van zijn genoemde systeem vanwege de (goedkope) kosten van de onderdelen, ik geef een berekening voor de energiekosten op basis van dat systeem. Met 150 Watt zitten de kosten op driekwart van wat ik eerder noemde. Dan praat je nog steeds over jaarlijkse bedragen tussen de 2628 en 3285 euro. Oftewel, 200-275 euro per maand. En dat is nog steeds fors.

edit: Daarnaast kost zo'n i5 2500T minimaal 180 euro, wat al meer kost dan het volledige systeem zoals beschreven in de OP.

edit2:
In jouw artikel staat het volgende:

In both cases the PSU's efficiency is not taken into account, because our measuring devices are installed after the PSU and read the currents along 12, 5 and 3.3 V lines.

Leuk en aardig met de cijfers die ze dan hebben, maar zoals je in mijn berekening hierboven kan zien, maakt dat voor je uiteindelijke stroomverbruik (en dus kosten) weldegelijk uit.

[ Voor 14% gewijzigd door Bubbles op 22-04-2012 09:26 ]

[VictordeHolland]

Als je 24/7 gaan crunchen is een voeding met een 80+ rating (bronze, silver, gold) een MUST HAVE! De extra kosten bij aanschaf haal je er binnen een jaar al uit .

Verder raad ik aan om aftermarket CPU koelers te kopen, de stock koelers van Intel en AMD zijn luidruchtig en bovendien houden ze de CPU niet koel. Je zult een stuk beter slapen, wetende dat de CPUs niet boven de 55C uit komen, dan dat ze constant de 70C aan zitten te tikken.

Weet niet of je een voorkeur voor een project hebt, maar je kunt ook overwegen om een GPU park te bouwen. Aanschafkosten en running kosten zijn stukje hoger, maar bij de projecten waar GPUs gebruikt kunnen worden maak je gehakt van CPUs. Bijvoorbeeld op Milkyway@home, daar doet een high-end GPU 200k credits per dag, terwijl een high-end CPU daar maar 10k-20k doet.

Één lichtpuntje, boven de 10.000 kWh is de energiebelasting een stuk minder . Tot 10.000 kWh is de energiebelasting €0,1140 per kWh, maar tussen 10.001 en 50.000 kWh een stuk lager, namelijk € 0,0415 per kWh .

Edit:
Heb hem wel eens eerder gepost: Dotsch UX BOINC Linux distro
16GB USB stickjes, zodat je toch nog een soort van HDD hebt, hoef je ook geen DVD spelers te kopen, wat weer geld en veel ruimte scheelt.

Misschien hebben Bold_Seeker en andere grote koeien nog wel tips?

[ Voor 13% gewijzigd door VictordeHolland op 21-04-2012 20:35 ]

[Verwijderd]

Je kan ook denken aan een quad Opteron (16, 12 of 8 cores per CPU) systeem. Die dingen hebben een zeer goede performance/Watt verhouding. Zoals iets als dit:
http://www.supermicro.com...wer/4042/AS-4042G-TRF.cfm

Edit: Een leverancier in Nederland voor zulke systemen:
http://www.twp.nl/server-TWPSS1292490742

Wel prijzig, wellicht is zelfbouw ook een optie.

[ Voor 25% gewijzigd door Verwijderd op 22-04-2012 01:52 ]

[Qazwaplol]

de 12core serie is daar wel interesant via ebay.
16core interlagos is niet echt een verbetering (is eigenlijk een 8core met amd's HT) al heeft die wel avx wat een flinke boost geeft bij primegrid/psp-prp.

[FreezeXJ]

Volgens mij ben je goedkoper en beter uit met quadcores, die a. hogere kloksnelheden draaien, b. geen peperdure moederborden vereisen, c. normaal RAM slikken, en d. veel makkelijker verkrijgbaar zijn. Als je er dan nog wat gaat undervolten/overclocken (afhankelijk van wat financieel handiger is) kun je redelijk efficient je farm beheren (schakel maar eens de helft van je quad-CPU-bak uit ) en eventueel ook een systeem uitlenen aan familie (jullie de computer, als het koetje maar blijft draaien ).

Punt dat ik heb met GPUs is de flexibiliteit, je hebt maar een bepaald aantal projecten dat GPU ondersteunt, en de meeste hebben overduidelijke voorkeur voor 1 type.

Qua stroomverbruik: meet het eens na. Mijn overklokte 6-bak lust 200 watt vers uit het stopcontact, terwijl als ie op stock speeds en undervolt draait, hij 150 watt slurpt. Da's met 100% belasting ('t is een koetje), terwijl veel sites meten met 'normale' belasting. Allerlei energiebesparende functies voegen dus niks toe, want hij staat nergens te idlen.

[Verwijderd]

Toch quad Opteron met 12 cores (48 cores in totaal), stroomverbruik is lager dan 750 Watt. Initiële aanschafkosten liggen wat hoger maar dat win je makkelijk terug in stroomverbruik en het is te beheren als 1 machine. Ook een enorme besparing qua ruimte, 1 apparaat in plaats van 10.

Of dual 16 core Opteron, Via pricewatch zijn er componenten te vinden:
pricewatch: Supermicro H8DG6-F
pricewatch: AMD Opteron 6272 Tray

Edit: Ik denk dat het toch van belang is welk project je wilt gaan doen met een dergelijk apparaat. Er bestaan ook GPU-servers: http://www.supermicro.com/gpu/

[ Voor 11% gewijzigd door Verwijderd op 22-04-2012 16:12 ]

[DukeBox]

Ik heb redelijk wat ervaring met beowulf omgevingen maar om je maar meteen uit de droom te helpen.. een multicore intel omgeving haalt behaald veel meer performance per watt.
De hogere aanschaf heb je in een paar maanden al terug verdiend aan maandelijkse bijdrage aan nuon.
Daarnaast is de afschrijving van high-end hardware langer.

De cpu interconnects komen niet in de buurt van de performance van meervoudige 10Gb netwerk connecties tussen nodes. Daarnaast door de beperkte cache in de celerons (waar de multicore e series xeons met tegenwoordig al snel 24MB l1 cache) ga je veel performance inleveren.

Even een leuk voorbeeldje wat ik als test data gebruik voor demo's:
30 min aan 3840x2160 60FPS 32bits bitlevel render job (raw/mtiff) van 477,2 GB, dit zet ik om naar 1920x1080 24FPS 24bits H264 (geen audio)

Met een opencl engine op basis van 4x E7-8870, 8x Tesla M2090, 512GB RAM, 4TB SSD (8x512GB Raid 0) als storage cache draait die job precies 00:00:36 ~2250 Watt
Met een CPU only engine op dezelfde bak (dus geen aktieve gpu) draait die job 00:06:51 ~620 Watt
Een eenvoudige bak met 1x E5-2650, 256GB Ram, 1TB SSD (2x 512GB SSD Raid 0) als storage cache draait dezelfde job 00:49:52 ~140 Watt
En dan op mijn test bakkie, 1x i7-2600 32GB Ram, 4TB (1 256 SSD + 4 x 2TB Hybrid Raid 10) storage.. 02:51:28 / ~160 Watt

We hebben ook wel wat AMD's gehad maar na een performance test zijn die vooralsnog altijd retour leverancier gegaan.


(n.b. ik wil hier geen amd/intel discussie starten maar ik noem expliciet intel.. zoek maar op wat performance metingen voor bijv indesign rendering of RSA re-keying)