Renderfarm voor Animatie Studio (+/- 3000)

Pre-built is erg duur voor dit soort doeleinden, vooral als er iemand zelf een beetje handig is.

Maar een kant en klaar systeem met service is natuurlijk ook aantrekkelijk.

Netwerk renderen over meerdere systemen heeft een groot voordeel: je hoeft geen high end dure bakken neer te zetten. Als je bijv 4 of 6 systemen hebt draaien dan is uitval van 1 systeem geen kritisch probleem. Veel hardware verkopers zullen je vaak dure pro oplossingen aanbieden, terwijl dat niet nodig is. (Google deed hetzelfde, gewoon heel veel goedkope servertjes en dan kun je problemen makkelijk opvangen.)

Ik zit zelf in jullie sector, en ik zou zelf altijd zelf iets bouwen voor dit doel (of iig configureren en laten bouwen) maar dat moet je maar net willen en kunnen.

Als jullie niet zelf willen bouwen dan zou ik op zoek gaan naar -goedkope- kant en klare workstations. Die 2de link die je geeft van maqina heeft wel een beetje de specs die je zoekt. i7 4770, 8GB en onboard GPU. Veel meer heb je niet nodig. (je kunt dit soort 4770/1 systemen ook nog wel wat goedkoper vinden)

En dan is het een kwestie van zo veel mogelijk van dat soort systemen in het budget stoppen.

Maar om je een idee te geven, die machine van maqina bouw(t) je zelf / een degelijk online winkel voor de helft:

#	Product	Prijs	Subtotaal
1	Intel Core i7 4771 Boxed	€ 265,70	€ 265,70
1	ASRock Intel H81 H81M-HDS	€ 41,-	€ 41,-
1	Cooler Master N300 (Closed)	€ 33,-	€ 33,-
1	Microsoft Windows 8.1 EN OEM 64-bit	€ 82,70	€ 82,70
1	Gelid Solutions Tranquillo Rev.2	€ 22,95	€ 22,95
1	Crucial Ballistix BLS2CP4G3D1609DS1S00CEU	€ 54,55	€ 54,55
1	Seasonic S12II-Bronze 520W	€ 46,94	€ 46,94
1	Crucial 2.5" M500 120GB	€ 56,-	€ 56,-
Bekijk collectie Importeer producten		Totaal	€ 602,84

In princiepe zou je dit soort systemen bij een online shop in elkaar kunnen laten zetten, en laten leveren met garantie. Dat zou ik dan geen zelfbouw meer noemen. Je kunt bijna 6 systemen kopen voor 3500 inc. euro op deze manier. Dat is goedkoper en veel sneller dan die BOXX die je daar laat zien. BOXX zijn mooie dingen hoor maar kost ook wel wat. Multisocket xeon systemen zijn eigenlijk helemaal niet efficient voor netwerk renderen qua geld..

AMD zou ook nog kunnen, dan kun je nog wat goedkoper gaan. Maar die zijn ook wat trager. Ik zou het zelf bij intel houden.

Is 8GB ram voldoende voor jullie?

[ Voor 64% gewijzigd door maratropa op 20-03-2014 20:51 ]

donderdag 20 maart 2014 21:38

Acties:

Verwijderd

Topicstarter

Beste Maratropa,

Super bedankt voor het meedenken, het lijstje wat je daar hebt gemaakt ziet inderdaad een stuk beter uit qua prijs/kwaliteit. Hierbij is de uitbreidbaarheid natuurlijk ook veel toegankelijker.

8GB Ram is zeker voldoende aangezien de projecten die we erop willen renderen CPU intensief zijn.

Stel dat dit het systeem wordt, dan komen we zelf zeker zover om de stations zelf in elkaar te zetten. De volgende stap is dan natuurlijk het netwerk werkbaar maken, dat gaat voor ons een stap te ver ben ik bang.
Ik zal eens rond gaan vragen of er mensen zijn in de omgeving die dit kunnen, heb je misschien tips? Waar halen we een professional vandaan die het voor ons zou kunnen doen?

Alvast bedankt,

Apvis

donderdag 20 maart 2014 21:44

Acties:

Ik neem aan dat jullie een router hebben voor het internet? Daar hang je gewoon een goedkoop TP link gigabit 8 poorts router aan, en daar hang je de rendernodes aan. Die krijgen dan een ip van de router en dan zou je onderling iig een gigabit netwerk moeten hebben

donderdag 20 maart 2014 21:45

Acties:

donderdag 20 maart 2014 21:52

Hoeveel belang hebben die berekeningen bij de cache in een CPU, of bij hyperthreading? Op welk OS draaien je nodes? Het budget van 3k, is dat in of exclusief BTW? Schaalt de software lineair met het aantal nodes?

Want zonder i7 en zonder Windows-licentie kost zo'n node ineens minder dan de helft

Als je vervolgens kosten afzet tegen GHz moet er voor 3k best het nodige te krijgen zijn

Zo is de G1820 ongeslagen koning met € 5,60 per GHz waar de eerder genoemde i7 € 12,60 per GHz kost (als ik hyperthreading-threads voor 50% meetel). Uiteraard zijn de rest van de onderdelen niet gratis, maar de proc maakt echt veel uit

Edit: Mental Ray draait zo te lezen ook onder Linux, dat scheelt weer een stapel Windowslicenties.

[ Voor 29% gewijzigd door Paul op 20-03-2014 22:06 ]

"Your life is yours alone. Rise up and live it." - Richard Rahl
Rhàshan - Aditu Sunlock

Acties:

Verwijderd

Zou het niet beter zijn geheugenmodules te gebruiken die ECC ondersteunen?

Als je die machines gebruikt voor je business, is het wel zo handig modules te gebruiken die aan de bel trekken zodra er een fout is gedetecteerd.

Beter dan de machines een paar dagen lang te laten renderen en er daarna achter komen dat het eindresultaat fubar is, wegens brak werkgeheugen.

donderdag 20 maart 2014 22:03

Acties:

xeon setje met ecc zou ook nog kunnen (Die moederborden zijn stuk duurder wel..) , maar imho hoeft dat niet voor dit. Maqina van die link heeft ook niet voor niets rendersetjes met i7's. Ik heb op non ecc systemen nog nooit meegemaakt dat er frames fouten hadden. Ze renderen nu ook "gewoon" op vanalles.

Wat zegt is nog wel interessant, Maya draait ook op Linux dus je zult ook wel kunnen netwerkrenderen op linux nodes met mentalray. Al is dat wel extra hassle als je windows gewend bent.

donderdag 20 maart 2014 22:05

Acties:

Verwijderd

Topicstarter

Kijk, er beginnen al vragen te komen waar ik geen antwoord op kan geven zo 1,2,3.

Maratropa, ok! Dat is dan de eerste stap, maar hoe we dan vervolgens het programma laten communiceren met de nodes is de volgende. Als ik het goed begrijp is dat niet zo moeilijk aan deze PDF te zien?
http://www.arch.virginia....a%20Batch%20Rendering.pdf

Hoeveel belang hebben die berekeningen bij de cache in een CPU, of bij hyperthreading?
Durf ik niet te zeggen.

Op welk OS draaien je nodes?
Windows 7 64-bit, die hebben we nog.

Het budget van 3k, is dat in of exclusief BTW?
Ex. B.TW.

Schaalt de software lineair met het aantal nodes?
Ik heb gezocht, maar kan met mijn zoektaal niets vinden.

En zou het niet beter zijn geheugenmodules te gebruiken die ECC ondersteunen?
Dat klinkt als een hele goede optie, al is het wel weer zo dat we daar zelf geen verstand van hebben.

Hartelijk bedankt voor het meedenken!

donderdag 20 maart 2014 22:13

Acties:

- mental ray gebruikt alles cores die er inzitten en zal ook wel baat hebben bij HT
- Aangezien je naar ik aanneem animaties rendert schaalt het linear met het aantal systemen wat je toevoegd

De eerste keer de boel opzetten is altijd even pielen. De software zonder licence als rendernode installeren; De aansturende machines moeten de rest zien, en eigenlijk is het dan zinvol om over te schakelen om vanaf dan alle files aan te spreken op 1 centrale share of iig met hun netwerkpad, zodat elke machine altijd alle files kan vinden die nodig zijn. Je wilt geen missende texturen

( Laatst weer netwerkrenderen getest met max en vray, zelfde idee.. )

donderdag 20 maart 2014 22:13

Acties:

donderdag 20 maart 2014 22:19

Ik lees bij nVidia dat Mental Ray ook onder Linux draait. Ook lees ik daar dat het ook gebruik kan maken van CUDA. Als ik https://developer.nvidia.com/cuda-gpus goed lees is de pricewatch: Gigabyte GV-N640D5-1GL een hele goede kaart om te gebruiken met een 'compute score' van 3.5 al zou een GTX 750 ( pricewatch: MSI GeForce GTX 750 ) qua prijs/prestatie ook in de buurt.

Edit: Volgens http://www.extremetech.co...hreading-software-updates doet HT iets van 21% extra. Op zich logisch, renderen zijn heel veel dezelfde berekeningen, terwijl HT meer baat heeft bij een mix aan verschillende berekeningen

[ Voor 22% gewijzigd door Paul op 20-03-2014 22:31 ]

"Your life is yours alone. Rise up and live it." - Richard Rahl
Rhàshan - Aditu Sunlock

Acties:

Maar de vraag is of je de hassle aan wilt gaan als je alleen maar een windows netwerk draait en dat gewend bent, voor de 80 euro.

GPU renderen is wel echt iets anders qua setup dan cpu renderen, met vaak ook een wat andere workflow. Als iemand dat doet dan melden ze het over het algemeen wel. Dat zet met een paar gtx 640's ook geen zoden aan de dijk, dan zit je meer naar een soort Bitcoin-mine achtige machines te kijken. Als studio schakel je ook niet altijd zo maar over van cpu naar gpu..

[ Voor 7% gewijzigd door maratropa op 20-03-2014 22:20 ]

donderdag 20 maart 2014 22:19

Acties:

Verwijderd

Topicstarter

Wat je zegt is inderdaad cruciaal. We hebben wel al een NAS, dus we zouden die kunnen linken aan de renderfarm.

Ik denk dat het voor ons idd handiger is om gewoon bij CPU's te blijven, en ook om gewoon met windows te werken.

[ Voor 69% gewijzigd door Verwijderd op 20-03-2014 22:22 ]

donderdag 20 maart 2014 22:34

Acties:

johnkeates

Ik zou voor een Linux render farm gaan, en dan met dual-socketed Xeon nodes gaan werken of met CPU render kaarten. Je zal dan even moeten moeten rekenen, je hebt natuurlijk met meerdere variabelen te maken:

- Stroom
- Koeling
- Rendersnelheid
- Flexibiliteit/Duurzaamheid

Als je met 32 cores 20% sneller rendert dan 2 of 4 GPU's maar met de GPU's 50% minder stroom gebruikt kan je beter voor GPU rendering gaan. Maar als de GPU's 8x zo duur zijn is de kans groot dat je als je een beetje veel rendert je qua koeling en stroom en hardware kosten boven je CPU rendering zou komen.

Dus voor dat je gaat selecteren op je hardware zou je eerst even moeten kijken wat je TCO voor de levensduur van een node wordt met de gewenste performance.

Hyperthreading schijnt trouwens voor het renderen niet heel veel te helpen, op z'n best gaat het 20% sneller. Het zijn natuurlijk ook geen 'echte' cores, maar gewoon extra draadjes.

Dus, als je gaat CPU renderen, dan kan je het beste zo veel mogelijk cores hebben, gezien je rendertijd dan praktisch lineair omlaag gaat. Als je GPU's wil gebruiken is je workflow inderdaad anders, en dan heb je ook met andere settings te maken. Een voordeel is wel dat je GPU's makkelijker kan blijven upgraden dan CPU's, gezien GPU's gewoon in elk PCIe slot passen, en CPU's socket-gebonden zijn.

Neem bijvoorbeeld een Supermicro X9DRi-F met twee Xeon E5's, daar kan je voldoende RAM bij prikken voor de grootste beelden (alles puur in RAM renderen! 1TB RAM! hah.) en dan zit je met zo'n 20 CPU cores (of 40 als je hyperthreading meerekent, levert toch wel zo'n 20% extra capaciteit per core op) waar je vol op kan renderen als je Linux gebruikt. Je kan ook een stapje duurder gaan voor 24 CPU cores met de E5-4xxx serie, maar dat is toch net wat duurder. De Xeon E7 serie zou ik even links laten liggen, die beginnen pas bij €4k en gaan diverse duizendjes hoger.

[ Voor 17% gewijzigd door johnkeates op 20-03-2014 22:44 ]

donderdag 20 maart 2014 22:48

Acties:

zneek

Waarom zou je uberhaupt met eigen machines gaan werken? Amazon heeft hier toch hele mooie, snelle en flexibele oplossingen voor? Lekker in de cloud, on demand, of in de offuurtjes, EC2 kan het allemaal.

Even googlen levert dit: https://aws.amazon.com/marketplace/pp/B00FGB1VTC
en dit: http://www.judpratt.com/tutorials/ec2-renderfarm/

Wij gebruiken EC2 wel voor BigData tests. Even een uurtje een ultradik cluster aan het kraken zetten en dan een tientje of 2 afrekenen. En met ultradik cluster bedoel ik dan een hoeveelheid cpu, memory en IOPS die je normaal voor 50K+ zou moeten aanschaffen,

donderdag 20 maart 2014 22:52

Acties:

Als je rendersnelheid voor je geld wilt moet je juist geen multisocket xeon's en E5's nemen, dat is absoluut niet competatief met losse goedkope systemen.

Zneek dat is idd ook een optie, Revit heeft ook die mogelijkheid. Maar die ene link is wel alleen voor OCTANE dan moet je daar wel net mee werken.

donderdag 20 maart 2014 22:57

Acties:

zneek

maratropa schreef op donderdag 20 maart 2014 @ 22:52:
Als je rendersnelheid voor je geld wilt moet je juist geen multisocket xeon's en E5's nemen, dat is absoluut niet competatief met losse goedkope systemen.

Zneek dat is idd ook een optie, Revit heeft ook die mogelijkheid. Maar die ene link is wel alleen voor OCTANE dan moet je daar wel net mee werken.

Ik ken dat hele Autodesk Maya niet, meer ik ken wel Elastic Cloud. En gezien de casus is EC2 een uitkomst die je oneindige capaciteit en flexibiliteit geeft, on demand. Gecombineerd met S3 storage is het helemaal flexibel. En zeker voor renderwerk wat niet in real-time hoeft, dan kun je perfect de goedkope oplossingen kiezen. Heel veel bang voor je buck.

donderdag 20 maart 2014 23:07

Acties:

Oneindig klinkt lekker

Vaak kun je het toch gratis testdriven.. RebusFarm doet dat ook.

donderdag 20 maart 2014 23:29

Acties:

Verwijderd

Topicstarter

Ik heb zelf een account bij Rebusfarm, maar om een voorbeeld te noemen:

Afgelopen project hebben we uiteindelijk 4 shots moeten uitbesteden bij Rebusfarm omdat we in tijdsnood kwamen. Dan ben je al snel 500 euro kwijt! Het rendered daar een stuk sneller, maar je zit wel weer met upload, download en een wachtrij.

Als je per project die kosten kan stoppen in het uitbreiden van je renderfarm en andere apparatuur telt dat best op! Daarnaast is het fijn dat de renderfarm er staat, en je er dus altijd wat mee kan, ook kleinere projecten, bij een online-farm zijn dat meteen directe kosten.

vrijdag 21 maart 2014 11:41

Acties:

vrijdag 21 maart 2014 11:56

Op welk OS draaien je nodes?
Windows 7 64-bit, die hebben we nog.

Na het in Excel gooien van een stapel processoren, HT meetellen voor 20% en er vanuit gaan dat je al Windows-licenties hebt kom ik inderdaad uit op de i7 4771 als winnaar. Ik weet niet hoeveel die rendernodes op hun HDD doen, aan de andere kant is het verschil in prijs tussen HDD en SSD redelijk klein. Er staat toevallig een 320 GB hdd voor € 18,50 in de pricewatch, maar ik heb geen verzendkosten meegenomen in de berekening

En ik weet niet of je een preferred supplier hebt...

#	Product	Prijs	Subtotaal
7	Intel Core i7 4771 Boxed	€ 264,60	€ 1.852,20
7	ASRock Intel H81 H81M-DGS	€ 37,91	€ 265,37
7	Zalman T2 Plus	€ 21,95	€ 153,65
1	HP Procurve 1410-16G	€ 117,99	€ 117,99
7	Crucial Ballistix BLS2CP4G3D1609DS1S00CEU	€ 54,55	€ 381,85
7	Seasonic G-Serie 360Watt	€ 51,-	€ 357,-
7	Crucial 2.5" M500 120GB	€ 56,-	€ 392,-
Bekijk collectie Importeer producten		Totaal	€ 3.520,06

- 16p switch, oftewel, ruimte voor 15 nodes en een link naar de rest van het netwerk. Van HP, gewoon, vertrouwd merk. Hier zijn best veel opties, maar ik zou er niet teveel op beknibbelen; je nodes hebben maar één uplink...
- 7 nodes, iedere node is ongeveer € 420 ex BTW. Als je er iedere klus met je Rebusfram-budget er één bij koopt heb je over 8 klussen je switch vol

- Enige wat mist hierboven zijn netwerkkabels, die zijn wat lastig te vinden in de pricewatch, maar netwerkwinkel.com heeft goed(kop)e kabels

Edit: Als je wel Windows-licenties moet kopen dan red je met dit budget maar 6 nodes trouwens

Het veranderd niks aan de processorkeuze, alleen het verschil tussen processoren wordt kleiner. De overige hard+software voor de nodes moet significant goedkoper worden wil een andere proc interessant worden.

Omdat Xeon's en hun moederborden zo duur zijn terwijl ze per euro geen snelheid of cores toevoegen heb ik die buiten beschouwing gelaten. Xeon's zijn leuk als licenties of ruimte een probleem worden, je per se ECC wilt gebruiken of server-class hardware nodig hebt.

[ Voor 7% gewijzigd door Paul op 21-03-2014 11:51 ]

"Your life is yours alone. Rise up and live it." - Richard Rahl
Rhàshan - Aditu Sunlock

Acties:

NitroX infinity

@Paul; heb je de pricewatch: Intel Xeon E3-1230 V3 Boxed ook in die berekeningen meegenomen? Die is slechts 200MHz langzamer dan de i7 4771 maar wel zo'n €50 goedkoper.

Nog een belankrijke vraag over het budget;
Is het inclusief of exclusief verzendkosten?

Graphene; a material that can do everything, except leave the lab. - Asianometry

vrijdag 21 maart 2014 12:03

Acties:

Idd Paul, eigenlijk de enige dual xeon set die nog een beetje in de buurt komt is 2x een e5 2620, maar die is toch nog duurder en trager dan 2x een 4771. Een 2630 is al veel duurder..

Punt met die xeon 1230v3 is wel dat je er weer een losse gpu bij moet regelen, en die 1230v3 onder full load toch weer wat trager is dan de 4771. Ik denk dat die combinatie hem toch weer wat minder interessant maakt.

Wat de boel ook nog wat compliceert is dat op sommige moederborden met sommige instellingen bijv een 4771 onder full load z'n max TDP(84) opzoekt en dan rustig op 3,7ghz gaat lopen ipv de geadverteerde 3,5ghz, waarbij hij maar 65 watt ofzo trekt.

[ Voor 55% gewijzigd door maratropa op 21-03-2014 12:08 ]

vrijdag 21 maart 2014 12:08

Acties:

NitroX infinity

Maar als je dan een videokaart er in hebt, kun je experimenteren met gpu rendering. Tenzij je uiteraard een budgetkaartje er instopt

Graphene; a material that can do everything, except leave the lab. - Asianometry

vrijdag 21 maart 2014 12:12

Acties: