Renderfarm / workstations

[mrbbs]

Renderfarm voor 3DMAX
Wij zijn op zoek naar een render PC/Farm. Wij renderen met 3Ds Max, maar met externe render plugin, V-Ray versie 2.30. Wij renderen dan enkel via CPU. Grafische kaart wordt volgens mij enkel gebruikt bij modeleren in 3Dsmax zelf (om objecten te tonen in View - venster).
3Ds max kan maximaal met 32 cores werken denk ik. Hoeveel cores V-Ray aan kan weet ik niet.
Ik vermoed dat wij toekomen met 32GB ram.


Kostprijs
Heb hier een budget van 5-10k euro voor vrij.

Wat denk je allemaal nodig te hebben?
Ik had gedacht aan een HP Workstation zoals een Z230-240/440. Alleen weet ik niet zeker hoe belangrijk de video kaart is.

Heb je nog bepaalde (merk)voorkeuren?
HP draagt mijn voorkeur als het een merk betreft. Maar een custom systeem moet evengoed kunnen.

Ga je overklokken?
Ik heb niet de intentie te gaan overklokken, ik verwacht een kant- en klaar systeem die aan mijn eisen voldoet

Wat verwacht je van ons?
Prijs/kwaliteit zie ik uit naar een goed systeem zonder de top-end specs te gaan aanvinken. Liever meerdere workstations dan één super systeem. Natuurlijk zijn alle tips welkom voor wie hier ervaring mee heeft.

Naar specs had ik aan het volgende gedacht:

Xeon 6-core cpu
512GB SSD
32 GB RAM
GTX750 video kaart

Formaat
Het zou mooi zijn mocht zoiets rack mountable in te bouwen zijn. Ik heb hier namelijk een 42U server kast staan waar ik de workstations graag in onder zou brengen.

[mrbbs]

Lijstje samen gesteld, kan iemand kijken of kast/koeler, moederbord / memory samen passen?

#	Product	Prijs	Subtotaal
1	Intel Xeon E3-1231 V3 Boxed	€ 261,51	€ 261,51
1	MSI Z97S SLI Krait Edition	€ 118,50	€ 118,50
1	EVGA GeForce GTX 970 4GB Superclocked ACX 2.0	€ 355,90	€ 355,90
1	Corsair Carbide 300R	€ 83,04	€ 83,04
1	Noctua NH-U14S	€ 64,80	€ 64,80
4	Crucial Ballistix BLS2CP4G3D1609DS1S00CEU	€ 44,-	€ 176,-
1	Seasonic S12II-Bronze 520W	€ 63,90	€ 63,90
1	Crucial BX100 500GB	€ 162,59	€ 162,59
Bekijk collectie Importeer producten		Totaal	€ 1.286,24

[ Voor 5% gewijzigd door mrbbs op 15-11-2015 21:29 ]

[RedRayMann]

Controleer je geheugen. Wat ik nu snel zie is dat je 4x rwee reepjes heb. En dat vast volgens muj niet.

[busscherski]

Ik heb niet veel verstand van videobewerking, maar waarom render je niet mbv de GPU? Dat is in de meeste of misschien zelfs altijd veel sneller. Heb je al gekeken of er misschien benchmark resultaten zijn van de programmas / workflow die je gebruikt?

[maratropa]

Wacht ff hoor, je vraagt om renderbakken én workstations? Hoe veel workstations dan? En je wilt kant en klaar, maar dan kom je met een zelfbouw lijst? En je wilt een 6 core maar je neemt een quad core?

Je moet meer en duidelijkere info geven.

Waar werk je nu op? En renderen?
Hoe bevalt dat qua snelheid? Hoeveel keer sneller zou je willen renderen? Welke versie van max? Wat voor netwerk ligt er? Wat voor soort werk doen jullie, wat voor scenes? Animaties, grote stills? Moeten workstations ook hard kunnen renderen/previewen?

[rolandos582]

Moet het 1 dikke bak worden of gaat het hier om meerdere deze pc (farm) = hoeveel?

Maar idd je wil een 6core maar kiest een 4core.
Je kiest voor 8 reepjes maar je moederbord heeft maar 4 sloten.

Schermen /randapparatuur/licenties zijn al aanwezig?

Het is dat het een oud account is anders dacht ik trol. Je zult echt met een fatsoenlijke op en meer informatie moeten komen.

[ Voor 9% gewijzigd door rolandos582 op 16-11-2015 06:31 ]

[mrbbs]

Dank voor de replies zover. Hierbij probeer ik even duidelijker te schetsen wat we doen. Hierbij de antwoorden op jullie vragen van onze grafische man:

Voor scenes werken wij met 3DS max 2012 en voor te renderen Vray plugin (V-Ray Adv 2.30.01)
PC1 (Intel(R) Core(TM) i7-4960X CPU @ 3.60 GHz 32GB NIVDEA Quadro FX 4600) geeft snelheid van 974 op Cinebench R15 (beste benchmark voor CPU render prestaties) (http://www.maxon.net/products/cinebench/overview.html)
PC2 (Intel(R) Core(TM) i7-5960X CPU @ 3.00 GHz 32GB NIVDEA GeForce GTX 780) scoort 1289,
Wij hebben nog verder nog 3 pc's die ook rond 1000 score zitten in cinebench, dus wij zitten op dit moment rond 5000pt score in cinebench met alle PC's te samen.

Wij renderen:
- renders voor voorstudies van onze projecten, meestal 1280x720px - en dit gaat snel genoeg, meestal zitten wij onder 1 minuut per render, wat zeer aanvaardbaar is.
- animaties, die hou ik meestal ook in 1280x720 - maar als wij aan 1 minuut per beeld zitten en animatie bevat 1200frames dan zitten wij al aan 20uur voor een animatie... Voor animaties maak ik renders ook wat mooier = dus meestal zit ik sowieso meer dan 1 minuut per beeld... Dus voor animaties laat ik meestal toch 3 dagen renderen, voor echt zware animaties, render ik zelfs één week voor de deadline.
- en dan renders van afgewerkte prints, zeer hooge resolutie's (nu bv 20.000px op 10.000px) - dat zijn renders die minimum rond 4-8 uur zijn. Renders van zeer grote resoluties (meer dan 10.000px) kan ik zelfs niet in een keer renderen, want max kan die resoluties eigenlijk niet aan (ik weet niet of dat iets te maken heeft met hardware, maar ik veronderstel dat het toch software beperkingen van max zijn). Dus dan moet ik beeld in kleine stukjes laten renderen, dus ik moet extra lang zitten werken aan de renders en ik moet die bv16 keer laten renderen ipv 1 keer.

Animaties gaan altijd lang renderen, dus pas als de renderfarm 10-20keer zo snel zou zijn, zou het grote verschil maken. Ik zou ook graag zeer grote resoluties renderen in één keer, maar ja, volgens mij is dit software beperking...
Wij doen ook previews voor animaties, maar die laat ik heel snel renderen, binnen 5 minuutjes zijn die meestal klaar, dus OK.

Is er een reden waarom jullie op vandaag renderen via cpu en niet via de gpu? Is dat omwille van het gebruik van de vray plugin?
ja, Vray heeft eigenlijk 2 render manieren, V-ray Adv: die is volledig CPU, en V-RAy RT: die is volledig GPU.
Aangezien dat wij al heel lang met V-ray renderen, doen wij het nog steeds via CPU. GPU rendering is nu nog niet zo populair, maar met elke dag wordt het meer en meer gebruikt (vooral voor virtual presentaties). Vroeger had GPU rendering veel beperkingen, hoe dat het vandaag zit, weet ik niet.... Ik weet wel, dat bv Octane even goede renders maakt als V-Ray, en dan volledig GPU based (https://home.otoy.com/render/octane-render/overview/) ALLEEN werkt hij enkel met NVidia CPU kaarten... & Blender gebruikt zelfs CPU+GPU render methode...
Ik heb ook bijna geen ervaring met GPU renderen, de scene in Max moet toch anders ingesteld worden om te renderen in Vray RT (GPU dus), ik zou daar toch één dag op moeten testen denk ik.

[mrbbs]

rolandos582 schreef op maandag 16 november 2015 @ 06:30:
Moet het 1 dikke bak worden of gaat het hier om meerdere deze pc (farm) = hoeveel?

Maar idd je wil een 6core maar kiest een 4core.
Je kiest voor 8 reepjes maar je moederbord heeft maar 4 sloten.

Schermen /randapparatuur/licenties zijn al aanwezig?

Het is dat het een oud account is anders dacht ik trol. Je zult echt met een fatsoenlijke op en meer informatie moeten komen.

Schermen/randapparatuur/licenties zijn reeds aanwezig.
Ik had een Xeon cpu genomen omdat die volgens mij sneller zijn dan een i7. Ik weet niet of deze Xeon's ook beschikbaar zijn in 6-core variant. Ivm de geheugen latjes had ik dat niet opgemerkt. Ik zal dus wellicht moeten gaan voor 16gb ram latjes.

Het liefst zou ik inderdaad voor een HP workstation gaan (daar is geen werk aan), maar misschien biedt een custom systeem maken voordelen?

[ Voor 8% gewijzigd door mrbbs op 16-11-2015 13:37 ]

[Sir_Hendro]

In plaats van doorgaan met CPU rendering zou ik me eens gaan verdiepen in de huidige stand van GPU rendering waar in praktijk wordt bewezen dat dit veel sneller is. Zoek maar eens op cuda rendering voor nVidia kaarten. Wat je dan wil is niet bergen aan CPU power maar slechts 1 krachtige CPU met heel veel GPU's. Je zou dan een Quad Sli work station bouwen. Ik weet alleen niet of het raadzaam is om dit met nVidia Quadro kaarten te doen ipv GeForce kaarten omdat ik er zelf geen ervaring mee hebt. Wellicht hangt het een beetje ervan af hoe je de kaart aanstuurt en dat in de meeste gevallen een consumer GeForce kaart de beter keuze is ivm lagere prijskaart.

[Daikiri]

Laten we voorop stellen dat gpu renderen nogsteeds in zijn kinderschoenen staat.

Er is geen goede support qua render layers, alle shader effecten zoals je die gewend bent uit vray zijn er nog niet. En qua render passes voor compositing schiet het ook no erg te kort.

Het is te kort door de bocht denken dat omdat het snel renderd, het dan wel de juiste stap moet zijn voor een farm.

Dat is het namelijk nog totaal niet. Alleen voor specifieke gevallen heeft het pas echt nut. En als je al een pipeline hebt met vray en max, zou ik nog lekker daarbij blijven.

Gpu rendering heeft nog veel limitaties, om van support bij de hobby en profesionele community/ ervaring algemeen nog maar te zwijgen.


Voor je workstation zou ik de snelste skylake i7's pakken. voor renderen zou ik o echte xeon farm nodes kopen. Of een paar losse systemen met oudere generatie i7's er in. Zo kan je voo een paar 1000 euro enorm veel renderpower hebben staan. Tevens kan je al je workstation instelen als render slave. en voor test renders kan je al even gpu renderen lokaal. Of je steld ook alle systemen in als distributed renderer voor al je test renders.

[mrbbs]

Daikiri schreef op maandag 16 november 2015 @ 16:35:

Voor je workstation zou ik de snelste skylake i7's pakken. voor renderen zou ik o echte xeon farm nodes kopen. Of een paar losse systemen met oudere generatie i7's er in. Zo kan je voo een paar 1000 euro enorm veel renderpower hebben staan. Tevens kan je al je workstation instelen als render slave. en voor test renders kan je al even gpu renderen lokaal. Of je steld ook alle systemen in als distributed renderer voor al je test renders.

Dank voor je bericht! De workstations waar men vandaag op tekent zijn op vandaag voldoende.
Het gaat hem vooral om render power. Welke xeon farm node configuratie zou je ons aanraden?

Het zou mooi zijn mochten we rendertijd met enkele factors kunnen terug brengen.

[ Voor 5% gewijzigd door mrbbs op 16-11-2015 16:38 ]

[Daikiri]

Wij hebben hier een bulk 2 sockets 16 core 32 threads Intel Xeon cpu E5-2650 @ 2.00 ghz. met 128 gb ram
Deze bevallen goed en zijn flink rap.

Maar of het vestandig is qua budget en benodigdheden betwijfel ik. Misschien ben je beter af met een bulk rappe i5's systemen of i7's ingericht als farm.

Ik zou dus even gaan rekenen, en dan een keuze maken.

Ook of het echt is afgeschreven in een x aantal jaar, zodat je gelijk kan vervangen.

[deguus]

ja maar als je voor bulk ga gaa dan wel voor x99 (neem ik aan )

[maratropa]

Eens met Daikiri dat wij niet gaan bepalen voor jou of gpu renderen de shit is. Daar moet je zelf mee komen.

xanadu schreef op maandag 16 november 2015 @ 16:38:
[...]

Dank voor je bericht! De workstations waar men vandaag op tekent zijn op vandaag voldoende.
Het gaat hem vooral om render power. Welke xeon farm node configuratie zou je ons aanraden?

Het zou mooi zijn mochten we rendertijd met enkele factors kunnen terug brengen.

Uit mijn hoofd, hoe veel rendernodes mag je per licentie vray draaien, 10 toch? En max is dacht ik ook als rendernode zonder activatie te gebruiken een x aantal keer.

Ik neem aan dat je animaties met backburner gaat renderen over het netwerk, en alleen grote stills of previews met distributed rendering van vray zelf.

Hoe veel ram gebruiken jullie max op 1 machine tijdens het renderen?

Anyway, het is goed dat je over cinebench begint wat daarme kun je goed vergelijken. Puur kijkend naar cinebench punten voor je euro's zie je dat er geen betere deal te vinden is dan wat oudere socket 1366 xeon systemen, bijv:

https://www.creoserver.co...l380-g6-2x-x5650-32gb-ram

Daar moet nog wel een drive en OS bij. Maar dan nog is de vraag of je voor 700 euro een ander systeem gaat vinden die ongeveer 1350 cinebench punten scoort. Ik heb ze nog niet gevonden.
Een dual e5 2650 zoals daikiri noemt scoort 1580 punten maar zal refurbished meteen het dubbele zijn? Zelfbouw i7 is ook duur voor het aantal CB punten die je krijgt.
Ff heel ruw gezegd koop je voor 10k ex. btw. 17 van deze systemen waarmee je 22.100 extra CB punten krijgt. Ik neem wel aan dat je korting kunt krijgen bij aankoop van meerdere.

Ik zet binnenkort bijv een dual x5650 bij wat sketchup-Vray gebruikers neer, bijv. (1tje , om te kijken of het wat voor ze is )

Natuurlijk zijn er ook nadelen. Stroomverbruik per CB punt zal wat hoger liggen (al zijn x5650's redelijk zuinig) En hoe meer machines je hebt hoe drukker het netwerk (al heb je dit met welke machine dan ook), dat kan slowdowns geven. Nu is met animaties renderen dat niet zo'n probleem, maar voor distributed renderen zet je zo veel machines niet in voor een gewoon HD previewtje Mogelijk is dubbel Gbit netwerk nuttig dan. Maar je hoeft natuurlijk niet alle nodes altijd in te zetten. En het is refurbished dus vaak minder garantie. Ook betekenen meer machines meer management.

Om maar even een optie te noemen

Trouwens, je had het over zeer grote renders die qua formaat niet lukken in 1 keer; heb je wel de framebuffers uitgezet tijdens het renderen (zeker de max FB) en render je in vray wel naar een .exr ofzo?

[ Voor 3% gewijzigd door maratropa op 16-11-2015 19:49 ]

[maratropa]

xanadu schreef op maandag 16 november 2015 @ 16:38:
[...]
Bla

Aanvullend, aangezien ik zelf ook graag op de hoogte blijf van welke snelheid X bepaalde hardware Y je geeft als het op renderen aankomt, maak ik af en toe een lijstje met wat grove berekeningen van snelheid en gebruik. Dit topic was een goeie reden om hem even up te daten, ook omdat ik de laatste stand van zaken even tegenover de x5650 wilde zetten. (Prijzen van zelfbouw is gebaseerd op een tweakers pricewatch mandje met de focus op goedkoop)

Onderaan elk systeem staat de hoeveelheid Cinebench 15 punten die je krijgt voor elke euro, en daaronder hoe veel 1 watt aan cpu tdp grofweg oplevert in termen van Cinebench 15 punten. (genoemde wattage is alleen cpu tdp wattage)

Een leuke dual x5650 deal geeft, zoals ik boven al zei, veruit de meeste snelheid voor het geld. Of het wat hogere gebruik per CB punt een probleem is, ligt aan vanalles. 24/7 aan onder load is natuurlijk een wereld van verschil met 6 uur per dag op standby en 2 uur renderen, bijv. Ze zijn wel erg cheap namelijk.

Voor 10.000 euro heb je een dual 2699 v3 met 4580 CB punten. Maarrrr voor 2800 euro heb je 4 dual x5650 machines met samen 5320 punten. Voor 7200 euro koop je een hoop stroom Wel leuk om te zien hoe veel beter de efficiency van de nieuwe 18 core 2699 v3 is, dat wel.

-creoserver dual x5650
190 watt
701,67 euro
1330 punten
: 1,89 CB punten per euro.
: 7 CB punten per watt

-Salland Z800 dual X5680 (maar 16GB)
260 watt
1087,79 euro
1540 punten
: 1,41 CB punten per euro.
: 5,92 CB per watt

-NTS computers Z820 dual e5 2690
270 watt
3991,79 euro
2180 punten
: 0,54 CB punten per euro.
: 8,07 CB per watt

-NTS computers Z820 dual e5 2660
190 watt
2297,79 euro
1750 punten
: 0,67 CB punten per euro.
: 9,21 CB per watt

-zelfbouw X99 5960x
140 watt
1686 euro
1400 punten
: 0,83 CB punten per euro.
: 10.00 CB per watt

-zelfbouw X99 5960x met OC op 4300mhz
200 watt
1720 euro
1676 punten
: 0,97 CB punten per euro.
: 8,38 CB per watt

-zelfbouw X99 5820k OC op 4500mhz
200 watt
1020 euro
1200 punten
: 1,17 CB punten per euro.
: 6 CB per watt

- Zelfbouw x99 dual 2699 v3
290 watt cpus tdp
10500 euro
4580 punten
: 0,43 CB per euro
: 15,79 CB per watt

- Zelfbouw x99 dual 2690 v3
270 watt cpus tdp
5543 euro
3700 punten
: 0,66 CB per euro
: 13,7 CB per watt

- Zelfbouw x99 dual 2650 v3
210 watt cpus tdp
3355 euro
2630 punten
: 0,78 CB per euro
: 12,52 CB per watt

- Zelfbouw x99 dual 2620 v3
170 watt cpus tdp
1807 euro
1553 punten
: 0,85 CB per euro
: 9,13 CB per watt

- zelfbouw Z170 6700k
91 watt tdp
861 euro
900 CB punten
: 1,04 CB per euro
: 9,89 CB per watt

- zelfbouw 4790k
88 watt tdp
765 euro
890 CB punten
: 1,16 CB per euro
: 10,11 CB per watt

- zelfbouw 1231v3
80 watt tdp
699 euro
695 CB punten
: 1,00 CB per euro
: 8,6 CB per watt

[mrbbs]

Dank voor de update. Heb hier toevallig zo'n x5650 staan en zal deze volgende week even aan de test onderwerpen. Ik houd jullie op de hoogte in dit topic.

[Verwijderd]

Ik zie dat de reacties in dit topic al wat ouder zijn maar ik maak zelf gebruik van renderfarm.nu.

Je kan bij hun renderen als je gebruik maakt van Cinema4D or 3DMax, ik had verder zelf geen aparte plugins gebruikt dus kon na het aanmaken van m'n account zo aan de slag.

Ze zijn sinds kort ook op twitter te vinden via @RenderfarmNu dus als je vragen hebt kunnen ze je vast wel helpen.

Ohh en wat betreft de kosten: ik heb voor € 15 aan renderpunten gekocht en kon daarmee ruim een uur lang renderen.

[NLBUURMAN]

Verwijderd schreef op maandag 18 januari 2016 @ 12:22:

Ohh en wat betreft de kosten: ik heb voor € 15 aan renderpunten gekocht en kon daarmee ruim een uur lang renderen.

15 euro's per uur, een gebouwd systeem houdt 't bij 0,22 euro per uur echt maximaal op (dan heb je 1 kWh, dus een 1000W PC, kans is groot dat je daar 3-4 pc's van kan laten renderen op de CPU)
dat is dus 14 euro wat je per gerenderd uur aan je systeem kan besteden, om maar te zwijgen over data die heen en weer verstuurd moet worden (tijd)
een zelfbouwbak is fantastisch leuk, maar je moet heel goed weten wat je doet; want HP e.d. kunnen handig zijn met support en dat soort randzaken. ook serverstyle kasten zijn echt wel mogelijk.

[Ultimation]

Ik heb nog wel eens voorbij zien komen dat men juist voor goedkope quadcore's gaat en zoveel mogelijk nodes neerzet. Bijwijze van een 20x een Intel Nuc.