Vraagjes met betrekking tot renderfarm

[Verwijderd]

Hoi,

Ik ben bezig met het bouwen van een renderfarm. Op deze farm wil ik 3DS max 2008 en Vray advanced 1.5 gaan draaien. Op dit moment heb ik een workstation q6600 met 4x 1Gb ram. Nu wil ik dus een renderfarm gaan samenstellen van 10 pcs. De configuratie hoe ik deze op dit moment heb is:

10 x Inwin Micro ATX Tower zwart V564T
10 x Intel Core 2 Quad Q6600 2.4GHz processor
10 x Intel DG31PR Pearl Creek Micro ATX Moederbord
10 x Kingston 4GB DDR2 RAM 667 (2x2GB)
10 x Hitachi 80Gb Hard-disk SATA II 8Mb Cache 7200 r.p.m
10 x Samsung DVD-Rom drive
10 x OEM WIN XP PRO X64 1PK

De scenes die ik op mijn workstation maak gaan snel richting de 4GB geheugen. Als ik ga renderen met deze farm, hoe word dan het geheugen verdeeld? Zal op iedere renderslave ook 4 GB worden gebruikt? Of word er maar een gedeelte van de scene ingeladen aangezien het om bucketrendering gaat? In de toekomst kan dit namelijk een probleem worden, en het moederbord wat ik nu heb geselecteerd kan maar tot 4GB wat betekend dat ik niet kan upgraden mocht dat nodig zijn.

En mochten er mensen zijn die nog suggesties hebben gezien mijn product list, ik hoor ze graag.

[BtM909]

Lekkere titel ook

[AtomicShockwave]

sow, das een flinke bult rekenkracht mag ik vragen waar het voor is? heb je een bedrijf ofzo? kost een aardige duit als je het mij vraagt.

Ik zou de vraag niet direct kunnen beantwoorden, wat ik wel weet is dat het aangeraden wordt om bij grotere hoeveelheden ram ECC-registered te gebruiken. Maar misschien wist je dat al.

Ik wist trouwens niet eens dat renderen zoveel geheugen gebruikte, ik dacht altijd dat het puur op rekenkracht van de processor ging. Ik heb wel ervaring met 3dsmax, maar niet met renderfarms opsich. Het moeten dan toch wel echt grote scenes zijn.

[Soultaker]

Ik zou zeker de mogelijkheden ophouden om later meer geheugen bij te plaatsen, als je vermoedt dat dat later nodig is. Dat hoeft niet zo heel duur te zijn ten op zichte van de investering die je nu toch al doet.

Verder zorgt bucketrendering juist voor gereduceerd geheugengebruik, en het is een beetje schaalbaar (je kunt dus kleinere stukjes per keer renderen als je geheugen tekort komt). Ik weet helaas niet hoe dat in de software die jij gebruikt geïmplementeerd is; het kan zijn dat die het werk zo opdeelt dat altijd het beschikbare geheugen gebruikt wordt, wat zou verklaren waarom nu ook al je geheugen vol zit.

Ik denk niet dat het parallelliseren alleen veel effect heeft op het geheugengebruik per node; ga er dus vanuit dat elke node evenveel geheugen nodig heeft als wanneer je alles op één node zou renderen. Vandaar dus dat je wel moet zorgen voor voldoende geheugen. Misschien kun je opzoeken wat de makers van 3D Studio en V-ray hier over te zeggen hebben?

[maratropa]

Ik zou inderdaad wel kijken naar een mobo wat meer dan 4GB zou aankunnen.. zoals je zegt, voor de toekomst...

Doet die "conserve memory" optie bij de vray system instellingen eigenlijk nog iets goeds voor je?

En haal gewoon 1 usb dvd speler, dan hoef je er niet 10 te kopen

Hey maar krijg je bij vray 10 of 9 licenses bij de originele om DR te doen? Als in, is je workstation ook 1 license van die 10?

Wel relaxed zeg, 40 buckets...

[ Voor 30% gewijzigd door maratropa op 07-12-2007 17:11 ]

[Soultaker]

maratropa schreef op vrijdag 07 december 2007 @ 17:01:
En haal gewoon 1 usb dvd speler, dan hoef je er niet 10 te kopen

USB is traag, en DVD spelers zijn ontzettend goedkoop. Ik zou daar niet op gaan zitten besparen eerlijk gezegd.

[rashmatash]

In startpagina van "post je 3d-stuff maar hier" heb je een lijst van mensen die een renderfarm hebben. misschien kun je die dan een mailtje sturen met je vraag?

[Verwijderd]

mwa een renderfarm gebruikt zowiezo minder ram dan een workstation, dit omdat je de hele max interface niet hoeft te laden, scheelt een boel als je naagaat hoeveel ram het vaak kost om je polycount en textures in viewport te displayen

wij hebben hier 20 Q6600's staan met maar 1 gig er in, en dat draait perfect eerlijk gezegt

[Verwijderd]

Btm909 - Sorry voor de titel, weet eigenlijk ook niet meer waarom ik dat gedaan heb.

AtomicShockwave - Ik ben bezig met het opzetten van een bedrijf en we willen het direct goed aanpakken De pc's zullen ongeveer 500 euro per stuk gaan kosten. Ik was er trouwens niet van op de hoogte dat je bij grote hoeveelheden geheugen beter voor ECC- registered ram kan gaan. Bedankt voor de tip!

Soultaker - Een ander moederbord is denk ik inderdaad verstandiger. Ik ga zo maar eens zoeken wat er nog meer op de markt is. Het fijne aan dit moederbord is dat deze mATX is wat bij 10 pcs aanzienlijk in fysieke ruimte scheelt. Vray deelt niet het geheugen op. Dit is dus niet de reden dat mijn geheugen vol zit. Ik denk eerder dat ik iets verstandiger moet omgaan met textures e.d.

Maratropa – Conserve Memory??? Deze optie ken ik niet. Er zijn inderdaad wel manieren om je geheugen tot een minimun te beperken, bijvoorbeeld door je afbeelding direct naar je hardeschijf te schrijven. Wat betreft de licenses heb je gelijk. Voor de originele DR in Vray heb je inderdaad maar 10 licenses. Met een quadcore betekend dat dus 40 buckets, dit is dus inclusief de workstation. Ik denk dat ik dus overal maar 9 van maak Toch handig dat tweakers En wat betreft de DVD spelers ben ik het met Soultaker eens.

Rashmatash - Ik zie er maar 1 staan, -DG-. Maar bedankt voor de tip, ik zal het in gedachte houden.

Archetype – Met de render nodes heb je inderdaad altijd een soort buffer op je workstation vanwege de reden die jij noemde.

Ik denk dat ik er wel aardig uit ben. Een ander moederbord dat uitbreidbaar is tot 8 GB, dit in combinatie met ECC – registered memory. Als ik dan problemen krijg kan ik altijd nog uitbreiden. Ik ga wel even verder zoeken in de shop. Bedankt allemaal voor de tips!

Ik zal mijn uiteindelijke product list ook wel even posten om alles compleet te maken.

[curry684]

maratropa schreef op vrijdag 07 december 2007 @ 17:01:
En haal gewoon 1 usb dvd speler, dan hoef je er niet 10 te kopen

Ik heb nog nooit een server zonder DVD besteld, voor die 25 euro die het kost wil je als bedrijf gewoon geen gezeik hebben zodra het een keer dringend nodig is.

Ik zou trouwens niet naar towers kijken voor dit soort dingen maar direct een (half-)rack neerzetten met daarin oftewel 10 1U pizzadozen (heb je meteen servermobo's die tot 32GB RAM gaan) of er eventueel zelfs een kudde blades inhangen met 1 dikke fileserver ernaast. Een blade met 2 quad-core Xeons, 16GB RAM en 400GB storage in RAID-1 kost je rond de 2200 euro ex, en dat concurreert echt wel met wat je nu hebt uitgezocht. Nadeel is wel dat een 10-blade enclosure zelf ook 3 ruggen kost

[ Voor 42% gewijzigd door curry684 op 08-12-2007 23:09 ]

[Verwijderd]

curry684 schreef op zaterdag 08 december 2007 @ 23:03:
[...]

Ik zou trouwens niet naar towers kijken voor dit soort dingen maar direct een (half-)rack neerzetten met daarin oftewel 10 1U pizzadozen (heb je meteen servermobo's die tot 32GB RAM gaan) of er eventueel zelfs een kudde blades inhangen met 1 dikke fileserver ernaast. Een blade met 2 quad-core Xeons, 16GB RAM en 400GB storage in RAID-1 kost je rond de 2200 euro ex, en dat concurreert echt wel met wat je nu hebt uitgezocht. Nadeel is wel dat een 10-blade enclosure zelf ook 3 ruggen kost

Blades en racks is allemaal nieuw van mij, dus daar kan ik niet zo goed over mee praten. Maar ik heb even naar racks zitten kijken en volgens mij ligt de prijs daarvan hoger dan met towers. Nu ben ik ongeveer 5000 euro (inc) kwijt aan 10 x Q6600 tower. In totaal heb ik dan ongeveer 100Ghz aan cpu kracht en 50 Gb ram. Volgens mij staat dat niet tot vergelijking met 2 keer een blade a 2200 plus nog 3000 voor een rack.

Maar zoals ik al zij, dit is nieuw voor mij dus ik kan er helemaal naast zitten. Het klinkt in ieder geval wel interessant en ik wil er graag meer over weten. Nog tips waar ik informatie kan vinden? Zelf heb ik dit gevonden:

http://www.x64server.com/?gclid=CNTkgfPimZACFQ5jMAod7kEZpQ

Voor de prijs van 2 blades ontvang je:

3 Blades
1 Blade chasis

Prijs is alleen een beetje onduidelijk, bovenaan staat wel vanaf 2250 euro per blade. Mochten deze blades dezelde specificatie hebben als dat jij zei, dan word het al een stuk interessanter. 5000 euro voor een chasis met 3 x een blade met dual quadcore Xeon processors, oftewel 9 Xeon processors.

En dan zit ik ook nog met de vraag of dit allemaal compatible is met Vray en 3Ds Max? En wat is nou precies het voordeel van racks/blades? Het is energie en ruimte besparend maar volgens mij word dat pas echt interessant wanneer je het echt groots aanpakt.. Het word er in ieder geval niet makkelijker op. Hmm ik zoek nog even verder...

[Verwijderd]

Waarom heeft elke node een CD-loopwerk? Je kunt er toch 1 installen en de rest netwerkghosten?

[Verwijderd]

Verwijderd schreef op zondag 09 december 2007 @ 01:06:
Waarom heeft elke node een CD-loopwerk? Je kunt er toch 1 installen en de rest netwerkghosten?

Hmm weer een handige tip. Dank. In elke PC een dvd was in eerste instantie gemakzucht. Je hebt natuurlijk wel te maken met licenties. Hoe pak je dat dan aan?

[curry684]

Verwijderd schreef op zondag 09 december 2007 @ 01:04:
[...]

En dan zit ik ook nog met de vraag of dit allemaal compatible is met Vray en 3Ds Max?

Zijn gewoon puters he

En wat is nou precies het voordeel van racks/blades? Het is energie en ruimte besparend maar volgens mij word dat pas echt interessant wanneer je het echt groots aanpakt..

Uniforme oplossing, serverapparatuur, betere RMA's, makkelijkere replacements etc.

Prijs is niet alles, en 10 towers onderbrengen wordt per definitie een rommelig stapeltje. Een kwart rack met 10 1U pizzadozen is stukken opgeruimder en makkelijker te beheren.... en weinig duurder, voor een euro of 600 heb je wel de specs die je noemt met 3 jaar garantie. Moet je alleen nog even paar honderd euro uittrekken voor een kwart rackje eromheen.

Met netwerkinstalls heb je gewoon 1 licentie per PC nodig, moet je ze dus unactivated zonder license key op de ghost zetten.

[ Voor 6% gewijzigd door curry684 op 09-12-2007 02:05 ]

[Verwijderd]

Een 19" serverbehuizing is altijd kostbaarder dan een simpele tower (zeker als het een 1hu behuizing is, de voeding is dan gewoon extra duur), plus dan nog een rack? Je bent zeker stukken duurder uit. Kwestie is of je startup bedrijf die initiële kosten kan verantwoorden.

[ Voor 15% gewijzigd door Verwijderd op 09-12-2007 02:31 ]

[Verwijderd]

Bij ons gaat het om "as much bang for the buck". Daarnaast is het handige van towers dat je, mocht het nodig zijn, er een om kan bouwen tot workstation.

[Verwijderd]

Hallo allemaal,

Om de topic even compleet te maken, hier is de product list zoals ik hem met jullie tips heb samen gesteld:

9 x Asus - P5B WM (gaat tot 8GB ddr2)
9 x Sweex - CASE SWEEX OEM Midi PRESCOTT Galileo Zwart/Grijs 350W
9 x Intel - Core 2 Quad Q6600/775 2.40G
9 x Kingston - 4GB 667MHZ DDR2 NON-ECC CL5 (2x2gb)
9 x Western Digital - CAVIAR SE 40GB 8MB CAVIAR SE 40GB 8MB SATA/300 7200RPM
9 x LG - DVD RW LG 18x Beige Bulk + Nero lightScribe DVD RW
9 x Microsoft - OEM/MS WinXP Pro+MUI x64 SP2c/EN
1 x Netgear - Switch 10/100 16xRJ45 NETGEAR Fast Ethernet
9 x Belkin - CAT5E ASSEMBLED UTP PATCH CABLE 2 meter

Totaal 4700 Euro inc btw

We willen toch gaan voor een dvd speler in elke pc. Sterker nog we hebben in elke pc een brander gestopt zodat we lekker snel door kunnen branden mocht dat nodig zijn (met name handig bij lightscribe)

[kippy]

Verwijderd schreef op maandag 10 december 2007 @ 19:44:
Hallo allemaal,

Om de topic even compleet te maken, hier is de product list zoals ik hem met jullie tips heb samen gesteld:

9 x Asus - P5B WM (gaat tot 8GB ddr2)
9 x Sweex - CASE SWEEX OEM Midi PRESCOTT Galileo Zwart/Grijs 350W
9 x Intel - Core 2 Quad Q6600/775 2.40G
9 x Kingston - 4GB 667MHZ DDR2 NON-ECC CL5 (2x2gb)
9 x Western Digital - CAVIAR SE 40GB 8MB CAVIAR SE 40GB 8MB SATA/300 7200RPM
9 x LG - DVD RW LG 18x Beige Bulk + Nero lightScribe DVD RW
9 x Microsoft - OEM/MS WinXP Pro+MUI x64 SP2c/EN
1 x Netgear - Switch 10/100 16xRJ45 NETGEAR Fast Ethernet
9 x Belkin - CAT5E ASSEMBLED UTP PATCH CABLE 2 meter

Totaal 4700 Euro inc btw

We willen toch gaan voor een dvd speler in elke pc. Sterker nog we hebben in elke pc een brander gestopt zodat we lekker snel door kunnen branden mocht dat nodig zijn (met name handig bij lightscribe)

Ik zou toch echt voor een andere voeding gaan. Sweex staat niet bekend om stabiliteit. Koop dan een no-name kast zonder voeding en koop er een 350W coolermaster voeding bij. Kost je in het totaal misschien 200 euro meer, maar het geeft je wel een stuk veiliger gevoel.

[AtomicShockwave]

zie ik daar nou non-ecc weet eigenlijk ook niet of het zo essentieel is dat het registered is. Maarre vergeet niet als je setjes van 2 koopt, dat je bij 1 kapot reepje het hele setje waarsch terug moet sturen. Vind ik persoonlijk erg vervelend. En de kans dat een DOA reepje hebt is bij deze hoeveelheid duidelijk aanwezig.

En ohja, lose the sweex maar dat was al gezegd.

[curry684]

kippy schreef op maandag 10 december 2007 @ 19:57:
[...]

Ik zou toch echt voor een andere voeding gaan. Sweex staat niet bekend om stabiliteit. Koop dan een no-name kast zonder voeding en koop er een 350W coolermaster voeding bij. Kost je in het totaal misschien 200 euro meer, maar het geeft je wel een stuk veiliger gevoel.

Mjah tis natuurlijk als geheel een budgetverhaal, en de crux van het verhaal is juist dat ie clustert op basis van redundancy, dus who cares als er een keer een week 1 node uit ligt? 10% minder performance voor een paar dagen, whoooo.

[pinockio]

De efficiëntie van zo'n Sweex voeding ligt ook lager dan van een goede kwaliteitsvoeding, en dus zul je meer stroom verbruiken. Voor weinig meer heb je al een Aopen kastje met een betere en stabielere voeding.

[Verwijderd]

Inderdaad geen ecc, maar de winkel (s) waar ik wil bestellen hebben geen ecc registered meer op vooraad, in ieder geval niet van een goede prijs. Ze hebben ook geen zicht op wanneer deze weer wel op voorraad zijn.

De Sweex Case heb ik vervangen door een Aopen ES45B BLACK 300W. Beter?

Nogmaals bedankt allemaal!

[register]

Een clustertje zonder halfdeftige interconnect? Kijk toch maar eens na hoeveel bandbreedte die software nodig heeft, anders zit de helft van je CPU's te wachten tot er nog eens een netwerkpakketje binnen komt. Hint: een 16-poort gigabit switchje kost bijna niets meer tegenwoordig...

[curry684]

Lol idd die switch had ik even overheen gekeken Bestel ajb voor een euro of 400 een leuke 24 poorts 10/10/1000 HP Procurve 1800-24G erbij, die heeft wel een backplane die render-bestendig is.

[ Voor 15% gewijzigd door curry684 op 10-12-2007 23:56 ]

[Verwijderd]

Hmm dacht in eerste instantie dat het qua bandbreedte wel mee zou vallen, maar na even een beetje rekenen is het misschien toch wel verstandig inderdaad om een 1Gbps aan te schaffen. Ik zat te denken aan deze:

1000 Mbps - 16 Poorts - Linksys 19" SR2016

24 poorten lijkt me niet nodig aangezien het gaat 10 computers en we bij een 16 poort nog steed 6 vrije hebben. En een managed switch biedt volgens mij geen extra functionaliteiten.

[Verwijderd]

Heb je al aan het stroomverbruik gedacht? Laptop hardeschijven in plaats van full-size hardeschijven? Een efficiëntere voeding? Toch geen DVD-RW drives maar het uitrollen van de images van het netwerk? Als je dit vaak gebruikt zit je per jaar al snel op een paar honderd euro aan energie kosten....

[curry684]

Verwijderd schreef op dinsdag 11 december 2007 @ 02:01:
Hmm dacht in eerste instantie dat het qua bandbreedte wel mee zou vallen, maar na even een beetje rekenen is het misschien toch wel verstandig inderdaad om een 1Gbps aan te schaffen. Ik zat te denken aan deze:

1000 Mbps - 16 Poorts - Linksys 19" SR2016

24 poorten lijkt me niet nodig aangezien het gaat 10 computers en we bij een 16 poort nog steed 6 vrije hebben. En een managed switch biedt volgens mij geen extra functionaliteiten.

Met die Linksys is niets mis (ik heb zelf de 8-poorts @ office), maar je workstation, mailserver etc. moeten toch ook ergens in? Dan ben je in de praktijk al snel door 16 poorten heen. Er is van Linksys ook een 24-poorts variant, en switchruimte heb je nooit te veel in de praktijk zodra er iemand met een laptop langs komt, of er een NAS voor backup komt, etc. etc.

En qua performance zijn Cisco's en Procurves natuurlijk wel beter

[Verwijderd]

curry684 schreef op dinsdag 11 december 2007 @ 10:38:
[...]
...
En qua performance zijn Cisco's en Procurves natuurlijk wel beter

Laat Linksys nu van Cisco zijn

Lijkt mij dat 16 poorten genoeg zijn, je kunt er later altijd nog een 2e switch bijprikken. En voor een beetje mail e.d. is een 1gbps poort zware overkill imho

[pinockio]

Verwijderd schreef op dinsdag 11 december 2007 @ 10:47:
[...]


Laat Linksys nu van Cisco zijn

Lijkt mij dat 16 poorten genoeg zijn, je kunt er later altijd nog een 2e switch bijprikken. En voor een beetje mail e.d. is een 1gbps poort zware overkill imho

Sja, en Dacia is ook van Renault... maar of het ook even goed is? Dus.... your point?
Feit blijft dat de TS een klein budget heeft en daarom natuurlijk eerder voor Linksys zal kiezen.

[Verwijderd]

pinockio schreef op dinsdag 11 december 2007 @ 19:13:
[...]

Sja, en Dacia is ook van Renault... maar of het ook even goed is? Dus.... your point?
Feit blijft dat de TS een klein budget heeft en daarom natuurlijk eerder voor Linksys zal kiezen.

Punt is wel dat Linksys slechts een labeltje is:

nieuws: Cisco schrapt merknaam Linksys, gaat zelf consumentenmarkt op

[curry684]

Verwijderd schreef op dinsdag 11 december 2007 @ 10:47:
[...]

Laat Linksys nu van Cisco zijn

]
En los daarvan geen enkele overeenkomst vertonen qua hardware, software en SLA's. Your point is?

Op Cisco en ProCurve switches zit levenslange garantie. Next day on site replacement. Indien originele produkt niet meer gevoerd wordt vervangend minimaal gelijkwaardig produkt.

Lijkt mij dat 16 poorten genoeg zijn, je kunt er later altijd nog een 2e switch bijprikken. En voor een beetje mail e.d. is een 1gbps poort zware overkill imho

Voor de cluster is het wel vitaal, dus dan is het natuurlijk van de zotte om die expres te krap in te kopen zodat je in de tooekomst moet bijprikken.

[Verwijderd]

curry684 schreef op dinsdag 11 december 2007 @ 21:25:
[...]
]
...

Voor de cluster is het wel vitaal, dus dan is het natuurlijk van de zotte om die expres te krap in te kopen zodat je in de tooekomst moet bijprikken.

Kom op zeg, deze jongen is bezig om een startup bedrijfje te doen. Dan zit je niet te wachten op hoge uitgaven maar zoals ie zelf al zei, as much bang for the buck.
Bovendien gaf ie al aan dat het om een cluster gaat van 10 pc's, dus houd ie genoeg poorten over.
En met Linksys is NIETS mis.

[curry684]

Ik heb zelf een bedrijf en zo, en geloof me die 200 euro kun je beter missen bij het opstarten om het in 1 keer goed te doen dan op het moment dat je groeit, dan heb je die knaken hard genoeg elders nodig voor zover je ze nog hebt.

Daarnaast zei ik al dat er met Linksys voor z'n prijsklasse niets mis is en ik ze zelf ook gebruik. Heb echter inmiddels door de jaren heen al wel 1 keer een Linksys RMA moeten sturen en 2 keer firmwareproblemen gehad. Daar heb je met Cisco, Juniper of HP simpelweg minder kans op, en offline zijn kost ook geld.

[Rapzar]

Staat je renderfarm al?
Heb je een linkje naar t op te zetten bedrijf, en wat vraag je per GhzH voor renderen ?

(Ze zijn hier in de kelder nu zo een 19" rack met 7x 8core nodes aan t bouwen in een geluidsdichte 'darkroom', maar van kloktikken kun je nooit genoeg hebben.)