Hulp bij systeem 4x HD 7990 koelings problemen

[Verwijderd]

Hallo allemaal

Ik ben Bart en ik ben programmeur die zich vooral richt op ontwikkeling rond/op het OpenCL framework. Ik heb hiervoor een zeer bescheiden test systeem met 1x 7970 voor benchmarks en code deployments.

Momenteel is de code base vrij omvangrijk te noemen en neemt het aantal tasks in omvang toe. Ik heb daarom een systeem laten samenstellen bij een computer zaak met 4x 7970. Na ontvangst van systeem en de juiste drivers te hebben geinstalleerd liep ik al vrij snel tegen koelings problemen aan.

Het systeem is toen teruggegaan en aangepast naar een grotere kast met meer ruimte en meer fans. Aangezien de 4 dicht op elkaar geplaatste kaarten voor koelings problemen zorgde is het systeem aangepast naar 3x 7990 zodat tussen elke kaart een extra PCI slot (en dus ruimte) zit.

Momenteel is het systeem als volgt samengesteld:

CPU: i7-3930K
RAM: 16GB
Voeding: LEPA 1600 watt
Case: LIAN LI PC-P80N
Grafisch: 3x XFX 7990
Mobo: Asrock X79 Extreme11

Daarbij zijn er diverse extra fans geplaatst voor een optimale airflow echter na 3-4 minuten intensief draaien staat deze al weer op 90C waarbij mijn fail-safe inschakelt en de code executie staakt zodat e.e.a. kan afkoelen. Hervatten onder een bepaalde temperatuur is mogelijk maar niet wenselijk, probleem moet opgelost worden.

Ik sta dus nu voor een keuze om het systeem nog eens nader te laten inspecteren / bekijken hoe deze problemen op te lossen maar heb zelf de uiteindelijke wens het systeem te clusteren via VirtualCL en uiteindelijk deze setup te draaien:

2 nodes met ieder i7-3930K CPU, 16 GB ram, 4x 7990 op het moederbord zoals ik nu ook heb. Deze wil ik clusteren via of infiniband of een 10 GbE kaartje i.v.m. het feit dat er per GPU core ongeveer 80-90 Mbit traffic gegenereerd word bij het aansturen vanaf de broker node. Het moet een modulaire setup worden zodat ik eenvoudig meer nodes kan toevoegen met dezelfde specs, drivers, etc.

Mijn zorgen daarbij zijn uiteraard de koeling van deze nodes, het aantal watt voor de 4x 7990's (spec sheet geeft aan dat 1x 7990 al 375 watt kan gebruiken) op deze 1600 watt voeding en of het vrij te houden PCI slot voor het infiniband kaartje of de 10 GbE netwerk kaart mogelijk weer voor ruimte problemen zorgt. De toevoer van stroom is niet het probleem (diverse groepen, etc).

Het heeft mijn voorkeur wel met een gesloten chassis te werken per node om het hier netjes te houden. Voor koeling sta ik voor alle opties open (waterkoeling, chiller, etc)...

Wie o wie kan mij helpen met het maken van de juiste keuzes

Bart

[PilatuS]

Zware fans hard op de kaarten laten blazen of de hele boel waterkoelen.

[InFamous]

Waterkoeling is de beste oplossing in dit geval.

Maar, hoe worden de nodes opgestelt?
Is het erg als er veel lawaai bij komt kijken?
Moet alles inclusief de koeling in een kast blijven of mogen bijvoorbeeld de radiateurs ook buiten de kast hangen?

[PilatuS]

Alles intern lukt met waterkoeling ook wel als je de juiste kast kiest.

Zoiets als onderstaand.

[Verwijderd]

Momenteel zitten er 3 fans in de chassis deur, 2 in de drive bays, twee top fans en achterin de computer nog een fan. De XFX kaarten zelf hebben 3 fans per kaart. Maakt behoorlijk wat lawaai maar is opzich geen probleem hoewel een stillere setup ook niet verkeerd is.

De CPU is watergekoeld met een Crosair Hydro H110 (bljift mooi koud) dus dat doet goede hoop geven dat zoiets mogelijk ook werkt op de GPU's met een waterblock van bijv EK alleen is dan de vraag of je al direct met meerdere loops moet werken omdat mogelijk na de eerste twee kaarten het water al significant warmer is om de andere twee volgende kaarten effectief te koelen... Meest wenselijk is wel dat alles in de kast blijft.

Zien jullie problemen met deze 1600 watt voeding en de wens om 4x 7990 aan te sluiten ipv 3x 7990? Als ik simpel reken en 4x 375 watt reken voor de 7990's dan zit je al op de 1500 watt en blijft er 'slechts' 100 watt over voor 'de rest'...

[jan874]

Volgens mij kan 3x 7990 in crossfire toch helemaal niet? Want dan zou je 6-way crossfire hebben

[nIghtorius]

jan874 schreef op maandag 24 juni 2013 @ 08:43:
Volgens mij kan 3x 7990 in crossfire toch helemaal niet? Want dan zou je 6-way crossfire hebben

Het hoeft geen crossfire opstelling te zijn. Ik denk dat het gebruikt gaat worden voor GPGPU (OpenCL). Daarvoor hoeven ze niet in crossfire te staan.

[gijsiej]

Bij tomshardware hebben ze met 2 kaarten ook al flinke problemen qua temperaturen. Komt erop neer dat je eigenlijk alleen maar kun waterkoelen. EK is de enige die 7990 full cover waterblocks maakt.

[Verwijderd]

gijsiej schreef op maandag 24 juni 2013 @ 11:01:
Bij tomshardware hebben ze met 2 kaarten ook al flinke problemen qua temperaturen. Komt erop neer dat je eigenlijk alleen maar kun waterkoelen. EK is de enige die 7990 full cover waterblocks maakt.

Volgens mij meteen een bug in de forum software gevonden... De link van tom's hardware werkt niet vanuit het bericht maar als ik druk op "quote" dan zie ik de volledige link. In de gegenereerde hyperlink valt het gedeelte achter de "," in de URL weg. Wie stuurt deze bug in ;-) ?

code:

http://www.tomshardware.co.uk/radeon-hd-7990-crossfire-overheat,review-32713.html

Ik gebruik ze niet in een CrossFire setup zoals nIghtorius al aangeeft zijn ze voor GPGPU doeleinden

Dan ziet het er naar uit dat ik voor waterkoeling moet gaan (totaal geen ervaring mee...) in een andere case. Dan nog wel de vraag: gaat 1600 watt voeding voldoende zijn voor 4 kaarten met de nodige aansluitingen voor de waterkoeling e.d. mijn gevoel zegt van niet namelijk.

edit:

Wat denken jullie van deze case? Lian Li PC-D8000

[Verwijderd]

Voor advies voor een voeding kun je hier terecht: [BBG aanschaf] Voedingen - Deel 29

Hier heb je ook iemand die een 4x7990 setup heeft met waterkoeling: http://devgurus.amd.com/thread/159833

[SmokingCrop]

Verwijderd schreef op maandag 24 juni 2013 @ 12:45:
[...]
Volgens mij meteen een bug in de forum software gevonden... De link van tom's hardware werkt niet vanuit het bericht maar als ik druk op "quote" dan zie ik de volledige link. In de gegenereerde hyperlink valt het gedeelte achter de "," in de URL weg. Wie stuurt deze bug in ;-) ?

code:

http://www.tomshardware.co.uk/radeon-hd-7990-crossfire-overheat,review-32713.html

Heh, heb de bug reported
(SmokingCrop in "[Bug] Link met komma in - fout")

edit: het komt door het niet gebruiken van aanhalingstekens bij url="http://...,..."

---

quote van admin:
"De komma maakt deel uit van de syntax van de opmaakcode, derhalve als een attribuutwaarde een komma bevat zal je deze tussen quotes moeten zetten. Dat staat ook letterlijk in de UBB Faq "

[ Voor 32% gewijzigd door SmokingCrop op 26-06-2013 13:16 ]