Cookies op Tweakers

Tweakers maakt gebruik van cookies, onder andere om de website te analyseren, het gebruiksgemak te vergroten en advertenties te tonen. Door gebruik te maken van deze website, of door op 'Ga verder' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt, bekijk dan ons cookiebeleid.

Meer informatie

Vraag


Acties:
  • 0Henk 'm!

  • millman
  • Registratie: november 2005
  • Laatst online: 26-02 22:40

millman

6708Mhz @ -185c

Topicstarter
Beste mede-tweakers,

Ik ben al enige tijd op zoek naar het antwoord op de vraag of Threadripper 3000 256GB ECC kan supporten. Ik weet dat TR tot 256GB ram kan ondersteunen en ik weet dat TR ECC ondersteund, maar welke reepjes ik zou kunnen gebruiken voor onze specifieke (DaaS) workload is mij onduidelijk. Als er geen 256GB ECC mogelijk is zullen we moeten uitwijken naar EPYC, echter is daarvan de maximum boostclock eigenlijk net iets te laag naar onze wens. Iemand die mij het verlossende antwoord kan geven?

Heb afgelopen maand heel internet afgestruind, meerdere computerzaken aan de lijn gehad en zelfs een AMD representative en konden mij geen enkele duidelijkheid geven.

Het is de bedoeling om high performance 'Desktop as a Service' VM's te leveren op basis van een 32-core threadripper, 3x RTX5000 en 256GB ECC. Dit moet een 3-tal VM's opleveren met 8C/16T @ 4Ghz-ish, 64GB ECC en een enkele RTX5000, dan houd je 64GB, 8c/16t voor VM overhead. Echter, de storage-nodes draaien Storpool, en hebben uitdrukkelijke eis dat alle nodes van ECC zijn voorzien. Minder geheugen per VM is voor onze klant niet te aanvaarden, vandaar mijn vraag.

'Heb ik eindelijk mn kamer opgeruimd, is de wereld een puinhoop'

Beste antwoord (via millman op 23-06-2020 23:31)


  • Abbadon
  • Registratie: februari 2000
  • Laatst online: 17:04
Veel succes: Threadripper en ECC is slecht gedocumenteerd. Je kunt eigenlijk alleen maar zelf testen/valideren. Koop een moederbord waarvan de fabrikant expliciet melding maakt van ECC-ondersteuning (zoals b.v. Asus of Asrock, beiden hebben ECC-opties zoals scrubbing in het BIOS), koop 8 stuks 32GB ECC UDIMM's en ga uitgebreid testen.

Neem bijvoorbeeld de Samsung M391A4G43MB1-CTD modules. Kosten €146 ex btw per stuk.

Die modules werken met Zen2, maar of het ook met 8 stuks goed werkt? Je bent een beetje een hot-rod aan het bouwen, dat kan heel goed gaan zolang je het zelf goed test. Maar geen garanties vooraf.

Just pick a dead end and chill out 'till you die.

Alle reacties


Acties:
  • +1Henk 'm!

  • Pikkemans
  • Registratie: september 2004
  • Laatst online: 22:31
Volgens mij moet je even naar de moederbord fabrikanten kijken. Het is de vraag of het moederbord dit ondersteund.

Op basis van je TS heb ik dit nog kunnen vinden
http://forum.asrock.com/f...sional-gaming-motherboard

Hier word echter niet gesproken over ECC geheugen.

Acties:
  • +1Henk 'm!

  • ipsec
  • Registratie: juni 2001
  • Laatst online: 16-02 17:06
Ga je in een Storpool hyperconverged setup draaien?

De hypervisor configuratie heb je zelf in de hand als de storage nodes niet als hyperconverged draaien.
Als je hyperconverged draait (dus storage nodes + hypervisor in één) dan moet je óók ECC hebben, net zoals dat op een "storage only" situatie draait.

Volgens mij krijg je niet te maken met een memory cap omdat je ECC gebruikt, en zit je alleen maar vast aan de memory cap die je noemt en is dit ongeacht of je wel of geen ECC memory draait.

https://www.anandtech.com...pper-3990x-3990-sd/678298
https://www.anandtech.com...pper-3990x-3990-sd/678404

Overigens ondersteunt Storpool overigens AMD EPYC, belangrijke informatie als je Hyperconverged wilt draaien:
https://storpool.com/wp-c...quirements-2020-03-16.pdf

[Voor 23% gewijzigd door ipsec op 04-05-2020 16:51]


Acties:
  • 0Henk 'm!

  • millman
  • Registratie: november 2005
  • Laatst online: 26-02 22:40

millman

6708Mhz @ -185c

Topicstarter
@Pikkemans Dat je met het juiste moederbord 256GB kan draaien is mij duidelijk, maar het moet ECC zijn, dat was nu juist mijn vraag ;) Dank voor het meedenken tho

@ipsec De memorycap zit m nu juist in het platform, TR kan niet meer dan 256GB huisvesten, ik wil graag weten welke reepjes ik moet hebben om die met ECC gevuld te krijgen.

Wat het Storpool verhaal, ik geef heel eerlijk toe dat ik er niets vanaf weet. Dit zijn de eisen die onze klant stelt en betrokken de eis van Storpool erbij om duidelijk te maken dat ECC voor hun (DaaS) workload een vereiste was. Buiten 'office-hours' wordt deze stack ingezet voor onze workload: Rendering, laat ik daar nu alles wel vanaf weten: Geen Storpool vereisten sowieso ;)

Maar, zover ik t begrijp draaien de nodes wel in een hyperconverged infra.. dus ECC is een vereiste (?)

'Heb ik eindelijk mn kamer opgeruimd, is de wereld een puinhoop'


Acties:
  • +2Henk 'm!

  • ipsec
  • Registratie: juni 2001
  • Laatst online: 16-02 17:06
millman schreef op maandag 4 mei 2020 @ 16:53:
@Pikkemans Dat je met het juiste moederbord 256GB kan draaien is mij duidelijk, maar het moet ECC zijn, dat was nu juist mijn vraag ;) Dank voor het meedenken tho

@ipsec De memorycap zit m nu juist in het platform, TR kan niet meer dan 256GB huisvesten, ik wil graag weten welke reepjes ik moet hebben om die met ECC gevuld te krijgen.

Wat het Storpool verhaal, ik geef heel eerlijk toe dat ik er niets vanaf weet. Dit zijn de eisen die onze klant stelt en betrokken de eis van Storpool erbij om duidelijk te maken dat ECC voor hun (DaaS) workload een vereiste was. Buiten 'office-hours' wordt deze stack ingezet voor onze workload: Rendering, laat ik daar nu alles wel vanaf weten: Geen Storpool vereisten sowieso ;)

Maar, zover ik t begrijp draaien de nodes wel in een hyperconverged infra.. dus ECC is een vereiste (?)
Als je hyperconverged draait is ECC dus een harde eis. En Storpool ondersteunt officieel alleen EPYC, dat kan natuurlijk te maken hebben met bepaalde instructiesets die ze nodig hebben.

Overigens lees ik op de AMD site dat de nieuwere Threadripper generaties tot 1TB memory ondersteunen.

Overigens ken ik Storpool als een zéér capabele club met uitstekende adviezen en meedenken, dus wellicht dat je Storpool support kunt contacten in dit proces?

[Voor 6% gewijzigd door ipsec op 04-05-2020 17:00]


Acties:
  • 0Henk 'm!

  • millman
  • Registratie: november 2005
  • Laatst online: 26-02 22:40

millman

6708Mhz @ -185c

Topicstarter
ipsec schreef op maandag 4 mei 2020 @ 16:59:
[...]


Als je hyperconverged draait is ECC dus een harde eis. En Storpool ondersteunt officieel alleen EPYC, dat kan natuurlijk te maken hebben met bepaalde instructiesets die ze nodig hebben.

Overigens lees ik op de AMD site dat de nieuwere Threadripper generaties tot 1TB memory ondersteunen.

Overigens ken ik Storpool als een zéér capabele club met uitstekende adviezen en meedenken, dus wellicht dat je Storpool support kunt contacten in dit proces?
We hebben al contact met Storpool via onze klant, en die hebben na testen in ieder geval goedkeuring gegeven aan TR ondersteuning naar aanleiding van onze businesscase. Je hebt gelijk dat het sowieso een capabele club is. Verder is het zo dat TR in theorie 1TB geheugen ondersteund, maar tot op heden waren daar geen reepjes voor. Nu er nog maar net 256GB kits voor zijn dacht ik dat ECC nog wel lastiger zou zijn, maar ik zie zelfs 64GB uDimms, ik ben dus benieuwd naar support, maar lees er niets over.

'Heb ik eindelijk mn kamer opgeruimd, is de wereld een puinhoop'


Acties:
  • +2Henk 'm!

  • unezra
  • Registratie: maart 2001
  • Laatst online: 25-02 09:35

unezra

Ceci n'est pas un sous-titre.

Klinkt een beetje als verkeerde bezuiniging.
Een desktop CPU inzetten waar een server CPU nodig is, waarmee je in de knoei komt met support.

Ik zou eens uitrekenen wat Epyc werkelijk kost en of het je de ellende van een desktop CPU waard is.

Ná Scaoll. - Don’t Panic.


Acties:
  • +2Henk 'm!

  • millman
  • Registratie: november 2005
  • Laatst online: 26-02 22:40

millman

6708Mhz @ -185c

Topicstarter
unezra schreef op maandag 4 mei 2020 @ 17:35:
Klinkt een beetje als verkeerde bezuiniging.
Een desktop CPU inzetten waar een server CPU nodig is, waarmee je in de knoei komt met support.

Ik zou eens uitrekenen wat Epyc werkelijk kost en of het je de ellende van een desktop CPU waard is.
Beste man, daar is natuurlijk al lang naar gekeken. Echter hebben we de performance per core nodig van de Threadrippers, er komt geen EPYC in de buurt van de single core performance van een TR. Het gaat hier dus helemaal niet om een besparing maar om zoveel mogelijk performance halen uit de hardware. Uiteraard stappen we over op Epyc als dit niet gaat lukken, geld is hier geen oplossing (of vraag.. er is genoeg)

De snelste Epyc is een 7F72 (nog niet eens uit), een 24-core CPU met een boost naar 3,9Ghz. Ga je naar een (voor ons vereiste) 32-core Epyc uit die serie dan is de baseclock nog maar 3,2Ghz en boost naar 3,7Ghz. Revit, een van de softwarepakketten die er op de VM's gedraaid gaan worden smult van single core performance. Vandaar deze 'omwegen' om te kijken of we TR kunnen inzetten. Zo ja slaan we natuurlijk meerdere vliegen in 1 klap. Top performance voor een belachelijke prijs, die in de 'off-hours' voor ons ook nog eens CPU rendering kan gaan doen.

Daarom TR ;)

Edit; Support zal t probleem niet zijn, of bedoelde je ECC support?

'Heb ik eindelijk mn kamer opgeruimd, is de wereld een puinhoop'


Acties:
  • +1Henk 'm!

  • Umbrah
  • Registratie: mei 2006
  • Laatst online: 01:08

Umbrah

The Incredible MapMan

Er staan genoeg ECC losse DIMM's op de QVL van mijn eigen TRX40 moederbord (Asus Prime), en genoeg losse 256 combo's. Helaas zijn de QVL's verre van compleet. Er zijn genoeg posts op reddit te vinden van mensen met een 1st gen Threadripper die er buffered DIMM's op kregen om tot 256GB te komen... Zen2 Threadripper is een stuk minder kieskeurig.

De vraag is echter of je ook de geheugensnelheid haalt. Ik zal je aanraden om de QVL's van een diverse set moederborden door te nemen, en eventueel gewoon eens te mailen met een van de fabrikanten.

TRX40 is een prachtig platform (zei het dat het in koeling een hoop wensen heeft, ik verbaasde me dat de chipset, feitelijk X570, toch een stuk heter wordt, hoewel ik wel absurd veel NVME storage heb...). Een Threadripper als CPU is ook best aan de 'geconcentreerde kant', en door te waterkoelen kwam ik aan een toch best significante performance increase tegenover een noctua tower... De performance is absurd, maar vergeet niet dat het 280W beesten zijn!

Acties:
  • +1Henk 'm!

  • unezra
  • Registratie: maart 2001
  • Laatst online: 25-02 09:35

unezra

Ceci n'est pas un sous-titre.

Tja. Dan misschien toch kijken naar Intel. :)

Als singlecore performance van dusdanig belang is dat je het verschil gaat merken tussen een top-end Epyc en een top-end ThreadRipper, moet je je af gaan vragen of je wens voor AMD wel de juiste is.

Ná Scaoll. - Don’t Panic.


Acties:
  • +1Henk 'm!

  • millman
  • Registratie: november 2005
  • Laatst online: 26-02 22:40

millman

6708Mhz @ -185c

Topicstarter
Umbrah schreef op maandag 4 mei 2020 @ 17:51:
Er staan genoeg ECC losse DIMM's op de QVL van mijn eigen TRX40 moederbord (Asus Prime), en genoeg losse 256 combo's. Helaas zijn de QVL's verre van compleet. Er zijn genoeg posts op reddit te vinden van mensen met een 1st gen Threadripper die er buffered DIMM's op kregen om tot 256GB te komen... Zen2 Threadripper is een stuk minder kieskeurig.

De vraag is echter of je ook de geheugensnelheid haalt. Ik zal je aanraden om de QVL's van een diverse set moederborden door te nemen, en eventueel gewoon eens te mailen met een van de fabrikanten.

TRX40 is een prachtig platform (zei het dat het in koeling een hoop wensen heeft, ik verbaasde me dat de chipset, feitelijk X570, toch een stuk heter wordt, hoewel ik wel absurd veel NVME storage heb...). Een Threadripper als CPU is ook best aan de 'geconcentreerde kant', en door te waterkoelen kwam ik aan een toch best significante performance increase tegenover een noctua tower... De performance is absurd, maar vergeet niet dat het 280W beesten zijn!
'Volgens topics op reddit' is voor mij net geen overtuigend genoeg argument om er 560k op stuk te slaan, maar wellicht zit ik hier dan ook verkeerd. Het rechtvaardigt wel het aanmaken van een testcase, dus ik ga zelf ook nog aan de slag. Onze eigen rendernodes zijn allemaal gebaseerd op 3960's overigens, dus ben bekend met koeling (-vereisten) van TR. Nu moet ik zeggen dat in het datacenter en onze industriële fans de temperaturen van de TR's perfect zijn onder een noctua NH12 TR4. (geluid was geen issue, dus alle fans draaien nu standje orkaan 4KRPM). QVL's zijn zoals je zegt zeer onbetrouwbaar en zeker qua ECC ondersteuning niet compleet. Met 128GB halen wij overigens prima de 3200Mhz. TR rocks! 8)
unezra schreef op maandag 4 mei 2020 @ 17:52:
Tja. Dan misschien toch kijken naar Intel. :)

Als singlecore performance van dusdanig belang is dat je het verschil gaat merken tussen een top-end Epyc en een top-end ThreadRipper, moet je je af gaan vragen of je wens voor AMD wel de juiste is.
Het verschil in performance kan oplopen tot wel 20%, de kosten voor Epyc 250% over TR om over Intel nog maar te zwijgen. Daarnaast, willen we genoeg cores per VM aan kunnen bieden op hoge snelheid ontkom je er niet aan om met scalable Xeon te gaan werken. Los van de prijzen krijg je ook weer te maken met dual CPU overhead en latency. Daarnaast is de IPC van een AMD per clocktick zo'n 10-15% hoger dan Intel, dus om 3,9Ghz van AMD te evenaren kom je al snel bij zeer prijzige Intels uit. Met het aantal PCI-E lanes van een Epyc zijn we dan toch beter uit. Nogmaals, dit is een pad die ik beroepsmatig al enige weken in onderzoek heb, we wijken af van de vraagstelling denk ik.* Ik waardeer je input uiteraard zeer.

[Voor 3% gewijzigd door millman op 04-05-2020 19:02]

'Heb ik eindelijk mn kamer opgeruimd, is de wereld een puinhoop'


Acties:
  • Beste antwoord
  • +4Henk 'm!

  • Abbadon
  • Registratie: februari 2000
  • Laatst online: 17:04
Veel succes: Threadripper en ECC is slecht gedocumenteerd. Je kunt eigenlijk alleen maar zelf testen/valideren. Koop een moederbord waarvan de fabrikant expliciet melding maakt van ECC-ondersteuning (zoals b.v. Asus of Asrock, beiden hebben ECC-opties zoals scrubbing in het BIOS), koop 8 stuks 32GB ECC UDIMM's en ga uitgebreid testen.

Neem bijvoorbeeld de Samsung M391A4G43MB1-CTD modules. Kosten €146 ex btw per stuk.

Die modules werken met Zen2, maar of het ook met 8 stuks goed werkt? Je bent een beetje een hot-rod aan het bouwen, dat kan heel goed gaan zolang je het zelf goed test. Maar geen garanties vooraf.

Just pick a dead end and chill out 'till you die.


Acties:
  • +1Henk 'm!

  • Wim-Bart
  • Registratie: mei 2004
  • Laatst online: 10-01 17:43

Wim-Bart

Zie signature voor een baan.

128GB of 256GB maakt niks uit. ECC wordt gewoon ondersteund. Let gewoon op de lijst die wordt opgegeven bij de moederbord fabrikant. Samsung DIMM ECC 2400 schijnt te werken en kan zelfs met de juiste tweaks op 2966 draaien wat ik begrijp. De door @Abbadon genoemde modules lijken dus ook wel geschikt. Kwestie van testen.

Beheerders, Consultants, Servicedesk medewerkers. We zoeken het allemaal. Stuur mij een PM voor meer info of kijk hier De mooiste ICT'er van Nederland.


Acties:
  • 0Henk 'm!

  • millman
  • Registratie: november 2005
  • Laatst online: 26-02 22:40

millman

6708Mhz @ -185c

Topicstarter
Abbadon schreef op dinsdag 5 mei 2020 @ 00:24:
Veel succes: Threadripper en ECC is slecht gedocumenteerd. Je kunt eigenlijk alleen maar zelf testen/valideren. Koop een moederbord waarvan de fabrikant expliciet melding maakt van ECC-ondersteuning (zoals b.v. Asus of Asrock, beiden hebben ECC-opties zoals scrubbing in het BIOS), koop 8 stuks 32GB ECC UDIMM's en ga uitgebreid testen.

Neem bijvoorbeeld de Samsung M391A4G43MB1-CTD modules. Kosten €146 ex btw per stuk.

Die modules werken met Zen2, maar of het ook met 8 stuks goed werkt? Je bent een beetje een hot-rod aan het bouwen, dat kan heel goed gaan zolang je het zelf goed test. Maar geen garanties vooraf.
Jullie hebben mij in ieder geval het vertrouwen gegeven dat er mogelijkheden zijn. Er is dus een testcase onderweg zodat we uitvoerig kunnen gaan testen. Dank heren! Mooie analogie trouwens, die hotrod vergelijking. Unieke setup ook, beetje 'out of the box' oplossing. Als dit werkt dan he ;)
Wim-Bart schreef op dinsdag 5 mei 2020 @ 04:10:
128GB of 256GB maakt niks uit. ECC wordt gewoon ondersteund. Let gewoon op de lijst die wordt opgegeven bij de moederbord fabrikant. Samsung DIMM ECC 2400 schijnt te werken en kan zelfs met de juiste tweaks op 2966 draaien wat ik begrijp. De door @Abbadon genoemde modules lijken dus ook wel geschikt. Kwestie van testen.
Er zal weinig getweakt gaan worden, althans, geen OC. Het zou al briljant zijn als dit werkt op stock, de prijs/performance ratio is met geen enkel platform te vergelijken.

'Heb ik eindelijk mn kamer opgeruimd, is de wereld een puinhoop'


Acties:
  • +1Henk 'm!

  • Wim-Bart
  • Registratie: mei 2004
  • Laatst online: 10-01 17:43

Wim-Bart

Zie signature voor een baan.

Wel gave oplossing zou omdat het kan wel zo een game bak willen bouwen. Helaas niet het geld er voor over. 64 cores 118 threads. Kan je bijna hele game graphics mee door CPU laten doen.

Beheerders, Consultants, Servicedesk medewerkers. We zoeken het allemaal. Stuur mij een PM voor meer info of kijk hier De mooiste ICT'er van Nederland.


Acties:
  • 0Henk 'm!

  • millman
  • Registratie: november 2005
  • Laatst online: 26-02 22:40

millman

6708Mhz @ -185c

Topicstarter
Wim-Bart schreef op dinsdag 5 mei 2020 @ 16:23:
Wel gave oplossing zou omdat het kan wel zo een game bak willen bouwen. Helaas niet het geld er voor over. 64 cores 118 threads. Kan je bijna hele game graphics mee door CPU laten doen.
Oh, je moest eens weten hoe ik me voelde.. Elke dag met dikke hardware in de weer, maar moet zeggen dat mn 3800X ook voldoende is voor mn gamebehoeftes. En Crysis laten renderen op 30FPS is nu ook weer niet een goed gamers-uitgangspunt. Zet ik liever mn Titan aan t werk.. Wel tof dat het kan, dat dan weer wel.

Maar voor een DaaS oplossing waar zowel GPU performance als CPU render performance nodig is, dan is er geen snellere CPU dan threadripper. Het enige wat je mist is IPMI en Ram support.. maar daar krijg je voor zn prijs wel zoveel voor terug.

'Heb ik eindelijk mn kamer opgeruimd, is de wereld een puinhoop'


Acties:
  • +1Henk 'm!

  • dcm360
  • Registratie: december 2006
  • Niet online

dcm360

HD7566 powered


Acties:
  • +1Henk 'm!

  • millman
  • Registratie: november 2005
  • Laatst online: 26-02 22:40

millman

6708Mhz @ -185c

Topicstarter
Maar x399 geeft geen ondersteuning voor Threadripper 3000 ;) alleen sTRX4

'Heb ik eindelijk mn kamer opgeruimd, is de wereld een puinhoop'


Acties:
  • +2Henk 'm!

  • Hackus
  • Registratie: december 2009
  • Niet online

Hackus

Let There Be Rock !

Neem even contact op met moederbord leverancier. oa Gigabyte geeft aan 256GB ECC te ondersteunen, maar QVL lijst staat vol met non-ecc. TRX40 AORUS XTREME (rev. 1.0)

Verlaat BMW om na jaren trouw over te stappen naar Mercedes


Acties:
  • +1Henk 'm!

  • Damic
  • Registratie: september 2003
  • Laatst online: 23:56

Damic

Afwezig soms

Spijtig dat de TR's een chipset nodig hebben anders zouden ze echt in het vaar water van de EPYC lijn zitten.

Als jullie de setup lopend hebben kan en mag je dan de specs sposten (dus welk mobo/geheugen/....)

[Voor 31% gewijzigd door Damic op 05-05-2020 17:56]

Ik kan vanalles en nog wat maar niets te goei, klinkt bekent?? Al wat ik aanraak werk niet meer zoals het hoort. Damic houd niet van zijn verjaardag


Acties:
  • +1Henk 'm!

  • millman
  • Registratie: november 2005
  • Laatst online: 26-02 22:40

millman

6708Mhz @ -185c

Topicstarter
Damic schreef op dinsdag 5 mei 2020 @ 17:56:
Spijtig dat de TR's een chipset nodig hebben anders zouden ze echt in het vaar water van de EPYC lijn zitten.

Als jullie de setup lopend hebben kan en mag je dan de specs sposten (dus welk mobo/geheugen/....)
Onze gewone rendernodes hebben we al draaien en bestaan doorgaans uit de volgende setup:

- ASRock TRX40 Creator
- TR 3960X 24c/48t
- 128GB Corsair LPX 3200Mhzc16
- 1650w PSU
- 4x RTX 2080ti blower (meerdere merken)/of 4x RTX TITAN (voor grotere projecten met 24GB vRam)
- Samsung 970 nvme

Ik denk dat de GPU nodes( mits bovenstaande 256GB ECC test slaagt) ongeveer een copie hiervan zullen zijn, maar dan met 256GB ECC en 3x een RTX5000.

Verder is het natuurlijk logisch dat AMD een aantal beperkingen aan het Threadripper platform heeft opgelegd, anders valt er geen eer te behalen bij EPYC ben ik bang.

Overigens hebben we zelfs informatie ingewonnen over het ontwerp van een custom moederbord (dual Epyc multi GPU support bijvoorbeeld, of een threadripper bord met 7x PCI-e en IPMI. Kosten voor het ontwerp zijn 100.000 euro, maar dan minimaal een oplage van 1000 stuks. Klinkt uiteindelijk best interessant als we groeien als renderpartij.

'Heb ik eindelijk mn kamer opgeruimd, is de wereld een puinhoop'


Acties:
  • +1Henk 'm!

  • Damic
  • Registratie: september 2003
  • Laatst online: 23:56

Damic

Afwezig soms

Ik vermoed als je met andere partijen gaat praten die ook geïnteresseerd zouden kunnen zijn dat het wel eens een groot order misschien kan worden en de prijs naar beneden :)

Moest je ooit zo'n order doen en er zijn defecte pcb's die niet door een test geraken (zonder of met componenten) en niet gepatcht kunnen worden zou ik er wel 1 willen hebben voor tegen de muur te hangen :Y

edit: nu ik eraan denk, als je toch iets custom zou laten maken, zou een dual TR dan niet kunnen?

[Voor 11% gewijzigd door Damic op 05-05-2020 19:43]

Ik kan vanalles en nog wat maar niets te goei, klinkt bekent?? Al wat ik aanraak werk niet meer zoals het hoort. Damic houd niet van zijn verjaardag


Acties:
  • +1Henk 'm!

  • ipsec
  • Registratie: juni 2001
  • Laatst online: 16-02 17:06
millman schreef op dinsdag 5 mei 2020 @ 18:11:
[...]

Onze gewone rendernodes hebben we al draaien en bestaan doorgaans uit de volgende setup:

- ASRock TRX40 Creator
- TR 3960X 24c/48t
- 128GB Corsair LPX 3200Mhzc16
- 1650w PSU
- 4x RTX 2080ti blower (meerdere merken)/of 4x RTX TITAN (voor grotere projecten met 24GB vRam)
- Samsung 970 nvme

Ik denk dat de GPU nodes( mits bovenstaande 256GB ECC test slaagt) ongeveer een copie hiervan zullen zijn, maar dan met 256GB ECC en 3x een RTX5000.

Verder is het natuurlijk logisch dat AMD een aantal beperkingen aan het Threadripper platform heeft opgelegd, anders valt er geen eer te behalen bij EPYC ben ik bang.

Overigens hebben we zelfs informatie ingewonnen over het ontwerp van een custom moederbord (dual Epyc multi GPU support bijvoorbeeld, of een threadripper bord met 7x PCI-e en IPMI. Kosten voor het ontwerp zijn 100.000 euro, maar dan minimaal een oplage van 1000 stuks. Klinkt uiteindelijk best interessant als we groeien als renderpartij.
Samen met Storpool in een NVMe hyperconverged cluster wel dikke porno hoor! Wij hebben Storpool draaien in zowel een hybrid (dus mix SSD/HDD) als full-NVMe cluster (non-hyperconverged, dus dedicated)en het is zonder grap een van de meest bang-for-buck storage systemen die ik ooit gebruikt heb.
IO tekort? Drives toevoegen (of nodes). Storage tekort? Zelfde verhaal. En de 3-way replication werkt echt, een complete node uitschakelen zonder enige vorm van hiccups of interruptie.

Ik zet het multi-platform in, dus zowel met OnApp KVM integratie als via iSCSI met VMware, Hyper-V cluster en Xenserver,

Ik kreeg laatst van mijn monitoring meldingen van meer dan 80% port utilization op een S6000 stack (2x 40Gbit per hypervisor in LACP).

Have fun met je proof of concept _/-\o_ :9 :9~

[Voor 10% gewijzigd door ipsec op 05-05-2020 21:16]


Acties:
  • +3Henk 'm!

  • millman
  • Registratie: november 2005
  • Laatst online: 26-02 22:40

millman

6708Mhz @ -185c

Topicstarter
Damic schreef op dinsdag 5 mei 2020 @ 19:35:
Ik vermoed als je met andere partijen gaat praten die ook geïnteresseerd zouden kunnen zijn dat het wel eens een groot order misschien kan worden en de prijs naar beneden :)

Moest je ooit zo'n order doen en er zijn defecte pcb's die niet door een test geraken (zonder of met componenten) en niet gepatcht kunnen worden zou ik er wel 1 willen hebben voor tegen de muur te hangen :Y

edit: nu ik eraan denk, als je toch iets custom zou laten maken, zou een dual TR dan niet kunnen?
De ontwikkelkosten voor een bord zijn sowieso 100K, dat staat nog los van de kosten om elk bord te maken, dus denk aan 300 euro per bord x1000. Dus dat is een 4 ton investering. We gaan kijken naar de opties, nu wil t net dat klant nummer 3 dient zich ook net aan met een order voor 1000 servers.. dus wie weet gaat dat custom moederbord er sneller komen dan we denken. 8)7

Helaas is TR niet ingericht om met meer dan 1 CPU in een systeem geplaatst te worden, custom TR is altijd single socket. Iets wat we zouden willen is bijvoorbeeld dus een TR bord met IPMI, meer dan 4x PCIE 16 en mogelijkheid voor server grade PSU met redundancy. Voor Epyc kan je wel al Dual socket severs kopen, echter stoppen die bij 3x PCI-E 16, alle multi-GPU Epyc borden zijn single socket. Dus daar valt custom ook winst te behalen. Bij Epyc sowieso 128 lanes te verdelen, waarvan 88 voor GPU's meen ik. Helaas schalen de lanes niet door met dual socket, maar wie zeurt daarover als je kijkt naar concurrentie ;)
ipsec schreef op dinsdag 5 mei 2020 @ 21:13:
[...]


Samen met Storpool in een NVMe hyperconverged cluster wel dikke porno hoor! Wij hebben Storpool draaien in zowel een hybrid (dus mix SSD/HDD) als full-NVMe cluster (non-hyperconverged, dus dedicated)en het is zonder grap een van de meest bang-for-buck storage systemen die ik ooit gebruikt heb.
IO tekort? Drives toevoegen (of nodes). Storage tekort? Zelfde verhaal. En de 3-way replication werkt echt, een complete node uitschakelen zonder enige vorm van hiccups of interruptie.

Ik zet het multi-platform in, dus zowel met OnApp KVM integratie als via iSCSI met VMware, Hyper-V cluster en Xenserver,

Ik kreeg laatst van mijn monitoring meldingen van meer dan 80% port utilization op een S6000 stack (2x 40Gbit per hypervisor in LACP).

Have fun met je proof of concept _/-\o_ :9 :9~
Dikke hardware-porn indeed.. Je bent zelf ook lekker bezig lees ik, wat wordt er bij jullie aan workload gedraaid als ik vragen mag?

Dank voor je input zover allemaal! 2bc...

'Heb ik eindelijk mn kamer opgeruimd, is de wereld een puinhoop'


Acties:
  • +1Henk 'm!

  • ipsec
  • Registratie: juni 2001
  • Laatst online: 16-02 17:06
millman schreef op woensdag 6 mei 2020 @ 03:00:

[...]

Dikke hardware-porn indeed.. Je bent zelf ook lekker bezig lees ik, wat wordt er bij jullie aan workload gedraaid als ik vragen mag?

Dank voor je input zover allemaal! 2bc...
Wij zitten in de hosting, dus heel erg mixed en dus ook totaal niet te voorspellen.

Echter is de keus voor Storpool in elk geval een van de beste van de afgelopen jaren geweest :-)

[Voor 11% gewijzigd door ipsec op 06-05-2020 09:06]


Acties:
  • +6Henk 'm!

  • millman
  • Registratie: november 2005
  • Laatst online: 26-02 22:40

millman

6708Mhz @ -185c

Topicstarter
Beste Mensen,

Vandaag alle hardware binnen om onze test compleet te maken. Was nog wel even zweten, de memory training duurde een minuut of 5, maar het resultaat is: 256GB ECC op een trx40 Aorus Extreme icm met een 3970X. Heb de setup mee naar huis genomen om de komende tijd eens te tweaken, results inbound!

Ontzettend bedankt iedereen voor de input, wordt zeer gewaardeerd. Ik zal als alles compleet is de typenummers erbij te zetten, dan hebben we hier iig een topic die 256GB ECC UDIMMS verifieerd op TR.

Hoppa!

Bovenstaande houd in dat ik een klant een ton of 3 heb bespaard door van dual Xeon naar Threadripper te verhuizen..

'Heb ik eindelijk mn kamer opgeruimd, is de wereld een puinhoop'


Acties:
  • +1Henk 'm!

  • Damic
  • Registratie: september 2003
  • Laatst online: 23:56

Damic

Afwezig soms

wauw 5 minuten wachten op het geheugen :D volgens mij heeft dat ding al Alzheimer :)

Ik kan vanalles en nog wat maar niets te goei, klinkt bekent?? Al wat ik aanraak werk niet meer zoals het hoort. Damic houd niet van zijn verjaardag


Acties:
  • +1Henk 'm!

  • millman
  • Registratie: november 2005
  • Laatst online: 26-02 22:40

millman

6708Mhz @ -185c

Topicstarter
@Damic Dat Is alleen de eerste boot natuurlijk.. nu bij reboot Is het 30sec zonder fastboot.

'Heb ik eindelijk mn kamer opgeruimd, is de wereld een puinhoop'


  • Abbadon
  • Registratie: februari 2000
  • Laatst online: 17:04
Goed/leuk te lezen :)
Je hebt ook checks om de daadwerkelijke ecc-functionaliteit vast te stellen? Ik bedoel, een computer kan opstarten met ecc-dimm's zonder ecc te activeren.

Just pick a dead end and chill out 'till you die.


  • millman
  • Registratie: november 2005
  • Laatst online: 26-02 22:40

millman

6708Mhz @ -185c

Topicstarter
@Abbadon Uiteraard maestro. Als je in CPU-z rapport opslaat als HTML dan kan je zien dat ie ECC heeft gedetecteerd en aangezet.

Komende week zelf ff tunen. Heb geen XMP geladen nog. Langdurige memtest enzo moet ook nog

'Heb ik eindelijk mn kamer opgeruimd, is de wereld een puinhoop'


Acties:
  • +4Henk 'm!

  • millman
  • Registratie: november 2005
  • Laatst online: 26-02 22:40

millman

6708Mhz @ -185c

Topicstarter
Heb eindelijk de tijd gehad om wat tests te draaien. Als t eenmaal draait loopt ie als een zonnetje (4u) OCCT stress geen probleem, uurtje Cinebench R20 Loop ook prima. Echter vind t bios 256GB niet zo fijn en wil na reboot het bios nog weleens resetten vanaf backup bios. Zelfs na flashen van Bios naar laatste versie (F4D) stond ik na reboot weer tegen F3 aan te kijken. Pas na ook het backup bios meegeflashed te hebben wilde de nieuwe bios initialiseren.. Toch en vaak na coldboot wordt het bios gereset met memorytraining sequence.

[@AORUS – GIGABYTE Zouden jullie mee willen kijken? Wellicht hebben jullie een beta bios achter de hand of een oplossing voor bovenstaand probleem. Dit moet goed zijn voor we €350K stukslaan op deze hardware.

Gaat om:

TR3970X
8x 32GB 2666 Udimms Samsung M391A4G43MB1-CTD
TRX40 AORUS Xtreme @ F4d Bios
1600W EVGA PSU
nVidia GT710

Toch met enige trots wat foto's. Ik weet t kleine server koeler, :X veel herrie, redelijke performance (redelijk = sub 90 tijdens stress met 26c ambient en 0 airflow)







[Voor 4% gewijzigd door millman op 10-07-2020 15:17]

'Heb ik eindelijk mn kamer opgeruimd, is de wereld een puinhoop'


  • Damic
  • Registratie: september 2003
  • Laatst online: 23:56

Damic

Afwezig soms

Euhm ECC word niet gebruikt of windows rapporteerd het niet.

Ik kan vanalles en nog wat maar niets te goei, klinkt bekent?? Al wat ik aanraak werk niet meer zoals het hoort. Damic houd niet van zijn verjaardag


Acties:
  • +1Henk 'm!

  • Hackus
  • Registratie: december 2009
  • Niet online

Hackus

Let There Be Rock !

@AORUS – GIGABYTE Denk dat je deze bedoelt ?

Verlaat BMW om na jaren trouw over te stappen naar Mercedes


  • millman
  • Registratie: november 2005
  • Laatst online: 26-02 22:40

millman

6708Mhz @ -185c

Topicstarter
Damic schreef op vrijdag 10 juli 2020 @ 09:23:
Euhm ECC word niet gebruikt of windows rapporteerd het niet.
Sorry maar hoe denk je dat te kunnen zien?

'Heb ik eindelijk mn kamer opgeruimd, is de wereld een puinhoop'


  • Damic
  • Registratie: september 2003
  • Laatst online: 23:56

Damic

Afwezig soms

Ik zou denken dat in de screenshot van de Cinebrnch bij SPD, Correction iets zou weergeven

edit: dit is blijkbaar te testen in Windows of ecc aanstaat of niet https://www.der-windows-p...ion-unter-windows-testen/

[Voor 45% gewijzigd door Damic op 10-07-2020 16:27]

Ik kan vanalles en nog wat maar niets te goei, klinkt bekent?? Al wat ik aanraak werk niet meer zoals het hoort. Damic houd niet van zijn verjaardag


  • millman
  • Registratie: november 2005
  • Laatst online: 26-02 22:40

millman

6708Mhz @ -185c

Topicstarter
Damic schreef op vrijdag 10 juli 2020 @ 16:17:
Ik zou denken dat in de screenshot van de Cinebanch bij SPD, Correction iets zou weergeven
Nope.. Er zijn maar weinig tools die ECC detecteren. Alleen als je een html report van cpu-z maakt kan je zien dat ECC gedetecteerd is en aanstaat. Het verbaasde mij overigens hoe weinig mogelijkheden er zijn om dat te checken, google maar eens :) . Zal vannacht een screenshot van html rapport maken. Memtest86+ heeft ook een optie, moet nog FF bootstick maken.

'Heb ik eindelijk mn kamer opgeruimd, is de wereld een puinhoop'


Acties:
  • +1Henk 'm!

  • Damic
  • Registratie: september 2003
  • Laatst online: 23:56

Damic

Afwezig soms

Ik had mijn post aangepast, blijkbaar kun je dat checken in windows

Dit wmic memphysical get memoryerrorcorrection in cmd gooien en dan hopen op 6
(0x0) Reserved
1 (0x1) Other
2 (0x2) Unknown
3 (0x3) None
4 (0x4) Parity
5 (0x5) Single-bit ECC
6 (0x6) Multi-bit ECC
7 (0x7) CRC

Bij mij kwam er 3 uit wat ook normaal is :) want geen ecc geheugen

Ik kan vanalles en nog wat maar niets te goei, klinkt bekent?? Al wat ik aanraak werk niet meer zoals het hoort. Damic houd niet van zijn verjaardag


Acties:
  • 0Henk 'm!

  • millman
  • Registratie: november 2005
  • Laatst online: 26-02 22:40

millman

6708Mhz @ -185c

Topicstarter
Damic schreef op vrijdag 10 juli 2020 @ 16:31:
Ik had mijn post aangepast, blijkbaar kun je dat checken in windows

Dit wmic memphysical get memoryerrorcorrection in cmd gooien en dan hopen op 6
(0x0) Reserved
1 (0x1) Other
2 (0x2) Unknown
3 (0x3) None
4 (0x4) Parity
5 (0x5) Single-bit ECC
6 (0x6) Multi-bit ECC
7 (0x7) CRC

Bij mij kwam er 3 uit wat ook normaal is :) want geen ecc geheugen
Hey daar, dank! Net even gedaan en bevestigd de ECC capability

'Heb ik eindelijk mn kamer opgeruimd, is de wereld een puinhoop'


Acties:
  • +1Henk 'm!

  • Damic
  • Registratie: september 2003
  • Laatst online: 23:56

Damic

Afwezig soms

Jeeeeej ECC staat aan en is Multi bit *O*

Ik kan vanalles en nog wat maar niets te goei, klinkt bekent?? Al wat ik aanraak werk niet meer zoals het hoort. Damic houd niet van zijn verjaardag


Acties:
  • +1Henk 'm!

  • Damic
  • Registratie: september 2003
  • Laatst online: 23:56

Damic

Afwezig soms

Euhm Threadripper pro is nu tot 2TB aan mem, komen ze nu met af :+ nieuws: Afbeeldingen tonen specificaties van vermeende AMD Threadripper Pro-c...

Ik kan vanalles en nog wat maar niets te goei, klinkt bekent?? Al wat ik aanraak werk niet meer zoals het hoort. Damic houd niet van zijn verjaardag


Acties:
  • +1Henk 'm!

  • millman
  • Registratie: november 2005
  • Laatst online: 26-02 22:40

millman

6708Mhz @ -185c

Topicstarter
Damic schreef op zondag 12 juli 2020 @ 11:30:
Jeeeeej ECC staat aan en is Multi bit *O*
Ik heb de reepjes al gezien op 3200Mhz :D,
Ik volg dit nieuws natuurlijk op de voet.. Verder is de hoeveelheid geheugenondersteuning nog een gerucht, ik moet t nog maar zien. T zou EPYC direct waardeloos maken. Ik ben al blij met 512GB overigens. Voor 4 VMs met 6 cores en 1GPU passthrough en dan 120GB per VM. Onze systemen moeten zo breed mogelijk ingezet kunnen worden, ik zie wel mogelijkheden met deze geruchten ;)

'Heb ik eindelijk mn kamer opgeruimd, is de wereld een puinhoop'


  • Umbrah
  • Registratie: mei 2006
  • Laatst online: 01:08

Umbrah

The Incredible MapMan

Mwoah, Epyc blijft natuurlijk multi-socket en vanwege de (waarschijnlijk) lagere TDP: hogere density. Maar de hoeveelheid PCI-E lanes + de potentie tot workstation met 8-channel... ook ik volg dit op de voet... zeker omdat er weinig is met dergelijke specs én redelijke single-thread voor de keren dat dat nodig is! Denk dat dit dan de Xeon-W killer is net zoals dat Threadripper de Intel-X killer is. Hoewel ik stiekem hoop dat de chipsets uitwisselbaar zijn gok ik haast van niet...

Acties:
  • +1Henk 'm!

  • millman
  • Registratie: november 2005
  • Laatst online: 26-02 22:40

millman

6708Mhz @ -185c

Topicstarter
Umbrah schreef op maandag 13 juli 2020 @ 11:24:
Mwoah, Epyc blijft natuurlijk multi-socket en vanwege de (waarschijnlijk) lagere TDP: hogere density. Maar de hoeveelheid PCI-E lanes + de potentie tot workstation met 8-channel... ook ik volg dit op de voet... zeker omdat er weinig is met dergelijke specs én redelijke single-thread voor de keren dat dat nodig is! Denk dat dit dan de Xeon-W killer is net zoals dat Threadripper de Intel-X killer is. Hoewel ik stiekem hoop dat de chipsets uitwisselbaar zijn gok ik haast van niet...
Die TR Pro alleen voor OEM's :( maar we gaan eens kijken wat we kunnen doen bij ons AMD contact. Ik zit niet te wachten op een lenovo workstation, maar wel op 64 core 1TB ECC configuraties. Als we het dan toch over density hebben.. Veel snellere VM's krijg je niet denk ik :D

'Heb ik eindelijk mn kamer opgeruimd, is de wereld een puinhoop'


  • Damic
  • Registratie: september 2003
  • Laatst online: 23:56

Damic

Afwezig soms

Hey hey WRX80 mobo's zijn leuk, de meeste hebben IPMI :) en wrs voor de gewone pro-sumer betaalbaar*


Die 1843$ is voor een intel mobo

[Voor 6% gewijzigd door Damic op 19-01-2021 17:39]

Ik kan vanalles en nog wat maar niets te goei, klinkt bekent?? Al wat ik aanraak werk niet meer zoals het hoort. Damic houd niet van zijn verjaardag

Pagina: 1


Apple iPhone 12 Microsoft Xbox Series X LG CX Google Pixel 5 Sony XH90 / XH92 Samsung Galaxy S21 5G Sony PlayStation 5 Nintendo Switch Lite

Tweakers vormt samen met Hardware Info, AutoTrack, Gaspedaal.nl, Nationale Vacaturebank, Intermediair en Independer DPG Online Services B.V.
Alle rechten voorbehouden © 1998 - 2021 Hosting door True