Threadripper 256GB ECC support?

[millman]

Beste mede-tweakers,

Ik ben al enige tijd op zoek naar het antwoord op de vraag of Threadripper 3000 256GB ECC kan supporten. Ik weet dat TR tot 256GB ram kan ondersteunen en ik weet dat TR ECC ondersteund, maar welke reepjes ik zou kunnen gebruiken voor onze specifieke (DaaS) workload is mij onduidelijk. Als er geen 256GB ECC mogelijk is zullen we moeten uitwijken naar EPYC, echter is daarvan de maximum boostclock eigenlijk net iets te laag naar onze wens. Iemand die mij het verlossende antwoord kan geven?

Heb afgelopen maand heel internet afgestruind, meerdere computerzaken aan de lijn gehad en zelfs een AMD representative en konden mij geen enkele duidelijkheid geven.

Het is de bedoeling om high performance 'Desktop as a Service' VM's te leveren op basis van een 32-core threadripper, 3x RTX5000 en 256GB ECC. Dit moet een 3-tal VM's opleveren met 8C/16T @ 4Ghz-ish, 64GB ECC en een enkele RTX5000, dan houd je 64GB, 8c/16t voor VM overhead. Echter, de storage-nodes draaien Storpool, en hebben uitdrukkelijke eis dat alle nodes van ECC zijn voorzien. Minder geheugen per VM is voor onze klant niet te aanvaarden, vandaar mijn vraag.

[Pikkemans]

Volgens mij moet je even naar de moederbord fabrikanten kijken. Het is de vraag of het moederbord dit ondersteund.

Op basis van je TS heb ik dit nog kunnen vinden
http://forum.asrock.com/f...sional-gaming-motherboard

Hier word echter niet gesproken over ECC geheugen.

[ipsec]

Ga je in een Storpool hyperconverged setup draaien?

De hypervisor configuratie heb je zelf in de hand als de storage nodes niet als hyperconverged draaien.
Als je hyperconverged draait (dus storage nodes + hypervisor in één) dan moet je óók ECC hebben, net zoals dat op een "storage only" situatie draait.

Volgens mij krijg je niet te maken met een memory cap omdat je ECC gebruikt, en zit je alleen maar vast aan de memory cap die je noemt en is dit ongeacht of je wel of geen ECC memory draait.

https://www.anandtech.com...pper-3990x-3990-sd/678298
https://www.anandtech.com...pper-3990x-3990-sd/678404

Overigens ondersteunt Storpool overigens AMD EPYC, belangrijke informatie als je Hyperconverged wilt draaien:
https://storpool.com/wp-c...quirements-2020-03-16.pdf

[ Voor 23% gewijzigd door ipsec op 04-05-2020 16:51 ]

[millman]

@Pikkemans Dat je met het juiste moederbord 256GB kan draaien is mij duidelijk, maar het moet ECC zijn, dat was nu juist mijn vraag Dank voor het meedenken tho

@ipsec De memorycap zit m nu juist in het platform, TR kan niet meer dan 256GB huisvesten, ik wil graag weten welke reepjes ik moet hebben om die met ECC gevuld te krijgen.

Wat het Storpool verhaal, ik geef heel eerlijk toe dat ik er niets vanaf weet. Dit zijn de eisen die onze klant stelt en betrokken de eis van Storpool erbij om duidelijk te maken dat ECC voor hun (DaaS) workload een vereiste was. Buiten 'office-hours' wordt deze stack ingezet voor onze workload: Rendering, laat ik daar nu alles wel vanaf weten: Geen Storpool vereisten sowieso

Maar, zover ik t begrijp draaien de nodes wel in een hyperconverged infra.. dus ECC is een vereiste (?)

[ipsec]

millman schreef op maandag 4 mei 2020 @ 16:53:
@Pikkemans Dat je met het juiste moederbord 256GB kan draaien is mij duidelijk, maar het moet ECC zijn, dat was nu juist mijn vraag Dank voor het meedenken tho

@ipsec De memorycap zit m nu juist in het platform, TR kan niet meer dan 256GB huisvesten, ik wil graag weten welke reepjes ik moet hebben om die met ECC gevuld te krijgen.

Wat het Storpool verhaal, ik geef heel eerlijk toe dat ik er niets vanaf weet. Dit zijn de eisen die onze klant stelt en betrokken de eis van Storpool erbij om duidelijk te maken dat ECC voor hun (DaaS) workload een vereiste was. Buiten 'office-hours' wordt deze stack ingezet voor onze workload: Rendering, laat ik daar nu alles wel vanaf weten: Geen Storpool vereisten sowieso

Maar, zover ik t begrijp draaien de nodes wel in een hyperconverged infra.. dus ECC is een vereiste (?)

Als je hyperconverged draait is ECC dus een harde eis. En Storpool ondersteunt officieel alleen EPYC, dat kan natuurlijk te maken hebben met bepaalde instructiesets die ze nodig hebben.

Overigens lees ik op de AMD site dat de nieuwere Threadripper generaties tot 1TB memory ondersteunen.

Overigens ken ik Storpool als een zéér capabele club met uitstekende adviezen en meedenken, dus wellicht dat je Storpool support kunt contacten in dit proces?

[ Voor 6% gewijzigd door ipsec op 04-05-2020 17:00 ]

[millman]

ipsec schreef op maandag 4 mei 2020 @ 16:59:
[...]


Als je hyperconverged draait is ECC dus een harde eis. En Storpool ondersteunt officieel alleen EPYC, dat kan natuurlijk te maken hebben met bepaalde instructiesets die ze nodig hebben.

Overigens lees ik op de AMD site dat de nieuwere Threadripper generaties tot 1TB memory ondersteunen.

Overigens ken ik Storpool als een zéér capabele club met uitstekende adviezen en meedenken, dus wellicht dat je Storpool support kunt contacten in dit proces?

We hebben al contact met Storpool via onze klant, en die hebben na testen in ieder geval goedkeuring gegeven aan TR ondersteuning naar aanleiding van onze businesscase. Je hebt gelijk dat het sowieso een capabele club is. Verder is het zo dat TR in theorie 1TB geheugen ondersteund, maar tot op heden waren daar geen reepjes voor. Nu er nog maar net 256GB kits voor zijn dacht ik dat ECC nog wel lastiger zou zijn, maar ik zie zelfs 64GB uDimms, ik ben dus benieuwd naar support, maar lees er niets over.

[unezra]

Klinkt een beetje als verkeerde bezuiniging.
Een desktop CPU inzetten waar een server CPU nodig is, waarmee je in de knoei komt met support.

Ik zou eens uitrekenen wat Epyc werkelijk kost en of het je de ellende van een desktop CPU waard is.

[millman]

unezra schreef op maandag 4 mei 2020 @ 17:35:
Klinkt een beetje als verkeerde bezuiniging.
Een desktop CPU inzetten waar een server CPU nodig is, waarmee je in de knoei komt met support.

Ik zou eens uitrekenen wat Epyc werkelijk kost en of het je de ellende van een desktop CPU waard is.

Beste man, daar is natuurlijk al lang naar gekeken. Echter hebben we de performance per core nodig van de Threadrippers, er komt geen EPYC in de buurt van de single core performance van een TR. Het gaat hier dus helemaal niet om een besparing maar om zoveel mogelijk performance halen uit de hardware. Uiteraard stappen we over op Epyc als dit niet gaat lukken, geld is hier geen oplossing (of vraag.. er is genoeg)

De snelste Epyc is een 7F72 (nog niet eens uit), een 24-core CPU met een boost naar 3,9Ghz. Ga je naar een (voor ons vereiste) 32-core Epyc uit die serie dan is de baseclock nog maar 3,2Ghz en boost naar 3,7Ghz. Revit, een van de softwarepakketten die er op de VM's gedraaid gaan worden smult van single core performance. Vandaar deze 'omwegen' om te kijken of we TR kunnen inzetten. Zo ja slaan we natuurlijk meerdere vliegen in 1 klap. Top performance voor een belachelijke prijs, die in de 'off-hours' voor ons ook nog eens CPU rendering kan gaan doen.

Daarom TR

Edit; Support zal t probleem niet zijn, of bedoelde je ECC support?

[Umbrah]

Er staan genoeg ECC losse DIMM's op de QVL van mijn eigen TRX40 moederbord (Asus Prime), en genoeg losse 256 combo's. Helaas zijn de QVL's verre van compleet. Er zijn genoeg posts op reddit te vinden van mensen met een 1st gen Threadripper die er buffered DIMM's op kregen om tot 256GB te komen... Zen2 Threadripper is een stuk minder kieskeurig.

De vraag is echter of je ook de geheugensnelheid haalt. Ik zal je aanraden om de QVL's van een diverse set moederborden door te nemen, en eventueel gewoon eens te mailen met een van de fabrikanten.

TRX40 is een prachtig platform (zei het dat het in koeling een hoop wensen heeft, ik verbaasde me dat de chipset, feitelijk X570, toch een stuk heter wordt, hoewel ik wel absurd veel NVME storage heb...). Een Threadripper als CPU is ook best aan de 'geconcentreerde kant', en door te waterkoelen kwam ik aan een toch best significante performance increase tegenover een noctua tower... De performance is absurd, maar vergeet niet dat het 280W beesten zijn!

[unezra]

Tja. Dan misschien toch kijken naar Intel.

Als singlecore performance van dusdanig belang is dat je het verschil gaat merken tussen een top-end Epyc en een top-end ThreadRipper, moet je je af gaan vragen of je wens voor AMD wel de juiste is.

[millman]

Umbrah schreef op maandag 4 mei 2020 @ 17:51:
Er staan genoeg ECC losse DIMM's op de QVL van mijn eigen TRX40 moederbord (Asus Prime), en genoeg losse 256 combo's. Helaas zijn de QVL's verre van compleet. Er zijn genoeg posts op reddit te vinden van mensen met een 1st gen Threadripper die er buffered DIMM's op kregen om tot 256GB te komen... Zen2 Threadripper is een stuk minder kieskeurig.

De vraag is echter of je ook de geheugensnelheid haalt. Ik zal je aanraden om de QVL's van een diverse set moederborden door te nemen, en eventueel gewoon eens te mailen met een van de fabrikanten.

TRX40 is een prachtig platform (zei het dat het in koeling een hoop wensen heeft, ik verbaasde me dat de chipset, feitelijk X570, toch een stuk heter wordt, hoewel ik wel absurd veel NVME storage heb...). Een Threadripper als CPU is ook best aan de 'geconcentreerde kant', en door te waterkoelen kwam ik aan een toch best significante performance increase tegenover een noctua tower... De performance is absurd, maar vergeet niet dat het 280W beesten zijn!

'Volgens topics op reddit' is voor mij net geen overtuigend genoeg argument om er 560k op stuk te slaan, maar wellicht zit ik hier dan ook verkeerd. Het rechtvaardigt wel het aanmaken van een testcase, dus ik ga zelf ook nog aan de slag. Onze eigen rendernodes zijn allemaal gebaseerd op 3960's overigens, dus ben bekend met koeling (-vereisten) van TR. Nu moet ik zeggen dat in het datacenter en onze industriële fans de temperaturen van de TR's perfect zijn onder een noctua NH12 TR4. (geluid was geen issue, dus alle fans draaien nu standje orkaan 4KRPM). QVL's zijn zoals je zegt zeer onbetrouwbaar en zeker qua ECC ondersteuning niet compleet. Met 128GB halen wij overigens prima de 3200Mhz. TR rocks!

unezra schreef op maandag 4 mei 2020 @ 17:52:
Tja. Dan misschien toch kijken naar Intel.

Als singlecore performance van dusdanig belang is dat je het verschil gaat merken tussen een top-end Epyc en een top-end ThreadRipper, moet je je af gaan vragen of je wens voor AMD wel de juiste is.

Het verschil in performance kan oplopen tot wel 20%, de kosten voor Epyc 250% over TR om over Intel nog maar te zwijgen. Daarnaast, willen we genoeg cores per VM aan kunnen bieden op hoge snelheid ontkom je er niet aan om met scalable Xeon te gaan werken. Los van de prijzen krijg je ook weer te maken met dual CPU overhead en latency. Daarnaast is de IPC van een AMD per clocktick zo'n 10-15% hoger dan Intel, dus om 3,9Ghz van AMD te evenaren kom je al snel bij zeer prijzige Intels uit. Met het aantal PCI-E lanes van een Epyc zijn we dan toch beter uit. Nogmaals, dit is een pad die ik beroepsmatig al enige weken in onderzoek heb, we wijken af van de vraagstelling denk ik.* Ik waardeer je input uiteraard zeer.

[ Voor 3% gewijzigd door millman op 04-05-2020 19:02 ]

[Abbadon]

Veel succes: Threadripper en ECC is slecht gedocumenteerd. Je kunt eigenlijk alleen maar zelf testen/valideren. Koop een moederbord waarvan de fabrikant expliciet melding maakt van ECC-ondersteuning (zoals b.v. Asus of Asrock, beiden hebben ECC-opties zoals scrubbing in het BIOS), koop 8 stuks 32GB ECC UDIMM's en ga uitgebreid testen.

Neem bijvoorbeeld de Samsung M391A4G43MB1-CTD modules. Kosten €146 ex btw per stuk.

Die modules werken met Zen2, maar of het ook met 8 stuks goed werkt? Je bent een beetje een hot-rod aan het bouwen, dat kan heel goed gaan zolang je het zelf goed test. Maar geen garanties vooraf.

[Wim-Bart]

128GB of 256GB maakt niks uit. ECC wordt gewoon ondersteund. Let gewoon op de lijst die wordt opgegeven bij de moederbord fabrikant. Samsung DIMM ECC 2400 schijnt te werken en kan zelfs met de juiste tweaks op 2966 draaien wat ik begrijp. De door @Abbadon genoemde modules lijken dus ook wel geschikt. Kwestie van testen.

[millman]

Abbadon schreef op dinsdag 5 mei 2020 @ 00:24:
Veel succes: Threadripper en ECC is slecht gedocumenteerd. Je kunt eigenlijk alleen maar zelf testen/valideren. Koop een moederbord waarvan de fabrikant expliciet melding maakt van ECC-ondersteuning (zoals b.v. Asus of Asrock, beiden hebben ECC-opties zoals scrubbing in het BIOS), koop 8 stuks 32GB ECC UDIMM's en ga uitgebreid testen.

Neem bijvoorbeeld de Samsung M391A4G43MB1-CTD modules. Kosten €146 ex btw per stuk.

Die modules werken met Zen2, maar of het ook met 8 stuks goed werkt? Je bent een beetje een hot-rod aan het bouwen, dat kan heel goed gaan zolang je het zelf goed test. Maar geen garanties vooraf.

Jullie hebben mij in ieder geval het vertrouwen gegeven dat er mogelijkheden zijn. Er is dus een testcase onderweg zodat we uitvoerig kunnen gaan testen. Dank heren! Mooie analogie trouwens, die hotrod vergelijking. Unieke setup ook, beetje 'out of the box' oplossing. Als dit werkt dan he

Wim-Bart schreef op dinsdag 5 mei 2020 @ 04:10:
128GB of 256GB maakt niks uit. ECC wordt gewoon ondersteund. Let gewoon op de lijst die wordt opgegeven bij de moederbord fabrikant. Samsung DIMM ECC 2400 schijnt te werken en kan zelfs met de juiste tweaks op 2966 draaien wat ik begrijp. De door @Abbadon genoemde modules lijken dus ook wel geschikt. Kwestie van testen.

Er zal weinig getweakt gaan worden, althans, geen OC. Het zou al briljant zijn als dit werkt op stock, de prijs/performance ratio is met geen enkel platform te vergelijken.

[Wim-Bart]

Wel gave oplossing zou omdat het kan wel zo een game bak willen bouwen. Helaas niet het geld er voor over. 64 cores 118 threads. Kan je bijna hele game graphics mee door CPU laten doen.

[millman]

Wim-Bart schreef op dinsdag 5 mei 2020 @ 16:23:
Wel gave oplossing zou omdat het kan wel zo een game bak willen bouwen. Helaas niet het geld er voor over. 64 cores 118 threads. Kan je bijna hele game graphics mee door CPU laten doen.

Oh, je moest eens weten hoe ik me voelde.. Elke dag met dikke hardware in de weer, maar moet zeggen dat mn 3800X ook voldoende is voor mn gamebehoeftes. En Crysis laten renderen op 30FPS is nu ook weer niet een goed gamers-uitgangspunt. Zet ik liever mn Titan aan t werk.. Wel tof dat het kan, dat dan weer wel.

Maar voor een DaaS oplossing waar zowel GPU performance als CPU render performance nodig is, dan is er geen snellere CPU dan threadripper. Het enige wat je mist is IPMI en Ram support.. maar daar krijg je voor zn prijs wel zoveel voor terug.

[dcm360]

IPMI is wel mogelijk: pricewatch: Asrock Rack X399D8A-2T

[millman]

dcm360 schreef op dinsdag 5 mei 2020 @ 16:59:
IPMI is wel mogelijk: pricewatch: Asrock Rack X399D8A-2T

Maar x399 geeft geen ondersteuning voor Threadripper 3000 alleen sTRX4

[Hackus]

Neem even contact op met moederbord leverancier. oa Gigabyte geeft aan 256GB ECC te ondersteunen, maar QVL lijst staat vol met non-ecc. TRX40 AORUS XTREME (rev. 1.0)

[Damic]

Spijtig dat de TR's een chipset nodig hebben anders zouden ze echt in het vaar water van de EPYC lijn zitten.

Als jullie de setup lopend hebben kan en mag je dan de specs sposten (dus welk mobo/geheugen/....)

[ Voor 31% gewijzigd door Damic op 05-05-2020 17:56 ]

[millman]

Damic schreef op dinsdag 5 mei 2020 @ 17:56:
Spijtig dat de TR's een chipset nodig hebben anders zouden ze echt in het vaar water van de EPYC lijn zitten.

Als jullie de setup lopend hebben kan en mag je dan de specs sposten (dus welk mobo/geheugen/....)

Onze gewone rendernodes hebben we al draaien en bestaan doorgaans uit de volgende setup:

- ASRock TRX40 Creator
- TR 3960X 24c/48t
- 128GB Corsair LPX 3200Mhzc16
- 1650w PSU
- 4x RTX 2080ti blower (meerdere merken)/of 4x RTX TITAN (voor grotere projecten met 24GB vRam)
- Samsung 970 nvme

Ik denk dat de GPU nodes( mits bovenstaande 256GB ECC test slaagt) ongeveer een copie hiervan zullen zijn, maar dan met 256GB ECC en 3x een RTX5000.

Verder is het natuurlijk logisch dat AMD een aantal beperkingen aan het Threadripper platform heeft opgelegd, anders valt er geen eer te behalen bij EPYC ben ik bang.

Overigens hebben we zelfs informatie ingewonnen over het ontwerp van een custom moederbord (dual Epyc multi GPU support bijvoorbeeld, of een threadripper bord met 7x PCI-e en IPMI. Kosten voor het ontwerp zijn 100.000 euro, maar dan minimaal een oplage van 1000 stuks. Klinkt uiteindelijk best interessant als we groeien als renderpartij.

[Damic]

Ik vermoed als je met andere partijen gaat praten die ook geïnteresseerd zouden kunnen zijn dat het wel eens een groot order misschien kan worden en de prijs naar beneden

Moest je ooit zo'n order doen en er zijn defecte pcb's die niet door een test geraken (zonder of met componenten) en niet gepatcht kunnen worden zou ik er wel 1 willen hebben voor tegen de muur te hangen

edit: nu ik eraan denk, als je toch iets custom zou laten maken, zou een dual TR dan niet kunnen?

[ Voor 11% gewijzigd door Damic op 05-05-2020 19:43 ]

[ipsec]

millman schreef op dinsdag 5 mei 2020 @ 18:11:
[...]

Onze gewone rendernodes hebben we al draaien en bestaan doorgaans uit de volgende setup:

- ASRock TRX40 Creator
- TR 3960X 24c/48t
- 128GB Corsair LPX 3200Mhzc16
- 1650w PSU
- 4x RTX 2080ti blower (meerdere merken)/of 4x RTX TITAN (voor grotere projecten met 24GB vRam)
- Samsung 970 nvme

Ik denk dat de GPU nodes( mits bovenstaande 256GB ECC test slaagt) ongeveer een copie hiervan zullen zijn, maar dan met 256GB ECC en 3x een RTX5000.

Verder is het natuurlijk logisch dat AMD een aantal beperkingen aan het Threadripper platform heeft opgelegd, anders valt er geen eer te behalen bij EPYC ben ik bang.

Overigens hebben we zelfs informatie ingewonnen over het ontwerp van een custom moederbord (dual Epyc multi GPU support bijvoorbeeld, of een threadripper bord met 7x PCI-e en IPMI. Kosten voor het ontwerp zijn 100.000 euro, maar dan minimaal een oplage van 1000 stuks. Klinkt uiteindelijk best interessant als we groeien als renderpartij.

Samen met Storpool in een NVMe hyperconverged cluster wel dikke porno hoor! Wij hebben Storpool draaien in zowel een hybrid (dus mix SSD/HDD) als full-NVMe cluster (non-hyperconverged, dus dedicated)en het is zonder grap een van de meest bang-for-buck storage systemen die ik ooit gebruikt heb.
IO tekort? Drives toevoegen (of nodes). Storage tekort? Zelfde verhaal. En de 3-way replication werkt echt, een complete node uitschakelen zonder enige vorm van hiccups of interruptie.

Ik zet het multi-platform in, dus zowel met OnApp KVM integratie als via iSCSI met VMware, Hyper-V cluster en Xenserver,

Ik kreeg laatst van mijn monitoring meldingen van meer dan 80% port utilization op een S6000 stack (2x 40Gbit per hypervisor in LACP).

Have fun met je proof of concept

[ Voor 10% gewijzigd door ipsec op 05-05-2020 21:16 ]

[millman]

Damic schreef op dinsdag 5 mei 2020 @ 19:35:
Ik vermoed als je met andere partijen gaat praten die ook geïnteresseerd zouden kunnen zijn dat het wel eens een groot order misschien kan worden en de prijs naar beneden

Moest je ooit zo'n order doen en er zijn defecte pcb's die niet door een test geraken (zonder of met componenten) en niet gepatcht kunnen worden zou ik er wel 1 willen hebben voor tegen de muur te hangen

edit: nu ik eraan denk, als je toch iets custom zou laten maken, zou een dual TR dan niet kunnen?

De ontwikkelkosten voor een bord zijn sowieso 100K, dat staat nog los van de kosten om elk bord te maken, dus denk aan 300 euro per bord x1000. Dus dat is een 4 ton investering. We gaan kijken naar de opties, nu wil t net dat klant nummer 3 dient zich ook net aan met een order voor 1000 servers.. dus wie weet gaat dat custom moederbord er sneller komen dan we denken.

Helaas is TR niet ingericht om met meer dan 1 CPU in een systeem geplaatst te worden, custom TR is altijd single socket. Iets wat we zouden willen is bijvoorbeeld dus een TR bord met IPMI, meer dan 4x PCIE 16 en mogelijkheid voor server grade PSU met redundancy. Voor Epyc kan je wel al Dual socket severs kopen, echter stoppen die bij 3x PCI-E 16, alle multi-GPU Epyc borden zijn single socket. Dus daar valt custom ook winst te behalen. Bij Epyc sowieso 128 lanes te verdelen, waarvan 88 voor GPU's meen ik. Helaas schalen de lanes niet door met dual socket, maar wie zeurt daarover als je kijkt naar concurrentie

ipsec schreef op dinsdag 5 mei 2020 @ 21:13:
[...]


Samen met Storpool in een NVMe hyperconverged cluster wel dikke porno hoor! Wij hebben Storpool draaien in zowel een hybrid (dus mix SSD/HDD) als full-NVMe cluster (non-hyperconverged, dus dedicated)en het is zonder grap een van de meest bang-for-buck storage systemen die ik ooit gebruikt heb.
IO tekort? Drives toevoegen (of nodes). Storage tekort? Zelfde verhaal. En de 3-way replication werkt echt, een complete node uitschakelen zonder enige vorm van hiccups of interruptie.

Ik zet het multi-platform in, dus zowel met OnApp KVM integratie als via iSCSI met VMware, Hyper-V cluster en Xenserver,

Ik kreeg laatst van mijn monitoring meldingen van meer dan 80% port utilization op een S6000 stack (2x 40Gbit per hypervisor in LACP).

Have fun met je proof of concept

Dikke hardware-porn indeed.. Je bent zelf ook lekker bezig lees ik, wat wordt er bij jullie aan workload gedraaid als ik vragen mag?

Dank voor je input zover allemaal! 2bc...

[ipsec]

millman schreef op woensdag 6 mei 2020 @ 03:00:

[...]

Dikke hardware-porn indeed.. Je bent zelf ook lekker bezig lees ik, wat wordt er bij jullie aan workload gedraaid als ik vragen mag?

Dank voor je input zover allemaal! 2bc...

Wij zitten in de hosting, dus heel erg mixed en dus ook totaal niet te voorspellen.

Echter is de keus voor Storpool in elk geval een van de beste van de afgelopen jaren geweest :-)

[ Voor 11% gewijzigd door ipsec op 06-05-2020 09:06 ]

[millman]

Beste Mensen,

Vandaag alle hardware binnen om onze test compleet te maken. Was nog wel even zweten, de memory training duurde een minuut of 5, maar het resultaat is: 256GB ECC op een trx40 Aorus Extreme icm met een 3970X. Heb de setup mee naar huis genomen om de komende tijd eens te tweaken, results inbound!

Ontzettend bedankt iedereen voor de input, wordt zeer gewaardeerd. Ik zal als alles compleet is de typenummers erbij te zetten, dan hebben we hier iig een topic die 256GB ECC UDIMMS verifieerd op TR.

Hoppa!

Bovenstaande houd in dat ik een klant een ton of 3 heb bespaard door van dual Xeon naar Threadripper te verhuizen..

[Damic]

wauw 5 minuten wachten op het geheugen volgens mij heeft dat ding al Alzheimer

[millman]

@Damic Dat Is alleen de eerste boot natuurlijk.. nu bij reboot Is het 30sec zonder fastboot.

[Abbadon]

Goed/leuk te lezen
Je hebt ook checks om de daadwerkelijke ecc-functionaliteit vast te stellen? Ik bedoel, een computer kan opstarten met ecc-dimm's zonder ecc te activeren.

[millman]

@Abbadon Uiteraard maestro. Als je in CPU-z rapport opslaat als HTML dan kan je zien dat ie ECC heeft gedetecteerd en aangezet.

Komende week zelf ff tunen. Heb geen XMP geladen nog. Langdurige memtest enzo moet ook nog

[millman]

Heb eindelijk de tijd gehad om wat tests te draaien. Als t eenmaal draait loopt ie als een zonnetje (4u) OCCT stress geen probleem, uurtje Cinebench R20 Loop ook prima. Echter vind t bios 256GB niet zo fijn en wil na reboot het bios nog weleens resetten vanaf backup bios. Zelfs na flashen van Bios naar laatste versie (F4D) stond ik na reboot weer tegen F3 aan te kijken. Pas na ook het backup bios meegeflashed te hebben wilde de nieuwe bios initialiseren.. Toch en vaak na coldboot wordt het bios gereset met memorytraining sequence.

[@AORUS – GIGABYTE Zouden jullie mee willen kijken? Wellicht hebben jullie een beta bios achter de hand of een oplossing voor bovenstaand probleem. Dit moet goed zijn voor we €350K stukslaan op deze hardware.

Gaat om:

TR3970X
8x 32GB 2666 Udimms Samsung M391A4G43MB1-CTD
TRX40 AORUS Xtreme @ F4d Bios
1600W EVGA PSU
nVidia GT710

Toch met enige trots wat foto's. Ik weet t kleine server koeler, veel herrie, redelijke performance (redelijk = sub 90 tijdens stress met 26c ambient en 0 airflow)

[ Voor 4% gewijzigd door millman op 10-07-2020 15:17 ]

[Damic]

Euhm ECC word niet gebruikt of windows rapporteerd het niet.

[Hackus]

@AORUS – GIGABYTE Denk dat je deze bedoelt ?

[millman]

Damic schreef op vrijdag 10 juli 2020 @ 09:23:
Euhm ECC word niet gebruikt of windows rapporteerd het niet.

Sorry maar hoe denk je dat te kunnen zien?

[Damic]

Ik zou denken dat in de screenshot van de Cinebrnch bij SPD, Correction iets zou weergeven

edit: dit is blijkbaar te testen in Windows of ecc aanstaat of niet https://www.der-windows-p...ion-unter-windows-testen/

[ Voor 45% gewijzigd door Damic op 10-07-2020 16:27 ]

[millman]

Damic schreef op vrijdag 10 juli 2020 @ 16:17:
Ik zou denken dat in de screenshot van de Cinebanch bij SPD, Correction iets zou weergeven

Nope.. Er zijn maar weinig tools die ECC detecteren. Alleen als je een html report van cpu-z maakt kan je zien dat ECC gedetecteerd is en aanstaat. Het verbaasde mij overigens hoe weinig mogelijkheden er zijn om dat te checken, google maar eens . Zal vannacht een screenshot van html rapport maken. Memtest86+ heeft ook een optie, moet nog FF bootstick maken.

[Damic]

Ik had mijn post aangepast, blijkbaar kun je dat checken in windows

Dit wmic memphysical get memoryerrorcorrection in cmd gooien en dan hopen op 6
(0x0) Reserved
1 (0x1) Other
2 (0x2) Unknown
3 (0x3) None
4 (0x4) Parity
5 (0x5) Single-bit ECC
6 (0x6) Multi-bit ECC
7 (0x7) CRC

Bij mij kwam er 3 uit wat ook normaal is want geen ecc geheugen

[millman]

Damic schreef op vrijdag 10 juli 2020 @ 16:31:
Ik had mijn post aangepast, blijkbaar kun je dat checken in windows

Dit wmic memphysical get memoryerrorcorrection in cmd gooien en dan hopen op 6
(0x0) Reserved
1 (0x1) Other
2 (0x2) Unknown
3 (0x3) None
4 (0x4) Parity
5 (0x5) Single-bit ECC
6 (0x6) Multi-bit ECC
7 (0x7) CRC

Bij mij kwam er 3 uit wat ook normaal is want geen ecc geheugen

Hey daar, dank! Net even gedaan en bevestigd de ECC capability

[Damic]

Jeeeeej ECC staat aan en is Multi bit

[Damic]

Euhm Threadripper pro is nu tot 2TB aan mem, komen ze nu met af nieuws: Afbeeldingen tonen specificaties van vermeende AMD Threadripper Pro-c...

[millman]

Damic schreef op zondag 12 juli 2020 @ 11:30:
Jeeeeej ECC staat aan en is Multi bit

Ik heb de reepjes al gezien op 3200Mhz ,

Damic schreef op zondag 12 juli 2020 @ 16:57:
Euhm Threadripper pro is nu tot 2TB aan mem, komen ze nu met af nieuws: Afbeeldingen tonen specificaties van vermeende AMD Threadripper Pro-c...

Ik volg dit nieuws natuurlijk op de voet.. Verder is de hoeveelheid geheugenondersteuning nog een gerucht, ik moet t nog maar zien. T zou EPYC direct waardeloos maken. Ik ben al blij met 512GB overigens. Voor 4 VMs met 6 cores en 1GPU passthrough en dan 120GB per VM. Onze systemen moeten zo breed mogelijk ingezet kunnen worden, ik zie wel mogelijkheden met deze geruchten

[Umbrah]

Mwoah, Epyc blijft natuurlijk multi-socket en vanwege de (waarschijnlijk) lagere TDP: hogere density. Maar de hoeveelheid PCI-E lanes + de potentie tot workstation met 8-channel... ook ik volg dit op de voet... zeker omdat er weinig is met dergelijke specs én redelijke single-thread voor de keren dat dat nodig is! Denk dat dit dan de Xeon-W killer is net zoals dat Threadripper de Intel-X killer is. Hoewel ik stiekem hoop dat de chipsets uitwisselbaar zijn gok ik haast van niet...

[millman]

Umbrah schreef op maandag 13 juli 2020 @ 11:24:
Mwoah, Epyc blijft natuurlijk multi-socket en vanwege de (waarschijnlijk) lagere TDP: hogere density. Maar de hoeveelheid PCI-E lanes + de potentie tot workstation met 8-channel... ook ik volg dit op de voet... zeker omdat er weinig is met dergelijke specs én redelijke single-thread voor de keren dat dat nodig is! Denk dat dit dan de Xeon-W killer is net zoals dat Threadripper de Intel-X killer is. Hoewel ik stiekem hoop dat de chipsets uitwisselbaar zijn gok ik haast van niet...

Die TR Pro alleen voor OEM's maar we gaan eens kijken wat we kunnen doen bij ons AMD contact. Ik zit niet te wachten op een lenovo workstation, maar wel op 64 core 1TB ECC configuraties. Als we het dan toch over density hebben.. Veel snellere VM's krijg je niet denk ik

[Damic]

Hey hey WRX80 mobo's zijn leuk, de meeste hebben IPMI en wrs voor de gewone pro-sumer betaalbaar*

Die 1843$ is voor een intel mobo

[ Voor 6% gewijzigd door Damic op 19-01-2021 17:39 ]

[Ayporos]

Damic schreef op vrijdag 10 juli 2020 @ 16:31:
Ik had mijn post aangepast, blijkbaar kun je dat checken in windows

Dit wmic memphysical get memoryerrorcorrection in cmd gooien en dan hopen op 6
(0x0) Reserved
1 (0x1) Other
2 (0x2) Unknown
3 (0x3) None
4 (0x4) Parity
5 (0x5) Single-bit ECC
6 (0x6) Multi-bit ECC
7 (0x7) CRC

Bij mij kwam er 3 uit wat ook normaal is want geen ecc geheugen

[quote]millman schreef op zondag 12 juli 2020 @ 03:49:


uhhh... weten jullie zeker dat dit werkt??

Ik heb zojuist even dat commando gerund (voor shits and giggles) en hij geeft bij mij een 6 aan.
Ik run een Xeon x5680 op een Asus Rampage 3 Extreme bord.. maar mijn ram (48GB) is toch echt gewoon reguliere DDR3 reepjes zónder enige vorm van ECC erop!... ten minste, dat denk ik?
Ik heb deze hardware ook al weer wat jaartjes maar ik kan me niet bedenken waarom ik ECC ram gekocht zou hebben... ?

[ Voor 11% gewijzigd door Ayporos op 28-03-2021 03:06 ]

[NLMaca]

@Ayporos ik krijg hier gewoon een 3 terug (geen ECC).

je kan dit ook nog proberen:

code:

wmic MEMORYCHIP get DataWidth,TotalWidth

Wat komt daar uit?

Bij mij 64 64
Wat duidt op non-ECC geheugen.

64 72
zou dan moeten duiden op ECC geheugen.

Anders een RAM bankje uit je pc halen en het typenummer achterhalen;)

[Ayporos]

NLMaca schreef op zondag 28 maart 2021 @ 03:43:
@Ayporos ik krijg hier gewoon een 3 terug (geen ECC).

je kan dit ook nog proberen:

code:

wmic MEMORYCHIP get DataWidth,TotalWidth

Wat komt daar uit?

Bij mij 64 64
Wat duidt op non-ECC geheugen.

64 72
zou dan moeten duiden op ECC geheugen.

Anders een RAM bankje uit je pc halen en het typenummer achterhalen;)

Damn... 64 / 72
Ziet er naar uit dat ik toch ECC ram in m'n pc heb zitten!

Maar... dat werkt toch niet op een Asus Rampage 3 Extreme (consumenten) mobo?

Niet dat ik klaag hoor.. maar ik wist niet dat mijn huidige config werkende ECC had

[Damic]

Ayporos schreef op zondag 28 maart 2021 @ 01:56:
[...]

[quote]millman schreef op zondag 12 juli 2020 @ 03:49:


uhhh... weten jullie zeker dat dit werkt??

Ik heb zojuist even dat commando gerund (voor shits and giggles) en hij geeft bij mij een 6 aan.
Ik run een Xeon x5680 op een Asus Rampage 3 Extreme bord.. maar mijn ram (48GB) is toch echt gewoon reguliere DDR3 reepjes zónder enige vorm van ECC erop!... ten minste, dat denk ik?
Ik heb deze hardware ook al weer wat jaartjes maar ik kan me niet bedenken waarom ik ECC ram gekocht zou hebben... ?

[Afbeelding]

De memory controller zit in je cpu en die heeft ECC support ( https://ark.intel.com/con...-6-40-gt-s-intel-qpi.html ) je hebt dus wrs ooit een DDR3 ECC gekocht en meestal werkt dat wel

[Ayporos]

Damic schreef op zondag 28 maart 2021 @ 08:50:
[...]

De memory controller zit in je cpu en die heeft ECC support ( https://ark.intel.com/con...-6-40-gt-s-intel-qpi.html ) je hebt dus wrs ooit een DDR3 ECC gekocht en meestal werkt dat wel

Hmm, ja dat klopt ik had van origine een i7 950 met 12GB ram (6 reepjes van 2GB) en toen heb ik uitendelijk een (2e hands) x5680 gekocht en meteen 6 repen 8GB ram (Ark: Survival evolved werkte niet lekker met minder dan 16GB ram dus ik dacht laat ik het meteen goed doen).

Maar, ik dacht dat je mobo ook daadwerkelijk de traces of zo moest hebben... of iig, ik meen dat ergens gelezen te hebben.

Achja, weer wat geleerd zullen we maar zeggen dan!