Epyc + Asrock rack, harde crash, help!?

[Decarsul]

Goedendag allen!

Ik ben op moment een beetje ten einde raad, dus hoop dat er iemand nog een advies heeft. (excuus als alles warrig overkomt, weet ook niet goed hoe ik het moet gaan beschrijven)

Sinds 2021 heb ik een unraid server draaien, deze draait op een Asrock rack epycd8-2t met een 7352 24/48 en 256gb ecc geheugen (Geheugen: 8x M393A4K40BB2-CTD op 2666mhz).

Sinds het begin heeft deze combinatie ECC corrected errors gehad, maar draaide verder wel stabiel. (dit wel getracht te analyseren door memory eruit te halen, maar de errors bleven alleen veranderde van slot).

Een weekje geleden had ik het idee om een VM te maken voor gaming, dus heb een 3050 aangeschaft en in de server geplaatst, dit leidde tot een harde reset op moment dat ik de VM startte. En toen begonnen de problemen pas echt...

Na die reset heb ik besloten om van een medetweaker een andere cpu over te nemen om mee te testen. Deze werkt normaal, met exact dezelfde symptomen op de ECC corrected / asserted errors.

Gisteravond heb ik alle pci-e dingen uit de server gehaald en een memtest86 uitgevoerd. Het enige wat op dat moment was aangesloten was de usb van unraid, 8 memory modules en de cpu. na 2,5 uur memtest, geen errors en passed. In deze tijd ook geen ECC errors in het logboek van de IPMI.

Na de test herstart naar unraid, binnen 5 minuten had ik weer ecc errors. Moederbord was op dat moment nog steeds leeg. Dus geen dingen aangesloten anders dan usb en een toetsenbord.

Prima, alles weer aangesloten (adaptec 16i en een lsi 8i), ook de hyper m.2 met 2x kingston 500gb nvme voor mijn cache.
Op de adaptec heb ik aansloten: 6x wd red 4tb (of ironwolf), 2x wd purple 2tb, 1x samsung ssd 1tb, 1x wd green 1tb, 1x kingston 240gb en 1x ocz-agility4 (ja ja, mijn aller eerste ssd werkt nog steeds)
op de lsi heb ik aangesloten: 2x 4tb ironwolf

De reden dat ik uberhaupt HBA's had, was vanwege I/O errors op de mini SAS van het mainboard (in den beginne).
oh, en op m.2-2 heb ik een coral TPU zitten, voor mijn beveiliging VM.

Ding aangezet, alles draaid weer, tot zojuist...

Vanuit het niets ineens erg instabiel. Terwijl ik in de GUI van unraid bezig ben zie ik alle SSD's wegvallen. Kort hierna gaan 1 parity schijf en 1 array disk offline / disabled. GUI toont allemaal errors op disken en het logboek wordt helemaal volgestauwd met errors van schijven.

Array geprobeerd te stoppen, lukt niet.. . . . tot ik een powerdown commando geef via de ipmi. unraid komt weer netjes op, maar om eerlijk te zijn, ik durf nu de array niet opnieuw op te bouwen vanwege de instabiliteit, maar ondertussen weet ik ook niet waar de instabiliteit vandaan komt.

----
TL:DR
instabiel systeem,
memory errors,
cpu vervangen,
zoveel mogelijk randapparatuur los gehad,
memtest86, passed na 2,5uur & 16uur

Help?

[jbhc]

Ik gok op een probleem met je voeding.

Met minimale belasting werkt het naar behoren maar zodra je er extra apparatuur aan hangt wordt het instabiel.

Het plaatsen van een energie vretende videokaart zorgt er kennelijk voor dat het systeem helemaal niet meer opstart.

[ Voor 88% gewijzigd door jbhc op 28-04-2025 08:21 ]

[Decarsul]

jbhc schreef op maandag 28 april 2025 @ 08:18:
Ik gok op een probleem met je voeding.

Met minimale belasting werkt het naar behoren maar zodra je er extra apparatuur aan hangt wordt het instabiel.

Het plaatsen van een energie vretende videokaart zorgt er kennelijk voor dat het systeem helemaal niet meer opstart.

Hoi jbhc,

Dat klinkt logisch... maar...
Die aanname is niet helemaal correct.

Als ik met alleen CPU, Memory en USB stick werk (alle beiden HBA's niet aangesloten, geen video kaart, zelfs geen 710, geen m.2 hyper card, dus echt BARE-bone) dan krijg ik dezelfde errors in IMPI logboek en in de console.

Dus dan draai ik op ... 200watt max? laten we 250 zeggen.

[Decarsul]

Hier wat foto's van de test 'methode'.
Inmiddels heb ik hem uit de 4u gehaald en mijn oude ryzen 3700 ingezet.

In de foto van de 4u case zie je een ocz 600watt, in de foto met het scherm zit hij niet meer in de 4u, en is hij aangesloten op een evga 750watt.

[ Voor 8% gewijzigd door Decarsul op 28-04-2025 08:27 ]

[CrankyGamerOG]

2 uur memtest is sws veel te weinig
Nergens benoem je welk geheugen je hebt, en of deze op de QVL staat, ook geef je nergens aan op wat voor snelheid het geheugen draait.

[ Voor 66% gewijzigd door CrankyGamerOG op 28-04-2025 08:40 ]

[Arunia]

Dit, wat @CrankyGamerOG zegt. Je kan het beste minimaal 12, liever 24 uur testen om een goed beeld te krijgen.

[Decarsul]

CrankyGamerOG schreef op maandag 28 april 2025 @ 08:39:
2 uur memtest is sws veel te weinig
Nergens benoem je welk geheugen je hebt, en of deze op de QVL staat, ook geef je nergens aan op wat voor snelheid het geheugen draait.

De laatste test (zie screenshot) heeft ong 16 uur gedraait.
Geheugen: 8x M393A4K40BB2-CTD op 2666mhz, deze staan op de QVL.
Toegevoegd aan OP.

[jbhc]

@Decarsul als je met een andere voeding dezelfde problemen ervaart dan ga ik het moederbord verdenken.

Misschien dat er een power rails niet lekker is.

Neemt niet weg dat ook het geheugen verdacht is. Zeker omdat de ecc problemen mee verhuizen met het verplaatsen van de dimms. Ik zou eerst eens kijken of je de defecte dimm kunt vinden en verwijderen.

(Het blijft voor mij voelen als een probleem met voedings spanning ergens in het systeem misschien wel een condensator op die dimm die in sluiting ligt en de spanning onderuit haalt)

[ Voor 20% gewijzigd door jbhc op 28-04-2025 08:48 ]

[Decarsul]

jbhc schreef op maandag 28 april 2025 @ 08:46:
@Decarsul als je met een andere voeding dezelfde problemen ervaart dan ga ik het moederbord verdenken.

Misschien dat er een power rails niet lekker is.

Neemt niet weg dat ook het geheugen verdacht is. Zeker omdat de ecc problemen mee verhuizen met het verplaatsen van de dimms. Ik zou eerst eens kijken of je de defecte dimm kunt vinden en verwijderen.

Ik vind het moederbord ook verdacht. Het lijkt mij alsof er iets is met de pci-e lanes, of simpelweg de connectie met tussen de socket en cpu.
Zeker omdat testen puur op het geheugen altijd een pass geeft. Heb de ram sticks ook gebruikt op mijn B550 tomahawk (om te testen met urnaid) daarop ook geen errors. De errors komen ook naar voren op moment dat ik met 1 ram stick test op A1. Heb ook nog een setje 16gb QVL memory liggen en getest, zelfde issue...

Maja, hoe kom ik er achter...

[canonball]

Maak je normaal echt gebruik van 256gb?

Anders zou ik eens eens proberen met 32, 64 of 128Gb geheugen (wat je minimaal nodig hebt).
Uiteraard wel even kijken welke slots je met minder geheugen moet gebruiken. Dan kun je mischien iets uitsluiten.

--edit--
laat maar, ik zie net dat je dat al gedaan hebt.

[ Voor 10% gewijzigd door canonball op 28-04-2025 08:52 . Reden: was ondertussen al beandwoord. ]

[Decarsul]

canonball schreef op maandag 28 april 2025 @ 08:51:
Maak je normaal echt gebruik van 256gb?

Anders zou ik eens eens proberen met 32, 64 of 128Gb geheugen (wat je minimaal nodig hebt).
Uiteraard wel even kijken welke slots je met minder geheugen moet gebruiken. Dan kun je mischien iets uitsluiten.

--edit--
laat maar, ik zie net dat je dat al gedaan hebt.

Als de server vol draait heb ik wel 128gb toegekend aan vm's e.d. ja.
Daarnaast was het volgens mij altijd raadzaam om alle 8 sloten te gebruiken.
Maar voor het testen is dat natuurlijk niet relevant.
Daarom ook de verwijzing in mijn vorige reactie, dat als ik unraid boot met 1 stick op A1 (dus 1x 32gb) dat ik dan nog steeds diezelfde melding krijg. Daarom dat ik ook niet echt denk dat het aan de stick ligt, maar eerder aan iets richting / met de memory controller.

[Zorian]

Heb je de CPU socket al eens heel nauwkeurig geïnspecteerd op schade/verbogen pinnen? Pak een felle zaklamp en schijn vanuit diverse hoeken in de socket. 1 pin die dwars ligt kan net zo goed al deze problemen veroorzaken namelijk. Je wil dat de socket geheel egaal is qua kleur en consistentie, zie je donkere plekken of afwijkingen, is de kans groot dat er een probleem is met de socket. Check tevens de CPU, of de contactvlakken daar niet vies zijn met bijvoorbeeld een beetje koelpasta.

[ Voor 35% gewijzigd door Zorian op 28-04-2025 10:25 ]

[Decarsul]

Zorian schreef op maandag 28 april 2025 @ 10:24:
Heb je de CPU socket al eens heel nauwkeurig geïnspecteerd op schade/verbogen pinnen? Pak een felle zaklamp en schijn vanuit diverse hoeken in de socket. 1 pin die dwars ligt kan net zo goed al deze problemen veroorzaken namelijk. Je wil dat de socket geheel egaal is qua kleur en consistentie, zie je donkere plekken of afwijkingen, is de kans groot dat er een probleem is met de socket. Check tevens de CPU, of de contactvlakken daar niet vies zijn met bijvoorbeeld een beetje koelpasta.

Dank voor de suggestie.
Heb ik inderdaad gedaan, was nogal een uitdaging. . .
Mocht je zelf willen kijken: (weet even niet meer welke tag voor het uitklapmenu)

[Zorian]

Decarsul schreef op maandag 28 april 2025 @ 10:33:
[...]


Dank voor de suggestie.
Heb ik inderdaad gedaan, was nogal een uitdaging. . .
Mocht je zelf willen kijken: (weet even niet meer welke tag voor het uitklapmenu)


[Afbeelding]

[Afbeelding]

[Afbeelding]

Niet super goed zichtbaar en ligt misschien aan de foto, maar ik lijk iets van een afwijking of 2 te zien op de tweede foto, linksboven ongeveer.

[Decarsul]

Zorian schreef op maandag 28 april 2025 @ 10:38:
[...]

Niet super goed zichtbaar en ligt misschien aan de foto, maar ik lijk iets van een afwijking of 2 te zien op de tweede foto, linksboven ongeveer.

2de foto links boven, is links onder op 3de foto.
Ziet er mij degelijk uit op de 3de?

[Zorian]

Decarsul schreef op maandag 28 april 2025 @ 10:42:
[...]


2de foto links boven, is links onder op 3de foto.
Ziet er mij degelijk uit op de 3de?

Daar denk ik ook iets te zien, maar wederom ben ik er niet zeker van gezien de foto's niet superscherp zijn.

[Decarsul]

Zorian schreef op maandag 28 april 2025 @ 10:43:
[...]

Daar denk ik ook iets te zien, maar wederom ben ik er niet zeker van gezien de foto's niet superscherp zijn.

[Afbeelding]

Ik ga zo in mijn pauze eens kijken of ik een betere foto kan maken.
Met het blote oog zie ik het sowieso niet.

[Zorian]

Decarsul schreef op maandag 28 april 2025 @ 10:57:
[...]


Ik ga zo in mijn pauze eens kijken of ik een betere foto kan maken.
Met het blote oog zie ik het sowieso niet.

Wat kan helpen is met een goede camera in te zoomen vanuit diverse hoeken, zo inspecteer ik ook nog wel eens sockets. Met name de macrolens op mijn telefoon is hierbij erg handig.

[Decarsul]

Goed... update.

Sinds de pauze, dat ik de cpu gelift heb om te kijken (niks daadwerkelijk kunnen vinden op het socket), heb ik besloten om weer te beginnen met memory testen.
Beginnend met 1 RAM stick, elke draaide 30 minuten zonder problemen tot ik bij ram stick 5 aan kwam, errors. Die eruit gehaald, en verder gegaan. Tot op heden zit ik op 7 sticks zonder issues, 1 met....

Even minimaal 24 uur aankijken of hij stabiel blijft met 7 sticks. Misschien toch een combinatie probleem geweest? We gaan het zien... ik zit zelf in ieder geval in een 404 situatie

[jbhc]

Uit mijn geheugen komt ook net nog naar boven dat Threadrippers heel erg gevoelig zijn voor de juiste druk om goed contact te maken met alle pinnen in de socket. Ik gok dat dat met Epics ook zo is. Weet je heel zeker dat je alles in de juiste volgorde en met het juiste moment hebt vastgezet?

[Decarsul]

jbhc schreef op maandag 28 april 2025 @ 17:14:
Uit mijn geheugen komt ook net nog naar boven dat Threadrippers heel erg gevoelig zijn voor de juiste druk om goed contact te maken met alle pinnen in de socket. Ik gok dat dat met Epics ook zo is. Weet je heel zeker dat je alles in de juiste volgorde en met het juiste moment hebt vastgezet?

100% zeker. Tot aan de amd torx draaier toe.

[Decarsul]

Goed, 12 uurtjes verder, geen errors. Nieuwe / Extra ram modules besteld.

Ook nog even andere test gedaan. Naar ogenschijnlijke defecte ram module in slot 1 gedaan, direct errors. slot 2 module bijgeplaatst, error verschuift naar slot 2, slot 3 idem, slot 4 idem. Dus het lijkt erop dat het toch de module is geweest...

Laat hem nog even door draaien tot geheugen binnen is voor ik alles weer terug ga bouwen. (In principe draait mijn core momenteel stabiel op de ryzen)

[Decarsul]

Helaas....

Error is teruggekomen. Error was 2 dagen geleden op C1. Toen ik de stick in dat slot had 'vervangen' was de error weg. Tot vanochtend 11.16u. Wederom ECC error op C1.

(bestelde memory is nog niet eens binnen).

[Decarsul]

Nieuw moederbord is onderweg...
Nu een Supermicro besteld.

[jbhc]

Nu hopen dat de problemen met het verse bord verleden tijd zijn.

Altijd bijzonder vervelend dat je dan nieuwe spullen moet gaan bestellen zonder dat je zeker weet wat er nou stuk is. (Al doen ze in een garage meestal niets anders )

[Decarsul]

Spullen bestellen niet erg. Het is alleen of ik bezig ben een Rolls Royce te herstellen ipv een fiat panda

[SMSfreakie]

hopelijk doet je SuperMicro het beter voor je,

voor je asrockrack bord zou ik verwachten dat er issue is timings / snelheid welke je het geheugen, of het aan de modules ligt, of juist aan de memory controller in de Epyc is de vraag,

[Decarsul]

SMSfreakie schreef op vrijdag 2 mei 2025 @ 16:58:
hopelijk doet je SuperMicro het beter voor je,

voor je asrockrack bord zou ik verwachten dat er issue is timings / snelheid welke je het geheugen, of het aan de modules ligt, of juist aan de memory controller in de Epyc is de vraag,

Ik hoop hem morgen te ontvangen. Maar zal wel dinsdag zijn.... Dan gaan we het zien
Hoewel ik nog steeds vermoed dat de lga gewoon geen goed contact maakt. De foxcon socket staat nou niet echt bekend om zijn stabiliteit

[Decarsul]

Nou, nieuwe moederbord eindelijk binnen.
De CPU socket op de supermicro voelt echt een stuk meer solide dan het ding op de asrock rack.
Nu even laten draaien en kijken wat er gebeurd.
Unraid geladen.... and now we wait...

(zelfde cpu, zelfde geheugen, ander mobo)

[Decarsul]

We zijn inmiddels ruim 36 uur verder, zonder errors.

[SMSfreakie]

zelfde memory timings etc ook? :-)

[Decarsul]

SMSfreakie schreef op vrijdag 9 mei 2025 @ 15:05:
zelfde memory timings etc ook? :-)

Staat in beide gevallen op auto en draait in beide gevallen op 2666mhz. Weet zo even niet hoe ik de cas timings kan zien als het op auto staat.. (de 32-13-16-16 reeks zeg maar)

[SMSfreakie]

Dat weet ik ook zo niet.. maar goed om dingen echt eventueel uit te sluiten zou je dat ook na moeten kijken maar ach je gaat ook niet weer de hele handel ombouwen als het nu werkt

[Decarsul]

SMSfreakie schreef op vrijdag 9 mei 2025 @ 16:39:
Dat weet ik ook zo niet.. maar goed om dingen echt eventueel uit te sluiten zou je dat ook na moeten kijken maar ach je gaat ook niet weer de hele handel ombouwen als het nu werkt

Nou ja ..
Ik had de errors bare metal. Heb een cpu, power supply en nog 4* 32gb + 4* 16gb Samsung liggen.... Beiden 2666. Testen kan ik voor dagen. Zeker omdat alles op moment stabiel draait op een ryzen 3700 met 64gb...

Met andere woorden. Ik heb in principe 2 complete epyc systemen niet in gebruik. Hobbies eh?

[ Voor 8% gewijzigd door Decarsul op 09-05-2025 17:00 ]

[Decarsul]

Nieuwe bord tot op heden geen issues, geen foutmeldingen niks.
Oude bord staat in test, na alles aan te hebben gedraaid (inclusief socket schroeven).
Wel met 2x 16gb sticks op 2133mhz...

[Decarsul]

Weekje verder... geen issues met mijn oude bord.
FML?

[CH4OS]

Gezien het RAM nu trager draait, weet ik niet of die conclusie een veilige is.

[Decarsul]

CH4OS schreef op maandag 19 mei 2025 @ 08:39:
Gezien het RAM nu trager draait, weet ik niet of die conclusie een veilige is.

Ik ook niet. Is natuurlijk wel een van de eerste revisies van het sp3 platform, toen ik hem kocht was alleen Rome nog uit. Ondersteuning daarvoor is later toegevoegd, net als Milan. Dus zou mij niks verbazen.

Ga kijken of ik nog wat 2666 met ecc ergens vandaan kan toveren om mee te testen.

[Decarsul]

Goei. Hij staat nu in test met 3x 32gb op 2666mhz.

[Decarsul]

Errors met 3x 32gb.
Nu in test met 2x 32gb. (tripple channel kentieniet, dat ook even uitsluiten)

[SMSfreakie]

Decarsul schreef op vrijdag 9 mei 2025 @ 16:59:
[...]

Met andere woorden. Ik heb in principe 2 complete epyc systemen niet in gebruik. Hobbies eh?

niks mis met hobbies. hier is de keuze destijds een Epyc of een Ryzen 9..
het is toch de ryzen 9 5900x geworden.. die was financieel wat aantrekkelijker.

_{nu nog de storage pool eens uitbreiden}

[Decarsul]

SMSfreakie schreef op woensdag 21 mei 2025 @ 17:43:
[...]


niks mis met hobbies. hier is de keuze destijds een Epyc of een Ryzen 9..
het is toch de ryzen 9 5900x geworden.. die was financieel wat aantrekkelijker.

_{nu nog de storage pool eens uitbreiden}

Storage.... Ja...
2* p5100 micron 4tb,
2* 2tb wd purple
8* 4tb ironwolf / wd red
2* a2000 Kingston nvme 500gb
En de laatste aanwinst: 4* 4tb sas hoe

Mag wat kosten

[SMSfreakie]

Decarsul schreef op woensdag 21 mei 2025 @ 18:09:
[...]

Storage.... Ja...
2* p5100 micron 4tb,
2* 2tb wd purple
8* 4tb ironwolf / wd red
2* a2000 Kingston nvme 500gb
En de laatste aanwinst: 4* 4tb sas hoe

Mag wat kosten

_{mah 2x 16TB... maar upgraden naar 4x nieuwe +16TB is niet leuk op het moment...}

Decarsul schreef op woensdag 21 mei 2025 @ 07:43:
Errors met 3x 32gb.
Nu in test met 2x 32gb. (tripple channel kentieniet, dat ook even uitsluiten)

hier nog wat uitgekomen?

[Decarsul]

SMSfreakie schreef op donderdag 22 mei 2025 @ 19:39:
[...]

_{mah 2x 16TB... maar upgraden naar 4x nieuwe +16TB is niet leuk op het moment...}


[...]


hier nog wat uitgekomen?

Nog te vroeg om wat te zeggen. Maar op moment foutloos.