Mixen van RAM specs in multi-CPU setup

[MadEgg]

Ik heb een Intel C612 server-bordje met 2 CPU sockets (deze om precies te zijn: pricewatch: Asus Z10PR-D16)

Hierop zit 2 x een Xeon E5 2620 v3 (Deze: pricewatch: Intel Xeon E5-2620 v3 Boxed)

Ook heb ik hier 8 x 8GB DDR4 RDRAM bij (pricewatch: Crucial CT8G4RFS4213). Dit is 2133 MHz geheugen met CAS latency van 15.

Het moederbord heeft 16 geheugenslots. Ik wil het geheugen uitbreiden met 64 GB, en dan bij met 4 x 16 GB om nog 4 slots over te houden voor een toekomstige uitbreiding.

Nu lijkt het dat geheugen met identieke specs niet te krijgen is. Ik heb al bij heel veel webshops aan de lijn gehangen maar niemand levert modules met gelijke specs. Wel heb ik 4 x 16 GB op 2,4 GHz met CAS latency 17 weten te vinden, deze: pricewatch: Kingston KTH-PL424S/16G

Nu ondersteund de processor sowieso maar 1866 MHz dus alle modules zijn sneller dan wat het systeem zal willen gaan draaien.

Hoe kan ik deze modules nu het beste erin stoppen? 8 x 8GB modules bij de ene processor en 4x16 GB bij de andere processor? Of wel 4x8 en 2x16 bij elke processor, maar moeten dan de gelijke modules op hetzelfde channel of juist op verschillende channels?

Of is het allemaal drama en is er geen manier om dit er optimaal in te plaatsen?

Ik ben het een en ander tegengekomen voor single CPU-configuraties over dit onderwerp maar voor multi-CPU-configuraties heb ik geen bronnen kunnen vinden.

[Nemesizz]

Bij m'n Proliant is het zo, dat het zeer aan te raden is, het totale geheugen gelijkmatig te verdelen over 2 CPU's, dus optie 2; 4x8 en 2x16 GB.

[MadEgg]

Nemesizz schreef op donderdag 14 februari 2019 @ 10:47:
Bij m'n Proliant is het zo, dat het zeer aan te raden is, het totale geheugen gelijkmatig te verdelen over 2 CPU's, dus optie 2; 4x8 en 2x16 GB.

Ok, dat leek mij ook. Maar dan heb ik per CPU nog 8 slots over om 4+2 modules over te verdelen.

De CPU heeft volgens de ARK 4 channels, dus ik neem aan dat A, B, C, D de kanalen van CPU 1 zijn en E, F, G, H de kanalen van CPU 2.

Kan ik dan het beste 2 kanalen vullen met 8GB modules en de 2 x 16GB modules op de resterende 2 kanalen zetten? Of kan ik dan beter de 8 GB modules elk op een eigen kanaal zetten en 2 daarvan aanvullen met een 16GB module?

[Nemesizz]

In de handleiding staat wel hoe je het beste het RAM kan verdelen over de kanalen in het geval single of dual CPU setup (2.4 in de handleiding gaat over memory).

Er staat zo verder niks in dat bepaalde groottes eerst moeten (of bepaald 'rank' geheugen), maar ik zou de grootste toch wel in de eerste kanalen stoppen (A1 en E1, B1 en F1 enz). Staat wel een mooi en handig tabelletje hoe je het het beste kan verdelen.

[MadEgg]

Nemesizz schreef op donderdag 14 februari 2019 @ 11:46:
In de handleiding staat wel hoe je het beste het RAM kan verdelen over de kanalen in het geval single of dual CPU setup (2.4 in de handleiding gaat over memory).

Er staat zo verder niks in dat bepaalde groottes eerst moeten (of bepaald 'rank' geheugen), maar ik zou de grootste toch wel in de eerste kanalen stoppen (A1 en E1, B1 en F1 enz). Staat wel een mooi en handig tabelletje hoe je het het beste kan verdelen.

Dat klopt, maar de handleiding gaat specifiek uit van geheugen met identieke specs. Bij 12 DIMMs staat daar dat ik A1, A2, B1, B2, C1, D1, E1, E2, F1, F2, G1, H1 moet gebruiken. Maar wat ik dan waarin moet stoppen wordt niet gespecificeerd en zal als alles even snel is ook niet echt uitmaken lijkt mij.

Dan ga ik jouw voorstel van 16GB in A1, B1, E1 en F1 maar eens proberen. Dan krijg ik dus A2, B2, C1, D1, E2, F2, G1, H1 met 8GB reepjes en blijven C2, D2, G2 en H2 vooralsnog leeg.

[MadEgg]

Nemesizz schreef op donderdag 14 februari 2019 @ 11:46:
In de handleiding staat wel hoe je het beste het RAM kan verdelen over de kanalen in het geval single of dual CPU setup (2.4 in de handleiding gaat over memory).

Er staat zo verder niks in dat bepaalde groottes eerst moeten (of bepaald 'rank' geheugen), maar ik zou de grootste toch wel in de eerste kanalen stoppen (A1 en E1, B1 en F1 enz). Staat wel een mooi en handig tabelletje hoe je het het beste kan verdelen.

Het draait nu een tijdje op deze configuratie. Over het algemeen is stabiliteit in orde, maar er worden mbv de crontab diverrse taken periodiek gedraaid (PHP-scripts) en daar komt nu toch wel met enige regelmaat een 'Segmentation Fault' uit in plaats avn de verwachte output. Of het aan het geheugen ligt kan ik niet met zekerheid zeggen natuurlijk, maar het is bij mijn weten wel een typisch verschijnsel van opstandig RAM. Ik zal er eens een memtest86 tegenaan gooien om te kijken of die iets kan vinden...

[MadEgg]

Voor als iemand ooit dit topic vind via de search zal ik de uitkomst nog even delen.

De segfaults bleven aanhouden. Ik heb nog wat heen en weer zitten schuiven met RAM volgens hoe het volgens het boekje zou moeten maar allemaal met hetzelfde resultaat: segfaults, zend_mm_heap_corrupted berichten, vage "malloc: assertion botched" meldingen en wat al niet meer. Memtest86+ gaf geen fouten aan, dus het geheugen leek op zich wel in orde. Dat zou ik ook wel verwachten met Registered + ECC RAM - bij mijn weten moet dat hard falen bij onherstelbare fouten.

Uiteindelijk heb ik twee weken geleden het geheugen naar specs gesplitst over de 2 CPU's. Dus de 8 x 8GB 2133 MHz CAS15 bij CPU0 en de 4 x 16 GB 2400 MHz CAS17 bij CPU1. Vanuit het idee dat de memory controller op één CPU dan maar met één type geheugen hoeft te communiceren. Dit bleek de gouden greep, sindsdien geen enkele fout meer gezien. Compleet tegen alle richtlijnen in, maar het werkt wel.