Ik heb dit vorig jaar voor een klant ingericht. Oude setup was een 6-tal HPE/Supermicro Xeon E5-2620V3/V4 of E5-2660V4 met 128-192GB per node en 2TB aan SSD opslag in RAID5, losstaande HyperV servers. Windows update was een hel, elke keer puzzelen waar nog plek was, wachten tot VM over was over gigabit.
Vorig jaar dus besloten om het anders te doen. En ipv HyperV met storage spaces waar je gecertificeerde hardware voor nodig hebt of met shared storage te werken, besloten het bij Proxmox te houden met Ceph. Eerst nog replicated ZFS overwogen, maar Ceph is gewoon zoveel simpeler in gebruik. Zolang je replicated pools gebruikt ipv russische-roulette EC-pools is het eigenlijk zorgeloos.
Dat zijn 3 leuke servertjes geworden:
Supermicro 2015CS-TNR
AMD EPYC 9455P 48core
384GB DDR5 geheugen
2x Samsung PM9A1 256GB NVME SSD
3x Samsung PM9A3 3.84TB NVME hotswap SSD
Intel I350 quad 1Gbit OCP
Intel E810 quad 25Gbit OCP
Kostprijs rond de 11K per server. Koop je nu misschien net 384GB DDR5 geheugen voor

.
Onderling meshed met DAC kabels, heb op elke server nog 2 poorten over voor evt uitbreiding later, maar zoals iedereen wel verwacht gaat die uitbreiding er niet komen met deze prijzen

. De Gbit poorten zitten vol met active/passive bond over 2 switches en 2 cluster netwerken over 2 switches waarbij de migrations over het backup cluster netwerk draaien.
Al snel kwamen we erachter dat 1 server genoeg sap had om de complete oude setup te hosten... aangezien we voor elke core alsnog maandelijks een Windows licentie moeten afnemen onder SPLA hebben we wat geheugen verschoven: de 3e server hebben we 4 geheugenreepjes uitgehaald en verdeeld over de andere 2 servers waardoor de verdeling 2x512GB en 1x128GB werd. De derde server draait alleen linux/FreeBSD VM's en is uitgesloten van het hosten van Windows VM's met HA rules.
Na een maandje draaien ging server 3 ineens vanalles incl Ceph OOM-killen... er was zo'n 50GB aan VMs actief maar alle geheugen was weg... snapte er helemaal niks van. Toen besloten om voor elke server 128GB bij te kopen, dus toen werd het 2x640GB en 1x256GB. Extra investering van 1200 euro excl BTW totaal, week na het betalen van de factuur ging Max ICT failliet, gelukkig met achteraf betalen besteld

. Vervolgens viel me op dat na elke reboot een diagonale lijn omhoog ging lopen in Zabbix mbt geheugengebruik, op elke server. Dit bleek een geheugenlek te zijn in de Intel driver voor 25Gbit netwerkkaarten en gebeurde op alle servers. Geheugenlek inmiddels opgelost, maar met de prijzen van nu zijn we blij met die onnodige investering toen
Klant is een webontwikkelbedrijf met vnml Windows VPS'en, dit is voor het hosten van hun eigen klanten. Hadden ze misschien ook bij een cloudboer kunnen inkopen, ik heb een andere klant die dat doet, maar afhankelijk van de cloudboer betaal je de hoofdprijs en komt de performance niet in de buurt van een EPYC Turin.
Maargoed, Ceph updaten is gewoon s/squid/tentacle/g; apt update; apt full-upgrade; paar daemons herstarten in de juiste volgorde met hier en daar even wachten op de recovery. Kernel update is node in maintenance zetten, wachten tot het geheugen van de VMs is gemigreerd over gigabit, ceph set noout, node rebooten, ceph unset noout, uit maintenance halen en door met de volgende.
Ik merk daarin dat Gbit een beperking wordt, sommige VMs migreren lastig omdat ze soms sneller dirty memory aanmaken dan de migratie het over gigabit weggestuurd krijgt.