Homelab servers + gaming server bouwen

[rijstkoek]

Dag medetweakers!

Hopelijk een interessante thread voor sommige van jullie.
Na enkele jaren inactief te zijn geweest op gebied van hardware en computers in elkaar te steken, ga ik er mij nog eens aan wagen, zeker nu de 7950X net afgeprijsd is voor Black Friday.

Wat is het doel?
Eerst en vooral een korte uitleg over wat de huidige "setup" is en wat het doel is voor het nieuwe systeem.
Het systeem dat op dit moment vervangen dient te worden, is een Synology DS218. Yup, een NAS. Deze kleine powerhouse, welke ik voorzien heb van 16gb RAM en ook volledig uitgerust heb met SSDs, draait met zijn 4 cores @ 1.4GHz momenteel al 2 jaar verschillende productie (!) applicaties voor verschillende van mijn klanten. ( )

Ik ben softwareontwikkelaar en de NAS steekt daarom ook vol met Docker containers waarop allemaal NodeJS apps draaien. Deze NAS is op elk moment tegelijkertijd zo'n 500 mensen aan het bedienen, met soms pieken van 800 mensen - en dat 24/7 met momenteel nog response tijden van <100ms. Not bad!

Op de echt drukke momenten begin ik echter tegen de limieten aan te lopen van wat dit toestel of mijn programmeerskills aankunnen (= 100% CPU en MEM load) en zeker met een nieuw project dat momenteel nog in ontwikkeling is maar weldra gelanceerd wordt én heel veel genetische algoritmes gebruikt welke zwaar zijn op de CPU, verwacht ik felle problemen te krijgen in de nabije toekomst. Bijkomend probleem: er wordt gemikt op een forse uitbreiding van de gebruikers: na 2 jaar PoC te draaien, worden de apps bij mijn klanten uitgerold binnen veel meer afdelingen. De verwachte gebruikersgetallen stijgen daarmee van 500 naar +- 5000 gelijktijdige gebruikers. Het wordt dus hoog tijd dat ik mijn NAS weer als NAS begin te gebruiken en naar een iets professionelere (en veiligere) opzet overstap.

Wat heb ik voor ogen?
2 fysieke zelfbouw servers (om terug wat high-availability te bekomen). Bijkomend wil ik ook terug gamen, wat ik nu al zo'n 10j niet meer heb gedaan. Een optie is om in één van deze twee racks een GPU te plaatsen, maar ik maak mij zorgen over het idle stroomverbruik hiervan dus wellicht is het beter om een los gamingsysteem aan te schaffen (ook in rack vorm) welke enkel aangaat wanneer ik tijd heb om een potje te gamen. En dan via Parsec oid op mijn beeldscherm krijgen, dat is mij nog niet geheel duidelijk. Misschien gewoon een heel lange kabel (als dat werkt).

Heb je bepaalde (merk)voorkeuren?
Zowel voor CPU als GPU ga ik voor AMD. Zowel Intel als Nvidia zijn mijn centen niet waard met hun huidige gedrag. Zeker als ik voor een los gaming systeem zou gaan, zie ik geen reden waarom ik nog voor Nvidia zou opteren (GPU passthrough is blijkbaar minder stabiel op AMD?)


Welke workloads gaan deze systemen draaien?

De servers

• CPU: NodeJS applicaties (en DBs etc.) in een Kubernetes omgeving. D.w.z.: ik heb een mix nodig van single-threaded prestaties en multi-threaded prestaties (Javascript is single-threaded, ik draai meerdere varianten van mijn dockers containers parallel om multi-threading te bekomen).
• GPU: niets
• RAM: om zoveel gelijktijdige gebruikers te bedienen vanop mijn powerhouse NAS, heb ik enorm moeten leunen op verschillende lagen van caching in Redis. Dit doet wonderen en ga ik ook zo doen voor de nieuwe systemen. Ik kan gemakkelijk 64, 128, of zelfs 256gb aan RAM vol krijgen als ik wil met deze caching (maar dat wil niet zeggen dat dat persé ook moet)

Bijkomend: ik zou graag stevig inzetten op snelle storage voor deze servers, iets wat nu af en toe wel een bottleneck is voor mijn NAS. Ik was aan het denken aan (minstens) 4x 2TB PCIE4 M.2 SSDs per server (via een insteekkaart, wat geen probleem is als ik geen losse GPU heb en een MOBO vind dat ondersteuning heeft voor bifurcation?) in een ZFS opzet dat mikt op zowel snelheid al betrouwbaarheid, maar hier ben ik helemaal nog niet uit... Ik heb ook 0,0 ervaring met ZFS.

Het gaming systeem

• CPU: Niets speciaal, gewoon af en toe een potje gaming. Geen streaming op de achtergrond oid.
• GPU: Ik gebruik momenteel een Ultrafine 27" 5K monitor. Ik zou dat graag blijven gebruiken indien mogelijk (Heeft Parsec ondersteuning voor mac en 5K@60? Anders kan ik enkel de usb-c aansluiting van dit scherm gebruiken) en gamen op 60FPS, wat de limiet is van dit scherm. Dit scherm heeft geen ondersteuning voor Freesync, dus de GPU zou 60FPS moeten kunnen aanleveren in 5K. Ik verwacht zowel oude als nieuwe games te spelen.

Ik zoek een?

De servers (dus x2)

• CPU: Steeds een 7950X. Dit is de perfecte overkill voor mijn doeleinden en zeker de ingebouwde GPU maakt deze super nuttig in een server omgeving
• MOBO: ??? (ondersteuning voor PCIe bifurcation vereist? IPMI?
• RAM: DDR5 64gb of 128gb, maar snelheid en merk ??? (misschien beginnen met 64gb en later uitbreiden wanneer de prijzen nog verder gedaald zijn? 64gb is sowieso al 4x wat ik nu heb)
• SSDs: 4x 2TB Samsung?
• Voeding: ???
• CPU cooler: ??? (ik hoop deze servers in een 2u te kunnen plaatsen, dus het zou daarin moeten passen... 4u is echter ook een mogelijkheid)
• Case: 2u of 4u, merk of model ???

De gaming pc

• CPU: AMD, maar welk model precies weet ik nog niet (sowieso 7000-serie, idealiter 3d variant maar daar ga ik niet op wachten, ik zou de CPU nu met Black Friday willen aanschaffen)
• MOBO: ???
• RAM: 32gb, snelheid en merk ???
• SSD: Samsung 1TB ssd, ik speel niet veel tegelijkertijd dus meer is niet nodig
• Voeding: ???
• CPU cooler: misschien iets met watercooling, maar mag ook luchtgekoeld zijn
• Case: 4u, voor de gpu. Merk, model ???

Bijkomend

• Server chassis: ??? Hier moeten sowieso nog wat ander netwerk apparatuur bij in komen (Ubiquiti USG Pro, ...), dus deze moet ruim genoeg zijn. Open, dicht, maakt niet echt uit.

Wat is je budget?
Nu het leuke gedeelte: gezien dit om een zakelijke aankoop gaat, is er niet echt een maximumbudget. Uiteraard moet het realistisch blijven en wil ik vooral een goede bang-for-buck hebben, dus 10.000€ zal het hem niet worden. Tegelijkertijd wil ik wel ietwat future-proof zijn

Belangrijk!

• Stroomverbruik is belangrijk voor mij, gezien deze servers volledig op een home battery gaan draaien (met het stroomnet als back-up weliswaar, maar het doel is om deze volledig op zelfgeproduceerde energie te laten draaien). De GPU zal dus meteen geundervolt worden (al heb ik hier geen ervaring mee) en de 7950X gaat meteen in 105 ECO-mode.
• Op het gaming systeem na moet alles eind januari up and running zijn. Ik kan dus geen maanden meer wachten op "nieuwe modellen".

Software

Ook de software is mij nog niet geheel duidelijk, momenteel draait alles in Docker containers rechtstreeks in het DSM-OS, wat mij al redelijk vaak kopzorgen heeft gegeven qua updates. Voor de nieuwe omgeving zou ik eerder alles in een Ubuntu omgeving willen plaatsen (omdat ik daar het meeste ervaring mee heb) maar hoe of wat precies... De huidige denkpistes zijn: rechtstreeks een Ubuntu installatie, Unraid, TrueNAS of Proxmox. Feedback en ervaringen zijn steeds welkom...

Ik ben sowieso nog heel veel vergeten te vermelden, maar deze post is nu al lang genoeg om mee te beginnen

[ Voor 0% gewijzigd door rijstkoek op 20-11-2022 00:25 . Reden: Verduidelijkingen ]

[Sethro]

Waarom wil je een productieomgeving vanaf huis gaan draaien? Is het niet veel logischer dit ergens in een datacenter te draaien waar alles goed geregeld is qua verbindingen en energie?

Bijvoorbeeld via cloud provider of via een VPS?

[ Voor 19% gewijzigd door Sethro op 20-11-2022 07:54 ]

[rijstkoek]

Een beetje offtopic, maar daar zijn verschillende redenen voor. Of eerder verschillende reden om het niet niet te doen. Er is rekening gehouden met de mogelijke risico's, die wegen echter niet op tegenover de mogelijke voordelen. Er zijn back-ups voorzien naar DigitalOcean voor moest de thuisomgeving plat gaan, die back-ups zijn ook nu actief maar nog nooit gebruikt geweest.

We komen van AWS, waar we niets dan problemen ervaarden. Unscheduled maintenance (of zelf scheduled, maakt niet uit: server onbeschikbaar is server onbeschikbaar en om elke n-weken weer een tweede server op te zetten en even alles migreren om dat te overbruggen is niet realistisch). Veel te weinig waar voor je geld, gedoe met SPAM-lijsten, van tijd tot tijd onverklaarbare traagheden (requests die plots 500ms duurden ipv 50ms), honderden websockets die allemaal tezamen onverwachts afgesloten werden, ... te veel last mee gehad en als je iemand van de support vast kreeg werd er gewoon een checklist met je overlopen om uiteindelijk te concluderen dat ze niet konden helpen. Van zodra alles in-house draaide op de extreem underpowered NAS, waren alle problemen weg en waren de klanten veel gelukkiger. Geen second downtime gehad, noch enige problemen.

Overigens ligt de locatie waar deze servers komen te staan in een vrij unieke omgeving: gegarandeerde stroomvoorziening (bedrijvenpark, maar ook onze eigen batterijen, iets meer dan 100 zonnepanelen en een gedeelde diesel generator als back-up) en 2 individuele 10gbit (up) verbindingen met optie om nog hoger te gaan.

Dus laten we het vrijheid noemen. En ook tweak-plezier.

[ZatarraNL]

Ik draai al een paar jaar met plezier Proxmox met een kleine 10 containers en een paar VM's op een ZFS schijf, bestaande uit 4x een 8TB schijven in zraid-10. En natuurlijk met zowel offline als offsite backup.

Sinds een week overgestapt naar High Availability met Ceph. Vooralsnog is het even wennen, maar het lijkt allemaal goed te draaien. Automatische backup geeft wat problemen, maar er is een levendige community, dus dat verwacht ik wel op te lossen.

Deze high Availability is wel met drie servers, want dat is het minimum van zowel Proxmox als Ceph.

Ik draai overigens de volgende specificaties:
Node 1: 5800x met eenvoudige Gpu, 64 Gb ECC ram en de Zfs schijf. Dit is de primaire server waar normaliter de de containers en VM's draaien.
Node 2: 5600G met 32 Gb reguliere ram
Node 3: 2200G met 16 Gb reguliere ram
Alle nodes zijn voorzien van een 500Gb Ssd die samen de Ceph opslag verzorgen voor de containers en VM's. Dat werkt tot op heden goed, maar Ceph staat niet bekend om z'n snelheid. Voor de NAS gebruik ik samba op de Zfs.

De eerste node draait standaard 80W. De andere nodes moet ik nog meten. Die zullen zuiniger zijn, maar moet ik nog tweaken.

Of ik nu de beste oplossingen heb, weet ik niet. Maar wel ideaal dat als node 1 uitvalt, de andere nodes automatisch de containers overnemen. Dat duurt enkele seconden/minuten.

Ik overweeg nog om alles samen in een rack te plaatsen, maar het zijn nu nog verschillende behuizingen.

[ Voor 6% gewijzigd door ZatarraNL op 20-11-2022 19:43 ]

[rijstkoek]

Dank voor je reactie Zatarra, nog iemand die dus tevreden is over Proxmox.

Hoe ik het voor ogen heb, zou de ene server niet helemaal als back-up dienen voor de andere, maar zouden ze gelijktijdig moeten draaien en elk +- 50% van het werk moeten opnemen. Idealiter met focus binnen de eigen server indien mogelijk om server-to-server latency te voorkomen, al mijn back-ends zijn namelijk gebouwd met microservices en het risico zou dan bestaan dat er te veel van de ene server naar de andere wordt gehopt. Alles tezamen draaien er momenteel bijna 500 microservices/containers op de NAS en één request kan zomaar even bij 20 microservices moeten passeren voor er een response uit komt. Als je dan steeds server A --> server B --> server A --> server B --> server A --> server B --> ... hebt, zou ik er qua performance juist op achteruit gaan vrees ik. Maar dat moet ik nog uitzoeken hoe ik dat moet opzetten.

Ik wil net niet in een scenario komen waarbij als er 1 server uitvalt of even gereboot moet worden, de applicaties verschillende seconden / minuten onbeschikbaar zijn. Er zou geen enkele request geïmpacteerd mogen zijn (de websockets sterven wel allemaal, maar na een automatische reconnect worden deze een fractie van een seconde later dan overgenomen door de andere server).

Het "live back-up" gedeelte heb ik momenteel al werkende gekregen, ik kan naar hartenlust microservice containers killen en de running requests gaan met wat delay worden overgenomen door andere containers, er gaan geen errors optreden. Elk microservice draait namelijk steeds in 2 containers zodat ik rolling updates kon introduceren.

Op dat gebied maak ik mij niet echt zorgen over "minstens 3 servers voor HA", op applicatie niveau kan ik reeds HA bekomen op 1 server. 't is gewoon een kwestie om die server in zijn geheel HA te maken, wat in mijn opzet wel lukt met een tweede server.

Kan je wat meer informatie geven over je ZFS opzet? Hoeveel disks zitten hier in? Hoe is dit opgezet? Of blijft het louter tot die ene SSD van 500gb per server (en dan de externe storage via Ceph)?

[ZatarraNL]

Proxmox gaat problemen geven als je maar twee nodes hebt. Je zult aanvullend een 3e vote moeten regelen om problemen te voorkomen. Google daar anders even op. Dat geldt ook voor ceph als je ceph met HA wilt gebruiken.

Mijn ZFS bestaat uit 4 8TB schijven in mijn node1. Ik ben bewust niet voor raidz2 of 3 gegaan, maar voor een stripe en mirror combinatie voor beste performance. Met smb haal ik 110 Mb/s (op een 1Gb aansluiting). Ik heb tenslotte aanvullend 2 backups van de data. En ook raidz2 en 3 geven geen garantie.

Er is al een harddisk gesneuveld, maar vervanging ging prima. Eén schijf eruit, nieuwe erin. En daarna resilveren. Duurt wel even. Voor deze situatie is ZFS een prima ondervanging. Maar zeker geen garantie dat je data goed blijft.

En belangrijk: ZFS is niet echt geschikt voor High Availability met Proxmox. Je wilt dan namelijk dezelfde data op beide (of liever; 3) servers hebben staan. Je kan dat handmatig gaan syncen, maar dat maakt geen HA. En je zult er dan sowieso voor moeten zorgen dat beide servers exact dezelfde ZFS pool hebben geconfigureerd, anders wordt het migreren van CT's en VM's naar de andere server ingewikkeld.

Wil je wel naar HA, waarbij de CT's en VM's eenvoudig op te starten zijn als één server faalt, dan zul je toch niet iets van Ceph moeten (met een 3e server). Dat is tenminste wat ik in de afgelopen dagen heb geleerd. Maar misschien zie ik nog iets over het hoofd.

[rijstkoek]

Ik denk ook niet dat Proxmox bij mij persé HA hoeft te draaien. Ik voorzie HA op niveau van de applicaties zelf. Als ik 2 Proxmox servers zouden hebben en 1 zou uitvallen, dan zouden mijn applicaties daar geen last van hebben en onderling verder kunnen draaien, los van het feit dat Proxmox niet conform de HA regels is opgezet. VMs e.d. zouden wel uitvallen, maar ik draai in principe geen VMs. De enige VM die ik zou draaien, zou de host VM zijn voor mijn docker containers - en die mag in principe onverwachts down gaan, ook dat zorgt niet voor problemen en wordt op dezelfde manier opgevangen. Dat heb ik momenteel al werkende op een Pi cluster, waarbij elke Pi een VM voorstelt. Er gaan hoogstens (in sommige scenario's) wat requests een error code terugkrijgen, maar de front-ends vangen dit allemaal op en herhalen meteen die request in zijn volledigheid, welke dan automatisch wordt opgenomen door een andere Pi (/ server). Andere requests geven helemaal geen problemen indien de code het zelf kan opvangen. Feitelijk mag de server die de request initieel is beginnen te behandelen niet down gaan, dat zorgt voor een connection error. Andere servers, eentje waar bv een microservice voor auth op draait en die ondertussen is aangesproken, mag wel down gaan tijdens de request, daar kunnen de applicaties zelf prima mee om.

Wel goed om te weten dat een kapotte schijf in een ZFS pool vervangen relatief eenvoudig is.

[rijstkoek]

Momenteel is de (huidige) keuzelijst van hardware voor de servers als volgt:

CPU: AMD Ryzen 9 7950x

• Dit ging sowieso de CPU worden. Deze gaat draaien onder 105w eco modus.

MOBO: Asus ProArt x670e Creator

• Ingebouwde 10gb nic, dat is een zorg minder
• Ik kan de gewenste 4 M.2 SSDs rechtstreeks op het moederbord aansluiten zonder extra insteekkaart én mijn pci-e slots blijven hiermee volledig vrij om in de toekomst nog wat vrijheid te hebben. Ja: sommige lanes worden gedeeld, maar in de praktijk gaat het geen problemen geven en blijven al mijn M.2 SSDs hun volledige 4 lanes krijgen.
• Upgradebaarheid: 256mb geheugen, met een beetje goodwill van ASUS kan ik hier dus binnen 4 jaar een nieuwe CPU in prikken. De stroomvoorziening richting de CPU is daar ook al op voorzien

RAM: 2x XPG Lancer DDR5 6000 32gb (2x 16gb)

• Volwaardige ECC ondersteuning, niet gewoon de DDR5-variant (tenzij ik in hun marketing ben gelopen)
• In totaal maar 64gb RAM per server, wat vrij weinig is, maar de keuze mbt ECC-RAM is momenteel nog erg beperkt. Ik kan volgend jaar alsnog upgraden.
• 6000MT, da's al beter dan de eerste DDR5 staafjes die op de markt kwamen...
• CL40, icm met het vorig puntje is dat nog niet zo slecht
• Hopelijk kan het RGB gedeelte uitgezet worden

Voeding: Corsair SF600 (2018)

• SFX, past dus "eenvoudig" in mijn rack
• 600w is extreme overkill voor de server. Mijn grootverbruiker is de CPU welke op 105w modus niet meer dan 150w zou mogen verbruiken. Voeg daar nog 5x 5w voor de SSDs bij en een beetje voor het moederbord en de fans ... het totaal verbruik zou onder piekbelasting toch onder de 250w moeten blijven.
• 80 Plat
• Relatief stil, wat in een homelab nog wel een voordeel is
• Ik heb in de toekomst de mogelijkheid om de 105w eco modus achterwege te laten moest dat nodig zijn - of om een GPU in te bouwen moest dat nodig zijn

Boot drive: Samsung 870 EVO 500GB

• SATA, waardoor ik geen M.2. slot kwijt ben
• Is geen belangrijk onderdeel van de build, dient enkel om Proxmox / TrueNAS Scale / ... op te plaatsen
• Goedkoop
• Desondanks betrouwbaar
• In het geval dat ik uiteindelijk met Unraid zou werken, komt deze te vervallen

SSDs: 4x WD Black SN850x 2TB

• Snel en betrouwbaar.
• Model zonder heatsink terwijl deze SSD er om bekend staat om te kunnen oververhitten, maar het mobo heeft voor elke M.2. een heatsink aanwezig + er zal veel luchtcirculatie aanwezig zijn in de rack

Koeling (case): Noctua

• Met wat voor rack ik ook ga, ik vervang sowieso elke fan door een Noctua fan en vul ook de lege slots hiermee.
• Met de low-speed adapters

Koeling (cpu): hier zit ik nog wat mee te sukkelen. Ondanks dat ik voor de 7950X ga, heb ik geen super high-end koeler nodig omdat ik deze op "slechts" 105w zal laten draaien (+- 150w piek). Maar toch zou ik voor een dikke koeler als de Noctua NH-D15 willen gaan om die "zekerheid" te hebben en om in de toekomst de 105w limiet achterwege te laten moest dat nodig zijn. Echter, met een hoogte van 165mm past deze in bijna geen enkele rack in? Je moet al meteen uitwijken naar een 4u rack en dan nog zal er weinig tot geen speling zijn. Op dit gebied sta ik zeker open voor suggesties en ik ben ik nog alternatieven aan het zoeken!

Case: Hier heb ik absoluut nog geen beslissing in genomen. Mijn voeding zal geen beperkende rol spelen, maar mijn CPU koeler wel. Ik had deze build graag binnen een 2u case kunnen houden, maar dat gaat niet lukken zonder een Dynatron bladblazer vrees ik. Maar 3x 4u voor de servers (+ gaming desktop) en dan nog eens in totaal 4u voor randapparatuur, dan zitten we al op een aardige hoogte. Niet onoverkomelijk natuurlijk, maar niet conform originele plan. Ook hier sta ik zeker nog open voor suggesties!

Rack: Ik heb ook helemaal nog geen keuze gemaakt voor het rack zelf. Het zal waarschijnlijk richting een 24u rack gaan. Deze bevindt zich in een beveiligde omgeving, dus mag gerust open zijn aangezien de prijzen van gesloten racks absurd hoog liggen. Ook hier sta ik zeker open voor suggesties!

En als iemand denkt dat ik een fout heb gemaakt in de rest van de onderdelen, een suggestie of een verbetering heeft, of ik misschien iets helemaal over het hoofd heb gezien, shoot!

[ramonlambal]

rijstkoek schreef op dinsdag 22 november 2022 @ 16:47:
• Upgradebaarheid: 256mb geheugen, met een beetje goodwill van ASUS kan ik hier dus binnen 4 jaar een nieuwe CPU in prikken. De stroomvoorziening richting de CPU is daar ook al op voorzien
[/list]

256mb ja? lijkt me wat weinig

[rijstkoek]

ramonlambal schreef op zaterdag 26 november 2022 @ 13:34:
[...]


256mb ja? lijkt me wat weinig

Vergis je je niet met RAM-geheugen?

Voor het BIOS is 256mb gigantisch. Voor zover ik weet is dit de eerste generatie waar zo'n groot BIOS-geheugen wordt gehanteerd. Dit dient ondermeer om in de toekomst nieuwe CPU-generaties te ondersteunen, iets waar AM4 moederborden in het verleden nog wel eens problemen durfden te hebben. Dus hopelijk kan ik binnen 4 jaar met een BIOS-update hier de laatste AM5 CPU terug in prikken.

[ramonlambal]

rijstkoek schreef op zondag 27 november 2022 @ 16:52:
[...]


Vergis je je niet met RAM-geheugen?

Voor het BIOS is 256mb gigantisch. Voor zover ik weet is dit de eerste generatie waar zo'n groot BIOS-geheugen wordt gehanteerd. Dit dient ondermeer om in de toekomst nieuwe CPU-generaties te ondersteunen, iets waar AM4 moederborden in het verleden nog wel eens problemen durfden te hebben. Dus hopelijk kan ik binnen 4 jaar met een BIOS-update hier de laatste AM5 CPU terug in prikken.

Zat duidelijk niet op te letten, je hebt helemaal gelijk