Kubernetes cluster

[mirno]

Hoi mede tweakers,

Ik wil thuis een HA cluster draaien met kubernetes om mijn zaken als DNS, IAM, Certificates + wat custom websites te kunnen hosten.

Ik heb al een storage/back-up systeem maar die is iets te lomp. Ik wil daarom een zuiniger HA clustertje aanschaffen.

Wat wil je doen met de systemen
Kubernetes / KubeVirt / Proxmox draaien met HA.

Wat mag het systeem gaan kosten?
~600 - 1000

Zijn er componenten of randapparatuur die je al hebt en mee wil nemen naar je nieuwe systeem?
Nee.

Wat denk je allemaal nodig te hebben?
Een mini-PC. Beelink komt voor een goede prijs al snel naar boven: https://www.bee-link.com/
Minimaal 16GB RAM (meer = beter), idealiter vanaf 1TB storage (ik heb nog een externe strorage server).

2x1Gbit netwerk (idealiter >2.5GBit)

https://www.bee-link.com/...r5?variant=46994723406066
https://www.bee-link.com/...r6?variant=46632641265906

Ik kom uit bij deze twee opties. Mogelijk een EQ14 maar die is slecht verkrijgbaar en heeft wat minder performance. Deze wilde ik eerst: https://www.amazon.com/Be...4%2Caps%2C196&sr=8-1&th=1


Heb je nog bepaalde (merk)voorkeuren?
Naast Beelink zie ik geen mini PC's tegen met dezelfde prijs.

Heb je nog bepaalde eisen/wensen?
Wat denken jullie wat qua CPU performance gewenst is voor een homelab k3s cluster?

Ga je overklokken?
Nee, eerder undervolten

Wat verwacht je van ons?[i]
Ik ben geintereseerd naar mede tweakers die thuis kubernetes draaien en wat jullie ervaringen zijn. Ook wat jullie tips zijn betreft resources.

[Technicality]

Interessant. Ik zit momenteel niet echt in de mini-PC's, maar begrijp wel dat de nieuwe Mac Mini (M4) veel performance voor de prijs geeft. Apple hardware is volgens mij meestal wel duurzaam.

[masikh]

Bijna alle images zijn gemaakt voor X86. m4 werkt heust wel maar je bent continue aan het vertalen. Jammer van je cpu kracht dus. Ik zou dan eerder voor een intel-nuc gaan. Heb het ook op een nuc draaien (oefen cluster) en dat draait prima. KEY: geheugen, veel geheugen. Op mijn echte kubernetes (productie installatie) heb ik 80gb geheugen en draai verder alles via mijn (NFS) nas. Dat draait als een zonnetje.

[Mattie112]

Tja hoeveel power hebt je nodig? Je kan ook met een stapeltje PI's aan de gang (ik had trouwens slechte ervaringen met het draaien van de control plane op een PI 3 ivm beperkte memory). Dan is het zuinig

Het leuke van een k8s/k3s/minicube cluster is dat je natuurlijk kan toevoegen wat je wil. Je kan ook je control plane op een normale / "krachtige" machine draaien en dan wat verschillende devices er aan toe voegen.

Ook goed om je af te vragen: wat wil je allemaal gaan draaien? Heb je 1 webserver en 1 pihole tja dan voegt een cluster ook niet zo heel veel toe natuurlijk

[The Eagle]

K8s HA spullen draaien op een machine kan ongetwijfeld. Maar da's ongeveer het zo HA als je voeding dan.
Beetje afhankelijk van wat je op die containers wilt draaien zou ik idd voor twee of 3 Pi's kiezen. VM's moet je daar niet op draaien btw. Ik snap de keuze voor Proxmox ook niet helemaal, tenzij je je OS laag onder kubernetes wilt virtualiseren.

[GarBaGe]

Tja, ik weet niet precies hoe hoog je hobby gehalte is, maar je kan ook een Raspberry Pi setup overwegen:

YouTube: i built a Raspberry Pi SUPER COMPUTER!! // ft. Kubernetes (k3s clust...

[Marco1994]

Je kan voor 100-200 euro per stuk best wel wat leuke dell optiplex machientjes op de kop tikken tweede hands. Staan er genoeg op tweakers en marktplaats

[The Eagle]

Marco1994 schreef op woensdag 15 januari 2025 @ 12:28:
Je kan voor 100-200 euro per stuk best wel wat leuke dell optiplex machientjes op de kop tikken tweede hands. Staan er genoeg op tweakers en marktplaats

Ongetwijfeld. En dan 150w per stuk aan elektra verstoken
Is niet voor niks dat mensen ze kwijt willen

[BGB4rn]

Is het punt van kubernetes draaien om het meer in de vingers te krijgen, en ervaring op te doen, of gaat het om werkelijke High Availability, in dat laatste geval kan je beter kijken naar meerdere kleine machines die je als nodes in zet.

[mrc4nl]

The Eagle schreef op woensdag 15 januari 2025 @ 14:55:
[...]

Ongetwijfeld. En dan 150w per stuk aan elektra verstoken
Is niet voor niks dat mensen ze kwijt willen

Hoezo 150W per stuk? hoe kom je daarbij?

Beetje compacte zakelijke pc doet iets van 6-15w.

[Marco1994]

The Eagle schreef op woensdag 15 januari 2025 @ 14:55:
[...]

Ongetwijfeld. En dan 150w per stuk aan elektra verstoken
Is niet voor niks dat mensen ze kwijt willen

Hoe kom je daar bij? Het zijn micro PC's. Ze kunnen maximaal 65 watt verstoken. In de praktijk zal dit eerder om en nabij de 25 watt liggen.

[mirno]

Mattie112 schreef op woensdag 15 januari 2025 @ 11:40:
Tja hoeveel power hebt je nodig? Je kan ook met een stapeltje PI's aan de gang (ik had trouwens slechte ervaringen met het draaien van de control plane op een PI 3 ivm beperkte memory). Dan is het zuinig

Het leuke van een k8s/k3s/minicube cluster is dat je natuurlijk kan toevoegen wat je wil. Je kan ook je control plane op een normale / "krachtige" machine draaien en dan wat verschillende devices er aan toe voegen.

Ook goed om je af te vragen: wat wil je allemaal gaan draaien? Heb je 1 webserver en 1 pihole tja dan voegt een cluster ook niet zo heel veel toe natuurlijk

Ik heb nu een UNRAID server met een AMD Ryzen 7 5700G en 32GB Mem en 48TB storage.
Voor virtualisatie is dat niet ideaal. Er draait docker op Unraid, maar de unraid GUI is een beetje gebiased (door de community apps) en verwijderd soms ook settings die ik zelf op het systeem uitvoerde (nu disabled)

Via Portainer heb ik wat meer controle en kan ik docker-compose gebruiken.

Ik wil het OS niet verder vervuilen dan dit

Ik draai een aantal applicaties:
- Authentik voor IAM (Keycloak ook gebruik ik moet nog besluiten welke ik uiteindelijk blijf gebruiken)
- PiHole
- Custom Container Registry
- WatchTower, die de laatste images uit mijn registry pulled en re-deployed
- Custom Build Certificate Authority (gRPC servertje waar ik mijn certificaten kan aanvragen waarbij ik Authentik als authorizatie gebruik)
- Custom projecten waarbij ik wat uittest met web-GRPC en HTMX
- Wat reverse proxies. Ik gebruik in sommige gevallen een Bridge. Sommige containers gebruiken aparte netwerken waarbij ik de VLAN ID's trunk vanaf mijn router interface naar de server.

---

Nu blijft ik bijbouwen en wordt mijn omgeving wel redelijk afhankelijk van de IAM en DNS services. Die wil ik graag Hoog beschikbaar hebben.

Het doel is o.a. dat ik beter gebruik kan maken met Service Discovery en wellicht zelf een Service Mesh (Istio) als ik Kubernetes ga gebruiken. Dus als developer wil ik thuis wel graag wat meer ervaring met Kubernetes opdoen.

GarBaGe schreef op woensdag 15 januari 2025 @ 12:05:
Tja, ik weet niet precies hoe hoog je hobby gehalte is, maar je kan ook een Raspberry Pi setup overwegen:

YouTube: i built a Raspberry Pi SUPER COMPUTER!! // ft. Kubernetes (k3s clust...

Jaa, ook een optie! Ik heb op Amazon al een Pi5 8/16GB clustertje samengesteld. Maar dat is evengoed nog best prijzig en ik vermoed dat het qua performance net niet helemaal genoeg is voor de toekomst.

Ook het gebrek aan fatsoenlijke SSD storage is niet ideaal. Ik kan via ceph of longhorn dit ook op het kubernetes clustertje doen. Je kan nVME's aan de pi toevoegen maar de prijzen worden dan al een stuk hoger dan 3x de mini-PC.

The Eagle schreef op woensdag 15 januari 2025 @ 11:59:
K8s HA spullen draaien op een machine kan ongetwijfeld. Maar da's ongeveer het zo HA als je voeding dan.
Beetje afhankelijk van wat je op die containers wilt draaien zou ik idd voor twee of 3 Pi's kiezen. VM's moet je daar niet op draaien btw. Ik snap de keuze voor Proxmox ook niet helemaal, tenzij je je OS laag onder kubernetes wilt virtualiseren.

Ja voor hoog beschikbaarheid sws minimaal 3 nodes !
Via proxmox kan je ook containers draaien en zelfs dynamisch VM's opspinnen. Maar dat is voor mijn thuislab niet echt handig denk ik. Vind het nog steeds lastig inschatten waarom enterprise omgevingen schalen met VM's en we thuis vaak bare metals gebruiken.


---

Over kubernetes gesproken.
Voor mijn deployment zat ik aan Rancher te denken die helpt een RKE2 cluster te deployen. Hier heb ik in principe minimaal 3 nodes voor nodig (bare metal nodes)

Wat kunnen jullie hier adviseren ? Of is het handiger om K3s of zelfs K8s te proberen?

[Sethro]

Marco1994 schreef op woensdag 15 januari 2025 @ 16:18:
[...]

Hoe kom je daar bij? Het zijn micro PC's. Ze kunnen maximaal 65 watt verstoken. In de praktijk zal dit eerder om en nabij de 25 watt liggen.

Als je iets van Fujitsu of HP Prodesk koopt dan zit je eerder rond de 5W idle. Veel beter is er niet te koop, zeker niet voor die prijs.

Daar zit dan een I5 in die veel meer in huis heeft dan een PI of N100 systeem.

[ Voor 10% gewijzigd door Sethro op 15-01-2025 19:39 ]

[martyw]

Sethro schreef op woensdag 15 januari 2025 @ 19:08:
[...]


Als je iets van Fujitsu of HP Prodesk koopt dan zit je eerder rond de 5W idle. Veel beter is er niet te koop, zeker niet voor die prijs.

Daar zit dan een I5 in die veel meer in huis heeft dan een PI of N100 systeem.

Als ik eens een paar van die machientjes op V&A op zoek bij ongeveer gelijke prijs van een Raspberry Pi 5 kit dan zitten daar bv een i5-7500T (hier, met lekker veel RAM) of een i5-3470 (hier) in. Deze ontlopen de Raspberry Pi 5 of de Intel N100 nou ook weer niet dramatisch in CPU kracht (vergelijk bv hier). Zelf heb ik een stapeltje Pi's in een soortgelijke kast als hier aangeboden wordt, met een kast voor switch, evt SATA SSD's en een multi-poort USB voeding ziet het er dan strak uit.

[Sethro]

martyw schreef op donderdag 16 januari 2025 @ 17:36:
[...]


Als ik eens een paar van die machientjes op V&A op zoek bij ongeveer gelijke prijs van een Raspberry Pi 5 kit dan zitten daar bv een i5-7500T (hier, met lekker veel RAM) of een i5-3470 (hier) in. Deze ontlopen de Raspberry Pi 5 of de Intel N100 nou ook weer niet dramatisch in CPU kracht (vergelijk bv hier). Zelf heb ik een stapeltje Pi's in een soortgelijke kast als hier aangeboden wordt, met een kast voor switch, evt SATA SSD's en een multi-poort USB voeding ziet het er dan strak uit.

Ik zou zelf naar een iets nieuwere generatie kijken, bijvoorbeeld een HP Prodesk G5 met een I5-9500. Die hebben wel echt wat meer performance en koop je ook vrij voordelig.

[ Voor 3% gewijzigd door Sethro op 17-01-2025 09:23 ]

[Mattie112]

mirno schreef op woensdag 15 januari 2025 @ 19:04:
[...]


Ik heb nu een UNRAID server met een AMD Ryzen 7 5700G en 32GB Mem en 48TB storage.
Voor virtualisatie is dat niet ideaal. Er draait docker op Unraid, maar de unraid GUI is een beetje gebiased (door de community apps) en verwijderd soms ook settings die ik zelf op het systeem uitvoerde (nu disabled)

Via Portainer heb ik wat meer controle en kan ik docker-compose gebruiken.

Ik wil het OS niet verder vervuilen dan dit

[..]
Wat kunnen jullie hier adviseren ? Of is het handiger om K3s of zelfs K8s te proberen?

Ik draai ook unraid Maare: het is prima mogelijk om docker compose te 'draaien'. Sterker nog ik doe zat dingen buiten de Unraid UI om. Portainer is ook geen probleem als je dat prettig vind. Dat is juist het voordeel van docker natuurlijk je beinvloed het OS niet.

Wat je ook zou kunnen doen als je het tock leuk vind met k8s wat te klooien is wat 'nodes' in docker te draaien https://kind.sigs.k8s.io/

Kan je eea testen voor je eventueel tot aankoop over gaat.

Op mijn stapeltje pi's (2&3) ging het met k3s prima zolang control plane maar stond op iets wat krachtiger was.

[mirno]

Yes,

Portainer geeft wat meer controle over de docker CLI in unraid
Je moet wel wat settings wijzigen, want de unraid interface removed bepaalde config.

Ja, KIND ken ik zeker, helemaal niet aan gedacht om dat in Unraid te gaan draaien. Ik heb nu 3 VM's om RKE2 te proberen, maar dat is zeker een goeie optie om te proberen thnx