Proxmox server met oog op energie zuinigheid

Pagina: 1
Acties:

Vraag


Acties:
  • 0 Henk 'm!

  • coen17stam
  • Registratie: Juli 2016
  • Laatst online: 08-03 21:57
Wat wil je doen met je nieuwe systeem?
Op het systeem wil ik Proxmox VE draaien met daarin tenminste 4 VM's, namelijk 3x Kubernetes nodes (k3s) en 1x pfSense, ik ga de server inzetten als tweede proxmox server voor High Availability van Kubernetes (k3s) en pfSense

Wat mag het systeem gaan kosten?
Maximaal 850,- EURO. Assemblage doe ik zelf.

Zijn er componenten of randapparatuur die je al hebt en mee wil nemen naar je nieuwe systeem?
Er zijn een aantal componenten die ik tweedehands wil kopen en beschikbaar heb zien staan zoals de processor, RAM en voeding. Zodra ik overtuigd ben dat de samengestelde componenten juist zijn wil ik bovengenoemde componenten op de tweedehands markt kopen, dit om kosten te besparen

Wat denk je allemaal nodig te hebben?
Gezien de huidige energie prijzen erg hoog zijn wil ik ook kijken naar energie zuinige componenten, vandaar ook mijn keuze van de Intel Core i5-10500T processor de T variant van i5 processor.

Heb je nog bepaalde (merk)voorkeuren?
Ik heb geen voorkeur voor een specifiek merk

Heb je nog bepaalde eisen/wensen?
Alles moet in een 19 inch 2u case passen. Omdat ik al een server heb in dezelfde case, die ik ook in onderstaande producten lijst heb staan gaan mijn voorkeur naar precies dezelfde Inter-Tech 2U 2129-N, hierin past namelijk ook een normal ATX voeding.

Ga je overklokken?
Nee, dit ben ik niet van plan

Wat verwacht je van ons?
Ik zou graag willen horen of de gekozen componenten in combinatie goed gaan werken.
Ik zou graag willen weten of de Intel Core i5-10500T en goede keus is, is het bijvoorbeeld wel waard om voor de T variant te gaan of lever je dan heel erg in op prestatie.


#CategoryProductPrijsSubtotaal
1ProcessorsIntel Core i5-10500T Tray€ 234,66€ 234,66
1MoederbordenASRock H570M Pro4€ 79,-€ 79,-
1BehuizingenInter-Tech 2U 2129-N€ 114,90€ 114,90
1NetwerkadaptersIntel Pro/1000 PT Dual Port€ 59,91€ 59,91
1ProcessorkoelingNoctua NH-L9i Bruin€ 41,90€ 41,90
1Geheugen internCorsair Vengeance LPX CMK32GX4M2D3600C18€ 114,90€ 114,90
1Voedingenbe quiet! Pure Power 11 400W€ 54,90€ 54,90
1Solid state drivesSamsung 970 Evo Plus 1TB€ 114,90€ 114,90
1Solid state drivesWD Green SSD M.2 (2022) 120GB€ 26,99€ 26,99
Totaal€ 842,06

Alle reacties


Acties:
  • 0 Henk 'm!

  • MAX3400
  • Registratie: Mei 2003
  • Laatst online: 09-05 19:07

MAX3400

XBL: OctagonQontrol

Even hardop gedacht maar allicht mis ik iets.

B660 board? i5-12400T met zelfde TDP, lagere clocks in "idle" maar hogere boost? Ondersteuning voor PCI-Express 5.0? Geeft iets meer speelruimte om nu "nog snellere" SSD erin te zetten zoals pricewatch: Kingston KC3000 1TB en/of een uitbreiding naar de toekomst.

Mijn advertenties!!! | Mijn antwoorden zijn vaak niet snowflake-proof


Acties:
  • 0 Henk 'm!

  • coen17stam
  • Registratie: Juli 2016
  • Laatst online: 08-03 21:57
MAX3400 schreef op zondag 11 september 2022 @ 19:52:
Even hardop gedacht maar allicht mis ik iets.

B660 board? i5-12400T met zelfde TDP, lagere clocks in "idle" maar hogere boost? Ondersteuning voor PCI-Express 5.0? Geeft iets meer speelruimte om nu "nog snellere" SSD erin te zetten zoals pricewatch: Kingston KC3000 1TB en/of een uitbreiding naar de toekomst.
Bedankt voor je reactie. Als ik met je advies aan de haal ga (zie productlijst hieronder) kom ik wel wat boven budget, wellicht is dit het waard hoor, ik er eens over nadenken. :)

#CategoryProductPrijsSubtotaal
1ProcessorsIntel Core i5 12400T Tray€ 288,19€ 288,19
1MoederbordenGigabyte B660M DS3H DDR4€ 115,88€ 115,88
1BehuizingenInter-Tech 2U 2129-N€ 114,90€ 114,90
1NetwerkadaptersIntel Pro/1000 PT Dual Port€ 59,91€ 59,91
1ProcessorkoelingNoctua NH-L9i-17xx€ 39,91€ 39,91
1Geheugen internCorsair Vengeance LPX CMK32GX4M2E3200C16€ 104,90€ 104,90
1Voedingenbe quiet! Pure Power 11 400W€ 54,90€ 54,90
1Solid state drivesGigabyte NVMe SSD 256GB€ 29,90€ 29,90
1Solid state drivesKingston KC3000 1TB€ 113,83€ 113,83
Bekijk collectie
Importeer producten
Totaal€ 922,32

[ Voor 69% gewijzigd door coen17stam op 11-09-2022 20:28 . Reden: Lijst bijgewerkt ]


Acties:
  • 0 Henk 'm!

  • MAX3400
  • Registratie: Mei 2003
  • Laatst online: 09-05 19:07

MAX3400

XBL: OctagonQontrol

coen17stam schreef op zondag 11 september 2022 @ 20:12:
[...]


Bedankt voor je reactie. Als ik met je advies aan de haal ga (zie productlijst hieronder) kom ik wel wat boven budget, wellicht is dit het waard hoor, ik er eens over nadenken. :)
Mmm, ja, ik zie waar het verschil nu in zit. Je geheugen kan wel iets goedkoper; ik geloof dat de 12400T slechts 3200MT/s ondersteunt en dan is pricewatch: Corsair Vengeance LPX CMK32GX4M2E3200C16 weer een tientje minder ;)

Mijn advertenties!!! | Mijn antwoorden zijn vaak niet snowflake-proof


Acties:
  • 0 Henk 'm!

  • coen17stam
  • Registratie: Juli 2016
  • Laatst online: 08-03 21:57
MAX3400 schreef op zondag 11 september 2022 @ 20:17:
[...]

Mmm, ja, ik zie waar het verschil nu in zit. Je geheugen kan wel iets goedkoper; ik geloof dat de 12400T slechts 3200MT/s ondersteunt en dan is pricewatch: Corsair Vengeance LPX CMK32GX4M2E3200C16 weer een tientje minder ;)
Ah ja dat scheelt, heb de lijst even bijgewerkt.
Omdat dit nu allemaal van een wat nieuwere generatie is is het nadeel dat op de tweedehands markt vrijwel niets van dit beschikbaar is, dit zal het eindbedrag ook niet doen laten zakken helaas.

Bedankt voor je hulp en meedenken!

Acties:
  • +2 Henk 'm!

  • Uszka
  • Registratie: Maart 2018
  • Laatst online: 19:49
Een T cpu is de grootste onzin. 35w verbruikt dat ding bij baseklok. Bij gelijke turbo kloksnelheden is het verbruik gelijk aan een 'normale' 12400. Een 12400T gaat daarom niets zuiniger zijn dan een 12400. Of je moet de PL1 limiteren tot 35w in het BIOS maar dat kan met een 12400 ook.

Acties:
  • 0 Henk 'm!

  • Thomg
  • Registratie: September 2010
  • Laatst online: 23:10

Thomg

Aww yiss

Uszka schreef op zondag 11 september 2022 @ 20:55:
Een T cpu is de grootste onzin. 35w verbruikt dat ding bij baseklok. Bij gelijke turbo kloksnelheden is het verbruik gelijk aan een 'normale' 12400. Een 12400T gaat daarom niets zuiniger zijn dan een 12400. Of je moet de PL1 limiteren tot 35w in het BIOS maar dat kan met een 12400 ook.
Dit dus. T processoren zijn van fabriek af de enkels gebroken zodat het zuiniger is. Kan je in de bios ongedaan maken en voor de normale non T variant ook doen. Je kan in de bios instellen dat een 12900KS zuiniger is dan een 12100T (lol).

@ TS...
pricewatch: Fractal Design Ion+ 2 Platinum 560W

Weet je zeker dat je 1Gbps NIC wilt?

[ Voor 13% gewijzigd door Thomg op 11-09-2022 21:29 ]


Acties:
  • +2 Henk 'm!

  • mrmrmr
  • Registratie: April 2007
  • Niet online
Commentaar wat betreft de zuinigheid:

• ASRock H570M Pro4 is vermoedelijk geen zuinig bord. Kies beter een non-gaming non-pro bord zonder veel extra's die je niet nodig hebt. Extra's kosten typisch energie.
• Intel Pro/1000 PT Dual Port: beter een losse I210 of I211 adapter. Oude netwerkchips verbruiken doorgaans meer dan recente chips, binnen dezelfde snelheid. 1 Gbit is wel een goede snelheid. Het verbruik gaat omhoog met meer snelheid.
• Corsair Vengeance LPX CMK32GX4M2D3600C18: dit is overklok/XMP geheugen, kies beter standaard JEDEC (SPD) DDR4-3200 geheugen op 1.2V.
• Inter-Tech 2U 2129-N. Vertikaal koelen is in principe altijd slecht voor efficiëntie (en zorgt voor meer lawaai), zelfs met een 2U kast. Beter is een tower kast waar op natuurlijk wijze de lucht bovenaan kan ontsnappen, eventueel geholpen door grote ventilatoren onder belasting.

• "T" processoren zijn niet werkelijk zuiniger. Een normale desktop processor kan net zo zuinig zijn. Bij extreme frequenties wordt de perfermance per Watt slecht, het is daarom beter om de turbo TDP of stroom te beperken. De i3-10105 is goed. Als je 6 cores met hoge werksnelheid wil hebben, dan een i5-10500 boxed. Dat kan minder zuinig zijn.

Het jaarverbruik bij servers is vooral afhankelijk van het idle verbruik. Dat hangt af van hardware, BIOS instellingen, besturingssysteem en applicaties. Al die onderdelen kunnen worden geoptimaliseerd, maar applicaties kunnen de grootste impact hebben omdat processoren steeds meer zijn gaan verbruiken onder belasting en er meer software is die niet op zuinigheid let.

! VM's en in nog sterkere mate k3s veroorzaken een groot energieverbruik. Debian met containers is enorm veel zuiniger. Dat kan tientallen Watts schelen.

Het geoptimaliseerd verbruik in idle (zonder VM's en zware applicaties) kan uitkomen op minder dan 10W. Dan is het verstandig om een voeding te kiezen die op dat punt (redelijk) zuinig is. Bijvoorbeeld een Corsair RM550x (2021) als je 3.5" disks wilt gebruiken.

Als het systeem bijvoorbeeld 50W gaat verbruiken komen meer ATX voedingen in aanmerking. Zie reviews.

Als je het bij een i3-10105 en SSD's houdt, alles optimaliseert en de turbo beperkt kun je ook volstaan met een PicoPSU-90 met 120W adapter. Die zijn zuinig bij belastingen onder 40W, en met name onder 10W. Zie Het grote zuinige server topic - deel 3

Een passende voeding is dus afhankelijk van het gebruik.

Acties:
  • 0 Henk 'm!

  • martyw
  • Registratie: Januari 2018
  • Laatst online: 00:10
mrmrmr schreef op zondag 11 september 2022 @ 22:30:
Als je 6 cores met hoge werksnelheid wil hebben, dan een i3-10500 boxed.
Je linkt naar een twee generaties oude hexcore i5, maar noemt het een i3 ;)

@coen17stam: Wat ga je precies doen in al die containers en virtuele macines? Hebben we het over een hoge load, of voral relatief lichte taken als pfSense?

[ Voor 3% gewijzigd door martyw op 11-09-2022 23:25 ]


Acties:
  • 0 Henk 'm!

  • Oon
  • Registratie: Juni 2019
  • Niet online

Oon

Ik ben ook wel benieuwd waarom drie losse kubernetes nodes, want alle voordelen van losse nodes raak je kwijt door ze op één fysiek systeem te draaien, en de overhead van de volledige KVM die je (zonder hacks) nodig hebt om daar dan weer kubernetes in te draaien is best wel flink.

Is het niet een optie om gewoon één node op het systeem zelf te draaien, naast Proxmox? Ik heb op die manier ook een hele hoop orchestrated containers draaien op hetzelfde systeem als PVE, met PVE als basis

Acties:
  • 0 Henk 'm!

  • mrmrmr
  • Registratie: April 2007
  • Niet online
martyw schreef op zondag 11 september 2022 @ 23:23:
Je linkt naar een twee generaties oude hexcore i5, maar noemt het een i3 ;)
Hersteld, het is een i5.10th gen is in het algemeen de zuinigste nu verkrijgbare platformgeneratie en het type die TS heeft uitgezocht.

De nieuwste generatie verbruikt in het algemeen meer, niet minder. Alder Lake 12th gen zit rond 10W terwijl 10th gen rond 7W komt, geoptimaliseerd, in idle.

Het kan nog zuiniger met een Fujitsu D364x en een Intel 8th/9th processor. Maar die is moeilijk verkrijgbaar. Dan kom je onder 4W met Debian of Windows.

Acties:
  • 0 Henk 'm!

  • coen17stam
  • Registratie: Juli 2016
  • Laatst online: 08-03 21:57
Wat ga je precies doen in al die containers en virtuele macines? Hebben we het over een hoge load, of voral relatief lichte taken als pfSense?
Ik ben ook wel benieuwd waarom drie losse kubernetes nodes, want alle voordelen van losse nodes raak je kwijt door ze op één fysiek systeem te draaien, en de overhead van de volledige KVM die je (zonder hacks) nodig hebt om daar dan weer kubernetes in te draaien is best wel flink.

Is het niet een optie om gewoon één node op het systeem zelf te draaien, naast Proxmox? Ik heb op die manier ook een hele hoop orchestrated containers draaien op hetzelfde systeem als PVE, met PVE als basis
Dit hele systeem wil ik samenstellen voor een tweede proxmox server, puur voor High Availability. High Availability voor zowel Kubernetes (k3s) als voor pfSense.

Om pfSense HA te hebben moeten er minimaal twee instanties draaien, zodat states gesynchroniseerd kunnen worden, en nog voor een hoop andere redenen maar dat raakt offtopic. Althans dat is de officiële manier van pfSense in HA te hebben

K3s met embedded database (etcd) vereist minimaal 3 master nodes. Dit zodat etcd overeind blijft wanneer een master node failed. De reden waarom ik rekening wil houden dat het dus 3x k3s nodes moet kunnen draaien is om wanneer bijvoorbeeld een hardware failure ontstaat op een van de twee proxmox servers alles ook kan draaien op de ander.

Andere redenen waarom ik Kubernetes wil is voor leer doeleinde, self healing, auto scaling automatische deployments, CICD en een hoop andere voordelen dat kubernetes met zich mee brengt.

Containers die ik draai zijn o.a.
  • Node-RED
  • ESP Home
  • Home Assistant
  • Mosquitto
  • MySQL
  • Dsmr-reader
  • PostgreSQL
  • Radarr
  • Sonarr
  • Bazarr
  • Prowlarr
  • Transmission
  • valtwarden
  • ZwaveJS
  • Ser2net
  • Omada controller
  • Nextcloud
  • Paperless
  • Systeem container, network overlay, CSI, etc..
Overigens is mijn primaire doel niet om een zo zuinig mogelijke Proxmox server te draaien maar eerder een goede balans tussen prestatie en energie verbruik. Bezig zijn met vm's containers, kubernetes is een hobby van me en dat mag best wel wat kosten maar wil voorkomen dat ik een systeem samenstel wat onnodig energie verbruikt doordat bijvoorbeeld sommige componenten misschien wel overkill zijn, de suggesties en tips die tot nu toe zijn gegeven heb ik al heel wat aan en hoop stof tot nadenken.

[ Voor 10% gewijzigd door coen17stam op 12-09-2022 00:23 ]


Acties:
  • +1 Henk 'm!

  • kmf
  • Registratie: November 2000
  • Niet online

kmf

ik ben letterlijk net klaar met het migreren van mijn pi4 homelab naar een pve omgeving.

als hardware heb ik een kingnovy machine gekocht. met het idee om ook pfsense daarop te draaien (En uiteindelijk mijn unifi security gateway te vervangen)

https://www.aliexpress.com/item/1005004055699754.html (250 euro incl btw betaald, geen invoerkosten)

zelf 64GB DDR4 erbij gekocht en een 2TB NVME ssd. daarnaast heb ik een oude 60GB OZW SSD gebruikt als OS-disk. de 2TB NVME is voor de opslag.

was een weekje testwerk, maar ben er nu wel blij mee. werkt sneller dan een pi4 (hoewel ik dan ook niet veel intensieve taken heb daar.
ik heb zelf de power consumption niet gemeten, maar deze video zegt iets van 16W idle tot 30W max. of het ook voor mij geld weet ik niet.

YouTube: Fastest Cheap 4x 2.5GbE Intel Atom N6005 Firewall for pfSense OPNsen...


ik had enkel moeite met het opzetten van zigbee2mqtt in docker in een lxc container. uiteindelijk maar een dedicated lxc container voor zigbee2mqtt opgezet.
home assistant heb ik als HAOS op een VM.
docker zit in een lxc container.
1 fileserver lxc
allemaal met de scripts op deze site opgezet: https://tteck.github.io/Proxmox/

op de docker zelf draaien 31 services, waaronder grafana, influx, mariadb, mqtt en dan de meer cpu hungry kavita, calibre-web, nextcloud, duplicati

[ Voor 14% gewijzigd door kmf op 12-09-2022 00:37 ]

One thing's certain: the iPad seriously increases toilet time.. tibber uitnodigingscode: bqufpqmp


Acties:
  • 0 Henk 'm!

  • mrmrmr
  • Registratie: April 2007
  • Niet online
@coen17stam Uiteraard is k3s voor thuis overkill, maar ik begrijp dat je het wil gebruiken om ervan te leren, uit te zoeken e.d.. In dat geval kun je het beste VM's en k3s uitschakelen als je het niet gebruikt.

Een rekensom leert dat energiekosten de grootste kostenpost kan zijn over een economische gebruiksduur:

Rekenvoorbeeld voor nieuw contract Essent:
€ 0,83635 per kWh * 24 * 365 / 1000 = € 7,32774 per Watt.

Ik denk dat je met deze opzet rond 70W draait. Met de zuinigste functionele opzet is dat misschien 20W.

Dus 50W overhead = € 366,387 per jaar.
Over 5 jaar gerekend: € 1.831,94

Formeel moet met afschrijving rekening worden gehouden, maar dat laat ik voor het gemak achterwege.

Je ziet dat energie een grotere kostenpost is dan de aanschaf. Het hangt af van het tarief dat voor jou geldt en ik zie daarin grote verschillen van 19 cent tot meer dan 90 cent.

In ieder geval weet je hoe je kan besparen.

Acties:
  • 0 Henk 'm!

  • JPtjeeNL
  • Registratie: November 2009
  • Niet online
coen17stam schreef op maandag 12 september 2022 @ 00:13:
[...]


[...]


Dit hele systeem wil ik samenstellen voor een tweede proxmox server, puur voor High Availability. High Availability voor zowel Kubernetes (k3s) als voor pfSense.

Om pfSense HA te hebben moeten er minimaal twee instanties draaien, zodat states gesynchroniseerd kunnen worden, en nog voor een hoop andere redenen maar dat raakt offtopic. Althans dat is de officiële manier van pfSense in HA te hebben

K3s met embedded database (etcd) vereist minimaal 3 master nodes. Dit zodat etcd overeind blijft wanneer een master node failed. De reden waarom ik rekening wil houden dat het dus 3x k3s nodes moet kunnen draaien is om wanneer bijvoorbeeld een hardware failure ontstaat op een van de twee proxmox servers alles ook kan draaien op de ander.

Andere redenen waarom ik Kubernetes wil is voor leer doeleinde, self healing, auto scaling automatische deployments, CICD en een hoop andere voordelen dat kubernetes met zich mee brengt.

Containers die ik draai zijn o.a.
  • Node-RED
  • ESP Home
  • Home Assistant
  • Mosquitto
  • MySQL
  • Dsmr-reader
  • PostgreSQL
  • Radarr
  • Sonarr
  • Bazarr
  • Prowlarr
  • Transmission
  • valtwarden
  • ZwaveJS
  • Ser2net
  • Omada controller
  • Nextcloud
  • Paperless
  • Systeem container, network overlay, CSI, etc..
Overigens is mijn primaire doel niet om een zo zuinig mogelijke Proxmox server te draaien maar eerder een goede balans tussen prestatie en energie verbruik. Bezig zijn met vm's containers, kubernetes is een hobby van me en dat mag best wel wat kosten maar wil voorkomen dat ik een systeem samenstel wat onnodig energie verbruikt doordat bijvoorbeeld sommige componenten misschien wel overkill zijn, de suggesties en tips die tot nu toe zijn gegeven heb ik al heel wat aan en hoop stof tot nadenken.
Ben benieuwd hoe je uiteindelijk die High Availability hebt uitgewerkt. Ik heb zelf nu een enkele server draaiend met ESXi en een 3-node k3s cluster. Die wil ik op korte termijn migreren naar Proxmox en een tweede low power server aanschaffen. De volumes wil ik dan eventueel via CEPH aansturen, zodat er een kopie van de data op beide hosts staat. (En niet zoals bij Longhorn op iedere VM)

Nu komt het lastige. Als je een 3-node k3s cluster hebt en je hebt 2 nodes op 1 host en 1 node op de andere, dan heb je nog steeds downtime wanneeer één van de hosts stuk gaat. Zeker omdat Proxmox er even over doet om die downtime te signaleren en daarna de VM aan de andere kant op te spinnnen. Ook de performance van CEPH lijkt een uitdaging te kunnen zijn.

Hoe heb jij dit aangepakt?

Acties:
  • +1 Henk 'm!

  • coen17stam
  • Registratie: Juli 2016
  • Laatst online: 08-03 21:57
JPtjeeNL schreef op zaterdag 22 juli 2023 @ 08:38:
[...]

Ben benieuwd hoe je uiteindelijk die High Availability hebt uitgewerkt. Ik heb zelf nu een enkele server draaiend met ESXi en een 3-node k3s cluster. Die wil ik op korte termijn migreren naar Proxmox en een tweede low power server aanschaffen. De volumes wil ik dan eventueel via CEPH aansturen, zodat er een kopie van de data op beide hosts staat. (En niet zoals bij Longhorn op iedere VM)

Nu komt het lastige. Als je een 3-node k3s cluster hebt en je hebt 2 nodes op 1 host en 1 node op de andere, dan heb je nog steeds downtime wanneeer één van de hosts stuk gaat. Zeker omdat Proxmox er even over doet om die downtime te signaleren en daarna de VM aan de andere kant op te spinnnen. Ook de performance van CEPH lijkt een uitdaging te kunnen zijn.

Hoe heb jij dit aangepakt?
Laat ik beginnen dat echte High Availability als thuisgebruiker niet haalbaar is als je de gehele keten bekijkt. Sommige onderdelen, zoals de NTU, bedrading, switch en storage-server, vormen bij mij allemaal 'single points of failure'. Desondanks, als hobbyist vind ik het uitdagend en leuk om uit te zoeken hoe dicht ik bij een zekere mate van High Availability kan komen.

Mijn opstelling bestaat uit 2 Proxmox-servers (nodes) en een singleboard computer (Linux Odroid) als corosync device, die een vote geeft wanneer een van de twee Proxmox-servers uitvalt, en een Storage-server (truenas).

Beide Proxmox-servers hebben dezelfde hardwareconfiguratie en disk ruimte. De OS systeemschijven van de virtuele machines (VM's) draaien lokaal op een NVME-drive per node. Proxmox-replicatie zorgt ervoor dat deze schijven continu worden gesynchroniseerd tussen de nodes. Bovendien draaien extra opslagruimte en de Persistent Volumes van de Kubernetes POD's op een Truenas-server om enige vorm van High Availability te bereiken. Deze Truenas-server gebruikt RAID10 voor gegevensveiligheid en maakt dagelijkse scheduled snapshots. Om extra bescherming te bieden, worden vanuit Proxmox dagelijkse scheduled VM-back-ups ook naar een Truenas NFS-share gemaakt.

Op een van de Proxmox-nodes draait een VM met pfSense (firewall en router). Het is voor mij essentieel dat deze VM automatisch overschakelt (failover) naar de andere node in geval van uitval, aangezien deze VM verantwoordelijk is voor de internetconnectiviteit in huis. Een failover van deze VM duurt ongeveer een minuut, terwijl een live migratie slechts een seconde onderbreking van internet veroorzaakt. Het verplaatsen van deze firewall/router VM van Node A naar Node B is zo snel dat niemand in huis het merkt maar dat komt ook omdat dit een relatief kleine VM is qua diskruimte en RAM.

Acties:
  • +1 Henk 'm!

  • JPtjeeNL
  • Registratie: November 2009
  • Niet online
coen17stam schreef op zondag 23 juli 2023 @ 21:21:
[...]


Laat ik beginnen dat echte High Availability als thuisgebruiker niet haalbaar is als je de gehele keten bekijkt. Sommige onderdelen, zoals de NTU, bedrading, switch en storage-server, vormen bij mij allemaal 'single points of failure'. Desondanks, als hobbyist vind ik het uitdagend en leuk om uit te zoeken hoe dicht ik bij een zekere mate van High Availability kan komen.

Mijn opstelling bestaat uit 2 Proxmox-servers (nodes) en een singleboard computer (Linux Odroid) als corosync device, die een vote geeft wanneer een van de twee Proxmox-servers uitvalt, en een Storage-server (truenas).

Beide Proxmox-servers hebben dezelfde hardwareconfiguratie en disk ruimte. De OS systeemschijven van de virtuele machines (VM's) draaien lokaal op een NVME-drive per node. Proxmox-replicatie zorgt ervoor dat deze schijven continu worden gesynchroniseerd tussen de nodes. Bovendien draaien extra opslagruimte en de Persistent Volumes van de Kubernetes POD's op een Truenas-server om enige vorm van High Availability te bereiken. Deze Truenas-server gebruikt RAID10 voor gegevensveiligheid en maakt dagelijkse scheduled snapshots. Om extra bescherming te bieden, worden vanuit Proxmox dagelijkse scheduled VM-back-ups ook naar een Truenas NFS-share gemaakt.

Op een van de Proxmox-nodes draait een VM met pfSense (firewall en router). Het is voor mij essentieel dat deze VM automatisch overschakelt (failover) naar de andere node in geval van uitval, aangezien deze VM verantwoordelijk is voor de internetconnectiviteit in huis. Een failover van deze VM duurt ongeveer een minuut, terwijl een live migratie slechts een seconde onderbreking van internet veroorzaakt. Het verplaatsen van deze firewall/router VM van Node A naar Node B is zo snel dat niemand in huis het merkt maar dat komt ook omdat dit een relatief kleine VM is qua diskruimte en RAM.
Thanks voor de tip van een single board computer als derde device. Ik ga dat eens onderzoeken!
Pagina: 1