Het grote Proxmox VE topic

[d3vlin]

zx9r_mario schreef op zondag 16 november 2025 @ 20:54:
Je kunt met 2 servers een simpele HA bouwen dmv ZFS replicatie. Om de kwartier wordt een ZFS sync gedaan naar de 2e server. Voor CEPH heb je 3 servers nodig met 10Gbit interfaces.

Precies dit. 2 Proxmox nodes die onderling repliceren en een lower power QDevice voor quorum. En dan PBS in een LXC voor automatische backups.

[witchdoc]

@GoBieN-Be , @tjanssen, @zx9r_mario
Mijn idee was:
main node #1: Minisforum ms-a2 met AMD Ryzen™ 9 9955HX (Zen 5, 16 cores, 32 threads, 64M L3 cache, up to 5.4 GHz)
backup node #2: Minisforum ms-a2 met AMD Ryzen™ 9 7945HX (Zen 4, 16 cores, 32 threads, 64M L3 cache, up to 5.4 GHz)
quorum node #3: Raspberry Pi of dergelijks

Node #1 altijd up, node #2 enkel als backup en node #3 de Raspberry Pi die dus niks doet behalve aan node #2 meedelen dat node #1 echt down is en hij dus baas mag gaan spelen. Dat is dus (met Ceph geen optie?

Samsung 990 PRO zitten er in, maar of dat nu goeie zijn voor dit soort applicatie.. who knows.

Korte samanvattign zoals ik het dan begrijp:
Ceph,
- het echte vmotion verhaal
- moet 3 hosts met gelijkaardige storage en networking hebben

ZFS Cluster,
- reboot VM bij migratie naar andere host
- delayed redundancy
- kan werken met slechts 2 hosts met gelijkaardige storage en networking

Backups push ik nu al naar NFS mount op Synology NAS. Wat zou PBS meer/beter doen?

[ Voor 22% gewijzigd door witchdoc op 17-11-2025 13:32 ]

[GoBieN-Be]

Met PBS heb je o.a. incremental back-ups, deduplication en de mogelijkheid tot live restore, waarbij de VM al start vanaf de back-up storage (dit laatste enkel via CLI dacht ik).

Zoals @zx9r_mario zegt kan je ook storage replication doen (enkel met ZFS datastores) en dat repliceert dan een kopie van je VM/CT disks naar een 2de host op een vast interval. Als je ook automatisch de VM wil kunnen starten op de 2de host heb je een cluster met HA nodig.

Met Ceph heb je geen storage replication, maar een distributed storage systeem (shared storage) die in realtime de data spreidt over meerdere nodes in de cluster. Houd er rekening mee dat Ceph redelijk wat CPU & Memory overhead heeft. Wederom heb je HA nodig om de VM's terug op te starten op een andere host.

In beide gevallen heb je met 2 hosts een 3de nodig als scheidsrechter (quorum).

Ceph is ontworpen om met raw disks te werken en gebruikt zijn eigen filesystem.
Als je slechts 2 NVMe SSD's in je host hebt, dan heb je 1 nodig om Proxmox te installeren en dan kan je de andere toevoegen aan Ceph.

Maar ik ben zelf nog een beginner, dus RTM:
https://docs.ceph.com/en/latest/start/
https://docs.ceph.com/en/...hardware-recommendations/
https://pve.proxmox.com/w...h_Cluster#chapter_pveceph

[ Voor 11% gewijzigd door GoBieN-Be op 17-11-2025 19:27 ]

[d3vlin]

witchdoc schreef op maandag 17 november 2025 @ 13:16:
Backups push ik nu al naar NFS mount op Synology NAS. Wat zou PBS meer/beter doen?

YouTube: You should be using Proxmox Backup Server
YouTube: Proxmox Backup Server: A Game Changer for HomeLabs!

[ Voor 25% gewijzigd door d3vlin op 18-11-2025 12:47 ]

[witchdoc]

d3vlin schreef op dinsdag 18 november 2025 @ 12:47:
[...]

Ik denk dat ik https://www.wundertech.ne...ackup-server-nfs-storage/ (video) maar eens ga proberen.. dan blijft die data tenminste op de NAS staan. Vind zelf ook niet gelijk een andere manier om PBS datas makkelijk door te zetten naar een NFS share.

[d3vlin]

witchdoc schreef op dinsdag 18 november 2025 @ 12:55:
[...]


Ik denk dat ik https://www.wundertech.ne...ackup-server-nfs-storage/ (video) maar eens ga proberen.. dan blijft die data tenminste op de NAS staan. Vind zelf ook niet gelijk een andere manier om PBS datas makkelijk door te zetten naar een NFS share.

How To: Synology NFS for Proxmox Backup Server Datastore (2025)
https://www.derekseaman.c...erver-datastore-2025.html

How To: Synology iSCSI LUN for Proxmox Backup Server Datastore
https://www.derekseaman.c...kup-server-datastore.html

PBS in een VM op je Synology zelf met datastore via iSCSI LUN klinkt idd logischer dan PBS op een ander systeem met een NFS mount als datastore. Maar het kan natuurlijk beiden.

Je kunt ook een lokale PBS installeren in een LXC op je PVE cluster met datastore in de LXC zelf voor snelle daily backups en een tweede PBS met veel storage op je Synology als long term storage/disaster recovery. Sync instellen van de local PBS naar de Synology PBS en de retentie op de Synology ruim instellen en op de local kort. Mogelijkheden genoeg.

[ Voor 42% gewijzigd door d3vlin op 18-11-2025 13:32 ]

[Cyphax]

witchdoc schreef op dinsdag 18 november 2025 @ 12:55:
[...]


Ik denk dat ik https://www.wundertech.ne...ackup-server-nfs-storage/ (video) maar eens ga proberen.. dan blijft die data tenminste op de NAS staan. Vind zelf ook niet gelijk een andere manier om PBS datas makkelijk door te zetten naar een NFS share.

Ik heb dat gedaan door de NAS te mounten op de host (SMB) en die als bind mount door te geven aan de PBS-container. Binnen PBS heb ik beide mounts als data store en een sync job die periodiek de backups synct naar de NAS. Binnen de container zelf wordt geen backup opgeslagen op deze manier.

[ Voor 5% gewijzigd door Cyphax op 18-11-2025 13:27 ]

[Airw0lf]

Lijkt me wel wat zo een LXC met PBS en alles naar een NAS. Maar hoe zou het dan werken bij een restore actie? Met name als de proxmox server het niet meer doet doordat de disk met de lxc's/vm's naar de eeuwige jachtvelden is vertrokken?

[commentator]

Airw0lf schreef op dinsdag 18 november 2025 @ 13:36:
Lijkt me wel wat zo een LXC met PBS en alles naar een NAS. Maar hoe zou het dan werken bij een restore actie? Met name als de proxmox server het niet meer doet doordat de disk met de lxc's/vm's naar de eeuwige jachtvelden is vertrokken?

dan zet je een proxmox opnieuw op en een pbs en haal je vervolgens de de backup van de rest weer binnen

[d3vlin]

Airw0lf schreef op dinsdag 18 november 2025 @ 13:36:
Lijkt me wel wat zo een LXC met PBS en alles naar een NAS. Maar hoe zou het dan werken bij een restore actie? Met name als de proxmox server het niet meer doet doordat de disk met de lxc's/vm's naar de eeuwige jachtvelden is vertrokken?

Met PBS als LXC in PVE met datastore op de nas: nieuwe disk(s) in je server, PVE installeren, PBS installeren in LXC en de bestaande datastore op de nas daarin koppelen. Vanuit daar al je VM's en LXC's herstellen.

Met PBS op een andere server: nieuwe disk(s) in je server, PVE installeren en je VM's en LXC's herstellen vanuit de PBS server.

[Cyphax]

Airw0lf schreef op dinsdag 18 november 2025 @ 13:36:
Lijkt me wel wat zo een LXC met PBS en alles naar een NAS. Maar hoe zou het dan werken bij een restore actie? Met name als de proxmox server het niet meer doet doordat de disk met de lxc's/vm's naar de eeuwige jachtvelden is vertrokken?

Mijn PBS container heb ik een week of twee geleden gesloopt en daarna opnieuw opgezet. Als je een datastore toevoegt in PBS heb je een vinkje om bestaande data te behouden. Ik moest wel de rechten met chmod goedzetten op een dir en een file, en daarna werkte het. Daar zit ook nog een upgrade bij want mijn overleden PBS-container was versie 3 en de nieuwe was versie 4.

[Theone098]

d3vlin schreef op dinsdag 18 november 2025 @ 13:11:
[...]


How To: Synology NFS for Proxmox Backup Server Datastore (2025)
https://www.derekseaman.c...erver-datastore-2025.html

How To: Synology iSCSI LUN for Proxmox Backup Server Datastore
https://www.derekseaman.c...kup-server-datastore.html

PBS in een VM op je Synology zelf met datastore via iSCSI LUN klinkt idd logischer dan PBS op een ander systeem met een NFS mount als datastore. Maar het kan natuurlijk beiden.

Ik heb beide geprobeerd en uiteindelijk voor optie 1 gekozen.

Zolang alles werkt is het prima om via optie 2 back-ups te maken en te restoren. Totdat de zaak niet meer werkt, dan lijkt mij optie 2 een groot risico om het weer aan de praat te krijgen (zeker als het al wat langer draait).

[TweakerVincent]

Mijm nvme is niet betrouwbaar meer dus ff proxmox opnieuw inrichten. Ik heb volgens mij versie 8. Ik heb alles vms uiteraard netjes op mijn nas gebackupt

Kan ik gewoon de nieuwste versie van proxmox erop zetten en importeren? Of gaat dat problemen opleveren?

[Deshmir]

@TweakerVincent ik had 3 nodes op 7 draaien (1x VM, de rest LXC's).

eerst alles van 3 naar 2 gemigreerd, daarna 1tje naar 9. Toen weer alles (op de VM na) naar die met 9 gemigreerd, ook geen probleem.
Uiteindelijk ook de VM gemigreerd en weer terug gemigreerd.
Ik had alleen wat gedoe met de sources.list, want ik heb het idee dat als je van 7 naar 8 naar 9 gaat en daarna de stappen doet die ze in de handleiding zetten, dat het toch niet helemaal lekker werkt. (via de frontend alles eruit, en dan via die weg weer toevoegen heeft het wel opgelost).

[powerboat]

TweakerVincent schreef op woensdag 19 november 2025 @ 12:28:
Mijm nvme is niet betrouwbaar meer dus ff proxmox opnieuw inrichten. Ik heb volgens mij versie 8. Ik heb alles vms uiteraard netjes op mijn nas gebackupt

Kan ik gewoon de nieuwste versie van proxmox erop zetten en importeren? Of gaat dat problemen opleveren?

Je kan je disk ook clonen naar een nieuwe, scheelt misschien qua herstel van de instellingen.

[_JGC_]

GoBieN-Be schreef op maandag 17 november 2025 @ 19:23:
...
In beide gevallen heb je met 2 hosts een 3de nodig als scheidsrechter (quorum).

Ceph is ontworpen om met raw disks te werken en gebruikt zijn eigen filesystem.
Als je slechts 2 NVMe SSD's in je host hebt, dan heb je 1 nodig om Proxmox te installeren en dan kan je de andere toevoegen aan Ceph.
...

Ceph op 2 nodes draaien is niet aan te raden. Wil je failover kunnen draaien met meerdere hosts, heb je 3 nodes nodig. En zelfs balanceer je op het randje, want als je 1 node down trekt voor onderhoud en er gebeurt iets op die andere nodes gaat de storage gewoon op pauze.

Qua specs boeit het eigenlijk niet, gewoon een paar snelle CPU cores, voldoende geheugen (4GB per opslag device) en snelle opslag. Daarnaast een snel netwerk om de storage te regelen (10Gb of meer aanbevolen, mag meshed zonder switch).

Mocht je overigens net als ik Intel E810 kaarten gebruiken voor Ceph: gebruik kernel 6.17. De netwerkdrivers in de oudere 6.8 en 6.14 kernels lekken geheugen. Ik kon een maand uptime veroorloven voordat ik geforceerd alle nodes moest rebooten, anders kon ik de VMs niet migreren vanwege geheugengebrek.

[TweakerVincent]

powerboat schreef op woensdag 19 november 2025 @ 15:43:
[...]

Je kan je disk ook clonen naar een nieuwe, scheelt misschien qua herstel van de instellingen.

Dat probeerde ik gisteren, maar ik heb een nvme gekocht die 1000GB is terwijl mijn oude nvme 1024 gb is.

Clonezilla wilde niet en de partitie is volledig gevuld. Dus met die flag was het niet betrouwbaar zei chatgpt.

[Shinji]

Ik heb een nuc10 i5 met proxmox maar sinds een paar maanden raakt die af en toe de verbinding kwijt. Switchpoort op shut/no shut en hij doet het weer. Volgens mij was het na wat updates op proxmox. Intussen ook weer door gegaan naar 9 maar het issue is er nog steeds.

Ik had dacht ik wat gelezen over dit issue maar kan dat nu niet meer vinden. Weet iemand hier iets toevallig?

[GoBieN-Be]

Intel adapter, TSO issue wellicht
https://forum.proxmox.com...t-queue-timed-out.150807/

[ Voor 11% gewijzigd door GoBieN-Be op 19-11-2025 20:45 ]

[dotcom87]

Shinji schreef op woensdag 19 november 2025 @ 19:56:
Ik heb een nuc10 i5 met proxmox maar sinds een paar maanden raakt die af en toe de verbinding kwijt. Switchpoort op shut/no shut en hij doet het weer. Volgens mij was het na wat updates op proxmox. Intussen ook weer door gegaan naar 9 maar het issue is er nog steeds.

Ik had dacht ik wat gelezen over dit issue maar kan dat nu niet meer vinden. Weet iemand hier iets toevallig?

ThinkPad in "Het grote Proxmox VE topic"

[GoBieN-Be]

Er is blijkbaar zelfs een community script:
https://community-scripts...pts?id=nic-offloading-fix

[Gunner]

Ik zit er aan te denken om Proxmox 8.4.14 te upgraden naar 9.1. Tijdens het upgrade-testscript krijg ik de volgende foutmelding;

FAIL: systemd-boot meta-package installed. This will cause problems on upgrades of other boot-related packages. Remove 'systemd-boot' See https://pve.proxmox.com/w...om_8_to_9#sd-boot-warning for more information.

Mijn kennis van Debian gaat niet zo diep, deze PVE draaien niet zo veel spannende dingen op, maar kan ik deze package straffeloos verwijderen? Ik ben bang dat dit boot-problemen op gaat leveren.

The only situation where you should keep the meta-package systemd-boot installed is if you manually setup systemd-boot for your system.

Voor zover ik weet heb ik dit niet gedaan. Ik heb gewoon de standaard install gedraaid.

[ Voor 17% gewijzigd door Gunner op 20-11-2025 10:49 ]

[commentator]

Gunner schreef op donderdag 20 november 2025 @ 10:39:

[...]


Mijn kennis van Debian gaat niet zo diep, deze PVE draaien niet zo veel spannende dingen op, maar kan ik deze package straffeloos verwijderen? Ik ben bang dat dit boot-problemen op gaat leveren.

op 2 van mijn nodes had ik dat ook. Bij 1 ging het mis maar dat was eenvoudig op te lossen door te booten met een usb installatie stick en dan de boot weer even naar de juiste schijf te schrijven.
Zolang je een pc/laptop hebt waarop je het kan opzoeken is het geen probleem.

En bij dit soort dingen: Altijd zorgen voor een backup van dat wat erop staat