Het grote Proxmox VE topic

[zeroday]

orvintax schreef op dinsdag 2 september 2025 @ 10:25:
[...]

Enige specifieke vragen? Heb dit zelf wel eens opgezet. Zorg in ieder geval even dat je de Proxmox en deze pagina doorleest.

Eigenlijk wat de ervaringen zijn op een gewoon lab/test/thuis netwerk met 1GB netwerk
tuurlijk weet ik dat 10GB/s overal wordt aangeraden .. maar het gaat mij er even om of het de moeite is om dit op te zetten of niet

[_JGC_]

@zeroday Houd er wel rekening mee dat CEPH nogal wat geheugen lust. 4GB per OSD is heel normaal.

[powerboat]

@zeroday , Ceph is leuk maar ik ben ermee gestopt. Je hebt een oneven aantal hypervisors nodig 3 is minimaal maar eigenlijk moet je er meer hebben. Performance kakt bij 3 in als een node offline is.

[Cave_Boy]

Ik heb mijn Homeasistent heerlijk werken in Proxmox.
Ik heb een N355 met 48GB RAM.
Homeasistant mag max 6GB RAM gebruiken. Als Homeasistent is opgestart gebruikt het na enkel uren ongeveer 500MB RAM. Alleen dit groeit en groeit en groeit. Ik zie niet een log bestand dat groeit. Ik zie eigenlijk nergens waar het geheugen heen gaat. Na een herstart is het ook weer weg.

Iemand een idee?
Moet zeggen dat ik Proxmox heerlijk vind werken en ook de snelheid erg goed is. Alleen dat vollopen van het RAM snap ik niet. Andere VM's draaien ook heerlijk snel.

[Cardinal]

@Cave_Boy het meeste van het geheugen wordt gereserveerd en beheerd door het systeem, zelfs met mijn bloated installatie is dat nog nooit een probleem geweest. Je ziet ook een verschil tussen wat Proxmox en HA aangeeft. Proxmox zegt in mijn geval 4gb en HA 1.6gb, maar het nog nooit een probleem geweest of “vol”.

[zeroday]

_JGC_ schreef op dinsdag 2 september 2025 @ 15:54:
@zeroday Houd er wel rekening mee dat CEPH nogal wat geheugen lust. 4GB per OSD is heel normaal.

Geheugen is op zich geen probleem. Maar goed om te weten ..

[zeroday]

powerboat schreef op dinsdag 2 september 2025 @ 18:00:
@zeroday , Ceph is leuk maar ik ben ermee gestopt. Je hebt een oneven aantal hypervisors nodig 3 is minimaal maar eigenlijk moet je er meer hebben. Performance kakt bij 3 in als een node offline is.

ik heb nu een 4 node cluster zonder CEPH, er komen 3 systemen bij met CEPH om daarna uit te breiden .. maar alleen als het 'werkt'

Ik ben benieuwd of ik inderdaad merk dat dingen 'langzamer' aanvoelen..

In principe kan ik ook replicatie uitvoeren binnen mijn proxmox nodes want dan ze heten allemaal hetzelfde, maar sommige nodes staan best wel vol (ja onzinnig maar goed) ..
en dan wil ik zie niet 1-2-3 op een andere node hebben ..

Dus huidige setup is ok, maar offline is offline. Snel migreren is er niet bij .. dus keuzes keuzes ..

[_JGC_]

@zeroday Als je data je lief is en je op VM niveau geen writeback cache instelt betekent Ceph met 1Gbit gewoon dat writes pas klaar zijn als het minimaal 2x over een Gbit lijn gerepliceerd is. Verder doet Ceph elke week een scrub waarbij de hele disk wordt vergeleken met de andere beide kopietjes, dat mag ook over je Gbit netwerk.

Ik heb het draaien over 25Gbit met DACs tussen de servers. Wel dure kaartjes die Intel E810 dingen. Met 3 of 4 servers is full mesh nog wel te doen, daarna moet je gaan kijken naar een switch (alhoewel mijn servers 4x25 hebben en er dus 5 stuks geplaatst kunnen worden, maar dan heb je een enorme kabelbende)

[zeroday]

_JGC_ schreef op dinsdag 2 september 2025 @ 20:57:
@zeroday Als je data je lief is en je op VM niveau geen writeback cache instelt betekent Ceph met 1Gbit gewoon dat writes pas klaar zijn als het minimaal 2x over een Gbit lijn gerepliceerd is. Verder doet Ceph elke week een scrub waarbij de hele disk wordt vergeleken met de andere beide kopietjes, dat mag ook over je Gbit netwerk.

Ik heb het draaien over 25Gbit met DACs tussen de servers. Wel dure kaartjes die Intel E810 dingen. Met 3 of 4 servers is full mesh nog wel te doen, daarna moet je gaan kijken naar een switch (alhoewel mijn servers 4x25 hebben en er dus 5 stuks geplaatst kunnen worden, maar dan heb je een enorme kabelbende)

Je maakt de keuze voor me makkelijk
ik zeg >dev/null/ceph
en moet er maar aan gaan denken als ik andere gebakjes ga gebruiken (ooit) Top .. dank !

[_JGC_]

@zeroday In jouw geval zou ik eerder ZFS replication gebruiken. Als je dan een migratie doet naar een andere host wordt de replicatie vervolgens gewoon omgedraaid.

Ja bij een crash ben je dan de laatste data die nog niet gerepliceerd was kwijt, maar qua performance wint ZFS het gewoon van Ceph en qua complexiteit is het een stuk simpeler met minder eisen aan disks, geheugen en netwerk.

[zeroday]

_JGC_ schreef op dinsdag 2 september 2025 @ 21:54:
@zeroday In jouw geval zou ik eerder ZFS replication gebruiken. Als je dan een migratie doet naar een andere host wordt de replicatie vervolgens gewoon omgedraaid.

Ja bij een crash ben je dan de laatste data die nog niet gerepliceerd was kwijt, maar qua performance wint ZFS het gewoon van Ceph en qua complexiteit is het een stuk simpeler met minder eisen aan disks, geheugen en netwerk.

Ook een van mijn fouten in mijn huidige cluster de ssd disk niet in ZFS gezet.. Maar met 3 nieuwe nodes
kan dat straks rustig door alles over te migreren en dan de oude gebakjes even te wipen en te herconfigureren.

[Mich]

Cave_Boy schreef op dinsdag 2 september 2025 @ 18:40:
Ik heb mijn Homeasistent heerlijk werken in Proxmox.
Ik heb een N355 met 48GB RAM.
Homeasistant mag max 6GB RAM gebruiken. Als Homeasistent is opgestart gebruikt het na enkel uren ongeveer 500MB RAM. Alleen dit groeit en groeit en groeit. Ik zie niet een log bestand dat groeit. Ik zie eigenlijk nergens waar het geheugen heen gaat. Na een herstart is het ook weer weg.

Iemand een idee?
Moet zeggen dat ik Proxmox heerlijk vind werken en ook de snelheid erg goed is. Alleen dat vollopen van het RAM snap ik niet. Andere VM's draaien ook heerlijk snel.

Opnsense heeft hier ook een handje van. Geef je hem 4gb “verbruikt” hij er 3.5. Geef je hem 8 dan “verbruikt” die 7.5. Maar zoals een andere reactie al zei is het vooral reserveren.

[Zwelgje]

Mich schreef op woensdag 3 september 2025 @ 09:38:
[...]


Opnsense heeft hier ook een handje van. Geef je hem 4gb “verbruikt” hij er 3.5. Geef je hem 8 dan “verbruikt” die 7.5. Maar zoals een andere reactie al zei is het vooral reserveren.

ehm nee, dat is wat proxmox weergeeft. in de VM is het maar 500/600mb

dat is een foutje in de nieuwe proxmox dat sommige qemu-based vm's het geheugengebruik verkeerd weergeven.

https://pve.proxmox.com/w...nsumption_Shown_is_Higher

(heb dat zelf ook, in de GUI van promox pakt ie 95% van het geheugen. in de opnsense interface of top is het vele malen minder)

[ViPER_DMRT]

powerboat schreef op dinsdag 2 september 2025 @ 18:00:
@zeroday , Ceph is leuk maar ik ben ermee gestopt. Je hebt een oneven aantal hypervisors nodig 3 is minimaal maar eigenlijk moet je er meer hebben. Performance kakt bij 3 in als een node offline is.

Omdat een 'ekte' cluster nu ook uit minimaal 3 nodes moet bestaan een betrouwbaar quorum te kunnen garanderen. 10Gb is well bare minimum om er van te kunnen genieten, zeker wanneer er een node uit kakt

[nassau]

Zwelgje schreef op woensdag 3 september 2025 @ 09:42:
[...]


ehm nee, dat is wat proxmox weergeeft. in de VM is het maar 500/600mb

dat is een foutje in de nieuwe proxmox dat sommige qemu-based vm's het geheugengebruik verkeerd weergeven.

https://pve.proxmox.com/w...nsumption_Shown_is_Higher

(heb dat zelf ook, in de GUI van promox pakt ie 95% van het geheugen. in de opnsense interface of top is het vele malen minder)

In Home Assistant is dat voornamelijk file cache. Ik monitor HA met prometheus-node-exporter. De grafiek in Grafana laat het mooi zien - VM staat op 3 GB config. File cache neemt meer dan de helft en er is "slechts" 84 MB vrij.

Als er RAM beschikbaar is zal het gebruikt worden voor de caches, maar kan ook elk moment weer worden vrijgegeven.

[Neus]

Vorige week Pulse op een LXC gezet in mijn 3-node cluster (en 3 backup servers):
https://github.com/rcourtman/Pulse

Review:
https://www.xda-developers.com/pulse-guide/

Erg handig!

[zeroday]

Neus schreef op woensdag 3 september 2025 @ 11:29:
Vorige week Pulse op een LXC gezet in mijn 3-node cluster (en 3 backup servers):
https://github.com/rcourtman/Pulse

Review:
https://www.xda-developers.com/pulse-guide/

Erg handig!

Interessant, maar waarom 3 backup servers? ivm storage per PBS ?

[Neus]

zeroday schreef op woensdag 3 september 2025 @ 11:43:
Interessant, maar waarom 3 backup servers? ivm storage per PBS ?

Ja, ik heb 1x PBS server met backup om het uur, 1x PBS die daar een sync van draait met een langere retentie. Daarnaast een goedkope 1x 8TB PBS server bij Servarica die de volledige backups draaien met een retentie van 1 jaar.

[Theetjuh]

Net de upgrade gedaan met m’n cluster van 8 naar 9, zonder issues.

[Neus]

Theetjuh schreef op woensdag 3 september 2025 @ 12:40:
Net de upgrade gedaan met m’n cluster van 8 naar 9, zonder issues.

Hier ook, 1 node welliswaar om te testen maar werkt nog prima in de cluster:

[Theetjuh]

Neus schreef op woensdag 3 september 2025 @ 13:30:
[...]


Hier ook, 1 node welliswaar om te testen maar werkt nog prima in de cluster:

[Afbeelding]

Hier gisteren de eerste, maar vond het vanmorgen wel prima toen ik merkte dat alles het nog prima doet.

Ik moet zeggen dat ik bij de eerste keer de documentatie doornemen het nog veel vond, maar eigenlijk viel het allemaal wel mee.

[UTMachine]

zeroday schreef op dinsdag 2 september 2025 @ 20:28:
[...]


ik heb nu een 4 node cluster zonder CEPH, er komen 3 systemen bij met CEPH om daarna uit te breiden .. maar alleen als het 'werkt'

Ik ben benieuwd of ik inderdaad merk dat dingen 'langzamer' aanvoelen..

In principe kan ik ook replicatie uitvoeren binnen mijn proxmox nodes want dan ze heten allemaal hetzelfde, maar sommige nodes staan best wel vol (ja onzinnig maar goed) ..
en dan wil ik zie niet 1-2-3 op een andere node hebben ..

Dus huidige setup is ok, maar offline is offline. Snel migreren is er niet bij .. dus keuzes keuzes ..

Kende je deze al?
https://gist.github.com/s...2927a89d977ea989da157e9dc

Hier gebruiken ze de TB4 poorten voor 25+ Gbit/sec links voor Ceph.

[zeroday]

UTMachine schreef op woensdag 3 september 2025 @ 19:48:
[...]


Kende je deze al?
https://gist.github.com/s...2927a89d977ea989da157e9dc

Hier gebruiken ze de TB4 poorten voor 25+ Gbit/sec links voor Ceph.

Daar had ik nog helemaal niet over nagedacht .. Dat zou een toekomstig idee zijn ..
nu even genoeg uitgegeven. Daarbij .. Hoe is de kwaliteit van die thunderbolt netwerk adapters?
Ik ben bijv. geen fan van Realtek .. maar dat kan na zoveel jaar wel vele malen verbeterd zijn ..

[Quad]

UTMachine schreef op woensdag 3 september 2025 @ 19:48:
[...]


Kende je deze al?
https://gist.github.com/s...2927a89d977ea989da157e9dc

Hier gebruiken ze de TB4 poorten voor 25+ Gbit/sec links voor Ceph.

Ow dit is wel heel episch. Ik moest even nadenken hoe ik het moest interpreteren, maar een ring netwerk onderling over TB4 kabels voor dergelijke snelheden is wel goed bedacht.

zeroday schreef op woensdag 3 september 2025 @ 22:45:
[...]


Daar had ik nog helemaal niet over nagedacht .. Dat zou een toekomstig idee zijn ..
nu even genoeg uitgegeven. Daarbij .. Hoe is de kwaliteit van die thunderbolt netwerk adapters?
Ik ben bijv. geen fan van Realtek .. maar dat kan na zoveel jaar wel vele malen verbeterd zijn ..

Volgens mij worden er geen echte netwerkadapters gebruikt, maar wordt door een truc de TB4 poorten omgecat naar netwerk. En door de fysieke laag van TB4 aan te spreken heb je een hele hoge snelheid.

[_JGC_]

Quad schreef op woensdag 3 september 2025 @ 23:03:
[...]

Ow dit is wel heel episch. Ik moest even nadenken hoe ik het moest interpreteren, maar een ring netwerk onderling over TB4 kabels voor dergelijke snelheden is wel goed bedacht.

[...]

Volgens mij worden er geen echte netwerkadapters gebruikt, maar wordt door een truc de TB4 poorten omgecat naar netwerk. En door de fysieke laag van TB4 aan te spreken heb je een hele hoge snelheid.

Klopt, wat ik doe met die E810 kaarten en DACs onderling kan je ook met Thunderbolt4 USB-C kabels doen. Aan de ene kant laad je thunderbolt-net in en de NUC aan de andere kant herkent het en doet automatisch hetzelfde. Vervolgens heb je een netwerk interface die je gewoon kunt configureren.
Komt geen Realtek aan te pas dus

[zeroday]

Quad schreef op woensdag 3 september 2025 @ 23:03:
[...]

Ow dit is wel heel episch. Ik moest even nadenken hoe ik het moest interpreteren, maar een ring netwerk onderling over TB4 kabels voor dergelijke snelheden is wel goed bedacht.

[

Het enige jammere is dat hij (in de gist) niet verteld dat je (volgens mij) daar minimaal Intel NUC11 of hoger voor moet hebben.. Mijn NUCs zijn NUC8 of NUC10. Hebben wel Thunderbolt/USB-C maar uhh... geen 2 aansluitingen.
En dat is nodig voor de ring natuurlijk Da's jammer, moet ik er nog meer kopen .. (effe nie)

[powerboat]

ViPER_DMRT schreef op woensdag 3 september 2025 @ 09:52:
[...]


Omdat een 'ekte' cluster nu ook uit minimaal 3 nodes moet bestaan een betrouwbaar quorum te kunnen garanderen. 10Gb is well bare minimum om er van te kunnen genieten, zeker wanneer er een node uit kakt

Ik had 3x HP 385G10 met een storage network op 10Gbit/s, ik wel iets van perfomance degration verwacht maar niet zoveel.

[MakhouT]

Hallo allemaal,

Sinds mijn upgrade van Proxmox VE 7.x naar 8.x ervaar ik netwerkproblemen op mijn Intel NUC8i7BEH2 (i7-8559U, Intel I219-V NIC).

Systeemgegevens
• Hardware: Intel NUC8i7BEH2 (NUC8i7BEH2, CPU i7-8559U, onboard Intel I219-V Gigabit NIC)
• Proxmox versie: 8.x
• Kernel: 6.8.12-12-pve (standaard Proxmox 8 kernel)
• NIC-driver: e1000e

Probleem
Na een aantal uur gebruik valt de netwerkverbinding van de NUC weg.
• De host is niet meer bereikbaar via IP (ping/https)
• In de logs zie ik herhaaldelijk:

code:

 eno1: Detected Hardware Unit Hang

Pingen naar de gateway (192.168.1.1) werkt nog steeds
• Pingen naar het eigen IP (192.168.1.37) faalt met Destination Host Unreachable

Het lijkt erop dat uitgaand verkeer werkt, maar inkomend verkeer geblokkeerd wordt zodra de NIC in een “hang”-state terecht komt.

Wat ik al geprobeerd heb
• pcie_aspm=off toegevoegd aan GRUB → tijdelijk leek dit te helpen, maar probleem komt alsnog terug
• Driver herladen met:

code:

 modprobe -r e1000e
modprobe e1000e
systemctl restart networking

Dit herstelt de verbinding, maar slechts tijdelijk (enkele uren)

• Volledige reboot → netwerk komt altijd weer terug

Wat niet geholpen heeft
• Firewall uitzetten
• Controleren van bridge-configuratie (vmbr0 correct ingesteld met eno1)
• Controleren van link-status (ethtool eno1 geeft Link detected: yes)

Zijn er meer mensen met een NUC8 (of vergelijkbare Intel NIC) die dit probleem ervaren sinds kernel 6.8 in Proxmox 8?
En is de aanbevolen oplossing om terug te gaan naar de 5.15 LTS kernel (zoals gebruikt in Proxmox 7), of zijn er andere workarounds?

Alvast bedankt voor het meedenken!

[Quad]

@MakhouT @ThinkPad had dit beschreven en de oplossing gedeeld: ThinkPad in "Het grote Proxmox VE topic"

En upgrade gelijk even door naar v9.

[MakhouT]

Quad schreef op zaterdag 6 september 2025 @ 23:34:
@MakhouT @ThinkPad had dit beschreven en de oplossing gedeeld: ThinkPad in "Het grote Proxmox VE topic"

En upgrade gelijk even door naar v9.

Aha niet goed gezocht dan! Ik probeer het uit en rapporteer terug!
Zal inderdaad ineens naar v9 upgraden

Thanks!

[ Voor 5% gewijzigd door MakhouT op 06-09-2025 23:41 ]

[Quad]

MakhouT schreef op zaterdag 6 september 2025 @ 23:41:
[...]


Aha niet goed gezocht dan! Ik probeer het uit en rapporteer terug!
Zal inderdaad ineens naar v9 upgraden

Thanks!

Wil je weten of je exact hetzelfde issue hebt, als de netwerk blijft hangen, haal de netwerkkabel er even uit en plug 'm dan weer terug, de verbinding herstelt zich dan.

[Airw0lf]

@MakhouT - proxmox forum al eens bezocht?
Daar rapporteren mensen dat het probleem in de driver zit. En dat bepaalde offload functies uit zetten zou helpen - misschien ook voor jouw situatie.

code:

iface eno1 inet manual
        offload-tso off
        offload-gso off

Een forumlink (er zijn meerdere posts rondom dit topic):
https://forum.proxmox.com...-driver-hang.58284/page-9

[ Voor 5% gewijzigd door Airw0lf op 07-09-2025 08:28 ]

[nassau]

@MakhouT jij ervaart waarschijnlijk issues met de intel netwerk driver. Heb ik zelf ook gehad met mijn nuc8

Daar zijn oplossingen voor onder andere https://community-scripts.github.io/ProxmoxVE/ heeft een intel e1000 offloading fix

[Nomi]

Welke SATA-controller werkt wel goed in combi met Proxmox?

Mijn moerderbord heeft slechts 4 SATA-poorten en ik zou er graag nog een paar bij willen hebben. Ik heb verschillende controllers getest, maar ik krijg het niet goed aan de praat met Proxmox.

Moederbord: Kontron K3842-Q2

Wat heb ik al geprobeerd:

Startech 4 port SATA PCIe kaart met ASMedia ASM1164 chipset
Delock 4 port SATA PCI Express x1 Card met ASM1064 chipset
Beide kaarten met ASM chipset worden niet goed herkend en werken niet. Als ik het goed begrijp heeft dat met de kernel van Proxmox te maken. Helemaal snappen doe ik het niet en een oplossing hebben ik niet kunnen vinden. Ja, zelf een kernel compileren, maar daar voel ik mij niet zeker bij.

Delock 4 port SATA PCI Express Card met Marvell 88SE9215 chipset
Deze kaart werkt op zich. De boel blijft echter hangen in hoge C-states, waardoor het verbruik enorm toeneemt met ongeveer 10 Watt - dat vind ik te veel. Dit wat oudere kaartje lijkt lagere C-states niet goed te ondersteunen en ook hiervoor heb ik geen goede oplossing kunnen vinden.

Iemand hier die mij op het goede spoor kan zetten?

[Airw0lf]

@Nomi - hoe ziet je build er precies uit - met name het video gedeelte?

Ik heb hetzelfde Delock kaartje gebruikt - en ook de raid-0/1 equivalent.
Werkte prima - alleen leek het erop dat ik tegen de x1-limiet van het (AMD) systemboard aan liep.

Er zit nu een x8 LSI kaartje in - dit draait nu een aantal maanden zonder problemen.
Maar inderdaad - wel een aanzienlijk hoger verbruik (wat ik voor nu even voor lief neem).

Mijn inschatting is dat je minimaal een x4 uitvoering nodig hebt en ondersteuning voor pci-e 3.
Bijvoorbeeld zoiets als dit: https://www.delock.com/produkt/90498/merkmale.html

Dit kaartje heeft een chipset met iets dat heet DevSleep mode.
Wat ik er van begrijp is dat de aangesloten disken hiermee in slaapstand gezet kunnen worden.
Bron: Wikipedia: DevSlp

Wellicht dat je wel het bios van je systemboard moet kunnen instellen dat ie een boot van dit soort kaartjes moet negeren. Zie het als een voorzorgsmaatregel om te voorkomen dat het ergens bijt met de normale opstart disk.

[Nomi]

Airw0lf schreef op zondag 7 september 2025 @ 11:19:
@Nomi - hoe ziet je build er precies uit - met name het video gedeelte?

Er zit een i5-13500 CPU in en geen losse videokaart. Niets bijzonders dus. Waarom stel je die vraag? Waar denk je aan?

Het kaartje dat jij aanraadt heeft een JMicron JMB585 chipset. Weer een andere chipset dus, dat zou ik nog kunnen proberen.

[Airw0lf]

@Nomi - geen losse videokaart wil zeggen genoeg ruimte om twee x4 (of snellere) kaarten te plaatsen.

Je zou dan zelfs kunnen overwegen om er een 6 of 8 poorts SATA kaartje bij te prikken (wat doorgaans een x8 kaartje is). Waardoor je meer dan genoeg SATA aansluitingen kwijt kan - ik geloof tot 8 per kaart.

[MakhouT]

Quad schreef op zaterdag 6 september 2025 @ 23:49:
[...]

Wil je weten of je exact hetzelfde issue hebt, als de netwerk blijft hangen, haal de netwerkkabel er even uit en plug 'm dan weer terug, de verbinding herstelt zich dan.

Ik heb dit gedaan, maar verbinding herstelt zich dus niet. Ik zal die script van hieronder eens proberen

[HowsMyApple]

Onlangs unattended upgrades geconfigureerd en wilde eens checken of het daadwerkelijk wat doet. Gescheduled voor elke dag om 03:00 met een random delay window.
Op 2025-09-07 zag ik dat er zowaar wat (security gerelateerde) packages waren geupgraded. Dat werkt dus prima. Maar nu viel het me ook op dat er naast mijn geschedulede task op een ander moment nog eens voor security upgrades wordt gecheckt. Zie log van vannacht:

code:

2025-09-08 03:01:45,798 INFO Checking if system is running on battery is skipped. Please install 
powermgmt-base package to check power status and skip installing updates when the system is runni
ng on battery.
2025-09-08 03:01:45,803 INFO Starting unattended upgrades script
2025-09-08 03:01:45,804 INFO Allowed origins are: origin=Debian,codename=bookworm,label=Debian, o
rigin=Debian,codename=bookworm,label=Debian-Security, origin=Debian,codename=bookworm-security,la
bel=Debian-Security, origin=Debian,codename=bookworm,label=Debian, origin=Debian,codename=bookwor
m,label=Debian-Security, origin=Debian,codename=bookworm-security,label=Debian-Security
2025-09-08 03:01:45,804 INFO Initial blacklist: 
2025-09-08 03:01:45,804 INFO Initial whitelist (not strict): 
2025-09-08 03:01:46,734 INFO No packages found that can be upgraded unattended and no pending aut
o-removals
2025-09-08 04:47:46,878 INFO Checking if system is running on battery is skipped. Please install 
powermgmt-base package to check power status and skip installing updates when the system is runni
ng on battery.
2025-09-08 04:47:46,883 INFO Starting unattended upgrades script
2025-09-08 04:47:46,883 INFO Allowed origins are: origin=Debian,codename=bookworm,label=Debian, o
rigin=Debian,codename=bookworm,label=Debian-Security, origin=Debian,codename=bookworm-security,la
bel=Debian-Security, origin=Debian,codename=bookworm,label=Debian, origin=Debian,codename=bookwor
m,label=Debian-Security, origin=Debian,codename=bookworm-security,label=Debian-Security
2025-09-08 04:47:46,883 INFO Initial blacklist: 
2025-09-08 04:47:46,883 INFO Initial whitelist (not strict): 
(END)

Wanneer ik zoek naar m'n timers, lijk ik er ineens nog een te hebben? (apt-daily-upgrade.timer is degene die ik onlangs zelf, bewust, heb geconfigureerd)
Weet iemand of je die apt-daily-timer er automagisch bij krijgt of dat ik er geen actieve herinnering meer aan heb dat ik dat zelf ooit heb gedaan?

code:

systemctl list-timers apt-daily*

NEXT                         LEFT          LAST                         PASSED  UNIT            >
Tue 2025-09-09 00:04:26 CEST 3h 32min left Mon 2025-09-08 11:56:55 CEST 8h ago  apt-daily.timer >
Tue 2025-09-09 03:08:52 CEST 6h left       Mon 2025-09-08 03:01:45 CEST 17h ago apt-daily-upgrad>

Overigens is het rare dus dat wanneer ik die timer inspecteer:

code:

sudo systemctl edit apt-daily.timer

### Editing /etc/systemd/system/apt-daily.timer.d/override.conf
### Anything between here and the comment below will become the new contents of the file



### Lines below this comment will be discarded

### /lib/systemd/system/apt-daily.timer
# [Unit]
# Description=Daily apt download activities
# 
# [Timer]
# OnCalendar=*-*-* 6,18:00
# RandomizedDelaySec=12h
# Persistent=true
# 
# [Install]
# WantedBy=timers.target

alles nog gewoon als comments staat. Dus in theorie zou deze timer helemaal niet moeten werken.
Iemand hier toevallig een verklaring voor?

[RobertMe]

HowsMyApple schreef op maandag 8 september 2025 @ 20:42:
Overigens is het rare dus dat wanneer ik die timer inspecteer:

code:

sudo systemctl edit apt-daily.timer

### Editing /etc/systemd/system/apt-daily.timer.d/override.conf
### Anything between here and the comment below will become the new contents of the file



### Lines below this comment will be discarded

### /lib/systemd/system/apt-daily.timer
# [Unit]
# Description=Daily apt download activities
# 
# [Timer]
# OnCalendar=*-*-* 6,18:00
# RandomizedDelaySec=12h
# Persistent=true
# 
# [Install]
# WantedBy=timers.target

alles nog gewoon als comments staat. Dus in theorie zou deze timer helemaal niet moeten werken.
Iemand hier toevallig een verklaring voor?

Dat het als comment staat is gewoon omdat het de inhoud van de "originele" file is, niet omdat het in de originele file als comment staat. Je kunt natuurlijk de file zelf open trekken, en zeer kleine kans dat daarin ook de comments staan (als in: mijn Debian install staan die regels er "gewoon", en niet als comment).

In ieder geval staat die op mijn Debian systeem (dus niet Proxmox) ook aan (systemctl is-enabled apt-daily.timer), en 100% zeker dat ik die nooit enabled heb.

[ninjazx9r98]

@HowsMyApple Een systemctl edit doet niet wat je denkt dat het doet namelijk het direct editen van de servicie file. Wat het wel doet is een zogenaamde override file aanmaken zoals je ook kunt zien in één van de commentregels.

code:

### Editing /etc/systemd/system/apt-daily.timer.d/override.conf

Hiermee laat je de originele file in stand en maakt een override 'op' die file voor de zaken die je anders wilt.

Dit doe je door eerst datgene wat je anders wilt te resetten en daarna datgene neer te zetten wat je wilt bereiken. Bijv:

code:

### Editing /etc/systemd/system/apt-daily.timer.d/override.conf
### Anything between here and the comment below will become the new contents of the file

[Timer]
OnCalendar=
OnCalendar=*-*-* 8,22:00

### Lines below this comment will be discarded

Wil le de daadwerkelijke service file editten dan kun je dat bijv doen met

code:

systemctl --full edit apt-daily.timer

Daarna nog even onderstaande om het netjes af te ronden

code:

systemctl daemon-reload

[badkuip]

Mag ik even om jullie hulp vragen met de setup van een Coral TPU op Proxmox VE 9.0.5?
Ik heb een Coral TPU in het M2 slot van mijn machine gedaan. Ik wil deze gebruiken in mijn Proxmox Home assistant VM.
De genomen stappen tot nu toe:

1. Hardware geinstalleerd
2. Het PCI device toegevoegd aan de haos guest VM.

Het resultaat is dat de Coral TPU niet gezien of niet gevonden wordt door de Home assistant VM.

Op het web hebben ze het over installeren van drivers in de proxmox host. Zogenaamde gasket drivers die je zelf moet compileren. Chat GPT heeft het over het configureren van IOMMU.
En bij deze stappen zit mijn onbegrip. Moeten deze drivers echt op de host geinstalleerd worden? Hoezo? Het enige wat Proxmox VE moet doen is het device plain doorsturen naar de VM? De Home assistant VM heeft de drivers dus die pikt het wel op wanneer ie de TPU aangeboden krijgt. Kan iemand mij helpen dit te begrijpen?

Iemand dit dit toe kan lichten? Ben aardig weg in linux maar nog niet zo lang ervaring met virtuele omgevingen. En nog een tip voor een goede tutorial? Met die gasket drivers heb ik het geprobeerd maar ik kreeg de pgp sleutel van google niet goed geinstalleerd (apt-key niet bekend in Proxmox VE). Daarnaast het ik gehoord dat de hele boel onderuit gaat wanneer de Proxmox kernel geupdate wordt..

Heeft iemand tips of pointers?

[tjanssen]

badkuip schreef op dinsdag 9 september 2025 @ 20:12:
Mag ik even om jullie hulp vragen met de setup van een Coral TPU op Proxmox VE 9.0.5?
Ik heb een Coral TPU in het M2 slot van mijn machine gedaan. Ik wil deze gebruiken in mijn Proxmox Home assistant VM.
De genomen stappen tot nu toe:

1. Hardware geinstalleerd
2. Het PCI device toegevoegd aan de haos guest VM.

Het resultaat is dat de Coral TPU niet gezien of niet gevonden wordt door de Home assistant VM.

Op het web hebben ze het over installeren van drivers in de proxmox host. Zogenaamde gasket drivers die je zelf moet compileren. Chat GPT heeft het over het configureren van IOMMU.
En bij deze stappen zit mijn onbegrip. Moeten deze drivers echt op de host geinstalleerd worden? Hoezo? Het enige wat Proxmox VE moet doen is het device plain doorsturen naar de VM? De Home assistant VM heeft de drivers dus die pikt het wel op wanneer ie de TPU aangeboden krijgt. Kan iemand mij helpen dit te begrijpen?

Iemand dit dit toe kan lichten? Ben aardig weg in linux maar nog niet zo lang ervaring met virtuele omgevingen. En nog een tip voor een goede tutorial? Met die gasket drivers heb ik het geprobeerd maar ik kreeg de pgp sleutel van google niet goed geinstalleerd (apt-key niet bekend in Proxmox VE). Daarnaast het ik gehoord dat de hele boel onderuit gaat wanneer de Proxmox kernel geupdate wordt..

Heeft iemand tips of pointers?

Deze gasket drivers moet je dan in HA OS installeren, geen idee of dit kan. Ik ga er vanuit dat je Frigate wil gaan gebruiken? If so, dan is een andere optie een separate VM maken voor Frigate waarin je een passthrough doet van je Coral, en hierop alles installeert. In HA installeer je dan de Frigate Proxy.

Voordeel van deze aanpak is dat je niet iedere kernel update van Proxmox je gasket drivers opnieuw hoeft te compileren.

[Slonzo]

badkuip schreef op dinsdag 9 september 2025 @ 20:12:
Heeft iemand tips of pointers?

Hier staat een werkende config voor een Proxmox VM, misschien ben je daar iets mee?

edit:
Oh, ik had even gemist dat hij bij jou niet over USB loopt. Maar misschien ben je er alsnog iets mee...

[ Voor 15% gewijzigd door Slonzo op 10-09-2025 09:04 ]

[Uberprutser]

Twee dagen bezig geweest om mijn nVidia T1000 met PVE 9 als dGPU te delen in Docker in unprivileged LXC's. Jellyfin, Immich, FFMPEG en m'n LLM proeftuin kunnen nu allemaal gebruik maken van dezelfde GPU.

Rechten bij local mount points waarbij containers in Docker opeens geen toegang meer hadden terwijl dit in PVE 8 prima werkt was een flinke uitdaging. Binnenkort maar eens alles opnieuw doen met de notes die ik heb gemaakt en kijken of er elementen kunnen worden vervangen om het minder complex te maken.

Inmiddels de T1000 ook kunnen temmen dat ie idle 20 Watt minder verbruikt want het werd wat warm in de meterkast tov de vorige setup zonder GPU.

[ Voor 12% gewijzigd door Uberprutser op 12-09-2025 14:20 ]

[RobertMe]

Uberprutser schreef op vrijdag 12 september 2025 @ 14:18:
Inmiddels de T1000 ook kunnen temmen dat ie idle 20 Watt minder verbruikt want het werd wat warm in de meterkast tov de vorige setup zonder GPU.

De grote vraag is dan natuurlijk..., hoeveel is het verbruik nog steeds toegenomen? Want zelfs zuinig zou dat zomaar een tiental? tientallen? Watts meer kunnen zijn.

[Uberprutser]

RobertMe schreef op vrijdag 12 september 2025 @ 14:22:
[...]

De grote vraag is dan natuurlijk..., hoeveel is het verbruik nog steeds toegenomen? Want zelfs zuinig zou dat zomaar een tiental? tientallen? Watts meer kunnen zijn.

Ik heb meer op de powerplug zitten (Unifi stack met PoE devices), maar zonder GPU had ik ~37 Watt totaal verbruik, met GPU werd dat 78 Watt. Nu kom ik op 54 Watt uit Idle. Met de vorige doos die ik in de meterkast had staan (Dell Optiplex 5050) had ik 52 Watt idle.

Ik weet dus niet het verbruik van de Dell Precision 3450 zelf, gaat mij om totaalverbruik van de hele stack die ik nodig heb om de boel te draaien.

[RobertMe]

Uberprutser schreef op vrijdag 12 september 2025 @ 14:44:
[...]

Ik heb meer op de powerplug zitten (Unifi stack met PoE devices), maar zonder GPU had ik ~37 Watt totaal verbruik, met GPU werd dat 78 Watt. Nu kom ik op 54 Watt uit Idle. Met de vorige doos die ik in de meterkast had staan (Dell Optiplex 5050) had ik 52 Watt idle.

Ik weet dus niet het verbruik van de Dell Precision 3450 zelf, gaat mij om totaalverbruik van de hele stack die ik nodig heb om de boel te draaien.

17W extra dus voor deze GPU 37W => 54W. Dat het basis verbruik meer apparaten omvat maakt in zoverre natuurlijk niet uit voor de "zonder GPU" en "met GPU" vergelijking.

Mooie halvering van het extra verbruik dus dat je nu hebt gedaan. Van 37 extra naar nog maar 17 extra.

[HellStorm666]

Vraagje,

Ik heb een unprivileged LXC waar ik via de .conf een paar zfs mappings heb gedaan.
En via de GUI de gpu heb toegevoegd en een usb in passthrough.

Dat werkt allemaal perfect, op 1 ding na.
Elke dag maakt pbs een snapshot backup er van. Maar ongeveer eens per anderhalve week blijkt heel pve hangen (vm (pbs) op hold, lxc gelocked. En de taak die runt is de backup van de lxc.
Ik kan pbs nog wel in. En die geeft aan dat er geen backup taak actief is.

Iemand ervaring hiermee? Of een idee waar het door komt?

Ter info.
Nieuwste pve en pbs.
Pbs draait als vm op pve.
Pbs zelf zit (uiteraard) niet in de backup task.
HAOS als VM
Debian 13 met podman als LXC.

[spitsv]

Misschien klein beetje off-topic, maar ik denk wel relevant.
Ik ben op zoek naar een ssh cliënt op Android, met ondersteuning voor totp 2fa.
Horizontaal scrollen lijkt me ook handig, maar misschien vergis ik me
Wie kan tips geven? (chatgpt en gemini normen termius (kan niet met totp overweg) en JuiceSSH, maar dat werkt ook niet lekker)

[HellStorm666]

spitsv schreef op zaterdag 13 september 2025 @ 16:43:
Misschien klein beetje off-topic, maar ik denk wel relevant.
Ik ben op zoek naar een ssh cliënt op Android, met ondersteuning voor totp 2fa.
Horizontaal scrollen lijkt me ook handig, maar misschien vergis ik me
Wie kan tips geven? (chatgpt en gemini normen termius (kan niet met totp overweg) en JuiceSSH, maar dat werkt ook niet lekker)

Ik gebruikte altijd JuiceSSH en sinds een tijdje Termius.
Vind Termius fijner.
Verder is er nog Remote Desktop Manager van Devolution, die kan ook SSH en nog een hoop meer.

[Flappie]

Ik wil een Promox VE 8 naar 9 upgraden maar de output van het check script geeft dit aan:

FAIL: detected override for 'thin_check_options' in 'global' section without '--clear-needs-check-flag' option - add the option to your override (most likely in /etc/lvm/lvm.conf)

Ik heb inderdaad een aanpassing in lvm.conf en heb daarin deze aangepaste regel:
thin_check_options = [ "-q", "--skip-mappings" ]

Ik heb skip-mappings toegevoegd omdat ik 1 grote HDD heb die anders voor vertraging zorgt bij het opstarten.
Maar ik durf nu niet te upgraden omdat ik zo vermoed dat dit straks dus niet meer gaat werken.
Iemand ervaring hiermee?

[Navi]

Flappie schreef op zondag 14 september 2025 @ 17:24:
Ik wil een Promox VE 8 naar 9 upgraden maar de output van het check script geeft dit aan:

FAIL: detected override for 'thin_check_options' in 'global' section without '--clear-needs-check-flag' option - add the option to your override (most likely in /etc/lvm/lvm.conf)

Ik heb inderdaad een aanpassing in lvm.conf en heb daarin deze aangepaste regel:
thin_check_options = [ "-q", "--skip-mappings" ]

Ik heb skip-mappings toegevoegd omdat ik 1 grote HDD heb die anders voor vertraging zorgt bij het opstarten.
Maar ik durf nu niet te upgraden omdat ik zo vermoed dat dit straks dus niet meer gaat werken.
Iemand ervaring hiermee?

Moet je niet gewoon even --clear-needs-check-flag toevoegen aan de options?

[Flappie]

Navi schreef op dinsdag 16 september 2025 @ 20:40:
[...]


Moet je niet gewoon even --clear-needs-check-flag toevoegen aan de options?

Ja, dat had ik geprobeerd maar dan deed mijn storage het niet meer en konden de vm's dus niet starten.

Uiteindelijk maar gewoon de update gedaan. Tijdens het update proces werd ik gevraagd of ik lvm.conf wilde overschrijving met een nieuwe default versie. Dat maar gedaan en na de upgrade werkte alles naar behoren ook zonder de no-mappings parameter.

Ik vraag me eigenlijk nu vooral af waarom die check word gedaan als de upgrade toch een nieuwe default lvm.conf installeert.

[sloth]

Hoe maken jullie offsite backups van VMs of containers?

Wat ik wil doen is automatisch een VM backuppen naar s3 storage. Wat ik nu al heb:

Automatische backup job van de VM in PVE
LXC met rclone en een bind mount naar de PVE host backup locatie (RO)
rclone copy naar AWS s3 bucket met beperkte permissions

Wat nog moet gebeuren is een cron job oid in de container of op de host om bijvoorbeeld 1x per maand de rclone copy uit te voeren.

Dit lijkt wel zo een houtje touwtje oplossing...
PBS heb ik ook overwogen. Vanaf versie 4 heb je ook s3 support in preview. Iemand daar ervaring mee? Of andere opties?

[nassau]

sloth schreef op zaterdag 20 september 2025 @ 10:38:
Hoe maken jullie offsite backups van VMs of containers?

Wat ik wil doen is automatisch een VM backuppen naar s3 storage. Wat ik nu al heb:

Automatische backup job van de VM in PVE
LXC met rclone en een bind mount naar de PVE host backup locatie (RO)
rclone copy naar AWS s3 bucket met beperkte permissions

Wat nog moet gebeuren is een cron job oid in de container of op de host om bijvoorbeeld 1x per maand de rclone copy uit te voeren.

Dit lijkt wel zo een houtje touwtje oplossing...
PBS heb ik ook overwogen. Vanaf versie 4 heb je ook s3 support in preview. Iemand daar ervaring mee? Of andere opties?

PBS is zoveel makkelijker om dit te regelen …

ik heb het als een VM draaien op mijn NAS. Alle backups naar een NFS share. Vanuit NAS een rsync job naar een externe storagebox (Hetzner). Draai ook nog een zelfde replicatie naar een externe SSD voor de zekerheid.

S3 in 4.0 zou goed moeten werken, zelf nog geen ervaring mee.

[The-Source]

Vandaag mijn PVE 8 >9 upgrade ( duurde een uur) gedaan en ook gelijk PBS 3>4
Maar LXC upgrade moet ik nog even uitvogelen. Ze werken allemaal maar zitten nog wel op bookworm.

Mijn LXC update stappen (zou wellicht beter kunnen maar werkt )

code:

apt full-upgrade

sed -i 's/bookworm/trixie/g' /etc/apt/sources.list

apt update

apt upgrade --without-new-pkgs -y

apt full-upgrade -y

apt autoremove --purge -y
reboot
## check_version: 
cat /etc/*-release

^^ PS bestaand doet ook ergens nog een python update en als je LXC software daar kritish over is dan goed om het monitoren (of in ieder geval backup vooraf)

[ Voor 59% gewijzigd door The-Source op 20-09-2025 17:43 ]

[HellStorm666]

Voor debian 13 kan je tegenwoordig ook

code:

apt dist-upgrade -y --update

doen.
Die

code:

--update

kan er sowieso altijd achter, waardoor ie zelf een apt update doet als t nodig is.

[ Voor 8% gewijzigd door HellStorm666 op 23-09-2025 19:47 ]

[BJozi]

Ik heb hulp nodig met iets dat makkelijker in mijn hoofd had geweest.

Ik heb een 1tb nvme waarop proxmox is geïnstalleerd. Proxmox heeft de nodige partitions gemaakt met als gevolg dat ik 800+gb ruimte heb (voor denk ik containers).

Voorheen had ik een kleine os drive, nu deze groter is wilde ik de download map voor sabnzbd (lxc) in dat 800gb volume maken. Ik kan alleen niet vinden hoe ik dit kan doen? Chatgpt maakt het alleen maar meer verwarrend, heeft iemand een tutorial die dit goed uitgelegd?

[H143]

sinds kort sluiten mijn containers automatisch af en starten vervolgens ook weer vanzelf
ik heb nog niet kunnen vinden wat het is helaas heb ik niet veel verstand van Linux
kan iemand mij opweg helpen waar dit probleem vandaan kan komen?

[lolgast]

Lijkt me in ieder geval vanuit de Proxmox host zelf want als je een LXC een shutdown geeft vanuit de LXC zefl zie je geen 'Stop'.

Staat er een rare cronjob actief ofzo? crontab -l even draaien en kijken of daar iets van pct restart .. in voorkomt

[H143]

lolgast schreef op vrijdag 3 oktober 2025 @ 22:30:
Lijkt me in ieder geval vanuit de Proxmox host zelf want als je een LXC een shutdown geeft vanuit de LXC zefl zie je geen 'Stop'.

Staat er een rare cronjob actief ofzo? crontab -l even draaien en kijken of daar iets van pct restart .. in voorkomt

ik had de volgende regels erin staan

code:

@reboot (sleep 60 && echo "powersave" | tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor)
0 0 * * 0 PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin /bin/bash -c "$(wget -qLO - https://github.com/community-scripts/ProxmoxVE/raw/main/misc/update-lxcs-cron.sh)" >>/var/log/update-lxcs-cron.log 2>/dev/null

deze heb ik verwijderd maar helas geen soelaas

[RobertMe]

H143 schreef op vrijdag 3 oktober 2025 @ 22:54:
[...]

ik had de volgende regels erin staan

code:

@reboot (sleep 60 && echo "powersave" | tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor)
0 0 * * 0 PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin /bin/bash -c "$(wget -qLO - https://github.com/community-scripts/ProxmoxVE/raw/main/misc/update-lxcs-cron.sh)" >>/var/log/update-lxcs-cron.log 2>/dev/null

offtopic:
"Doe elke zondag om middernacht een script downloaden van internet en uitvoeren als root", * ouch *. Als die helper scripts geïnfecteerd worden met malware heb je het niet eens in de gaten.

[hansat]

Ik weet niet of deze al eerder in dit topic is vermeld maar bij deze ProxMenux
https://github.com/MacRimi/ProxMenux

een hele goede tool tenminste voor mij

[Cardinal]

@hansat heb je screenshots oid? is het vergelijkbaar met pulse?

[H143]

H143 schreef op vrijdag 3 oktober 2025 @ 22:01:
sinds kort sluiten mijn containers automatisch af en starten vervolgens ook weer vanzelf
ik heb nog niet kunnen vinden wat het is helaas heb ik niet veel verstand van Linux
kan iemand mij opweg helpen waar dit probleem vandaan kan komen?
[Afbeelding]

Het lijkt nu opgelost beide lxc draaide docker in met elk hun eigen containers en heb ze gecreëerd uit een backup (backup was een lxc met alleen docker zonder conteiners)
Gister de lxc weer opnieuw opgebouwd en docker en de containers erin en het probleem is opgelost..

[Barryvdh]

Cardinal schreef op zaterdag 4 oktober 2025 @ 19:58:
@hansat heb je screenshots oid? is het vergelijkbaar met pulse?

De docs heeft voorbeelden; https://macrimi.github.io/ProxMenux/docs/introduction

Ziet er wel interessant uit, wellicht handig voor iGPU en NFS dingen ipv handmatig al die commando's.

[Harmen]

Iemand ervaringen met https://cloud-pbs.com/ ? M'n 'gratis' variant van Tuxis is vol, betaalde variant is helaas 19 euro per 1TB. Helaas is er geen kleinere variant, heb genoeg aan 300GB oid.

[Quad]

Voldoet Hetzner storagebox voor je eventueel?

[The-Source]

Harmen schreef op dinsdag 7 oktober 2025 @ 14:05:
Iemand ervaringen met https://cloud-pbs.com/ ? M'n 'gratis' variant van Tuxis is vol, betaalde variant is helaas 19 euro per 1TB. Helaas is er geen kleinere variant, heb genoeg aan 300GB oid.

Als je dedicated kiest klopt dat. Maar shared is per 250GB €6, te schalen tot 1TB €12,- beide ex BTW per maand.

[Quad]

Wat heeft jullie voorkeur om als virtueel NAS OS te draaien icm enkele fysieke harddrives in passtrough?
Ik heb OMV en TrueNAS met elkaar nu getest. TrueNAS leunt ernstig zwaar op je CPU/RAM door ZFS. OMV heeft ZFS niet native ingebakken (wel via extensies).
Performance met ZFS lijkt ook snel in te kakken met interne transfers tussen VM <> NAS OS. Het liefst zie ik iets als btrfs wat Synology toepast.

Ik wil graag mijn Synology uitfaseren en dus overstappen op storage binnen de server. Dit zal hogere prestaties leveren doordat de onderlinge verbinding gewoon hoger ligt dan de 1Gb via PVE - switch - NAS en weer terug.

[_JGC_]

@Quad Is maar net wat je precies wilt. Je kunt de raw disks doorzetten naar de VM en alles vanuit je VM managen, moet je wel CPUs en geheugen hebben om ZFS of btrfs te kunnen doen.
Je kunt ook Proxmox het hele ZFS gebeuren laten afhandelen en dan een virtuele disk sharen naar de NAS VM. Persoonlijk denk ik dat dit de betere oplossing is.

[orvintax]

Quad schreef op woensdag 8 oktober 2025 @ 11:59:
Wat heeft jullie voorkeur om als virtueel NAS OS te draaien icm enkele fysieke harddrives in passtrough?
Ik heb OMV en TrueNAS met elkaar nu getest. TrueNAS leunt ernstig zwaar op je CPU/RAM door ZFS. OMV heeft ZFS niet native ingebakken (wel via extensies).
Performance met ZFS lijkt ook snel in te kakken met interne transfers tussen VM <> NAS OS. Het liefst zie ik iets als btrfs wat Synology toepast.

Ik wil graag mijn Synology uitfaseren en dus overstappen op storage binnen de server. Dit zal hogere prestaties leveren doordat de onderlinge verbinding gewoon hoger ligt dan de 1Gb via PVE - switch - NAS en weer terug.

Ik gebruik zelf TrueNAS. CPU gebruik kan ik me niet in vinden, dat is altijd erg laag bij mij. Maar qua RAM pakt ZFS wat die pakken kan. Belangrijke nuance is dus dat het niet wil zeggen dat ZFS zoveel RAM ook nodig heeft.

Hoe maak je de transfer tussen VM en NAS OS?

[Quad]

_JGC_ schreef op woensdag 8 oktober 2025 @ 12:23:
@Quad Is maar net wat je precies wilt. Je kunt de raw disks doorzetten naar de VM en alles vanuit je VM managen, moet je wel CPUs en geheugen hebben om ZFS of btrfs te kunnen doen.
Je kunt ook Proxmox het hele ZFS gebeuren laten afhandelen en dan een virtuele disk sharen naar de NAS VM. Persoonlijk denk ik dat dit de betere oplossing is.

En @orvintax
Ik ga dat met PVE op ZFS ook nog wel even bekijken. Dat kan pas als ik de harde schijven zelf binnen heb.
Huidige NAS heeft 2x 18TB, dat wordt dan vervangen door 3x 6/8 TB (even afhankelijk wat nu nodig is).

*arr stack, SABNzb, Plex(en Jellyfin), PBS, Immich maken er dan gebruik van. Verbinding via SMB/CIFS of NFS.
Geheugenupgrade gaat vandaag binnenkomen, dan krijgt de server 64GB om te verbruiken. Ik zou dan evt de TrueNAS instantie 16GB toe kunnen kennen.

Bij gebruik van 3 HDDs kan ik een SATA SSD nog gebruiken om in te zetten als cache binnen OMV.

Performance met OMV op een RAID5 array met btrfs lijkt sneller te zijn vooralsnog. Het kakt vooral niet in.
Dit is op een test VM met 4 virtuele disks gekoppeld.

[_JGC_]

Ik zou zelf gewoon voor ZFS mirror gaan ipv RAIDZ1 of RAID5 met 3 disks. Minder stroomverbruik, snellere writes en net als bij RAIDZ1 of RAID5 1 disk redundancy.

Ja je recovery tijden zijn langer omdat je disk groter is, maar 8TB duurt sowieso ook al een hele tijd, je moet gewoon backups hebben voor het geval er 2 disks sterven.

[RobertMe]

Het ligt natuurlijk ook aan de gevraagde netto capaciteit. Als de vraag nu ~20TB is is een mirror van 2 disks van de gewenste capaciteit voldoende. Als je meer nodig hebt wordt het lastig (in combi met prijs)

Ik loop er nu ook tegenaan dat ik met een 3-way RAIDZ1 steeds de maximale capaciteit moet kopen . Begonnen met 3x 8TB 5 jaar terug. Eerst een door 14 vervangen vroegtijdig, toen een door 18 vroegtijdig. Vervolgens was ik door de capaciteit heen (effectief toen nog steeds op basis van de resterende 8TB dus 16TB netto) en een 20TB "moeten" kopen wat maar een vrij kleine sprong is vanaf de 18TB (gaat tzt maar 4 TB netto opleveren. Nu was het dan wel kleinste van 8 naar 14 is 6TB erbij en dus 12TB in netto totaal). Vervolgens is eerder dit jaar de 14TB gesneuveld (start uberhaupt niet meer met draaien en wordt ook niet herkent) en toen wel maar voor 24TB gegaan. Maar nu is de rek er ook aardig uit. Grotere modellen zijn IIRC nog veel onbetaalbaarder. Maar dit is wel de enige / goedkoooste optie als je niet voldoende hebt aan zeg ~24TB netto.

Of je moet al over stappen naar een stripe van mirrors. Dan kun je elke keer 2 disks (in mirror) aan de stripe toevoegen. En zo semi oneindig uitbreiden. Maar kost wel elke keer 2 disks extra.

Ja, ik weet dat je RAIDZ tegenwoordig ook kunt expanden met extra schijven. Maar dat voelt nogal hackish. Alhoewel die feature volgens mij ook al een jaar of 2 aanwezig is en dus wel al weer redelijk battle tested zal zijn.

[Quad]

Ik heb nu dus een mirror van 18TB, dat is naar verwachting ruim voldoende (heb nu 9TB vrij).
Heb op de server de mogelijkheid tot maximaal 4 SATA HDD/SSDs, de PCIe zal worden gebruikt door een GPU en de 2 NVMe sloten door de SSDs voor de VMs.

De mogelijkheid voor een RAID5 (of ZRAID1) is om later nog uit te breiden met een disk door nu 3 te kiezen. Het hoeft geen state-of-the-art setup te zijn uiteindelijk, als het maar sneller is dan de huidige setup (en dat is het waarschijnlijk al wel snel).

Al die NAS OS's zijn erop gericht dat er meer services zijn om te draaien, dat is voor mij niet van belang natuurlijk. Ik wil voornamelijk dataopslag bieden aan de services die los in LXCs draaien op de Proxmox host.

In dat geval kan ik denk ik beter inderdaad Proxmox de ZFS afhandeling laten doen, dan zit er ook geen extra laag tussen.

[DjoeC]

Even over RAID1/5/6: ALS er een probleem of onverwachte shutdown is zijn de recovery tijden lang. Mijn 8TB WD-reds (RAID1) moeten ongeveer een dag draaien om te resyncen. Raid-5 raad ik niemand meer aan omdat het risico op uitval van een 2e schijf erg groot is. Dan kom je dus op RAID6 uit (2x parity) waarmee het risico een stuk minder wordt. O ja, en een 2TB RAID-6 schijf herstellen liep ooit bij mij 3-4 dagen.....

Voor prive draai ik nu nog RAID1 (2 sets van 2x 8TB) maar ik ga binnenkort terug naar enkelvoudige opslag met automatisch folder sync - ofwel onmiddellijk via folder monitoring, ofwel dagelijks. Eerstvolgende nieuwe disks zullen 24TB of groter worden, resyncen onder RAID zou dan nog veeel langer gaan duren. Denk na over use-cases en risico's. RAID(achtig) klinkt leuk maar zorg dat je er niet van afhankelijk wordt -> Backups.....

Bovenstaande geldt (in mijn geval) voor Windows maar de concepten achter RAID zijn natuurlijk OS onafhankelijk.

[RobertMe]

DjoeC schreef op woensdag 8 oktober 2025 @ 17:31:
Even over RAID1/5/6: ALS er een probleem of onverwachte shutdown is zijn de recovery tijden lang. Mijn 8TB WD-reds (RAID1) moeten ongeveer een dag draaien om te resyncen. Raid-5 raad ik niemand meer aan omdat het risico op uitval van een 2e schijf erg groot is.

Ik heb dus al meerdere keren een disk vervangen, maar dan wel op 1x na altijd met de originele er nog in. En zelfs toen ik dan paar maanden terug daadwerkelijk een kapotte disk had en er max 14TB opnieuw gedaan moest worden (als in: 14TB disk was de kleinste) duurde die hele resilver volgens mij maar om en nabij een dag, zeg 1,5 dag max. Dus mijn N=4 ervaring tot nu toe toont aan dat de kans op uitval tijdens een resilver minder dan 25% is. Uiteraard nog steeds een hoog percentage, maar misschien kan ik nog wel 10x een disk vervangen zonder uitval, en blijft het percentage dus zakken. En max 1,5e dag voor ergens tussen de 8 en 14 TB te rebuilden/resilveren vind ik ook nog wel meevallen.

Bovenstaande geldt (in mijn geval) voor Windows maar de concepten achter RAID zijn natuurlijk OS onafhankelijk.

Ja en nee. ZFS is toch wel iets anders dan "RAID". Aangezien ZFS zowel een volume manager als filesystem is. Geen idee hoe dat overigens bij Windows Storage Spaces(?) zit, of je daarop nog steeds NTFS (/fs naar keuze) draait of dat dat ook zowel een filesystem als volume manager is.

Dingen die ZFS AFAIK ook afwijkend kan doen (sinds een jaar of 2, 3 pas) is sequentieel met de data om gaan. Dus in ieder geval bij een replace waar de originele disk er nog in zit sequentieel de oude disk lezen en naar de nieuwe over zetten. Incl. alle "filesystem" checks dan (checksumming etc) die netjes worden toegepast, dus het is niet letterlijk "lees X MB van de oude schijf in en schrijf die 1 op 1 naar de nieuwe schijf", er zit nog steeds "logica" achter in wat die het doet incl. controle of de oude data "correct" is. En ook het scrubben kan al verschillende jaren sequentieel. Bij mijn weten zijn dat toch zaken die traditionele RAID (/alleen de volume manager) niet kunnen omdat die geen weet hebben van de data/....

[Quad]

Backups is voor mij het punt niet. Dat is nu en dat wordt wel geregeld.
Voor mij is RAID een redundantie waarbij de boel blijft draaien en bruikbaar blijft terwijl ondertussen een drive vervangen wordt waarna de rebuild bezig kan. En of dat 8 uur of 48 uur duurt is niet zo spannend voor thuis.

Ik ben puur op zoek naar een mogelijkheid voor de laagste resourceverbruik in combinatie met voldoende opslag en prestaties.

En dat gevoel heb ik bij TrueNAS bij lange na niet op dit moment.

[orvintax]

Quad schreef op woensdag 8 oktober 2025 @ 13:16:
[...]

En @orvintax
Ik ga dat met PVE op ZFS ook nog wel even bekijken. Dat kan pas als ik de harde schijven zelf binnen heb.
Huidige NAS heeft 2x 18TB, dat wordt dan vervangen door 3x 6/8 TB (even afhankelijk wat nu nodig is).

*arr stack, SABNzb, Plex(en Jellyfin), PBS, Immich maken er dan gebruik van. Verbinding via SMB/CIFS of NFS.
Geheugenupgrade gaat vandaag binnenkomen, dan krijgt de server 64GB om te verbruiken. Ik zou dan evt de TrueNAS instantie 16GB toe kunnen kennen.

Bij gebruik van 3 HDDs kan ik een SATA SSD nog gebruiken om in te zetten als cache binnen OMV.

Performance met OMV op een RAID5 array met btrfs lijkt sneller te zijn vooralsnog. Het kakt vooral niet in.
Dit is op een test VM met 4 virtuele disks gekoppeld.

Wat ik wel een vervelend nadeel vind aan de Proxmox ZFS route is dat je gaat moeten werken met virtuele disks. Ik ben bewust voor een Truenas VM gegaan zodat mijn hele HDD pool dynamisch beschikbaar is. Het is gewoon een filesystem waar je tegen praat. Ik hoef dus mijn pool niet te gaan segmenteren.

Als je trouwens op 1 node draait is de overhead minimaal. Vanwege VirtIO gaat dat allemaal lokaal waardoor in mijn geval de disks gewoon de bottleneck blijven.

[orvintax]

Quad schreef op woensdag 8 oktober 2025 @ 17:19:
Ik heb nu dus een mirror van 18TB, dat is naar verwachting ruim voldoende (heb nu 9TB vrij).
Heb op de server de mogelijkheid tot maximaal 4 SATA HDD/SSDs, de PCIe zal worden gebruikt door een GPU en de 2 NVMe sloten door de SSDs voor de VMs.

De mogelijkheid voor een RAID5 (of ZRAID1) is om later nog uit te breiden met een disk door nu 3 te kiezen. Het hoeft geen state-of-the-art setup te zijn uiteindelijk, als het maar sneller is dan de huidige setup (en dat is het waarschijnlijk al wel snel).

Al die NAS OS's zijn erop gericht dat er meer services zijn om te draaien, dat is voor mij niet van belang natuurlijk. Ik wil voornamelijk dataopslag bieden aan de services die los in LXCs draaien op de Proxmox host.

In dat geval kan ik denk ik beter inderdaad Proxmox de ZFS afhandeling laten doen, dan zit er ook geen extra laag tussen.

Heb je die drie disks al? Mij lijkt het persoonlijk logischer om eerst die twee (die je zeker al hebt) in te zitten als mirror. Daar heb je voorlopig in je eigen woorden genoeg aan. Je kunt dan later altijd nog twee nieuwe toevoegen als extra vdev.

Het voordeel hiervan is dat je nu dan nog niet hoeft te gaan anticiperen op later. Als je nu er een extra van 18TB gaat kopen, dan moet je er later als je wilt uitbreiden ook zo een bijzetten. Door het voor nu te houden bij een mirror, kun je straks bijvoorbeeld ook 2x 24TB toevoegen.

Het andere voordeel is ook dat je met een stripe + mirror meer IOPS krijgt, terwijl met enkel de stripe je meer throughput krijgt. En dat eerste lijkt me wenselijker voor een HDD setup.

[orvintax]

Quad schreef op woensdag 8 oktober 2025 @ 18:45:
En dat gevoel heb ik bij TrueNAS bij lange na niet op dit moment.

Ben wel benieuwd waar dat vandaan komt. TrueNAS is Debian + OpenZFS met een sausje erover. Je kunt ook services uitzetten die je niet gebruikt om het efficienter te maken.

[RobertMe]

orvintax schreef op woensdag 8 oktober 2025 @ 20:18:
[...]

Ben wel benieuwd waar dat vandaan komt. TrueNAS is Debian + OpenZFS met een sausje erover. Je kunt ook services uitzetten die je niet gebruikt om het efficienter te maken.

TrueNAS is toch BSD (FreeBSD, waar ook OpenZFS in zit)? Debian based is TrueNAS Scale bij mijn weten? (En "scale" is niet benoemd geworden tot nu toe)

[orvintax]

RobertMe schreef op woensdag 8 oktober 2025 @ 20:23:
[...]

TrueNAS is toch BSD (FreeBSD, waar ook OpenZFS in zit)? Debian based is TrueNAS Scale bij mijn weten? (En "scale" is niet benoemd geworden tot nu toe)

Je hebt in princiepe gelijk. Alleen is de BSD versie tegenwoordig TrueNAS Legacy/ TrueNAS CORE. TrueNAS Scale noemen ze nu ook TrueNAS CE. Ze gaan CORE versie uitfaseren dus tegenwoordig is Scale de normale.

[Quad]

orvintax schreef op woensdag 8 oktober 2025 @ 20:12:
[...]

Wat ik wel een vervelend nadeel vind aan de Proxmox ZFS route is dat je gaat moeten werken met virtuele disks. Ik ben bewust voor een Truenas VM gegaan zodat mijn hele HDD pool dynamisch beschikbaar is. Het is gewoon een filesystem waar je tegen praat. Ik hoef dus mijn pool niet te gaan segmenteren.

Als je trouwens op 1 node draait is de overhead minimaal. Vanwege VirtIO gaat dat allemaal lokaal waardoor in mijn geval de disks gewoon de bottleneck blijven.

Ja dat bedacht ik mij net ook, je hebt alsnog iets nodig waar je SMB/cifs en NFS service op regelt met de authenticatie. Dus dat lijkt alsnog af te vallen.

orvintax schreef op woensdag 8 oktober 2025 @ 20:17:
[...]

Heb je die drie disks al? Mij lijkt het persoonlijk logischer om eerst die twee (die je zeker al hebt) in te zitten als mirror. Daar heb je voorlopig in je eigen woorden genoeg aan. Je kunt dan later altijd nog twee nieuwe toevoegen als extra vdev.

Het voordeel hiervan is dat je nu dan nog niet hoeft te gaan anticiperen op later. Als je nu er een extra van 18TB gaat kopen, dan moet je er later als je wilt uitbreiden ook zo een bijzetten. Door het voor nu te houden bij een mirror, kun je straks bijvoorbeeld ook 2x 24TB toevoegen.

Het andere voordeel is ook dat je met een stripe + mirror meer IOPS krijgt, terwijl met enkel de stripe je meer throughput krijgt. En dat eerste lijkt me wenselijker voor een HDD setup.

Ik heb nu in de Synology 2x MG09 18TB zitten. Die wil ik samen met de Synology weg doen..

• Het geluid van de schijven is echt heftig, alsof er constant een koffieapparaat staat te pruttelen. Tevens lijkt mijn vrouw dit 's nachts te horen.
• 1Gb netwerksnelheid updown is dan max 500Mbps met acties als SabNZB.

Ik zit dus te azen op een nieuwe setup van 3x 6TB of 3x 8TB met 1 disk in parity voor redundancy. Ik begrijp dat zoiets langzamer kan zijn maar ik verwacht dat de snelheid hoger ligt dan 1Gb als de data vanuit het VirtIO netwerk wordt aangesproken of wordt geschreven.

orvintax schreef op woensdag 8 oktober 2025 @ 20:18:
[...]

Ben wel benieuwd waar dat vandaan komt. TrueNAS is Debian + OpenZFS met een sausje erover. Je kunt ook services uitzetten die je niet gebruikt om het efficienter te maken.

Het is weliswaar wel gebaseerd op een test van ca 30 minuten klikken, kijken en een testsetup opbouwen met 3x een virtuele disk vanaf een SATA SSD. Ik zie net echter dat TrueNAS Connect heeft aangekondigd, dit maakt het ook wel weer interessant.
Ik ga het eerst maar eens uitwerken en uitzoeken en dan een beslissing maken, geen haast.

Mijn PVE is voor nu voorzien van een nieuwe behuizing en een memory upgrade naar 64GB.

[dcm360]

In het geval van LXC kan je eenzelfde dataset ook delen doormiddel van bind mounts, en voor KVM heb je tegenwoordig VirtioFS (maar dat heb ik zelf nog nooit gebruikt). Op die manier kan je voorkomen dat je intern op de server de storage alsnog met netwerkprotocollen aan elkaar moet knopen.

[stormfly]

Quad schreef op woensdag 8 oktober 2025 @ 22:53:
[...]

Ik heb nu in de Synology 2x MG09 18TB zitten. Die wil ik samen met de Synology weg doen..

• Het geluid van de schijven is echt heftig, alsof er constant een koffieapparaat staat te pruttelen. Tevens lijkt mijn vrouw dit 's nachts te horen.
• 1Gb netwerksnelheid updown is dan max 500Mbps met acties als SabNZB.

Misschien niet helemaal relevant maar deel het toch, ik ben zelf begonnen met het afbouwen van Synology vanwege hun achterblijven de hardware specs en de opmerkelijke stap tot het boycotten van bepaalde disken.

De TerraMaster F4 SSD is als aanvulling gekomen, 4x NVMe NAS en een 5Gbps port, ideaal voor VM's over NFS. Qua software is DSM het ultieme product, daar komt TerraMaster niet in de buurt. Bijkomend voordeel meer ruimte over in meterkast, minder stroom verbruik (11watt 4x NVMe) en geen gepruttel meer. En een enorme performance vanuit de N95 CPU. 2TB NVMe is nu betaalbaar aan het worden dus je moet misschien wel iets anders nadenken over je storage verdeling. Mijn DS1019+ draait nog als backup server voor wat taken en gaat zeker niet weg, staat alleen op zondag aan als de backups lopen.

[orvintax]

dcm360 schreef op woensdag 8 oktober 2025 @ 23:09:
In het geval van LXC kan je eenzelfde dataset ook delen doormiddel van bind mounts, en voor KVM heb je tegenwoordig VirtioFS (maar dat heb ik zelf nog nooit gebruikt). Op die manier kan je voorkomen dat je intern op de server de storage alsnog met netwerkprotocollen aan elkaar moet knopen.

Bindmounts zijn ook nog een goeie ja Ik ben wel benieuwd of iemand hier al ervaring heeft met VirtioFS? Het is wel een FUSE filesystem dus dat is wel nadelig voor de snelheid. Ik vraag me dan af wat sneller zou zijn NFS over een VirtIO netwerk of FUSE.

[Quad]

dcm360 schreef op woensdag 8 oktober 2025 @ 23:09:
In het geval van LXC kan je eenzelfde dataset ook delen doormiddel van bind mounts, en voor KVM heb je tegenwoordig VirtioFS (maar dat heb ik zelf nog nooit gebruikt). Op die manier kan je voorkomen dat je intern op de server de storage alsnog met netwerkprotocollen aan elkaar moet knopen.

Bindmounts werk ik nu ook al mee voor de LXC's. De PVE servers verzorgen de koppeling naar de NAS toe.
Ik had zelf bedacht dat dit zo ongeveer wel blijft bestaan, anders moet ik elke container die hier gebruik van maakt langs gaan en de mounts aanpassen.

stormfly schreef op donderdag 9 oktober 2025 @ 08:09:
[...]


Misschien niet helemaal relevant maar deel het toch, ik ben zelf begonnen met het afbouwen van Synology vanwege hun achterblijven de hardware specs en de opmerkelijke stap tot het boycotten van bepaalde disken.

De TerraMaster F4 SSD is als aanvulling gekomen, 4x NVMe NAS en een 5Gbps port, ideaal voor VM's over NFS. Qua software is DSM het ultieme product, daar komt TerraMaster niet in de buurt. Bijkomend voordeel meer ruimte over in meterkast, minder stroom verbruik (11watt 4x NVMe) en geen gepruttel meer. En een enorme performance vanuit de N95 CPU. 2TB NVMe is nu betaalbaar aan het worden dus je moet misschien wel iets anders nadenken over je storage verdeling. Mijn DS1019+ draait nog als backup server voor wat taken en gaat zeker niet weg, staat alleen op zondag aan als de backups lopen.

Hm ja mooi apparaatje. Maar voor mijn huidige setup geen optie verwacht ik. Ik heb nu (en straks) 2x NVMe SSDs voor de boot en voor de VMs/LXCs draaien. Backups van PVE/ M365 en overige data (Plex/fotos enz) gaan naar de NAS opslag. De belangrijkste data (foto's/M365) wordt weer weggezet bij Hetzner. Gevoelsmatig heb ik het wel goed voor elkaar en is het doel om van 3 naar 1 machine te gaan goed te realiseren.
Alleen de juiste keuze voor het OS van de NAS binnen een VM op PVE is iets waar ik goed naar moet kijken.

Ik ga dat weer oppakken zodra de keuze voor schijven zijn gemaakt en deze binnen zijn. Het blijft uiteindelijk maar een thuismachine.

[ComTech]

Is er ook een manier om te zorgen dat één LXC of VM je hele systeem niet kan platleggen?
Ik was daar straks wat aan het testen met een LXC en ik had die wat weinig ram gegeven en daardoor was mijn hele proxmox host niet meer te bereiken.
Uiteindelijk de host kunnen rebooten maar handig is dat niet natuurlijk.

[FrankHe]

ComTech schreef op donderdag 9 oktober 2025 @ 23:23:
Is er ook een manier om te zorgen dat één LXC of VM je hele systeem niet kan platleggen?
Ik was daar straks wat aan het testen met een LXC en ik had die wat weinig ram gegeven en daardoor was mijn hele proxmox host niet meer te bereiken.
Uiteindelijk de host kunnen rebooten maar handig is dat niet natuurlijk.

Wat er vermoedelijk aan de hand was is dat die LXC vanwege geheugengebrek als een gek is gaan swappen naar HDD/SSD waardoor je storage onvoldoende I/O beschikbaar had om aan andere dingen toe te komen? Dat is althans mijn eerste indruk wanneer ik je verhaal lees.

Bij een Virtual Machine kun je onder 'Hardware' bij een HDD aangeven of er sprake moet zijn van een bandbreedtebeperking. Megabyte per seconde dan wel operations per seconde.


Voor zover ik kan nagaan is dit bij een LXC niet als zodanig mogelijk?

Wanneer het probleem niet de disk I/O's is dan is het ook goed mogelijk dat het host OS / PVE ergens op vastloopt. Een LXC is immers geen VM maar een container, die is meer geïntegreerd met het host OS en kent daardoor minder isolatie dan een daadwerkelijke VM. Ik vind het lastig te zeggen hoe ver dit uit de hand kan lopen.

[FrankHe]

FrankHe schreef op woensdag 15 oktober 2025 @ 14:48:
[...]

Wat er vermoedelijk aan de hand was is dat die LXC vanwege geheugengebrek als een gek is gaan swappen naar HDD/SSD waardoor je storage onvoldoende I/O beschikbaar had om aan andere dingen toe te komen? Dat is althans mijn eerste indruk wanneer ik je verhaal lees.

Bij een Virtual Machine kun je onder 'Hardware' bij een HDD aangeven of er sprake moet zijn van een bandbreedtebeperking. Megabyte per seconde dan wel operations per seconde.
[Afbeelding]

Voor zover ik kan nagaan is dit bij een LXC niet als zodanig mogelijk?

Wanneer het probleem niet de disk I/O's is dan is het ook goed mogelijk dat het host OS / PVE ergens op vastloopt. Een LXC is immers geen VM maar een container, die is meer geïntegreerd met het host OS en kent daardoor minder isolatie dan een daadwerkelijke VM. Ik vind het lastig te zeggen hoe ver dit uit de hand kan lopen.

Een aanvulling op het voorgaande. Lukte het uiteindelijk om Proxmox VE via de webinterface te benaderen? Heb je toevallig (ook) via SSH geprobeerd PVE te benaderen? Als er ook via SSH geen doorkomen aan is dan is het inderdaad flink mis.

[Quad]

Quad schreef op woensdag 8 oktober 2025 @ 11:59:
Wat heeft jullie voorkeur om als virtueel NAS OS te draaien icm enkele fysieke harddrives in passtrough?
Ik heb OMV en TrueNAS met elkaar nu getest. TrueNAS leunt ernstig zwaar op je CPU/RAM door ZFS. OMV heeft ZFS niet native ingebakken (wel via extensies).
Performance met ZFS lijkt ook snel in te kakken met interne transfers tussen VM <> NAS OS. Het liefst zie ik iets als btrfs wat Synology toepast.

Ik wil graag mijn Synology uitfaseren en dus overstappen op storage binnen de server. Dit zal hogere prestaties leveren doordat de onderlinge verbinding gewoon hoger ligt dan de 1Gb via PVE - switch - NAS en weer terug.

Even terugkomend op bovenstaand;
Ik heb inmiddels TrueNAS gekozen. 4 cores 16GB RAM, 64GB bootdisk (wordt gebackupt) en 128GB als cache disk vanaf mn NVMe SSD voor ZFS. De SATA controller is doorgelusd met passtrough waardoor ik 3x 8TB WD Red Plus WD80EFPX in de TrueNAS VM heb.
Gekozen voor ZFS RAID met 1 disk als parity en 128GB vDISK als cache SSD. De schijven kon ik via via nieuw voor 160 euro krijgen waardoor het een nobrainer was.

Om onderling snellere en directe verbindingen te hebben heeft de TrueNAS VM een 2e netwerkadapter gekregen die, via een interne bridge, aan de host gekoppeld wordt en met mountpoints de LXCs bedient.
Het gevolg is dat bijvoorbeeld SabNZB download via zn netwerkpoort en de data kan uitpakken via de mountpoint op de PVE host met maximale snelheid door die interne bridge.

Nu kan direct unpack ook aan, eerst zorgde dat voor een halvering van de downloadsnelheid.


Maar goed, alles gaat sneller, het laden van video binnen Plex gaat rapper en Proxmox Backup heeft hogere schrijfsnelheden. Tot nu toe niet ontevreden over mijn keuze.

Voor de rest is mijn energieverbruik met ca 15W toegenomen, wat geheel volgens de verwachting is. De NAS consumeert ongeveer hetzelfde met 2 drives a 18TB. Deze is nu afgeschakeld en en gaat de deur uit.

Een goed alternatief om mijn M365 te backuppen ipv via Synology NAS heb ik nog niet gevonden. Het alternatief wat ik daarvoor bedacht heb en werkt is een iSCSI disk van TrueNAS naar de PVE host, deze is dan gekoppeld aan een xpenology VM die elke dag een kwartiertje draait, de backup van de omgeving maakt en de boel weer afsluit. Notificaties gaan naar Home Assistant via webhooks waarop ik ook monitor op leeftijd van de notificaties.
Houwtjetouwtje oplossing, maar het werkt tot ik een goed alternatief heb.

De komende week komt een CPU upgrade binnen en dan gaan we BF in de gaten houden voor een GPU. Verder verdient mijn PVE host nog finetuning ivm start- afsluitvolgordes enz.

Al met al niet ontevreden en dank voor de tips.

[_eLMo_]

Ik heb een nieuwe NAS gekocht en was van plan deze in te richten met Unraid, maar daar kom ik een beetje van terug. Alle "mooie" dingen die daar inzitten zijn vooral halve abstracties, die me meer in de weg gingen zitten (VLAN's bv) dan hielpen.

Mijn huidige use cases:
- Home Assistant - VM
- Minecraft game server - LXC
- ARR Stack + Jellyfin - LXC / Docker?
- PiHole - LXC
- SeaFile - LXC / Docker?
- Immich - LXC / Docker?

Mijn huidige NUC draait Proxmox VE, en daar ben ik erg tevreden over, dus ik wil mijn nieuwe NAS hier ook op gaan baseren.
Dan moet ik alleen beslissen wat ik ga doen met de disk array (3x 20TB). Ik vond het aan Unraid wel cool dat ze XFS gebruikten met parity disk. Ik vind ZFS zelf overkill en teveel overhead, daarnaast is het slecht uitbreidbaar (ik heb 8 bays, waarvan dus nog 5 beschikbaar). Stroomverbruik vind ik minder belangrijk dan lange levensduur van de HDD's.

Iemand hier ervaring met zoiets inrichting op Proxmox? Kan je zoiets als XFS gebruiken maar wel 1 volume krijgen? Cronjob opzetten om spul te moven van de M.2 SSD naar de array kan ik zelf wel bakken, maar als er al iets is....

Of gewoon Unraid in een LXC proppen, SATA controllers VT-d'en en alleen de Disk Array kant gebruiken en mounten/beschikbaar maken naar Proxmox?
Toch inbinden en ZFS? En dan de SSD alleen in een losse ZFS pool?

[ Voor 14% gewijzigd door _eLMo_ op 21-10-2025 14:19 ]

[RobertMe]

_eLMo_ schreef op dinsdag 21 oktober 2025 @ 14:00:
k vind ZFS zelf overkill en teveel overhead, daarnaast is het slecht uitbreidbaar (ik heb 8 bays, waarvan dus nog 5 beschikbaar).

ZFS ondersteund al een aantal versies RAIDZ expansion. Dus van die 3 disks in RAIDZ1 (neem ik aan) kun je ook naar 4 disks of 5 disks, bij mijn weten.

Daarnaast is hoe ik het lees RAIDZ / RAID5/6 sowieso een beetje passé? En kun je beter een stripped mirror (/RAID10) gebruiken. Dus steeds 2 disks in een mirror plaatsen en die mirrors met een stripe samenvoegen. Bij grotere sets geeft dat een veel betere bescherming (als je bv 5 mirrors van 2 disks hebt, dus 10 disks in totaal, mag bij de uitval van 1 disk er van de 9 overblijvende disks er 8 verschillende uitvallen zonder dat er data loss optreed, de enige die niet mag uitvallen is dus de disk in dezelfde mirror (en na uitval van een ander uiteraard ook niet de ander in die mirror). Van de 10 mogen er dus "de juiste 5" allemaal tegelijkertijd stuk zijn. Zou je RAIDZ1 hebben met 10 disks dan mogen na de uitval van 1 disk er nog maar 0 uitvallen of je bent de data kwijt). En de performance van een striped mirror is ook beter. En je kunt meer mixen en matchen (bij RAIDZ telt de capaciteit van de kleinste disk voor de totale capaciteit (kleinste disk * (aantal - aantal parity)). Bij striped mirror maakt de grote van de vdevs in de stripe niet uit, alleen de kleinste disk in de mirror bepaald de grote van de mirror vdev. Maar 2x 10 in een mirror + 2x 20 in een mirror levert netto 30TB op, bij RAIDZ1 is dat ook 30, maar wel lastiger uitbreiden).

Note: ik draai zelf al ~5 jaar RAIDZ1, en heb nog altijd disks vervangen om de capaciteit te vergroten, en geen expansion met een extra disk gedaan. Zou ik de pool opnieuw opzetten zou ik eerder een striped mirror nemen waarschijnlijk (en de 8TBs die nu ongebruikt zijn want te klein gewoon gebruiken).

[_eLMo_]

RobertMe schreef op dinsdag 21 oktober 2025 @ 14:20:
[...]

ZFS ondersteund al een aantal versies RAIDZ expansion. Dus van die 3 disks in RAIDZ1 (neem ik aan) kun je ook naar 4 disks of 5 disks, bij mijn weten.

Daarnaast is hoe ik het lees RAIDZ / RAID5/6 sowieso een beetje passé? En kun je beter een stripped mirror (/RAID10) gebruiken. Dus steeds 2 disks in een mirror plaatsen en die mirrors met een stripe samenvoegen. Bij grotere sets geeft dat een veel betere bescherming (als je bv 5 mirrors van 2 disks hebt, dus 10 disks in totaal, mag bij de uitval van 1 disk er van de 9 overblijvende disks er 8 verschillende uitvallen zonder dat er data loss optreed, de enige die niet mag uitvallen is dus de disk in dezelfde mirror (en na uitval van een ander uiteraard ook niet de ander in die mirror). Van de 10 mogen er dus "de juiste 5" allemaal tegelijkertijd stuk zijn. Zou je RAIDZ1 hebben met 10 disks dan mogen na de uitval van 1 disk er nog maar 0 uitvallen of je bent de data kwijt). En de performance van een striped mirror is ook beter. En je kunt meer mixen en matchen (bij RAIDZ telt de capaciteit van de kleinste disk voor de totale capaciteit (kleinste disk * (aantal - aantal parity)). Bij striped mirror maakt de grote van de vdevs in de stripe niet uit, alleen de kleinste disk in de mirror bepaald de grote van de mirror vdev. Maar 2x 10 in een mirror + 2x 20 in een mirror levert netto 30TB op, bij RAIDZ1 is dat ook 30, maar wel lastiger uitbreiden).

Note: ik draai zelf al ~5 jaar RAIDZ1, en heb nog altijd disks vervangen om de capaciteit te vergroten, en geen expansion met een extra disk gedaan. Zou ik de pool opnieuw opzetten zou ik eerder een striped mirror nemen waarschijnlijk (en de 8TBs die nu ongebruikt zijn want te klein gewoon gebruiken).

Dankjewel voor je antwoord. De reden dat ik zei dat uitbreidbaarheid slecht is, is tweeledig. Enerzijds kan je niet van RAIDZ1 naar RAIDZ2, dat is een destructieve operatie. Anderzijds kan je nu een schijf toevoegen aan je UDEV (van dezelfde grootte idd), maar wordt de data niet opnieuw gebalanceerd, dus is het qua protectie niet optimaal zonder al je data opnieuw weg te schrijven?
Gezien ik 20TB disks gebruik, is er een veel grotere kans op een tweede failure (bij het herstellen van de array), dus is dat minder aantrekkelijk dan wat Unraid doet.

Als ik naar Striped mirror wil, dan heb ik een extra disk nodig (€330), kost het meer energie, en to be fair: ik sla vooral licentie vrije films op, die ik opnieuw kan downloaden, dus ik heb geen rock solid betrouwbare NAS nodig, daarvoor heb ik ook backups op andere plekken.

De performance is wellicht wel interessant, en ook minder gedoe bij resilvering versus RAIDZ1, en je kan disks verwijderen (niet bij RAIDZ1). Ik zal er eens over nadenken.

- Edit: ik heb een 4e disk besteld, Striped Mirror it is

[XiMMiX]

_eLMo_ schreef op dinsdag 21 oktober 2025 @ 14:00:
Dan moet ik alleen beslissen wat ik ga doen met de disk array (3x 20TB). Ik vond het aan Unraid wel cool dat ze XFS gebruikten met parity disk. Ik vind ZFS zelf overkill en teveel overhead, daarnaast is het slecht uitbreidbaar (ik heb 8 bays, waarvan dus nog 5 beschikbaar). Stroomverbruik vind ik minder belangrijk dan lange levensduur van de HDD's.

Iemand hier ervaring met zoiets inrichting op Proxmox? Kan je zoiets als XFS gebruiken maar wel 1 volume krijgen? Cronjob opzetten om spul te moven van de M.2 SSD naar de array kan ik zelf wel bakken, maar als er al iets is....

XFS is puur een filesystem, en heeft dus geen weet van parity disk. De laatste keer dat ik naar unraid keek gebruikten ze linux' mdraid met een custom driver. Dus ze gebruiken mdraid om meerdere fysieke disks te combineren tot 1 array en op die array zet je dan een (XFS) filesystem. De unieke features van Unraid wat betreft het uitbreiden van een bestaande array zijn het gevolg van die custom driver.

Op zich is proxmox een extra schil bovenop linux, dus op zich kan je in proxmox ook mdraid gebruiken. Maar er zit in de proxmox GUI geen ondersteuning hiervoor. En de custom driver van Unraid is uiteraard niet beschikbaar. Op zich biedt standaard mdraid ook wel opties om een extra drive aan een bestaande array toe te voegen, maar wel beperkter dan Unraid. Binnen proxmox gui gebruik je vervolgens lvm boven op de mdraid array, je kan dan binnen de gui volumes aanmaken en die toewijzen aan VMs. Binnen de VM kies je dan het filesystem.
Er is dus een optie, maar vraagt wel veel hand werk buiten de Proxmox GUI om. En aangezien weinig andere mensen het zo doen zal je bij problemen het helemaal zelf moeten oplossen.

_eLMo_ schreef op dinsdag 21 oktober 2025 @ 14:00:
Of gewoon Unraid in een LXC proppen, SATA controllers VT-d'en en alleen de Disk Array kant gebruiken en mounten/beschikbaar maken naar Proxmox?
Toch inbinden en ZFS? En dan de SSD alleen in een losse ZFS pool?

Unraid in een LXC gaat niet, wel in een VM. Maar anders dan dat lijkt me het een werkende optie.

Ik heb zelf voor ZFS gekozen. Storage uitbreiden heb ik gedaan door mijn 6x6TB array disk voor disk te vervangen door een 6x18TB array. Maar nog een keer zo'n stap is moeilijker omdat het maximale formaat van HDDs minder hard groeit en de prijzen wel hard door blijven groeien.

[Airw0lf]

XiMMiX schreef op dinsdag 21 oktober 2025 @ 16:23:
[...]

Op zich is proxmox een extra schil bovenop linux, dus op zich kan je in proxmox ook mdraid gebruiken. Maar er zit in de proxmox GUI geen ondersteuning hiervoor. En de custom driver van Unraid is uiteraard niet beschikbaar. Op zich biedt standaard mdraid ook wel opties om een extra drive aan een bestaande array toe te voegen, maar wel beperkter dan Unraid. Binnen proxmox gui gebruik je vervolgens lvm boven op de mdraid array, je kan dan binnen de gui volumes aanmaken en die toewijzen aan VMs. Binnen de VM kies je dan het filesystem.
Er is dus een optie, maar vraagt wel veel hand werk buiten de Proxmox GUI om. En aangezien weinig andere mensen het zo doen zal je bij problemen het helemaal zelf moeten oplossen.

[...]

Ik heb voor deze variant gekozen en via mdadm een raid volume aangemaakt.
Vervolgens opgenomen in de Proxmox storage config.

De mdadm om het volume aan te maken:
mdadm --create /dev/md0 --level=0 --raid-devices=2 --chunk=128 /dev/sdb /dev/sdc
mdadm --detail /dev/md0
mdadm --detail --scan >> /etc/mdadm/mdadm.conf
sudo update-initramfs -u

In mijn geval een raid-0 device met 2 SATA disken van elk 8-Tbytes: /dev/md0

Vervolgens met pvcreate en vgcreate een lvm volume aangemaakt:
pvcreate /dev/md0
vgcreate raid0-nas /dev/md0

Als laatste in /etc/pve/storage.cfg het volgende toegevoegd:
lvm: nas-volume
vgname raid0-nas
content images,rootdir

Verschijnt dan spontaan als nas-volume in de web-ui - een reboot is niet nodig.
Nu kan ie opgenomen worden in een VM of LXC container - ik heb het laatste gedaan via een mount point.
Binnen die container draaien o.a. Samba en Nextcloud - de laatste via een Docker container.

Ik gebruik geen passthrough modus en heb binnen de container een eigen Samba config aangemaakt:

[global]

# AD settings for member server
# realm tech.lan

# Remaining settings
server role = standalone server
workgroup = zion
logging = file
disable netbios = yes
smb ports = 445
map to guest = bad user
pam password change = yes
obey pam restrictions = yes
map system = yes
server string = %h server
log file = /var/log/samba/log.%m
max log size = 1000
security = user
unix password sync = yes
unix extensions = yes
wide links = no
passwd program = /usr/bin/passwd %u
usershare allow guests = no
passwd chat = *Enter\snew\s*\spassword:* %n\n *Retype\snew\s*\spassword:* %n\n *password\supdated\ssuccessfully* .
panic action = /usr/share/samba/panic-action %d
server min protocol = SMB2
create mask = 775
directory mask = 2775
force create mode = 2775
force directory mode = 2775
force group = sambashare
valid users = @sambashare
writable = yes
server multi channel support = yes
aio read size = 1
aio write size = 1
bind interfaces only = yes
interfaces = eth*

#======================= Share Definitions =======================

# Un-comment the following (and tweak the other settings below to suit)
# to enable the default home directory shares. This will share each
# user's home directory as \\server\username

[homes]
path = /mnt/nas-volume/shares/homes/%U
browseable = yes
guest ok = no

[install]
path = /mnt/nas-volume/shares/install
browseable = yes
guest ok = no

[cz-images]
path = /mnt/nas-volume/shares/cz-images
browseable = yes
guest ok = no

[staging]
path = /mnt/nas-volume/shares/staging
browseable = yes
guest ok = no

[scans]
path = /mnt/nas-volume/shares/scans
browseable = yes
guest ok = no

[lyrion]
path = /mnt/nas-volume/lyrion
browseable = yes
guest ok = yes

[temp]
path = /mnt/nas-volume/shares/temp
browseable = yes
guest ok = yes

[backup]
path = /mnt/nas-volume/shares/backup
browseable = yes
guest ok = no

[ftp]
path = /mnt/nas-volume/shares/ftp
browseable = yes
guest ok = no

[ Voor 56% gewijzigd door Airw0lf op 21-10-2025 17:08 ]

[DarkAllMan]

Misschien heeft iemand deze situatie ook. Ik draai nog niet heel lang op Proxmox, maar tot op heden ben ik er super blij mee. Ik heb Kuma Uptime draaien als LXC via een helper script.
Nu is er een flinke release (2.0). Als ik een upgrade doe binnen de LXC dan werkt het niet meer. (langleve snapshots)
Kuma-Uptime server geeft alleen maar deze melding in error log:

code:

Error [ERR_SERVER_NOT_RUNNING]: Server is not running. at Server.close (node:net:2359:12) at Object.onceWrapper (node:events:633:28) at Server.emit (node:events:531:35) at emitCloseNT (node:net:2419:8) at process.processTicksAndRejections (node:internal/process/task_queues:89:21) { code: 'ERR_SERVER_NOT_RUNNING' }

Hoe kan ik upgraden zonder dat ik alles sloop