Het grote Proxmox VE topic

[InjecTioN]

Rubman schreef op zaterdag 21 februari 2026 @ 20:15:
[...]

Ja dat is waar, had ik even niet over nagedacht, dan blijven we lekker bij de Chromecast.

Nu wil transcoding ook niet helemaal lekker werken in de huidige opzet, dus moet ik nog even in duiken al kan het kwestie zijn van gewoonweg te oude NUC die het niet bijbeent. Of mijn settings staan niet lekker.

Je zou Jellyfin ook volledig achterwegen kunnen laten en iets als Kodi in een VM kunnen installeren op de NUC met GPU-pass-through (VT-d of AMD-Vi ondersteuning is noodzakelijk). Die kan voor het grootste deel taken overnemen van Jellyfin. Veel codecs worden daarin simpelweg ondersteund. Dan heb je ook geen transcoding proxy zoals Jellyfin nodig, wat in die situatie eigenlijk alleen maar overhead veroorzaakt. Kodi is dan simpelweg de enige die de GPU nodig heeft. Wel even network shares (SMB/NFS) gebruiken voor de data die je wilt streamen, maar dat zit bij jou denk ik al wel goed.

Een LXC voor Kodi is ook mogelijk. En dat zorgt voor minder overhead, maar dat kost mogelijk nèt wat meer moeite om het werkend te krijgen. Maar het kan dus wel prima.

Je kan als alternatief ook Kodi installeren op de GoogleTV (En bij voorkeur de GoogleTV in app-only mode zetten). Dan hoef je die NUC niet eens bij de TV in de buurt te hebben (iets met herrie van de ventilator).

Ik draai hier thuis een Jellyfin server zodat ik met mijn AppleTV via Jellyfin kan streamen. Maar ik heb soms alsnog Kodi op de GoogleTV als achtervang nodig, omdat er soms iets niet (lekker) via Jellyfin werkt.

Daarbij is er na een snelle zoekopdracht ook een Jellyfin add-in voor Kodi. Gewoon ter info.

[ElCondor]

Wat een bak!
Het weekeinde tijd besteed aan het omzetten van lokale docker volumes naar NFS-backed volumes voor de meeste van mijn containers.
Wat blijkt: waar dit hele circus om was begonnen, containers draaiend op docker in Alpine LXC bljken alsnog geen gebruik te kunnen maken van NFS-backed volumes, want mounting NFS is 'Not permitted'. Ook niet als de docker service dit wil doen in een unprivileged container.
Ik heb er genoeg van, ik ga Alpine er af gooien en er een Debian VM van maken. Docker in LXC, blijf er ver vandaan als je er grotere services op wilt gaan draaien, of je containers wilt kunnen migreren naar andere hosts.
Zit ik alleen met twee flinke migraties van mijn PaperlessXNG en Authentik die omgezet zullen moeten gaan worden. Paperless heeft een vrij robuuste, zei het bewerkelijke, manier van exporteren en importeren in een nieuwe instance, dus dat is te doen, maar ik weet niet hoe ik dit met Authentik moet gaan aanvliegen.
Dat wordt weer studeren.

[InjecTioN]

ElCondor schreef op maandag 23 februari 2026 @ 08:46:
Wat een bak!
Het weekeinde tijd besteed aan het omzetten van lokale docker volumes naar NFS-backed volumes voor de meeste van mijn containers.
Wat blijkt: waar dit hele circus om was begonnen, containers draaiend op docker in Alpine LXC bljken alsnog geen gebruik te kunnen maken van NFS-backed volumes, want mounting NFS is 'Not permitted'. Ook niet als de docker service dit wil doen in een unprivileged container.
Ik heb er genoeg van, ik ga Alpine er af gooien en er een Debian VM van maken. Docker in LXC, blijf er ver vandaan als je er grotere services op wilt gaan draaien, of je containers wilt kunnen migreren naar andere hosts.
Zit ik alleen met twee flinke migraties van mijn PaperlessXNG en Authentik die omgezet zullen moeten gaan worden. Paperless heeft een vrij robuuste, zei het bewerkelijke, manier van exporteren en importeren in een nieuwe instance, dus dat is te doen, maar ik weet niet hoe ik dit met Authentik moet gaan aanvliegen.
Dat wordt weer studeren.

Heb je de container wel initieel met Privileged, Nested en NFS flags ingeschakeld aangemaakt? Want NFS/SMB werkt eigenlijk alleen maar in privileged mode. Zorg er daarbij ook voor dat de Nested flag aan staat. Sandboxing gebeurt in bijna iedere omgeving (kijk bijvoorbeeld al naar snap of een ontwikkelomgeving voor bijvoorbeeld python). Zo heb ik een tijdje geleden redelijk wat issues gehad met een hoop LXC’s, waarbij nested uit stond. Na inschakelen: echt alle problemen weg.

Ik gebruik een Docker LXC voor Frigate. Ook met device pass through. Werkt echt meer dan prima. Het is een LXC met bovenstaande flags enabled vanaf het opzetten. Wel met een LXC helper opgezet overigens. Maar wel expliciet de LXC. Ik heb niet inhoudelijk onthouden wat er in het script voor de docker LXC helper gebeurt, maar het zag er allemaal wel prima uit toen ik het een aantal maanden geleden installeerde.

[ElCondor]

InjecTioN schreef op maandag 23 februari 2026 @ 09:08:
[...]

Heb je de container wel initieel met Privileged, Nested en NFS flags ingeschakeld aangemaakt? Want NFS/SMB werkt eigenlijk alleen maar in privileged mode. Zorg er daarbij ook voor dat de Nested flag aan staat. Sandboxing gebeurt in bijna iedere omgeving (kijk bijvoorbeeld al naar snap of een ontwikkelomgeving voor bijvoorbeeld python). Zo heb ik een tijdje geleden redelijk wat issues gehad met een hoop LXC’s, waarbij nested uit stond. Na inschakelen: echt alle problemen weg.

Ik gebruik een Docker LXC voor Frigate. Ook met device pass through. Werkt echt meer dan prima. Het is een LXC met bovenstaande flags enabled vanaf het opzetten. Wel met een LXC helper opgezet overigens. Maar wel expliciet de LXC. Ik heb niet inhoudelijk onthouden wat er in het script voor de docker LXC helper gebeurt, maar het zag er allemaal wel prima uit toen ik het een aantal maanden geleden installeerde.

Nee, zie eerdere posts in dit topic. Niet privileged aangemaakt (niet bij nagedacht en dit staat default zo bij het aanmaken van een LXC). Wel een poging gedaan om dmv backup-restore de container om te zetten naar privileged, maar dan willen de containers niet meer starten ivm rechten en dat oplossen is ook een mijl op 7.
Er werd daarom nog aangeraden om docker zelf te laten zorgen voor het mounten van de NFS-volumes door ze als zodanig te definiëren in de compose. Dat werkt op een normale VM, maar niet op een unprivileged LXC.
Catch 22, soort van. Dus ik hap de kogel en ga aan de slag met het in de lucht trekken van een nieuwe VM waar ik alles op ga zetten.

[InjecTioN]

ElCondor schreef op maandag 23 februari 2026 @ 09:13:
[...]

Nee, zie eerdere posts in dit topic. Niet privileged aangemaakt (niet bij nagedacht en dit staat default zo bij het aanmaken van een LXC). Wel een poging gedaan om dmv backup-restore de container om te zetten naar privileged, maar dan willen de containers niet meer starten ivm rechten en dat oplossen is ook een mijl op 7.
Er werd daarom nog aangeraden om docker zelf te laten zorgen voor het mounten van de NFS-volumes door ze als zodanig te definiëren in de compose. Dat werkt op een normale VM, maar niet op een unprivileged LXC.
Catch 22, soort van. Dus ik hap de kogel en ga aan de slag met het in de lucht trekken van een nieuwe VM waar ik alles op ga zetten.

VM werkt inderdaad zeker. Maar zorgt wel voor extra overhead. Mocht je die overhead niet wensen, dan zou ik alsnog voor een privileged+nested+NFS LXC gaan. Anders, zeker voor de VM gaan.

[ElCondor]

InjecTioN schreef op maandag 23 februari 2026 @ 10:15:
[...]

VM werkt inderdaad zeker. Maar zorgt wel voor extra overhead. Mocht je die overhead niet wensen, dan zou ik alsnog voor een privileged+nested+NFS LXC gaan. Anders, zeker voor de VM gaan.

Tot die conclusie was ik ook gekomen.
Er spelen nog wel een aantal andere factoren mee. Ik heb nu bijvoorbeeld een Kavita container draaien die gebruik maakt van SQLite icm MS Entity Framework, één van die twee gooit roet in het eten bij gebruik van Kavita, Om de haveklap stokt de website, gooit met error 500 of 400 en in de logging zie ik geregeld 'database is locked' exceptions voorbij komen.
Ik lees her en der op internet dat SQLite niet lekker om gaat met database files op een NFS share. Dus ik zit er mogelijk aan vast om deze toch weer op lokale storage vwb de docker instance te gaan draaien.
Ik voorzie zo maar eens dezelfde problemen voor Authentik, omdat deze een behoorlijke PostGres database als backend heeft. De vraag is of die lekker omgaat met een NFS-backed volume. Dus die zal mogelijk ook op local storage gedraaid gaan worden.

[Airw0lf]

Met NFS-4.1 zou het moeten werken met "echte" databases omdat deze versie record locking ondersteund bij gebruik door meerdere systemen/applicaties. Bij SQLite zal het altijd een lastige blijven omdat hier "gewone" textbestanden gebruikt worden.

[Quad]

InjecTioN schreef op maandag 23 februari 2026 @ 10:15:
[...]

VM werkt inderdaad zeker. Maar zorgt wel voor extra overhead. Mocht je die overhead niet wensen, dan zou ik alsnog voor een privileged+nested+NFS LXC gaan. Anders, zeker voor de VM gaan.

Mja, met privileged LXC map je root in de LXC op root van je PVE host. En als in je LXC iets mis gaat, bijvoorbeeld via een hack, dan is toegang tot kernel wellicht mogelijk. Als een service een kernel crash veroorzaakt kan dat ook invloed hebben op je host. Met unprivileged LXC wil dat niet.
Met een VM scheidt je volledig de laag tussen de host en het OS van de VM. Kost wel extra resources en opslag, al levert dit wel het gemak op die @ElCondor dan zoekt.

[InjecTioN]

Quad schreef op maandag 23 februari 2026 @ 11:24:
[...]

Mja, met privileged LXC map je root in de LXC op root van je PVE host. En als in je LXC iets mis gaat, bijvoorbeeld via een hack, dan is toegang tot kernel wellicht mogelijk. Als een service een kernel crash veroorzaakt kan dat ook invloed hebben op je host. Met unprivileged LXC wil dat niet.
Met een VM scheidt je volledig de laag tussen de host en het OS van de VM. Kost wel extra resources en opslag, al levert dit wel het gemak op die @ElCondor dan zoekt.

Agreed. Voor een productie omgeving is dit geen gewenste situatie. Alles behalve zelfs. Maar voor een thuis cluster; why not?

Ik heb mijn diensten allemaal achter slot en grendel (wireguard). Daar hoeft ook echt niemand anders bij te komen. Alleen mijn gezin is ervan “afhankelijk”. Daarbij zijn er 3 nodes in mijn cluster met CEPH, waardoor ik het risico met een potentiële crash afvang met High Availability. En onderaan de streep leer je er weer van. Dat is imho waar een thuiscluster ook het grootste deel voor is.

Een vm is in bijna iedere situatie de beste oplossing wanneer je voldoende resources ter beschikking hebt. Laat geheugenprijzen daar voor home clusters nou net roet voor in het eten gooien.

[Quad]

InjecTioN schreef op maandag 23 februari 2026 @ 14:25:
[...]

Agreed. Voor een productie omgeving is dit geen gewenste situatie. Alles behalve zelfs. Maar voor een thuis cluster; why not?

Ik heb mijn diensten allemaal achter slot en grendel (wireguard). Daar hoeft ook echt niemand anders bij te komen. Alleen mijn gezin is ervan “afhankelijk”. Daarbij zijn er 3 nodes in mijn cluster met CEPH, waardoor ik het risico met een potentiële crash afvang met High Availability. En onderaan de streep leer je er weer van. Dat is imho waar een thuiscluster ook het grootste deel voor is.

Een vm is in bijna iedere situatie de beste oplossing wanneer je voldoende resources ter beschikking hebt. Laat geheugenprijzen daar voor home clusters nou net roet voor in het eten gooien.

Het gaat niet alleen om wat extern naar binnen komt. De toepassingen kunnen via de LXC ook je host gewoon laten crashen als daar een fout in optreedt. Ik heb zelf op PBS na alles unprivileged. Wel op 1 host, dus de NFS mount gebeurd via de host. Al ben ik wel van mening dat dit ook niet de veiligste manier is mbt data-toegang!

Een 3-node cluster met CEPH hebben er heel weinig in huis denk ik, nice! Gebruik je TB onderling voor netwerk over TB?

[Jerie]

ElCondor schreef op maandag 23 februari 2026 @ 08:46:
Wat een bak!
Het weekeinde tijd besteed aan het omzetten van lokale docker volumes naar NFS-backed volumes voor de meeste van mijn containers.
Wat blijkt: waar dit hele circus om was begonnen, containers draaiend op docker in Alpine LXC bljken alsnog geen gebruik te kunnen maken van NFS-backed volumes, want mounting NFS is 'Not permitted'. Ook niet als de docker service dit wil doen in een unprivileged container.
Ik heb er genoeg van, ik ga Alpine er af gooien en er een Debian VM van maken. Docker in LXC, blijf er ver vandaan als je er grotere services op wilt gaan draaien, of je containers wilt kunnen migreren naar andere hosts.
Zit ik alleen met twee flinke migraties van mijn PaperlessXNG en Authentik die omgezet zullen moeten gaan worden. Paperless heeft een vrij robuuste, zei het bewerkelijke, manier van exporteren en importeren in een nieuwe instance, dus dat is te doen, maar ik weet niet hoe ik dit met Authentik moet gaan aanvliegen.
Dat wordt weer studeren.

Bij containers staat je data en config op een bepaalde volume, dat moet gewoon lukken om die te hergebruiken.

Authentik heb ik nog nooit gebruikt. Ik gebruik voor IDM liever iets met Rust, maar hoe dan ook, ook daar moet je de config (data is er denk ik niet?) kunnen hergebruiken.

Qua Alpine vs. Debian zag ik laatst benchmarks (ik meen van PostgreSQL) waarbij Debian betere performance gaf. Dan kan Alpine image iets kleiner zijn, heb ik liever betere performance. Die paar MB, who cares?

[ElCondor]

Jerie schreef op maandag 23 februari 2026 @ 14:44:
[...]


Bij containers staat je data en config op een bepaalde volume, dat moet gewoon lukken om die te hergebruiken.

Authentik heb ik nog nooit gebruikt. Ik gebruik voor IDM liever iets met Rust, maar hoe dan ook, ook daar moet je de config (data is er denk ik niet?) kunnen hergebruiken.

Qua Alpine vs. Debian zag ik laatst benchmarks (ik meen van PostgreSQL) waarbij Debian betere performance gaf. Dan kan Alpine image iets kleiner zijn, heb ik liever betere performance. Die paar MB, who cares?

Dat zou je zeggen ja, maar ik heb wel eens meegemaakt dat het redeployen van een container met hergebruik van het al bestaande volume toch mis ging omdat de app detecteerde dat er iets was met de database bestanden waar hij niet mee om kon gaan en toen maar als oplossing een reinitialize deed. Gelukig had ik een backup. Dat is uiteraard wel de fout van de container, dat die er niet goed mee om ging, maar ik ben er nooit gerust op dat dit voor welke app dan ook goed in elkaar steekt. Ik ga altijd uit van het ergste en zorg dat ik allereerst een roll-back scenario heb

[Jerie]

ElCondor schreef op maandag 23 februari 2026 @ 14:50:
[...]

Dat zou je zeggen ja, maar ik heb wel eens meegemaakt dat het redeployen van een container met hergebruik van het al bestaande volume toch mis ging omdat de app detecteerde dat er iets was met de database bestanden waar hij niet mee om kon gaan en toen maar als oplossing een reinitialize deed. Gelukig had ik een backup. Dat is uiteraard wel de fout van de container, dat die er niet goed mee om ging, maar ik ben er nooit gerust op dat dit voor welke app dan ook goed in elkaar steekt. Ik ga altijd uit van het ergste en zorg dat ik allereerst een roll-back scenario heb

Ja, dat soort dingen gebeuren als je een andere database versie gebruikt. Daar gebruik ik deze container voor: https://hub.docker.com/r/pgautoupgrade/pgautoupgrade

Btw, met ZFS is het vrij eenvoudig snapshots en rollbacks te doen.

[ Voor 3% gewijzigd door Jerie op 23-02-2026 17:14 ]

[InjecTioN]

Quad schreef op maandag 23 februari 2026 @ 14:43:
[...]

Het gaat niet alleen om wat extern naar binnen komt. De toepassingen kunnen via de LXC ook je host gewoon laten crashen als daar een fout in optreedt. Ik heb zelf op PBS na alles unprivileged. Wel op 1 host, dus de NFS mount gebeurd via de host. Al ben ik wel van mening dat dit ook niet de veiligste manier is mbt data-toegang!

Ben ik me van bewust inderdaad, maar omdat bij mij de impact van een gecrashte LXC lager is omdat de LXC op een andere node wordt herstart wanneer de node faalt, zie ik daar juist minder risico in.

Risico's worden grotendeels weggenomen omdat ik als enige alles beheer en ook alleen mijn Docker LXC's en een Jellyfin container als privileged ingezet heb ivm NFS en hardware pass-through. Vooralsnog zijn er geen indicaties die doen blijken dat dit een probleem veroorzaakt. Ik ben er ook zelf bij wanneer ik een issue veroorzaak.

Quad schreef op maandag 23 februari 2026 @ 14:43:
[...]
Een 3-node cluster met CEPH hebben er heel weinig in huis denk ik, nice! Gebruik je TB onderling voor netwerk over TB?

Ik gebruik als nodes 3x HP ProDesk 405 G4 met:

• AMD Ryzen 5 Pro 2400GE
• 2x8GB DDR4
• 1 enterprise sATA SSD van 480GB voor CEPH storage,
• 1 OEM NVMe SSD van 256GB voor het OS.
• m.2 a+e-key Intel i226 NIC, (van ome ali) wat 2.5Gbit aan doorvoer biedt als additionele netwerkkaart langs de 1Gbit die reeds on-board zit. Samen bieden ze redundancy middels active-passive configuratie.

Netwerk:

• Voor de 1Gbit uplink van iedere node: 1x ZyXEL EX5601-T1 ( 2x 2.5Gbit, 3x 1Gbit, met OpenWrt)
• Voor de 2.5Gbit uplink van iedere node: 1x Unify Flex Mini 2.5G (5 poorts 2.5Gbit)
• Beide switches aangesloten op: 1x ZyXEL GS1900-8HP (8 poorts PoE 1Gbit switch, met OpenWrt)

Gescheiden VLAN's voor storage, management, LAN, IOT, kinderen, "speeltuin" en guest.

Netwerk ben ik nog niet blij mee, omdat ik graag een 2.5Gbit uplink wilde hebben vanuit mijn kantoor. Die heb ik nu "uit nood" maar even in de unify geprikt in plaats van de GS1900-8HP.

Het enige wat ik nog niet heb is een UPS...

Stiekem ben ik ook nog aan het "dromen" van een dual SFP+ netwerk configuratie voor 2x 10Gbit/s active-passive per node en switches voor redundancy, maar dat is financieel vooralsnog even out-of-reach/niet te verantwoorden.

Ergens wil ik het cluster zelf ook nog wat groter/veiliger maken door er nog 2 identieke proxmox nodes bij te prikken, waardoor ik automatisch weer wat andere netwerk apparatuur nodig heb. Èn dan die UPS natuurlijk nog.

A man can dream, right?

A word of caution: 1 proxmox node is een gateway drug naar meer proxmox nodes

[ Voor 1% gewijzigd door InjecTioN op 23-02-2026 15:55 . Reden: link ome ali ]

[Quad]

@InjecTioN Ik had ook meerdere nodes maar ik heb inmiddels gekozen om op 1 performance systeem te richten, is aardig gelukt.

#	Categorie	Product	Prijs	Subtotaal
1	Processors	Intel Core i5-10600 Boxed	€ 0,-	€ 0,-
1	Moederborden	ASRock H470M-ITX/ac	€ 0,-	€ 0,-
1	Videokaarten	Gigabyte GeForce RTX 5060 Ti WINDFORCE MAX OC 16G	€ 725,05	€ 725,05
3	Interne harde schijven	WD Red Plus (256MB cache, 5.640rpm), 8TB	€ 267,-	€ 801,-
1	Behuizingen	Fractal Design Node 304 Zwart	€ 77,10	€ 77,10
1	Geheugen intern	Corsair Vengeance LPX CMK64GX4M2D3000C16	€ 0,-	€ 0,-
1	Voedingen	Thermaltake Toughpower GF A3 Gold 650W - TT Premium Edition	€ 91,46	€ 91,46
1	Interne ssd's	Kingston A2000 1TB	€ 219,28	€ 219,28
1	Interne ssd's	Samsung 870 Evo (MZ-77E4T0B/EU) 4TB	€ 459,-	€ 459,-
1	Interne ssd's	WD Blue SN570 2TB	€ 235,-	€ 235,-
1	Ups en stekkerdozen	APC Back-UPS BE850G2-GR (Europees)	€ 131,50	€ 131,50
Bekijk collectie Importeer producten			Totaal	€ 2.739,39

1TB als boot en voor LXCs (Plex/PBS/*arr stack/+hele boel meer).
2TB voor de VMs (Tactical RMM, HAOS, Xpenology en W11 Gaming-LLM VM (GPU passtrough voor Ollama en Sunshine))
3x8TB + 1x 4TB passtrough naar Xpenology als NAS. (Xpenology omdat dit het beste werkt met M365 backup)
Geheugen net op tijd gekocht via V&A.
APC UPS met USB passtrough en automatische afsluiting Proxmox via Home Assistant dmv NUT integratie.

2 extra nodes voor Adguard/Nginx proxy en HA zou niet een overbodige luxe zijn, maar dan neemt stroomverbruik ook weer toe en nu vind ik dit wel prima zo.

[InjecTioN]

Quad schreef op maandag 23 februari 2026 @ 17:03:
@InjecTioN Ik had ook meerdere nodes maar ik heb inmiddels gekozen om op 1 performance systeem te richten, is aardig gelukt.

#	Categorie	Product	Prijs	Subtotaal
1	Processors	Intel Core i5-10600 Boxed	€ 0,-	€ 0,-
1	Moederborden	ASRock H470M-ITX/ac	€ 0,-	€ 0,-
1	Videokaarten	Gigabyte GeForce RTX 5060 Ti WINDFORCE MAX OC 16G	€ 725,05	€ 725,05
3	Interne harde schijven	WD Red Plus (256MB cache, 5.640rpm), 8TB	€ 267,-	€ 801,-
1	Behuizingen	Fractal Design Node 304 Zwart	€ 77,10	€ 77,10
1	Geheugen intern	Corsair Vengeance LPX CMK64GX4M2D3000C16	€ 0,-	€ 0,-
1	Voedingen	Thermaltake Toughpower GF A3 Gold 650W - TT Premium Edition	€ 91,46	€ 91,46
1	Interne ssd's	Kingston A2000 1TB	€ 219,28	€ 219,28
1	Interne ssd's	Samsung 870 Evo (MZ-77E4T0B/EU) 4TB	€ 459,-	€ 459,-
1	Interne ssd's	WD Blue SN570 2TB	€ 235,-	€ 235,-
1	Ups en stekkerdozen	APC Back-UPS BE850G2-GR (Europees)	€ 131,50	€ 131,50
Bekijk collectie Importeer producten			Totaal	€ 2.739,39

1TB als boot en voor LXCs (Plex/PBS/*arr stack/+hele boel meer).
2TB voor de VMs (Tactical RMM, HAOS, Xpenology en W11 Gaming-LLM VM (GPU passtrough voor Ollama en Sunshine))
3x8TB + 1x 4TB passtrough naar Xpenology als NAS. (Xpenology omdat dit het beste werkt met M365 backup)
Geheugen net op tijd gekocht via V&A.
APC UPS met USB passtrough en automatische afsluiting Proxmox via Home Assistant dmv NUT integratie.

2 extra nodes voor Adguard/Nginx proxy en HA zou niet een overbodige luxe zijn, maar dan neemt stroomverbruik ook weer toe en nu vind ik dit wel prima zo.

Dat is echt wel een prima systeempje hoor! Als je energie-zuiniger zou willen zijn, dan kan ik je aanraden om de CPU govenor simpelweg tunen door 'm op powersave mode te laten draaien. Ik denk dat de grootste verbruiker bij jou de RTX 5060 TI is, nietwaar?

Draai je ook een LLM op die bak? En misschien zelfs iets van Home Assistant Voice assistant oid? Dat is iets wat ik uiteindelijk ook nog eens wil testen, maar eerst meer geheugen nodig...

Ik ben jaloers op de UPS

Ik forceer de CPU govenor bij mij om niet hoger te gaan dan 1600MHz, ondanks dat die tot 3,4GHz (oid) kan gaan. Daarbij gebruik ik daarin de ingebouwde VEGA 11 GPU van de Ryzen 5 Pro 2400GE. Geheugen-technisch een drama, gezien de beperking van 16GB die ik nu in iedere nodes heb zitten, maar goed te optimaliseren zodat het flexibel blijft (in mijn situatie). Uiteindelijk is het doel om daar ook wat meer geheugen in te prakken. 64GB is de max heb ik al kunnen achterhalen.

Het stroomverbruik is ook ingekrompen op mijn zelfbouw NAS overigens, die ik er langs draai voor een centrale NFS/SMB share met spinning disks. Die heeft zelfs een ITX bord met een gesoldeerde AMD A4-5000 (15W tdp) en 16GB DDR3 (way overkill) erin zitten, met 2x 8TB Seagate Exos disks en een kleine 16GB SSD voor OpenMediaVault, waarbij de disks de meeste stroomverbruik genereren van de NAS (dat was tussen 17 en 20W zonder spinning disks, nu ~40W met spinning disks). De combinatie met mijn 3 proxmox nodes en de NAS verbruikt ongeveer 100W (met gemiddelde load) - gemeten met een Ikea Inspelning.

[Quad]

@InjecTioN Yes, Ik gebruik Ollama die dmv api aan Home Assistant beschikbaar is. Ben er nog niet zover mee dat ik voice assistant ermee gebruik, Google assistant werkt hier prima eigenlijk. Maar het stuurt me dagelijks een overzicht van het weer voor de dag erop.

Ik heb even gekeken, mijn systeem verbruikt 63W continue gemiddeld. (1.51kWh/dag)
Vind ik weinig gezien de hardware die erin zit.
CPU Governor op powersave wordt elke boot afgedwongen.

[edwin2021]

Voor een ups even op marktplaats kijken en dan incalculeren dat er gelijk een accu in moet. Apc is ok (liefst met netwerk management card) Aeton is ook erg goed, accu's gaan langer mee als bij apc.

[Airw0lf]

edwin2021 schreef op maandag 23 februari 2026 @ 20:11:
Voor een ups even op marktplaats kijken en dan incalculeren dat er gelijk een accu in moet. Apc is ok (liefst met netwerk management card) Eaton is ook erg goed, accu's gaan langer mee als bij apc.

Even ee zijstap: wat is een passende Eaton UPS - type Line Interactive - liefst met een echte sinus.

[Theetjuh]

Eaton, niet Aeton

[Airw0lf]

Theetjuh schreef op maandag 23 februari 2026 @ 20:59:
Eaton, niet Aeton

Waar dan?

[edwin2021]

Sorry, type.
Even uit m'n hoofd is het volgens het smart ups type wat een usb aansluiting heeft en spannings stabilisatie.

[Jerie]

Wat is er zo bijzonder aan dat UPS? APC gebruikt toch proprietary kabel om data uit te lezen? Ook lijkt mij de batterij niet makkelijk te vervangen, en meestal looizuur. Het is wel vrij compact vanwege formaat, maar ach.

Dan kun je beter een enterprise NVMe met PLP nemen. Wat duurder, maar kan wel veel meer writes dan consumer spul. Zet je ZIL en ZFS cache erop, en je data op filesystem zal consistent blijven. Wel write-cache op de HDDs uitzetten.

Voor gaming (wel interessant met Sunshine) en Ollama zou ik eGPU overwegen maar schijnt niet te werken met ML (een performance loss van rond de 10% is acceptabel). De totale W die je noemt zal zonder GPU zijn. Tenslotte met SR-IOV kun je GPU diverse keren assignen, aan meerdere VMs en containers (inclusief LXC). Zo doe ik het met de Intel Xe iGPU. 8 virtuele GPUs.

[edwin2021]

Jerie schreef op maandag 23 februari 2026 @ 21:27:
Wat is er zo bijzonder aan dat UPS? APC gebruikt toch proprietary kabel om data uit te lezen? Ook lijkt mij de batterij niet makkelijk te vervangen, en meestal looizuur. Het is wel vrij compact vanwege formaat, maar ach.

Niets, behalve dat Eaton goed wordt ondersteund bij Linux en dat de accu's bij APC gemiddeld om de 3 a 4 jaar vervangen moeten worden 😉

Maar hé, ik heb zelf thuis een mix van APC en Eaton in gebruik. Originele accu voor een 750VA APC is zeker niet goedkoop. Voor een Eaton 650VA is minder als de helft. Beide origineel.

[ Voor 16% gewijzigd door edwin2021 op 23-02-2026 21:35 ]

[Quad]

De APC BE850 G2 die hier staat heeft bij gemiddelde belasting van 65W een runtime van ruim een uur. En heeft een eenvoudig vervangbare en gangbare batterij.
Met NUT is de USB uit te lezen en kan je met die info ook wel acties laten ondernemen.

[edwin2021]

Quad schreef op maandag 23 februari 2026 @ 21:33:
De APC BE850 G2 die hier staat heeft bij gemiddelde belasting van 65W een runtime van ruim een uur. En heeft een eenvoudig vervangbare en gangbare batterij.
Met NUT is de USB uit te lezen en kan je met die info ook wel acties laten ondernemen.

Ik over 2x smc750i, die stabiliseert ook de spanning. Een be850 volgens mij niet. Ik denk ook dat het stabiliseren van de spannings deels de reden is van de korte levensduur. Blijft wel dat de Eaton ook de spanning stabiliseert maar met een betere houdbaarheid van de accu.
O ja, apc software is echt super uitgebreid. Eaton stuk minder.

[RobertMe]

Het grote nadeel van een UPC die de spanning "stabiliseert" is dat ze een enorm stroomverbruik hebben, en wat je er vervolgens voor terug krijgt... * Ik had een APC, volgens mij line-interactive (de middelste variant zeg maar), die 40W uit het stopcontact trok met mijn mini PCtje / serverjte aangesloten. Vervolgens vervangen door een offline standby (?, de "laagste" variant dan) model en nu trekt die 8W uit het stopcontact. Oftewel een 280kWh besparing op jaarbasis.

* Ja, een stabiele spanning. Maar in Nederland is het meest voorkomende nog steeds volledige uitval, en dat is best wel heel erg zeldzaam over het algemeen. Rare / onstabiele spanningen (dus zeg minder dan 200V of goed over de 250V) zijn nog veel zeldzamer. En in omringende landen mag de spanning hoger zijn, in NL moeten omvormers uitvallen bij 230V + 10% oftewel 253V, in BE ligt die grens hoger, dus gangbare hardware zal vast geen problemen hebben met een langdurige hogere spanning van 240 of 250 V.

[Wild Chocolate]

Jerie schreef op maandag 23 februari 2026 @ 21:27:
Wat is er zo bijzonder aan dat UPS? APC gebruikt toch proprietary kabel om data uit te lezen? Ook lijkt mij de batterij niet makkelijk te vervangen, en meestal looizuur. Het is wel vrij compact vanwege formaat, maar ach.
(...)

Is dat een nieuw, milieuvriendelijk type accu?

[Jerie]

Wild Chocolate schreef op maandag 23 februari 2026 @ 23:44:
[...]

Is dat een nieuw, milieuvriendelijk type accu?

Ja, die uit het anarchist cookbook

Loodzuur / lead-acid. Rommel is dat.

LiFePO4 gaat langer meer. Wat zwaarder dan Li-Ion, maar dat maakt voor een UPS niet uit. Nog steeds lichter dan lead-acid, minder gevaarlijk bij brand (qua gas bijvoorbeeld), en gaat veel langer mee (10+ jaar). Ze zijn helaas ook een stuk duurder.

In de PW staan ze trouwens niet. Zul je naar een zogeheten thuisbatterij moeten zoeken. Er staat wel wat Li-Ion in de PW, maar die zijn peperduur. 2,4k EUR, voor die prijzen heb je zo 2+ thuisbatterijen, haha.

[ Voor 8% gewijzigd door Jerie op 24-02-2026 00:58 ]

[Jerie]

RobertMe schreef op maandag 23 februari 2026 @ 22:42:
Het grote nadeel van een UPC die de spanning "stabiliseert" is dat ze een enorm stroomverbruik hebben, en wat je er vervolgens voor terug krijgt... * Ik had een APC, volgens mij line-interactive (de middelste variant zeg maar), die 40W uit het stopcontact trok met mijn mini PCtje / serverjte aangesloten. Vervolgens vervangen door een offline standby (?, de "laagste" variant dan) model en nu trekt die 8W uit het stopcontact. Oftewel een 280kWh besparing op jaarbasis.

* Ja, een stabiele spanning. Maar in Nederland is het meest voorkomende nog steeds volledige uitval, en dat is best wel heel erg zeldzaam over het algemeen. Rare / onstabiele spanningen (dus zeg minder dan 200V of goed over de 250V) zijn nog veel zeldzamer. En in omringende landen mag de spanning hoger zijn, in NL moeten omvormers uitvallen bij 230V + 10% oftewel 253V, in BE ligt die grens hoger, dus gangbare hardware zal vast geen problemen hebben met een langdurige hogere spanning van 240 of 250 V.

Ik vind het zonde van de W in vergelijking met een enterprise NVMe met PLP die nauwelijks meer W kost dan een consumer NVMe. Al geef ik toe dat ik niet naar de huidige prijzen heb gekeken. Je kunt ze ook tweedehands of met minder TB aanschaffen. Op zich valt ook wel wat te zeggen wanneer je stelt: ik wil graag het glasvezelmodem, ONT, plus de WAP aangesloten hebben op een UPS. In geval van stroomuitval kun je dan immers verder. Ik heb zelf niet eens een glasvezelmodem en ONT, wel losse SFP+ en losse WAP. Maar ik hoef er geen met loodzuur in mijn meterkast, en ik heb ook geen zin om elke 3 jaar de batterij of UPS te vervangen.

Bij een succesvolle cyberaanval zou wel schade kunnen ontstaan, maar op zich werkt dat systeem dusdanig dat pieken ergens in Europa zorgen voor dalen elders in Europa omdat alles op elkaar is aangesloten. Er wordt direct op- of afgeschaald, we kunnen een klap van 2 gigawatt incasseren. Aldus Ot van Daalen in zijn boek Voorbereid. Ook kan mjn verdeeldoos een flinke klap hebben.

[edwin2021]

RobertMe schreef op maandag 23 februari 2026 @ 22:42:
Het grote nadeel van een UPC die de spanning "stabiliseert" is dat ze een enorm stroomverbruik hebben, en wat je er vervolgens voor terug krijgt... * Ik had een APC, volgens mij line-interactive (de middelste variant zeg maar), die 40W uit het stopcontact trok met mijn mini PCtje / serverjte aangesloten. Vervolgens vervangen door een offline standby (?, de "laagste" variant dan) model en nu trekt die 8W uit het stopcontact. Oftewel een 280kWh besparing op jaarbasis.

* Ja, een stabiele spanning. Maar in Nederland is het meest voorkomende nog steeds volledige uitval, en dat is best wel heel erg zeldzaam over het algemeen. Rare / onstabiele spanningen (dus zeg minder dan 200V of goed over de 250V) zijn nog veel zeldzamer. En in omringende landen mag de spanning hoger zijn, in NL moeten omvormers uitvallen bij 230V + 10% oftewel 253V, in BE ligt die grens hoger, dus gangbare hardware zal vast geen problemen hebben met een langdurige hogere spanning van 240 of 250 V.

Verbruik, daar zeg je zoiets. Nooit aan gedacht en ga ik eens meten.
Tja waarom 4 ups'en in huis. Ik woon ik buiten gebied met een groot productie bedrijf op ca 400 Meter en toen ik hier ging wonen ging de netspanning echt alle kanten op, halogeen verlichting stond continu te knipperen en minimaal 1x per maand de spanning eraf. Wellicht het moment om eens te kijken of ik kan minderen in de ups'en of een simpelere uitvoering want nog een nadeel van de spanning regulering is dat met de huidige zonnepanelen hij in de zomer zeer regelmatig de spanning naar beneden aan het regelen is omdat de bandbreedte van het regel gebied niet op 253V kan worden gezet.

[ElCondor]

Ugh, vandaag een van mijn nodes geupdate met de laatste packages, en nu komt hij niet meer op.
Ben niet thuis, dus kan niet gluren wat er mis is.
Nu is het niet een van de main nodes, dus het kan ff, maar zie me vanavond alweer lang doende zijn met repareren.

[lolgast]

ElCondor schreef op dinsdag 17 maart 2026 @ 12:17:
Ugh, vandaag een van mijn nodes geupdate met de laatste packages, en nu komt hij niet meer op.
Ben niet thuis, dus kan niet gluren wat er mis is.
Nu is het niet een van de main nodes, dus het kan ff, maar zie me vanavond alweer lang doende zijn met repareren.

Ik heb gisteravond op de upgrade knop gedruk en bij mij was het pijnloos. Inclusief een nieuwe kernel versie. Hoop dat je niet te lang bezig bent

[ElCondor]

Ja, idd, zag die kernel update ook langskomen. Dus tsja, rebooten dan maar om te kijken of dat allemaal goed gaat. Niet dus
Misschien uiteindelijk toch gaan kijken voor JetKVM's voor die nodes. Nu hebben alleen mijn beide main nodes een JKVM.

[banaliteit]

ElCondor schreef op dinsdag 17 maart 2026 @ 12:17:
Ugh, vandaag een van mijn nodes geupdate met de laatste packages, en nu komt hij niet meer op.
Ben niet thuis, dus kan niet gluren wat er mis is.
Nu is het niet een van de main nodes, dus het kan ff, maar zie me vanavond alweer lang doende zijn met repareren.

Ik ben zelf nog lerende, vandaar deze vraag. Zou je deze situatie kunnen oplossen met een restore van een backup gemaakt met Proxmox Backup Server?

[Quad]

banaliteit schreef op dinsdag 17 maart 2026 @ 13:18:
[...]

Ik ben zelf nog lerende, vandaar deze vraag. Zou je deze situatie kunnen oplossen met een restore van een backup gemaakt met Proxmox Backup Server?

Met PBS backup je de VMs en containers. Niet de hostlaag.

[Bananeman]

Ik draai Proxmox VE 9.1.2 en als ik bij Updates kijk zie ik verschillende nieuwe versies van packages beschikbaar. Als ik op Upgrade click krijg ik in het popup window te zien: "Reading changelogs", wat bij 71% stopt. Daarna verschijnt een "disconnecting, detecting migration" melding in dat venster en ben ik de verbinding kwijt.

Als alternatief in een shell window "apt update" en dan "apt dist-upgrade" doen leidt ook tot een disconnect, in dit geval moest ik zelfs een power cycle doen (na lang gewacht te hebben voor de zekerheid).

Wat doe ik verkeerd?

edit: ook via ssh ingelogd en geprobeerd met:

code:

sudo apt-get -o Acquire::Changelogs::Always-Download=false dist-upgrade

Precies hetzelfde probleem dat "Reading changelogs" blijft hangen bij 71%.


edit2: problem solved. Bleek een power/voeding issue te zijn, bijzonder wel dat het telkens op exact hetzelfde moment gebeurde, maar blijkbaar trok de mini pc dan net te veel power voor de voeding. Andere voeding gebruikt en nu werkt het.

[ Voor 29% gewijzigd door Bananeman op 17-03-2026 17:44 ]

[ElCondor]

Quad schreef op dinsdag 17 maart 2026 @ 14:18:
[...]

Met PBS backup je de VMs en containers. Niet de hostlaag.

Inderdaad, het OS moet je zelf op de een of andere manier beschermen. Of zo minimaal mogelijk inrichten, dus geen andere zaken op installeren dan ProxMox zelf en wat daar verder voor nodig is (monitoring bijvoorbeeld). Dit dan goed documenteren en bij catastrofale uitval gewoon het systeem opnieuw opbouwen. Dat is een kwestie van een klein uurtje, als je geen andere dingen op de host hebt geïnstalleerd. Bij mij zou dat kunnen.

[zeroday]

lolgast schreef op dinsdag 17 maart 2026 @ 12:20:
[...]

Ik heb gisteravond op de upgrade knop gedruk en bij mij was het pijnloos. Inclusief een nieuwe kernel versie. Hoop dat je niet te lang bezig bent

mijn clustertje met 7 nodes ging redelijk .. had alleen bij een duplicate host nog aan staan dat ie mee op moest starten en toen ik naar 'die' machine ging en mijn code niet meer kon vinden moest ik even goed nadenken wat er aan de hand was (duplicate ip's .. en dan ging die naar de verkeerde) ..

maar ook nu overal de laatste kernel werd weer eens tijd om te rebooten.

[edwin2021]

ElCondor schreef op dinsdag 17 maart 2026 @ 12:17:
Ugh, vandaag een van mijn nodes geupdate met de laatste packages, en nu komt hij niet meer op.
Ben niet thuis, dus kan niet gluren wat er mis is.
Nu is het niet een van de main nodes, dus het kan ff, maar zie me vanavond alweer lang doende zijn met repareren.

Hm, een vpn icm ilo (hpe) of iDrac (Dell) kun je de hardware bedienen alsof je erachter zit. Sterker nog, ik sluit eigenlijk bij installatie geeneens meer een toetsenbord en monitor aan. Alleen ilo gegevens even noteren en ip adres opzoeken en gaan.

[ElCondor]

edwin2021 schreef op dinsdag 17 maart 2026 @ 15:00:
[...]

Hm, een vpn icm ilo (hpe) of iDrac (Dell) kun je de hardware bedienen alsof je erachter zit. Sterker nog, ik sluit eigenlijk bij installatie geeneens meer een toetsenbord en monitor aan. Alleen ilo gegevens even noteren en ip adres opzoeken en gaan.

Ja, dat is mooie tech, maar dan moet je wel iLo/iDrac beschikbaar hebben voor het systeem. In dit geval gaat het om een eenvoudige NUC. Vandaar dat ik dan beter kijk naar een JetKVM.

-UPDATE-
Everything went better than expected, het ding bleek om de en of andere reden in boot te blijven hangen. Gene monitor hoeven aansluiten, alleen maar uit en weer terug aan en nog geen twee minuten later popt hij groen op mijn monitoring. Alles netjes weer terug.

Ik zit me nu te bedenken dat ik bij de eerste reboot 'sudo reboot' heb gebruikt in de terminal. Kan het zijn dat je beter de reboot optie kiest in de web-ui? Of is er een pvreboot in de terminal, wellicht? #durftevragen

[ Voor 31% gewijzigd door ElCondor op 17-03-2026 20:28 ]

[dcm360]

Het doet precies hetzelfde. Als je de webUI open hebt staan en je geeft in de terminal reboot op, dan zie je precies dezelfde taakjes verschijnen als dat er zou gebeuren met de knop in de UI.

[nassau]

ElCondor schreef op dinsdag 17 maart 2026 @ 16:40:
[...]

Ja, dat is mooie tech, maar dan moet je wel iLo/iDrac beschikbaar hebben voor het systeem. In dit geval gaat het om een eenvoudige NUC. Vandaar dat ik dan beter kijk naar een JetKVM.

-UPDATE-
Everything went better than expected, het ding bleek om de en of andere reden in boot te blijven hangen. Gene monitor hoeven aansluiten, alleen maar uit en weer terug aan en nog geen twee minuten later popt hij groen op mijn monitoring. Alles netjes weer terug.

Ik zit me nu te bedenken dat ik bij de eerste reboot 'sudo reboot' heb gebruikt in de terminal. Kan het zijn dat je beter de reboot optie kiest in de web-ui? Of is er een pvreboot in de terminal, wellicht? #durftevragen

Lijkt me stug. De sudo reboot had zijn werk namelijk gedaan!

Kijk in je journal of /var/log/dmesg of je nog iets kan vinden.

[UTMachine]

edwin2021 schreef op dinsdag 17 maart 2026 @ 15:00:
[...]

Hm, een vpn icm ilo (hpe) of iDrac (Dell) kun je de hardware bedienen alsof je erachter zit. Sterker nog, ik sluit eigenlijk bij installatie geeneens meer een toetsenbord en monitor aan. Alleen ilo gegevens even noteren en ip adres opzoeken en gaan.

Mooi spul en ik werk met beide, maar eigenlijk alleen bedoeld voor (semi) professioneel gebruik, anders zijn die dingen normaliter te duur of trekken veels teveel vermogen itt een NUC.

[edwin2021]

Snap ik maar een nuc kun je qua hardware lastig vergelijken met een server. Thuis een ml30 draaien met 2x2tb ssd, 2x6tb hdd en 128gb intern. Verbruik valt mij reuze mee met 23w.

[ElCondor]

edwin2021 schreef op woensdag 18 maart 2026 @ 06:06:
Snap ik maar een nuc kun je qua hardware lastig vergelijken met een server. Thuis een ml30 draaien met 2x2tb ssd, 2x6tb hdd en 128gb intern. Verbruik valt mij reuze mee met 23w.

En de herrie? Of heb je de fans vervangen? Bij mij staat alles op zolder en dat janken zou nog best door het hele huis gaan, al helemaal als wij een verdieping lager in bed liggen..

[Theetjuh]

Ik heb geen updates staan, dus die heb ik van het weekend dan al geïnstalleerd ... iig geen issues gehad.
Heb wel in de tussentijd de firewall op alle hosts/vm/lxc's aan staan ... dat was nog wel even een dingetje

Ik heb zelf trouwens een GL.iNet Comet PoE (GL-RM1PE) en die werkt heerlijk als ik toch ff op afstand wat moet doen.

[ Voor 21% gewijzigd door Theetjuh op 18-03-2026 09:23 ]

[edwin2021]

ElCondor schreef op woensdag 18 maart 2026 @ 08:30:
[...]

En de herrie? Of heb je de fans vervangen? Bij mij staat alles op zolder en dat janken zou nog best door het hele huis gaan, al helemaal als wij een verdieping lager in bed liggen..

Staat in de garage. Nu moet ik zeggen dat als je een recent model hebt en er geen aparte video kaart hebt zitten ze sowieso redelijk stil zijn.

[ElCondor]

Bah, Een wiebelende node. Gisteren en vanochtend een spontane reboot en het is me niet duidelijk wat er aan de hand zou kunnen zijn.
Ik zie in het system log op de node een regel '-- Reboot -- '
Wordt deze gelogd vóórdat het systeem down gaat of juist nadat het systeem terug is opgekomen?
Er staat namelijk geen stimestamp bij.
Voor dat moment zie ik geen gekke dingen in het log en na dat moment zie ik de normale boot reutemeteut voorbij komen.
Zijn er andere diagnostische stappen die ik kan nemen? Ik voor nu even de guests die hier draaien uit gezet, maar het lijkt me niet per sé om resource problemen te gaan. De disks die er in zitten zijn allemaal in goede smart conditie en het systeem is up-to-date (op twee recente updates na die gisteren en vandaag zijn uitgekomen). Dit geldt ook voor de andere drie nodes en die zijn niet aan het wiebelen.

Iemand nog een idee waar ik naar kan kijken?

- UPDATE -
'-- Reboot --' lijkt gelogd te worden voordat het systeem DOWN gaat. Dus hij lijkt een reboot te willen doen, om voor mij nu nog, onduidelijke reden maar het systeem lijkt hardware matig niet terug up te komen.
Ik kan echter wel met WOL het systeem wakker maken en dan boot het gewoon naar het OS.
Dus er lijken twee problemen te spelen:

• Het systeem doet bij een reboot een shutdown ipv een reboot
• Het systeem gaat om nog onbekende redenen over tot een reboot

Het zou natuurlijk kunnen dat een en ander met elkaar te maken heeft, maar dat is me nu nog niet duidelijk.

[ Voor 25% gewijzigd door ElCondor op 19-03-2026 09:50 ]

[InjecTioN]

ElCondor schreef op donderdag 19 maart 2026 @ 09:42:
Bah, Een wiebelende node. Gisteren en vanochtend een spontane reboot en het is me niet duidelijk wat er aan de hand zou kunnen zijn.
Ik zie in het system log op de node een regel '-- Reboot -- '
Wordt deze gelogd vóórdat het systeem down gaat of juist nadat het systeem terug is opgekomen?
Er staat namelijk geen stimestamp bij.
Voor dat moment zie ik geen gekke dingen in het log en na dat moment zie ik de normale boot reutemeteut voorbij komen.
Zijn er andere diagnostische stappen die ik kan nemen? Ik voor nu even de guests die hier draaien uit gezet, maar het lijkt me niet per sé om resource problemen te gaan. De disks die er in zitten zijn allemaal in goede smart conditie en het systeem is up-to-date (op twee recente updates na die gisteren en vandaag zijn uitgekomen). Dit geldt ook voor de andere drie nodes en die zijn niet aan het wiebelen.

Iemand nog een idee waar ik naar kan kijken?

- UPDATE -
'-- Reboot --' lijkt gelogd te worden voordat het systeem DOWN gaat. Dus hij lijkt een reboot te willen doen, om voor mij nu nog, onduidelijke reden maar het systeem lijkt hardware matig niet terug up te komen.
Ik kan echter wel met WOL het systeem wakker maken en dan boot het gewoon naar het OS.
Dus er lijken twee problemen te spelen:

• Het systeem doet bij een reboot een shutdown ipv een reboot
• Het systeem gaat om nog onbekende redenen over tot een reboot

Het zou natuurlijk kunnen dat een en ander met elkaar te maken heeft, maar dat is me nu nog niet duidelijk.

Hoe zijn de temperaturen van het systeem? Misschien dat het simpelweg te warm wordt.

[ElCondor]

InjecTioN schreef op donderdag 19 maart 2026 @ 12:24:
[...]

Hoe zijn de temperaturen van het systeem? Misschien dat het simpelweg te warm wordt.

Heb ik ook al even aan zitten denken, inderdaad. Er zitten 4 SSD's in de server, 2 geven een smart device temp aan van +- 45 graden.
De andere twee melden een Airflow temp van +-75 graden. Ik durf zo even niet te zeggen of dit té heet is.
Het is ook niet eerder voorgevallen en de server heb ik, na een spontane reboot vanochtend, niet meer down zien gaan.

[Erwin537]

Ik post toch eens even hier voor een check. Voor een lan party heb ik twee oude laptops voorzien van proxmox om zo wat containers te kunnen draaien voor game servers etc. Nu vond ik het handig om ze in een cluster te zetten (had er nog nooit mee gewerkt) omdat je dan vanaf één management interface beide kan beheren.

Thuis opgezet met vaste IP addressen, maar als ik ze meeneem naar een andere locatie kan ik ze niet altijd dezelfde IP adressen geven. De IP addressen aanpassen is niet moeilijk, even in interfaces en hosts file het IP aanpassen en klaar. Maar toen kwam ik er achter dat het cluster niet kan herstellen en de containers dan helemaal niet meer willen starten. Na wat zoek werk kon ik met 'pvecm expected 1' zorgen dat ik de corosync.conf file kon aanpassen. Dit zorgt er voor dat de LXCs op de hosts weer starten, maar de cluster werkt alsnog niet - totdat ik naar het netwerk ga waar ze oorspronkelijk zijn opgezet en ze weer de originele IP addressen krijgen.

Nu overweeg ik om het cluster er weer uit te gooien omdat het voordeel (één login, één managements interface voor twee servers) niet werkt op andere locaties en extra stappen met zich mee brengt om weer aan de praat te krijgen. Ik ben de documentatie gaan bekijken, maar schrok een beetje van de waarschuwingen. Als ik het goed begrijp staat er dat als je het verwijderd ze niet weer opnieuw in een cluster kunnen en op andere plekken zie ik vooral het advies om Proxmox gewoon helemaal van scratch te installeren. In de manual leek wel meer gezegd te worden dat de complexiteit vooral zit in als je meer ingewikkelde dingen hebt gedaan zoals shared storage over servers.

Heeft iemand hier ook al eens te maken gehad? En wellicht een cluster verwijderd?

[pc_freak1]

ik heb het een keer gepoogd, en dat ging nog meer stuk dan het al was. mijn best practice is daarom inmiddels een goede PBS hebben draaien zodat je als er iets loos is met PVE gewoon een install van scratch kan doen en je vms en containers terug kan laden uit een backup. ik zou als ik jou was van scratch beginnen.

[edwin2021]

Erwin537 schreef op donderdag 19 maart 2026 @ 13:53:
Ik post toch eens even hier voor een check. Voor een lan party heb ik twee oude laptops voorzien van proxmox om zo wat containers te kunnen draaien voor game servers etc. Nu vond ik het handig om ze in een cluster te zetten (had er nog nooit mee gewerkt) omdat je dan vanaf één management interface beide kan beheren.

Thuis opgezet met vaste IP addressen, maar als ik ze meeneem naar een andere locatie kan ik ze niet altijd dezelfde IP adressen geven. De IP addressen aanpassen is niet moeilijk, even in interfaces en hosts file het IP aanpassen en klaar. Maar toen kwam ik er achter dat het cluster niet kan herstellen en de containers dan helemaal niet meer willen starten. Na wat zoek werk kon ik met 'pvecm expected 1' zorgen dat ik de corosync.conf file kon aanpassen. Dit zorgt er voor dat de LXCs op de hosts weer starten, maar de cluster werkt alsnog niet - totdat ik naar het netwerk ga waar ze oorspronkelijk zijn opgezet en ze weer de originele IP addressen krijgen.

Nu overweeg ik om het cluster er weer uit te gooien omdat het voordeel (één login, één managements interface voor twee servers) niet werkt op andere locaties en extra stappen met zich mee brengt om weer aan de praat te krijgen. Ik ben de documentatie gaan bekijken, maar schrok een beetje van de waarschuwingen. Als ik het goed begrijp staat er dat als je het verwijderd ze niet weer opnieuw in een cluster kunnen en op andere plekken zie ik vooral het advies om Proxmox gewoon helemaal van scratch te installeren. In de manual leek wel meer gezegd te worden dat de complexiteit vooral zit in als je meer ingewikkelde dingen hebt gedaan zoals shared storage over servers.

Heeft iemand hier ook al eens te maken gehad? En wellicht een cluster verwijderd?

Neem een goede router + switch mee. Zet op de router een eigen netwerk waar de switch aan zit. Sluit wan kant router aan op het lan op locatie.
Misschien te simpel gedacht......

[InjecTioN]

ElCondor schreef op donderdag 19 maart 2026 @ 13:26:
[...]

Heb ik ook al even aan zitten denken, inderdaad. Er zitten 4 SSD's in de server, 2 geven een smart device temp aan van +- 45 graden.
De andere twee melden een Airflow temp van +-75 graden. Ik durf zo even niet te zeggen of dit té heet is.
Het is ook niet eerder voorgevallen en de server heb ik, na een spontane reboot vanochtend, niet meer down zien gaan.

Waar meet je die 75 graden dan? Want 75 graden is direct in een chip (CPU, of GPU) nog te doen. Maar als dat echt je airflow is, dan is er iets mis...

75 graden kan voor storage aardig hoog zijn. Meestal throttle-en ze rond die temperatuur, zodat ze wat koeler blijven.

Zou je misschien eens wat specs van je clustertje kunnen delen? Misschien dat het wat meer vertelt over de situatie. Laat ook vooral even weten hoeveel intake en outtake fans je op welke plek van de nodes hebt zitten. Ook andere fans.

[d3vlin]

Erwin537 schreef op donderdag 19 maart 2026 @ 13:53:
Ik post toch eens even hier voor een check. Voor een lan party heb ik twee oude laptops voorzien van proxmox om zo wat containers te kunnen draaien voor game servers etc. Nu vond ik het handig om ze in een cluster te zetten (had er nog nooit mee gewerkt) omdat je dan vanaf één management interface beide kan beheren.

Thuis opgezet met vaste IP addressen, maar als ik ze meeneem naar een andere locatie kan ik ze niet altijd dezelfde IP adressen geven. De IP addressen aanpassen is niet moeilijk, even in interfaces en hosts file het IP aanpassen en klaar. Maar toen kwam ik er achter dat het cluster niet kan herstellen en de containers dan helemaal niet meer willen starten. Na wat zoek werk kon ik met 'pvecm expected 1' zorgen dat ik de corosync.conf file kon aanpassen. Dit zorgt er voor dat de LXCs op de hosts weer starten, maar de cluster werkt alsnog niet - totdat ik naar het netwerk ga waar ze oorspronkelijk zijn opgezet en ze weer de originele IP addressen krijgen.

Nu overweeg ik om het cluster er weer uit te gooien omdat het voordeel (één login, één managements interface voor twee servers) niet werkt op andere locaties en extra stappen met zich mee brengt om weer aan de praat te krijgen. Ik ben de documentatie gaan bekijken, maar schrok een beetje van de waarschuwingen. Als ik het goed begrijp staat er dat als je het verwijderd ze niet weer opnieuw in een cluster kunnen en op andere plekken zie ik vooral het advies om Proxmox gewoon helemaal van scratch te installeren. In de manual leek wel meer gezegd te worden dat de complexiteit vooral zit in als je meer ingewikkelde dingen hebt gedaan zoals shared storage over servers.

Heeft iemand hier ook al eens te maken gehad? En wellicht een cluster verwijderd?

Een cluster met 2 nodes werkt niet goed. Je hebt een 3e node of Q-device nodig voor quorum.

Als het alleen gaat om remote beheren van proxmox nodes kun je beter Proxmox Datacenter Manager gebruiken: https://www.proxmox.com/e...tacenter-manager/overview

Je kunt de nodes (id, ip, naam, etc.) in een cluster prima aanpassen zonder een nieuwe cluster te maken. Vergt vooral corosync kennis en gaat snel mis als de volgorde niet klopt.
https://forum.proxmox.com...nodes-ip-addresses.33406/
https://forum.proxmox.com...t-the-id-of-a-node.24763/
Met maar 2 nodes en VM/LXC backups is een host reinstall waarschijnlijk sneller en pijnlozer.

[ThinkPad]

Vannacht m'n host laten rebooten i.v.m Proxmox updates. Ik had een VM die niet up kwam terwijl hij wel in autostart stond

Wat bleek: er stond nog een .iso aan gekoppeld die ik weken geleden al verwijderd had.
Best lelijk dat de hele VM dan niet opstart i.p.v. dat hij alleen een warning geeft. Virtuele DVD-drive verwijderd en booten maar.

[ Voor 12% gewijzigd door ThinkPad op 19-03-2026 20:33 ]

[ElCondor]

InjecTioN schreef op donderdag 19 maart 2026 @ 15:16:
[...]

Waar meet je die 75 graden dan? Want 75 graden is direct in een chip (CPU, of GPU) nog te doen. Maar als dat echt je airflow is, dan is er iets mis...

75 graden kan voor storage aardig hoog zijn. Meestal throttle-en ze rond die temperatuur, zodat ze wat koeler blijven.

Zou je misschien eens wat specs van je clustertje kunnen delen? Misschien dat het wat meer vertelt over de situatie. Laat ook vooral even weten hoeveel intake en outtake fans je op welke plek van de nodes hebt zitten. Ook andere fans.

Ik heb geen idee WAAR dit wordt gemeten. Het is een SMART status die in het ProxMox System log voorbij komt. Het is, vermoedelijk, een temp meeting aan de buitenzijde van de SSD package, of tegen de buitenzijde aan. Als 75 inderdaad hoog is, dan moet ik eens gaan kijken hoe de exacte fysieke inrichting ook alweer in elkaar zit. Het gaat om een Corsair 4000D waarbij er twee SSD's onder MoBo plate gemonteerd zijn en twee in een drive cage. Ik moet even kijken welke SSD welke is om te weten welke het heetst worden. Wellicht een setje alu cases ervoor kopen. En de fancurves aanpassen...
Voor de specs, zie mijn inventaris. Het gaat om PM node 3. Ik heb nog twee van de NUC6's ook als node ingericht.
Overigens zijn er geen reboots meer geweest sinds mijn meldingen vanochtend. Workload is niet veranderd. Vreemd gedrag dus...

[ Voor 4% gewijzigd door ElCondor op 19-03-2026 20:51 ]

[lolgast]

ThinkPad schreef op donderdag 19 maart 2026 @ 20:32:
Vannacht m'n host laten rebooten i.v.m Proxmox updates. Ik had een VM die niet up kwam terwijl hij wel in autostart stond

Wat bleek: er stond nog een .iso aan gekoppeld die ik weken geleden al verwijderd had.
Best lelijk dat de hele VM dan niet opstart i.p.v. dat hij alleen een warning geeft. Virtuele DVD-drive verwijderd en booten maar.

Dit exacte probleem is een paar pagina’s terug ook genoemd door iemand

[ElCondor]

lolgast schreef op donderdag 19 maart 2026 @ 20:49:
[...]

Dit exacte probleem is een paar pagina’s terug ook genoemd door iemand

´t was meeeee!

[ThinkPad]

Ik heb even gezocht op 'iso' en zie het inderdaad. Heb bij m'n andere VM's die nog een iso hadden gekoppeld deze ook maar even ontkoppeld.

[edwin2021]

lolgast schreef op donderdag 19 maart 2026 @ 20:49:
[...]

Dit exacte probleem is een paar pagina’s terug ook genoemd door iemand

En bij deze nog een. Iso was weg maar wel gekoppeld en dus starte de vm niet meer op. Slordig maar simpele fix.

[ Voor 3% gewijzigd door edwin2021 op 19-03-2026 21:02 ]

[lolgast]

Eigenlijk raar dat er geen lock op zo’n ISO komt op het moment dat hij ergens gemount wordt.. Daar is vast een scriptje voor te schrijven. Of het is er al waarschijnlijk

[Jerie]

UTMachine schreef op woensdag 18 maart 2026 @ 00:00:
[...]


Mooi spul en ik werk met beide, maar eigenlijk alleen bedoeld voor (semi) professioneel gebruik, anders zijn die dingen normaliter te duur of trekken veels teveel vermogen itt een NUC.

Yup, dit dus, staat constant een GPU, NIC, en toetsenbord te loeien. IPMI zoals iLO kun je doorgaans niet makkelijk on the fly uitzetten. Een externe KVM zoals een JetKVM wel. Ook zijn deze OSen (wat dat zijn het, met volledige root op de computer ) nog wel eens lek. Dan draait men het op een aparte VLAN, en die managed switch is dan zo lek als een mandje. Typisch iets dat je tegen kunt komen tijdens een whitebox pentest. Het is wel zo dat HP op zich de iLO wel met regelmaat van updates voorziet, maar die moet je dan ook toepassen.

[jwvdst]

lolgast schreef op donderdag 19 maart 2026 @ 22:42:
Eigenlijk raar dat er geen lock op zo’n ISO komt op het moment dat hij ergens gemount wordt.. Daar is vast een scriptje voor te schrijven. Of het is er al waarschijnlijk

hier kwam ik ook achter nadat ik de nfs share met iso's tijdelijk niet beschikbaar was wegens een upgrade. Als de iso dan niet meer beschikbaar is zou die gewoon de boot order af moeten werken.

Maar wat ik mezelf aan geleerd heb is na het installeren van het besturingssysteem om de virtuele dvd drive te verwijderen. Anders dan installatie van het besturingssysteem ben je de virtuele dvd speler toch niet nodig tenminste ik niet

[ComTech]

Ik heb in één van mijn proxmox nodes 2 SSD’s, een sata en een nvme.
Wat mij opvalt is als er grote bestanden backups bijvoorbeeld van de nvme gaan dan gaat de i/o wait enorm omhoog.
Maar van de sata disk niet.
Heb het even getest in een VM door een groot bestand te schijven en daar precies hetzelfde.
De nvme is een Samsung 980evo, heeft ruim 15 tb geschreven en heeft 5% wear-out en geen smart fouten.
Is die gewoon op aan het raken ?
Ik gebruik geen zfs maar LVM-Thin voor de SSD.

[UTMachine]

Jerie schreef op zaterdag 21 maart 2026 @ 17:28:
[...]


Yup, dit dus, staat constant een GPU, NIC, en toetsenbord te loeien. IPMI zoals iLO kun je doorgaans niet makkelijk on the fly uitzetten. Een externe KVM zoals een JetKVM wel. Ook zijn deze OSen (wat dat zijn het, met volledige root op de computer ) nog wel eens lek. Dan draait men het op een aparte VLAN, en die managed switch is dan zo lek als een mandje. Typisch iets dat je tegen kunt komen tijdens een whitebox pentest. Het is wel zo dat HP op zich de iLO wel met regelmaat van updates voorziet, maar die moet je dan ook toepassen.

Uitzetten kan je door de kabel eruit te trekken

Maarja, als je een managed interface hebt, moet je die wel goed beveiligen en updates blijven doorvoeren. Daarin zijn sommige organisaties heel langzaam in (of helemaal niet), totdat er een incident is (geweest). Ik zie ook klanten met RHEL waar hun uptime >1000 dagen is, dat zegt ook al genoeg

[powerboat]

ComTech schreef op zondag 22 maart 2026 @ 18:03:
Ik heb in één van mijn proxmox nodes 2 SSD’s, een sata en een nvme.
Wat mij opvalt is als er grote bestanden backups bijvoorbeeld van de nvme gaan dan gaat de i/o wait enorm omhoog.
Maar van de sata disk niet.
Heb het even getest in een VM door een groot bestand te schijven en daar precies hetzelfde.
De nvme is een Samsung 980evo, heeft ruim 15 tb geschreven en heeft 5% wear-out en geen smart fouten.
Is die gewoon op aan het raken ?
Ik gebruik geen zfs maar LVM-Thin voor de SSD.

Volgens mij hebben die EVO's een cache functie en zit daar je issue als die vol zit.

De pro's en de enterprise varianten hebben daar geen last van.

[d3vlin]

980 EVO bestaat volgens mij niet. Maar er zijn verschillende Samsung nvme's (ook Pro) die last hebben van TurboWrite Cache / SLC Cache exhaustion. Is veel over te vinden. Zit je op de laatste firmware?

[ Voor 9% gewijzigd door d3vlin op 23-03-2026 16:21 ]

[ComTech]

powerboat schreef op maandag 23 maart 2026 @ 15:55:
[...]


Volgens mij hebben die EVO's een cache functie en zit daar je issue als die vol zit.

De pro's en de enterprise varianten hebben daar geen last van.

Tips voor een goede m.2 nvme welke goed is voor proxmox met enkele VM's en LXC's ?
Enterprise is niet veel te vinden in m.2 meestal in sata daar heb ik er al één van (Intel DC S4500).

d3vlin schreef op maandag 23 maart 2026 @ 16:17:
980 EVO bestaat volgens mij niet. Maar er zijn verschillende Samsung nvme's (ook Pro) die last hebben van TurboWrite Cache / SLC Cache exhaustion. Is veel over te vinden. Zit je op de laatste firmware?

Je hebt gelijk het is een 980 zonder toevoeging
Hij zit op de laatste firmware, misschien beter om hem een keer te vervangen voor iets beters, helaas een slechte tijd om nieuwe hardware te kopen

[powerboat]

Ik heb deze maar ze zijn een beetje onbetaalbaar geworden Samsung PM9A3 SSD - 3.8TB - M.2 22110 PCIe 4.0

Bij een klant gebruik ik deze Samsung 980 Pro (vanwege de formfactor) die werken prima zover ik weet.

[ Voor 6% gewijzigd door powerboat op 23-03-2026 21:01 ]

[_JGC_]

powerboat schreef op maandag 23 maart 2026 @ 20:59:
Ik heb deze maar ze zijn een beetje onbetaalbaar geworden Samsung PM9A3 SSD - 3.8TB - M.2 22110 PCIe 4.0

Bij een klant gebruik ik deze Samsung 980 Pro (vanwege de formfactor) die werken prima zover ik weet.

Daar heb ik er bij een klant 9 van in een Ceph cluster in U2 formaat, die werken idd prima.
Zitten na 9 maanden op 1% media wearout. De systeemdrives, Samsung PM9A1 256GB NVME in ZFS mirror zitten nu al op 7% wearout. Wordt de hele dag naar geschreven, max I/O pressure stall wat ik zie in de grafieken is 0,25%.

Spul is helaas niet meer te betalen, blij met het geheugenlek in de Intel netwerkdrivers vorig jaar waardoor we onterecht 384GB extra geheugen hebben gekocht (2000 euro incl BTW). Verder hebben we nog een stapel Intel 4510 en 4520 SATA SSDs van 1, 2 en 4TB liggen uit de oude servers met lage media wear, dus mocht opslag een probleem worden dan hebben we maar zo een 2e cluster opslag erbij voor het minder veeleisende spul.

[ElCondor]

_JGC_ schreef op dinsdag 24 maart 2026 @ 09:35:
[...]

Daar heb ik er bij een klant 9 van in een Ceph cluster in U2 formaat, die werken idd prima.
Zitten na 9 maanden op 1% media wearout. De systeemdrives, Samsung PM9A1 256GB NVME in ZFS mirror zitten nu al op 7% wearout. Wordt de hele dag naar geschreven, max I/O pressure stall wat ik zie in de grafieken is 0,25%.

Spul is helaas niet meer te betalen, blij met het geheugenlek in de Intel netwerkdrivers vorig jaar waardoor we onterecht 384GB extra geheugen hebben gekocht (2000 euro incl BTW). Verder hebben we nog een stapel Intel 4510 en 4520 SATA SSDs van 1, 2 en 4TB liggen uit de oude servers met lage media wear, dus mocht opslag een probleem worden dan hebben we maar zo een 2e cluster opslag erbij voor het minder veeleisende spul.

Dat is andere koek dan in een home-labje

[_JGC_]

ElCondor schreef op dinsdag 24 maart 2026 @ 10:05:
[...]

Dat is andere koek dan in een home-labje

Als ik nu weer opslag zou moeten plaatsen werden het overigens Kingston DC3000ME disks. Zijn de helft van de prijs van Samsung P9MA3 en doen veel meer IOPS.

[ElCondor]

_JGC_ schreef op dinsdag 24 maart 2026 @ 10:27:
[...]

Als ik nu weer opslag zou moeten plaatsen werden het overigens Kingston DC3000ME disks. Zijn de helft van de prijs van Samsung P9MA3 en doen veel meer IOPS.

* ElCondor checkt prijs...

[InjecTioN]

_JGC_ schreef op dinsdag 24 maart 2026 @ 09:35:
[...]

Daar heb ik er bij een klant 9 van in een Ceph cluster in U2 formaat, die werken idd prima.
Zitten na 9 maanden op 1% media wearout. De systeemdrives, Samsung PM9A1 256GB NVME in ZFS mirror zitten nu al op 7% wearout. Wordt de hele dag naar geschreven, max I/O pressure stall wat ik zie in de grafieken is 0,25%.

Spul is helaas niet meer te betalen, blij met het geheugenlek in de Intel netwerkdrivers vorig jaar waardoor we onterecht 384GB extra geheugen hebben gekocht (2000 euro incl BTW). Verder hebben we nog een stapel Intel 4510 en 4520 SATA SSDs van 1, 2 en 4TB liggen uit de oude servers met lage media wear, dus mocht opslag een probleem worden dan hebben we maar zo een 2e cluster opslag erbij voor het minder veeleisende spul.

De sata Samsung SSD varianten die beginnen met PM (zoals de PM883) hebben TLC NAND. Die hebben meestal "slechts" 1/2e tot zelfs 1/3e van de SM -series (zoals SM883) van Samsung. De SM -series hebben MLC NAND, waardoor de DWPD een stuk hoger kan zijn.

Die PM9A1 heeft slechts een 0.3 DWPD. Dat is een low-endurance SSD. Mogelijk zou je die willen vervangen, of in ieder geval een werkbare situatie creëren waarin je die gemakkelijk kan vervangen als het jou uitkomt (ipv wanneer die stuk gaat).

Ik heb vorige week een setje compleet gemaakt van 4x Samsung SM863 met slechts 1% wear over 5 jaar. Dan heb ik 1 spare en 3 SSD's verdeeld over 3 Proxmox nodes met Ceph. Daarbij ook nog een PM883 als extra spare van ons pap gekregen. Ook met 1% wear. Dus mijn SSD's worden aankomend weekend ook een voor een vervangen.

Ik kom van 3x Intel D3 S4610 480GB SSD's af, waarbij de ruimte toch iets te krap leek in het Ceph volume. Dit zijn overigens ook TLC NAND SSD's, die vervangen worden met MLC NAND SSD's. Intel SSD's kan ik mooi in RAID10 zetten voor mijn workstation.

[dcm360]

InjecTioN schreef op dinsdag 24 maart 2026 @ 12:02:
[...]

Die PM9A1 heeft slechts een 0.3 DWPD. Dat is een low-endurance SSD. Mogelijk zou je die willen vervangen, of in ieder geval een werkbare situatie creëren waarin je die gemakkelijk kan vervangen als het jou uitkomt (ipv wanneer die stuk gaat).

Tja, dat hangt er ook maar net van af of je dat erg vindt of niet. Met iets minder dan 1% wear per maand kom je nog steeds uit op een levensduur van grofweg 10 jaar (en wordt de helft van de 0.3 DWPD gebruikt). Ik heb ook wat Intel P4510's naar 70% wear geschreven in 5 jaar tijd, dat was op zich misschien niet helemaal handig, maar compleet binnen spec en na die tijd de schijven vervangen is ook weer niet het einde van de wereld.

[_JGC_]

@InjecTioN Met 7% wear in 9 maanden tijd kom ik op 10 jaar levensduur. Ter vergelijking: ik tik dit op een desktop met een Crucial MX500 die op 221% lifetime remaining zit omdat de teller al eens geflipt is.

Overigens de oorzaak van de writes al achterhaald, nu ook opgelost. Ceph. De monitor service staat standaard in debug mode op Proxmox. Die logt alle data van het hele cluster op elke node naar /var/log/ceph/*.log.
De code om naar de loglevel instelling te luisteren is met 19.2.3 pas meegekomen, dus nu maar even naar info level gezet ipv debug. Scheelt heel wat writes.
https://forum.proxmox.com...oglevel-mgr-pgmap.117780/

[InjecTioN]

dcm360 schreef op dinsdag 24 maart 2026 @ 12:27:
[...]

Tja, dat hangt er ook maar net van af of je dat erg vindt of niet. Met iets minder dan 1% wear per maand kom je nog steeds uit op een levensduur van grofweg 10 jaar (en wordt de helft van de 0.3 DWPD gebruikt). Ik heb ook wat Intel P4510's naar 70% wear geschreven in 5 jaar tijd, dat was op zich misschien niet helemaal handig, maar compleet binnen spec en na die tijd de schijven vervangen is ook weer niet het einde van de wereld.

_JGC_ schreef op dinsdag 24 maart 2026 @ 12:30:
@InjecTioN Met 7% wear in 9 maanden tijd kom ik op 10 jaar levensduur. Ter vergelijking: ik tik dit op een desktop met een Crucial MX500 die op 221% lifetime remaining zit omdat de teller al eens geflipt is.

Overigens de oorzaak van de writes al achterhaald, nu ook opgelost. Ceph. De monitor service staat standaard in debug mode op Proxmox. Die logt alle data van het hele cluster op elke node naar /var/log/ceph/*.log.
De code om naar de loglevel instelling te luisteren is met 19.2.3 pas meegekomen, dus nu maar even naar info level gezet ipv debug. Scheelt heel wat writes.
https://forum.proxmox.com...oglevel-mgr-pgmap.117780/

Klopt helemaal. Om de een of andere reden heb ik het verkeerd geïnterpreteerd, waardoor ik het idee had dat je dat je 7% aan wear over 1 maand had behaald. In 9 maanden met 7% wear zit je inderdaad echt prima in het juiste segment. Vooral als je de afschrijving meetelt.

[edwin2021]

Waar kun je de wear zien? Staat bij mij niet in de smart info.

[_JGC_]

edwin2021 schreef op dinsdag 24 maart 2026 @ 18:18:
Waar kun je de wear zien? Staat bij mij niet in de smart info.

Laat proxmox in de web interface zien bij de disks. Werkt alleen als er iets in de SMART data zit wat daarvoor te gebruiken is.

[aerials1990]

Hoi allen,

Nieuw hier en wil graag starten met Proxmox. Ik wil mijn beoogd systeem even hier toetsen evenals vragen naar wat men voor advies heeft als NAS.

Ik wil een sterke Proxmox server voor verschillende VM’s:

• VM Frigate (CPU-only) met 4 camera's via EmpireTech
• VM AI only (GPU passthrough) voor grote Ollama modellen
• VM Home Assistant OS
• Kleine containers (bijv. Jellyfin / Jellyseerr / etc.)
• Mogelijk later uitbreiden met extra services

Daarnaast wil ik een aparte TrueNAS server met 4 bays die via 10GbE / SFP+ verbonden wordt met de Proxmox server.

Beoogde Proxmox Hardware
CPU: AMD Ryzen 9 9950X
CPU Koeler: Noctua NH‑D15 G2 chromax.black
Moederbord: ASUS ROG Crosshair X870E Extreme (2× PCIe 5.0 x16 slots, 5× M.2 slots, 10GbE + 5GbE LAN, E-ATX formaat)
RAM: Kingston FURY 2x64GB DDR5‑6000 (2×32GB) KF560C36BBEK2‑64, DDR5-6000, CL36, AMD EXPO, On-die ECC
Case rack (5U):SilverStone RM51
GPU: RTX 5090 (32GB VRAM)
Opslag: 2x Samsung 990 Pro 2TB - SSD

Wat ik zoek:

4-bay NAS
10GbE / SFP+ voorkeur
VM storage voor Proxmox
storage voor Jellyfish media server (afspelen via NVIDIA Shield).

Twijfel tussen:
Kant-en-klare NAS (QNAP / Synology / TerraMaster) OF Zelfbouw TrueNAS server
Mijn vragen
Is deze Proxmox hardware overkill of juist goed toekomstbestendig?
Zijn er betere moederborden voor Proxmox / VM workloads?
Wat raden jullie aan voor 4-bay TrueNAS server?
Is SFP+ de juiste keuze of beter 10GbE RJ45?
Tips / valkuilen bij Proxmox + AI + Frigate?

[Quad]

@aerials1990 Gaat het alleen om opslag voor VMs? Dan zou ik geen TrueNAS maar ZFS binnen PVE zelf overwegen. Je houdt het netwerkverkeer dan ook binnen de host.
De services zijn de services in LXC/VM op je host.

Voor Frigate overweeg een Coral TPU, verbruik wordt daarmee veel lager dan via de CPU.

[ Voor 17% gewijzigd door Quad op 26-03-2026 10:50 ]

[aerials1990]

Quad schreef op donderdag 26 maart 2026 @ 10:49:
@aerials1990 Gaat het alleen om opslag voor VMs? Dan zou ik geen TrueNAS maar ZFS binnen PVE zelf overwegen. Je houdt het netwerkverkeer dan ook binnen de host.
De services zijn de services in LXC/VM op je host.

Voor Frigate overweeg een Coral TPU, verbruik wordt daarmee veel lager dan via de CPU.

Dank voor je reactie Quad. Ik dacht dat het beter is om de PVE en een aparte NAS te scheiden in mijn serverrack, dit ook voor home assistant configuratie files en andere data?

[Quad]

aerials1990 schreef op donderdag 26 maart 2026 @ 10:59:
[...]

Dank voor je reactie Quad. Ik dacht dat het beter is om de PVE en een aparte NAS te scheiden in mijn serverrack, dit ook voor home assistant configuratie files en andere data?

Als je meerdere PVE hosts gebruikt is shared storage een goede oplossing.
Maar met deze opstelling introduceer je alleen maar extra SPOFs:

• NAS die herstart terwijl je PVE draait.
• Verbinding tussen NAS > PVE die verbroken wordt.
• Updates op NAS die voor verbroken netwerkconnectiviteit zorgt.
• NAS defect = geen storage meer voor je PVE.

Door opslag direct binnen PVE aan je VMs aan te bieden heb je geen OS en netwerklaag tussen zitten, maar direct de storagelaag.

Waar je nog wel naar moet kijken is of de beoogde voeding past en of je voldoende HDDs in je behuizing kan krijgen.

Tip; maak gebruik van een wenslijstje: https://tweakers.net/gallery/929811/wenslijst/

[ Voor 13% gewijzigd door Quad op 26-03-2026 12:06 ]

[Goof2000]

aerials1990 schreef op donderdag 26 maart 2026 @ 10:42:
Hoi allen,

Nieuw hier en wil graag starten met Proxmox. Ik wil mijn beoogd systeem even hier toetsen evenals vragen naar wat men voor advies heeft als NAS.

Ik wil een sterke Proxmox server voor verschillende VM’s:

• VM Frigate (CPU-only) met 4 camera's via EmpireTech
• VM AI only (GPU passthrough) voor grote Ollama modellen
• VM Home Assistant OS
• Kleine containers (bijv. Jellyfin / Jellyseerr / etc.)
• Mogelijk later uitbreiden met extra services

Daarnaast wil ik een aparte TrueNAS server met 4 bays die via 10GbE / SFP+ verbonden wordt met de Proxmox server.

Beoogde Proxmox Hardware
CPU: AMD Ryzen 9 9950X
CPU Koeler: Noctua NH‑D15 G2 chromax.black
Moederbord: ASUS ROG Crosshair X870E Extreme (2× PCIe 5.0 x16 slots, 5× M.2 slots, 10GbE + 5GbE LAN, E-ATX formaat)
RAM: Kingston FURY 2x64GB DDR5‑6000 (2×32GB) KF560C36BBEK2‑64, DDR5-6000, CL36, AMD EXPO, On-die ECC
Case rack (5U):SilverStone RM51
GPU: RTX 5090 (32GB VRAM)
Opslag: 2x Samsung 990 Pro 2TB - SSD

Wat ik zoek:

4-bay NAS
10GbE / SFP+ voorkeur
VM storage voor Proxmox
storage voor Jellyfish media server (afspelen via NVIDIA Shield).

Twijfel tussen:
Kant-en-klare NAS (QNAP / Synology / TerraMaster) OF Zelfbouw TrueNAS server
Mijn vragen
Is deze Proxmox hardware overkill of juist goed toekomstbestendig?
Zijn er betere moederborden voor Proxmox / VM workloads?
Wat raden jullie aan voor 4-bay TrueNAS server?
Is SFP+ de juiste keuze of beter 10GbE RJ45?
Tips / valkuilen bij Proxmox + AI + Frigate?

Als ik deze componenten zie dan is energieverbruik niet een prioriteit? Ik wil het met deze vraag even checken, het is niet zuinig. (maar daar hebben we een ander topic voor)

[aerials1990]

Goof2000 schreef op donderdag 26 maart 2026 @ 14:18:
[...]


Als ik deze componenten zie dan is energieverbruik niet een prioriteit? Ik wil het met deze vraag even checken, het is niet zuinig. (maar daar hebben we een ander topic voor)

Nav Quad, overweeg ik om HDD’s en M.2 SSD’s direct in Proxmox te plaatsen in plaats van een aparte TrueNAS.

Wel maak ik me wat zorgen over temperatuur in een klein 5U server behuiziging en over idle-verbruik, zeker met een zware GPU en meerdere schijven, ook al krijg ik zonnepanelen. AI gebruik ik vooral voor inference, integratie met Home Assistant spraak en experimenten met Ollama.

[InjecTioN]

aerials1990 schreef op donderdag 26 maart 2026 @ 16:11:
[...]


Nav Quad, overweeg ik om HDD’s en M.2 SSD’s direct in Proxmox te plaatsen in plaats van een aparte TrueNAS.

Wel maak ik me wat zorgen over temperatuur in een klein 5U server behuiziging en over idle-verbruik, zeker met een zware GPU en meerdere schijven, ook al krijg ik zonnepanelen. AI gebruik ik vooral voor inference, integratie met Home Assistant spraak en experimenten met Ollama.

Als je experimenteert met Ollama en voornamelijk Home Assistant wilt gebruiken, kan je dan niet beter iets van een Intel Arc B580 nemen, of zelfs alleen de CPU gebruiken met TinyLlama/Phi-3 mini? Het zou eigenlijk gekkenwerk zijn om een top-dollar GPU aan te schaffen voor die kleine momenten dat je even iets meer nodig hebt, onder het mom van "experimenteren". In mijn boekje valt dat, met alle respect, onder smijten met geld.

[zeroday]

aerials1990 schreef op donderdag 26 maart 2026 @ 10:42:
Hoi allen,

Nieuw hier en wil graag starten met Proxmox. Ik wil mijn beoogd systeem even hier toetsen evenals vragen naar wat men voor advies heeft als NAS.

Ik wil een sterke Proxmox server voor verschillende VM’s:
Daarnaast wil ik een aparte TrueNAS server met 4 bays die via 10GbE / SFP+ verbonden wordt met de Proxmox server.

Ik gebruik al jaren een HP Gen8 Microserver 4Bay met Truenas .. werkt als de tierelier en vooralsnog upgrade ik niet naar de Debian variant ..
10GB wil ik wellicht ook nog wel maar dan moet er een kaart in en heb ik weer 4 nieuwe HDD's nodig
ikzelf gebruik Intel NUC's in een cluster en daar kan ik alles mee wat ik wil.

En iedereen heeft zijn / haar voorkeuren. Ik doe het 2e hands en goedkoop en als ik dan wat beperkingen heb moet ik er OF omheen werken OF niet gebruiken etc .. Zo wilde ik CEPH gaan gebruiken maar dat is met 1GB waardeloos .. dus dan maar niet

[aerials1990]

InjecTioN schreef op donderdag 26 maart 2026 @ 16:32:
[...]

Als je experimenteert met Ollama en voornamelijk Home Assistant wilt gebruiken, kan je dan niet beter iets van een Intel Arc B580 nemen, of zelfs alleen de CPU gebruiken met TinyLlama/Phi-3 mini? Het zou eigenlijk gekkenwerk zijn om een top-dollar GPU aan te schaffen voor die kleine momenten dat je even iets meer nodig hebt, onder het mom van "experimenteren". In mijn boekje valt dat, met alle respect, onder smijten met geld.

Ik ben het absoluut eens dat het misschien als geld smijten klinkt, maar ik wil ook klaar zijn voor de toekomst en wie weet hoe ver die prijzen nog gaan oplopen met de huidige oorlog. Ik wil ook niet tegen een grens aanlopen met de GPU/RAM. Dit wordt mijn eerste homelab, en ik wil het goed aanpakken.

[InjecTioN]

aerials1990 schreef op donderdag 26 maart 2026 @ 17:58:
[...]


Ik ben het absoluut eens dat het misschien als geld smijten klinkt, maar ik wil ook klaar zijn voor de toekomst en wie weet hoe ver die prijzen nog gaan oplopen met de huidige oorlog. Ik wil ook niet tegen een grens aanlopen met de GPU/RAM. Dit wordt mijn eerste homelab, en ik wil het goed aanpakken.

Pro tip: Laat je niet gek maken.

Ik snap precies wat je bedoelt, maar het is 't niet waard om zoveel geld erin te investeren. Rendement is er gewoon niet t.o.v. iets als bijvoorbeeld een Intel Arc B580. En is het nou echt een probleem als antwoord op je prompt iets langer duurt voor een grote smak minder geld en verbruik?

Edit: Laat ook even voorop staan dat je met relatief weinig al snel uit de voeten kan. Over een tijdje is het relatief "standaard" dat je aardig wat language model kan draaien op een APU. Dan ben je mooi klaar met je aanschaf van een paar ruggen die nooit gerendeerd heeft.

[ Voor 15% gewijzigd door InjecTioN op 26-03-2026 18:04 ]

[aerials1990]

InjecTioN schreef op donderdag 26 maart 2026 @ 18:01:
[...]

Pro tip: Laat je niet gek maken.

Ik snap precies wat je bedoelt, maar het is 't niet waard om zoveel geld erin te investeren. Rendement is er gewoon niet t.o.v. iets als bijvoorbeeld een Intel Arc B580. En is het nou echt een probleem als antwoord op je prompt iets langer duurt voor een grote smak minder geld en verbruik?

Edit: Laat ook even voorop staan dat je met relatief weinig al snel uit de voeten kan. Over een tijdje is het relatief "standaard" dat je aardig wat language model kan draaien op een APU. Dan ben je mooi klaar met je aanschaf van een paar ruggen die nooit gerendeerd heeft.

Ik waardeer je reacties , het budget is er, maar ik zit zelf ook met een knoop in mijn maag over cost/benefit ratio. Snelheid in reactie is wel een ding. Wat ik namelijk ook voor ogen heb is om Whisper/piper/ollama integraties te gebruiken in home assistant. Vervolgens i.c.m. Satellite1 Dev Kit wil ik een soort slimme AI Voice assistant creëeren in home assistant. Commando's en reacties naar/van de satellite1 moeten dan wel vloeiend voelen (geen lag). En verder, voor werk (IT) is het ook fijn als ik code/context kan gebruiken om modellen te trainen en gebruiken voor werk.

[GoBieN-Be]

Ik ben een AMD fan, maar met Frigate en 4 camera's kan je toch beter kijken naar een Intel CPU met ingebouwde GPU (dus niet de K variant).
Waarom? Je kan dan de ingebouwde GPU gebruiken voor hardware assisted FFMPEG en/decoding en ook OpenVINO voor object detectie. Heb je dan geen Coral nodig (waar ik in combinatie met Proxmox veel problemen mee had). Dat scheelt veel CPU verbruik.
Bonus, via de ingebouwde GPU heb je ook nog beeld van je proxmox installatie terwijl de dedicated GPU in passthrough staat naar de AI VM.

[ Voor 3% gewijzigd door GoBieN-Be op 26-03-2026 19:07 ]

[orvintax]

Quad schreef op donderdag 26 maart 2026 @ 10:49:
@aerials1990 Gaat het alleen om opslag voor VMs? Dan zou ik geen TrueNAS maar ZFS binnen PVE zelf overwegen. Je houdt het netwerkverkeer dan ook binnen de host.
De services zijn de services in LXC/VM op je host.

Voor Frigate overweeg een Coral TPU, verbruik wordt daarmee veel lager dan via de CPU.

Hoewel ik het eens ben met je redenering om het op een enkele host te houden. Tevens ook met je reactie hieronder. Is er natuurlijk altijd nog de mogelijkheid om TrueNAS als een losse VM te draaien binnen Proxmox. Afhankelijk van de wensen van @aerials1990 kan dat het beste van beide werelden zijn.

[aerials1990]

GoBieN-Be schreef op donderdag 26 maart 2026 @ 19:06:
Ik ben een AMD fan, maar met Frigate en 4 camera's kan je toch beter kijken naar een Intel CPU met ingebouwde GPU (dus niet de K variant).
Waarom? Je kan dan de ingebouwde GPU gebruiken voor hardware assisted FFMPEG en/decoding en ook OpenVINO voor object detectie. Heb je dan geen Coral nodig (waar ik in combinatie met Proxmox veel problemen mee had). Dat scheelt veel CPU verbruik.
Bonus, via de ingebouwde GPU heb je ook nog beeld van je proxmox installatie terwijl de dedicated GPU in passthrough staat naar de AI VM.

Top tip, ga ik zeker naar kijken. Waarom geen K variant? Ik wil eigenlijk dan gaan voor Core Ultra 9 285K uitvoering: Intel Core Ultra 9 285K Boxed

[Jerie]

aerials1990 schreef op donderdag 26 maart 2026 @ 10:42:
Hoi allen,

Nieuw hier en wil graag starten met Proxmox. Ik wil mijn beoogd systeem even hier toetsen evenals vragen naar wat men voor advies heeft als NAS.

Ik wil een sterke Proxmox server voor verschillende VM’s:

• VM Frigate (CPU-only) met 4 camera's via EmpireTech
• VM AI only (GPU passthrough) voor grote Ollama modellen
• VM Home Assistant OS
• Kleine containers (bijv. Jellyfin / Jellyseerr / etc.)
• Mogelijk later uitbreiden met extra services

Daarnaast wil ik een aparte TrueNAS server met 4 bays die via 10GbE / SFP+ verbonden wordt met de Proxmox server.

Beoogde Proxmox Hardware
CPU: AMD Ryzen 9 9950X
CPU Koeler: Noctua NH‑D15 G2 chromax.black
Moederbord: ASUS ROG Crosshair X870E Extreme (2× PCIe 5.0 x16 slots, 5× M.2 slots, 10GbE + 5GbE LAN, E-ATX formaat)
RAM: Kingston FURY 2x64GB DDR5‑6000 (2×32GB) KF560C36BBEK2‑64, DDR5-6000, CL36, AMD EXPO, On-die ECC
Case rack (5U):SilverStone RM51
GPU: RTX 5090 (32GB VRAM)
Opslag: 2x Samsung 990 Pro 2TB - SSD

Wat ik zoek:

4-bay NAS
10GbE / SFP+ voorkeur
VM storage voor Proxmox
storage voor Jellyfish media server (afspelen via NVIDIA Shield).

Twijfel tussen:
Kant-en-klare NAS (QNAP / Synology / TerraMaster) OF Zelfbouw TrueNAS server
Mijn vragen
Is deze Proxmox hardware overkill of juist goed toekomstbestendig?
Zijn er betere moederborden voor Proxmox / VM workloads?
Wat raden jullie aan voor 4-bay TrueNAS server?
Is SFP+ de juiste keuze of beter 10GbE RJ45?
Tips / valkuilen bij Proxmox + AI + Frigate?

AMD GPUs gaan ook met CUDA werken.

Coral TPU/NPU voor Frigate, behalve als je toch een GPU blijft houden.

NVMe met PLP (enterprise spul) voor data consistentie, of UPS.

Huidige is overkill. Kun je net zo goed tweedehands enterprise hardware nemen. Het nadeel daarvan is het slurpt stroom, maar dat is voor jou geen probleem zo lijk je te suggereren.

NIC SFP+ kan met Intel of AQC. Ik zou inderdaad voor SFP+ gaan en fiber i.p.v. ethernet. Ik heb goede ervaring met X710, die kun je tweedehands goedkoop kopen, krijgt nog steeds firmware updates. De AQC series hebben ook een relatief zuinige 1 port SFP+.

Voor storage intern of extern? SAS of SATA? Ik zou SAS nemen, of TB (als deze AMD CPU en mobo dat native kan). Zo niet, tweedehands HBAs gaan voor 20-50 EUR.

En de prijzen gaan ook weer dalen, dat heeft tijd nodig, (tenzij je verwacht dat Taiwan binnenkort wordt aangevallen, en de prognose daarvoor is vooralsnog lange baan). Als je nu nieuw een mid-tier server koopt, dan gaat die komende jaren prima mee.

Wat Ollama betreft. Ik denk dat je experimenten beter in een DC dat toch al draait kunt draaien, dat moet goedkoper zijn, behalve privacy.

Maar experimenteren met Ollama kan goedkoper dan dit. Op een MBP met 32 GB RAM bijv heb je ook bijna 32 GB GPU VRAM, en dat spul is retesnel.

[Tornado85]

Hoi! Stille mee lezer hier!

Ook AMD fan. Frigate draait ook prima op een 8600g met rocm image van Frigate. Wel minder camera's, 2 namelijk. 1 4k, ander 2k.

Verder ook Home Assistant en andere LXC containers + 2 Windows VMs.

Heb Ollama geprobeert op de iGPU. Maar dat is even geleden. Gamma 14b kwam tot 5 tk/s.

[GoBieN-Be]

aerials1990 schreef op vrijdag 27 maart 2026 @ 15:29:
[...]

Top tip, ga ik zeker naar kijken. Waarom geen K variant? Ik wil eigenlijk dan gaan voor Core Ultra 9 285K uitvoering: Intel Core Ultra 9 285K Boxed

Foutje van mij, het zijn de F varianten die geen ingebouwde GPU hebben.
K komt gewoon niet met een cooler.

Mijn hoofd PVE node draait op een Ryzen 5800X (zonder iGPU dus), maar ik heb extra een klein Dell mini PC'tje met i5 cpu draaien voor Frigate met 4 camera's. Dat is omdat mijn hoofd PVEnode anders 20% CPU stond te verspillen voor decoding en encoding. En de coral USB in passthrough zorgde voor veel storingen, zelfs met 10 soorten kabels geprobeerd.

AMD heeft slechts heel beperkte keuze met iGPU's, en dan nog is het moeilijker om die werkend te krijgen in Frigate voor hardware assisted en/decoding.

[ Voor 38% gewijzigd door GoBieN-Be op 29-03-2026 20:54 ]

[Jerie]

GoBieN-Be schreef op zondag 29 maart 2026 @ 20:49:
[...]

Foutje van mij, het zijn de F varianten die geen ingebouwde GPU hebben.
K komt gewoon niet met een cooler.

Mijn hoofd PVE node draait op een Ryzen 5800X (zonder iGPU dus), maar ik heb extra een klein Dell mini PC'tje met i5 cpu draaien voor Frigate met 4 camera's. Dat is omdat mijn hoofd PVEnode anders 20% CPU stond te verspillen voor decoding en encoding. En de coral USB in passthrough zorgde voor veel storingen, zelfs met 10 soorten kabels geprobeerd.

AMD heeft slechts heel beperkte keuze met iGPU's, en dan nog is het moeilijker om die werkend te krijgen in Frigate voor hardware assisted en/decoding.

Dacht al, ik heb een K met iGPU

As for your other first world problems:

USB port op v2 zetten.

usbip gebruiken i.p.v. passthrough.

NVMe Coral nemen.

Hier werkt het prima, maar... ik gebruik de iGPU...

[ Voor 8% gewijzigd door Jerie op 30-03-2026 00:17 ]

[edwin2021]

GoBieN-Be schreef op zondag 29 maart 2026 @ 20:49:
[...]
Mijn hoofd PVE node draait op een Ryzen 5800X (zonder iGPU dus), maar ik heb extra een klein Dell mini PC'tje met i5 cpu draaien voor Frigate met 4 camera's. Dat is omdat mijn hoofd PVEnode anders 20% CPU stond te verspillen voor decoding en encoding. En de coral USB in passthrough zorgde voor veel storingen, zelfs met 10 soorten kabels geprobeerd.
/decoding.

Ik denk dat je frigate gebruikt met homeassistant op een vm. Hoe heb je deze aan elkaar geknoopt?

[ Voor 18% gewijzigd door edwin2021 op 30-03-2026 14:30 ]