Het grote Proxmox VE topic

[S1NN3D]

vonkkie schreef op donderdag 2 januari 2025 @ 14:40:
vraag ik heb sinds 3 dagen nu proxmox draaien ipv esxi
heb hier nu 3 vm,s opgemaakt en datw erkt perfect
er draaien er nu 2 beide 16gb max
op de afbeedlingen zie je dat ze beid nioet de complete 16 gb gebruiken maar proxmox geeft aan dat er 96 van de 128 gb wordt gebruikt hoe kan dit of heb ik iets fout gedaan ?


[Afbeelding]

[Afbeelding]

[Afbeelding]

Je gebruikt ook niet 100% van je cpu en hdd capaciteit. Prima toch. Het systeem heeft nog “ademruimte”. Als je ram verbruik wel 100% zou zijn, is de conclusie dat er te weinig in het systeem zit en dat je moet uitbreiden.

[geenwindows]

vonkkie schreef op donderdag 2 januari 2025 @ 15:54:
[...]


Hoe weet ik dat ?

o.a. met de commando "arcstat" en "cat /proc/spl/kstat/zfs/arcstats"
(zonder de " " )

[prutser001]

Na eigenlijk jaren met ESXI/Vcenter gewerkt te hebben en als 'Home-lab' en gezien de perikelen met Broadcom overname wilde ik Proxmox proberen.

Gister hele server gewist, en verse 8.3 erop gezet.

Maar na zoeken, proberen, herinstallatie etc. Toch een paar dingen waar ik tegenaan loop.

Het hele storage verhaal... Voelt erg onlogisch... Trek zowat de haren uit mijn hoofd.
Gevoelsmatig totaal geen logica in of wat de gedachte erachter is? Tenminste ik zie het niet, zoiets was een fluitje in ESXI, precies de reden waarom ik het eerder links heb laten liggen.

Windows 11 VM voelde aan als stroop, interactie, muis etc, hardware passthrough wel aan de praat, GPU niet automatisch gedetecteerd pas na echt update driver gedaan te hebben actief, toen ineens muis die niet meer werkte of helemaal niet op de plek zat waar ik klikte. Op dezelfde hardware met ESXI alsof het lokaal liep.

-Waarom staat mijn installatie disk bij de disks om te gebruiken? Liefst gewoon weg en off-limits.

-Wel gelukt om storage aan te maken voor iso/vm's maar compleet fout vermoed ik.
Dus ik pak dev/sda, wipe disk, initialize disk with GPT, en dan? Directory aangemaakt maar er komt niets bij
LVM of LVM-thin? buiten dus de installatie disk. Alles komt in 'Directory' /mnt/pve/naamdisk?

-Links onder Datacenter/PVE staan dan alle disks somige met ?status unknown, de directories wel normaal.
Krijg ze ook niet meer weg als ik disks wipe/delete.



-VM's aanmaken, zoveel opties, welke/wat moet je kiezen? Qemu, Spice, Virtio, etc? Bij installatie drivers installeren anders geen opslag/lan? Geen herkenning voor installatie ISO? Dus Windows ISO maar wel op linux kernel laten staan? Ook installatie duurde langer dan ik gewend was met ESXI

Leest misschien als een rant, maar is gewoon frustratie.

[dcm360]

prutser001 schreef op donderdag 2 januari 2025 @ 23:41:
Windows 11 VM voelde aan als stroop, interactie, muis etc, hardware passthrough wel aan de praat, GPU niet automatisch gedetecteerd pas na echt update driver gedaan te hebben actief, toen ineens muis die niet meer werkte of helemaal niet op de plek zat waar ik klikte. Op dezelfde hardware met ESXI alsof het lokaal liep.

Op de wiki staat aangegeven welke instellingen en stappen aanbevolen zijn voor de installatie van Windows 11 (of welk ander OS je graag zou willen).

-Waarom staat mijn installatie disk bij de disks om te gebruiken? Liefst gewoon weg en off-limits.

Datacenter aanklikken helemaal links, en dan in het menu daar rechts van onder Storage kan je het op zich weghalen, als je het graag wil. Al zie ik zelf met de opzet van Proxmox niet het nut van een losse boot-disk.

-Wel gelukt om storage aan te maken voor iso/vm's maar compleet fout vermoed ik.
Dus ik pak dev/sda, wipe disk, initialize disk with GPT, en dan? Directory aangemaakt maar er komt niets bij
LVM of LVM-thin? buiten dus de installatie disk. Alles komt in 'Directory' /mnt/pve/naamdisk?

-Links onder Datacenter/PVE staan dan alle disks somige met ?status unknown, de directories wel normaal.
Krijg ze ook niet meer weg als ik disks wipe/delete.

[Afbeelding]

Dit klinkt alsof je wat aan het proberen bent zonder dat je weet wat je aan het doen bent. De documentatie en/of wiki leggen naar mijn idee best aardig uit hoe het storage-model van Proxmox werkt, en dat is waarschijnlijk anders dan je gewend bent.

-VM's aanmaken, zoveel opties, welke/wat moet je kiezen? Qemu, Spice, Virtio, etc? Bij installatie drivers installeren anders geen opslag/lan? Geen herkenning voor installatie ISO? Dus Windows ISO maar wel op linux kernel laten staan? Ook installatie duurde langer dan ik gewend was met ESXI

Leest misschien als een rant, maar is gewoon frustratie.

De eerdergenoemde wiki kan best veel ophelderen, voor de praktische zaken is er een goede hoeveelheid howto's.

[zeroday]

prutser001 schreef op donderdag 2 januari 2025 @ 23:41:


-Waarom staat mijn installatie disk bij de disks om te gebruiken? Liefst gewoon weg en off-limits.

-Wel gelukt om storage aan te maken voor iso/vm's maar compleet fout vermoed ik.
Dus ik pak dev/sda, wipe disk, initialize disk with GPT, en dan? Directory aangemaakt maar er komt niets bij
LVM of LVM-thin? buiten dus de installatie disk. Alles komt in 'Directory' /mnt/pve/naamdisk?

-Links onder Datacenter/PVE staan dan alle disks somige met ?status unknown, de directories wel normaal.
Krijg ze ook niet meer weg als ik disks wipe/delete.

Weghalen kan best hier en daar als het echt fout is en het niet via de GUI kan, dan moet je in de shell bezig.
de vraagtekens zijn in ieder geval shares die of geen juiste verbinding kunnen krijgen omdat de bron niet beschikbaar is of ze zijn fout aangemaakt. Als die weg zijn dan is het al wat rustiger.

Ik heb 5 Storages
Local en lvmthin-local (bij @tjanssen die een image meestuurde stond local-zfs, waar ik dus thinlvm heb. Die werden door Proxmox zelf aangemaakt. Echter dat zijn niet de locaties waar ik mijn VM's wil gebruiken, Dus is er nog een 3d: ssdstore (door mezelf aangemaakt) waarin alle VM's en LXC worden opgeslagen, de andere 2 worden bijv. voor de templates gebruikt

En dan heb ik nog een NFS share voor tests en ik heb een PBS share voor de backups..

Je kan in de datacenter, optie storage aangeven per storage opslag wat je daar wil opslaan, disk, iso, container template etc. etc.. dus je hebt geen 'storage' per opslag type nodig.

En onthoud overstappen heeft altijd een leercurve ..

[prutser001]

zeroday schreef op vrijdag 3 januari 2025 @ 07:56:
[...]


Weghalen kan best hier en daar als het echt fout is en het niet via de GUI kan, dan moet je in de shell bezig.
de vraagtekens zijn in ieder geval shares die of geen juiste verbinding kunnen krijgen omdat de bron niet beschikbaar is of ze zijn fout aangemaakt. Als die weg zijn dan is het al wat rustiger.

Ik heb 5 Storages
Local en lvmthin-local (bij @tjanssen die een image meestuurde stond local-zfs, waar ik dus thinlvm heb. Die werden door Proxmox zelf aangemaakt. Echter dat zijn niet de locaties waar ik mijn VM's wil gebruiken, Dus is er nog een 3d: ssdstore (door mezelf aangemaakt) waarin alle VM's en LXC worden opgeslagen, de andere 2 worden bijv. voor de templates gebruikt

En dan heb ik nog een NFS share voor tests en ik heb een PBS share voor de backups..

Je kan in de datacenter, optie storage aangeven per storage opslag wat je daar wil opslaan, disk, iso, container template etc. etc.. dus je hebt geen 'storage' per opslag type nodig.

En onthoud overstappen heeft altijd een leercurve ..

Nee ik snap dat er een leer-curve is, maar ESXI ging eigenlijk zonder na te denken, had zo alles up and running zowel installatie/configuratie als VM's. Maar dingen die in ESXI gewoon automatisch gingen gebeuren in PVE niet. En storage aanmaken was niet omslachtig vergeleken met PVE.

Ik reset/gooi hele spul leeg en probeer het wel opnieuw, had er nu ook wat rotzooi opslag ingegooid om het even te testen. Maar bepaalde keuzes snap ik gewoonweg niet.

Kijk van het weekend wel weer ff en lees de links die @dcm360 had gegeven in zijn post.

[goodfella]

zeroday schreef op vrijdag 3 januari 2025 @ 07:56:
[...]
En onthoud overstappen heeft altijd een leercurve ..

@prutser001 Ik herken je frustratie. Maar heb geduld, als het uiteindelijk werkt, is het machtig mooi.
Ik kreeg zelfs een deja vu naar de tijd van een linux distro Slackware waar de leercurve erg stijl was en alles manueel geconfigureerd moest worden.

Na slechts een weekje had ik het voor 80% goed, voor mij dus goed genoeg. Zelfs inclusief Proxmox Backup Server in een VM op mijn Synology NAS voor automatische backups van alle VMs en LXCs.

Wat mij heeft geholpen.
- Bekend zijn met Proxmox documentatie
- Gebruik ChatGPT om onderliggende concepten te begrijpen zoals hun Storage Model en Storage Types.
- Praktische beginnersvragen zijn vaak gedekt op hun forum

[Jerie]

prutser001 schreef op vrijdag 3 januari 2025 @ 14:35:
[...]


Nee ik snap dat er een leer-curve is, maar ESXI ging eigenlijk zonder na te denken, had zo alles up and running zowel installatie/configuratie als VM's. Maar dingen die in ESXI gewoon automatisch gingen gebeuren in PVE niet. En storage aanmaken was niet omslachtig vergeleken met PVE.

Ik reset/gooi hele spul leeg en probeer het wel opnieuw, had er nu ook wat rotzooi opslag ingegooid om het even te testen. Maar bepaalde keuzes snap ik gewoonweg niet.

Kijk van het weekend wel weer ff en lees de links die @dcm360 had gegeven in zijn post.

Hier iemand die KVM en Qemu al jarenlang gebruikte, en toen een half decennium geleden ESXi ging gebruiken: waarschijnljik ben je je gehele learning curve m.b.t. ESXi vergeten. Wat een gedrocht. Want alle tooling is non-standard CLI. Allemaal hun eigen proprietary zooi cmds (Q: Waaaaroohoom?!?! A: Vendor lock-in). Als ik weet hoe iets moet in Linux (bijvoorbeeld smartctl), dan heb ik daar op ESXi helemaal niets aan. Tenzij wanneer ik smartmontools voor ESXi van een of andere obscure 3rd party af ga halen. Dus, nee, wat je zegt zijn fabeltjes. Proxmox is standaard Debian met een laagje erbovenop. Iedereen die Debian kent (of afgeleide zoals Ubuntu), kan ook met Proxmox overweg. Ik gebruik de Proxmox Web UI nagenoeg niet.

[prutser001]

Jerie schreef op zaterdag 4 januari 2025 @ 00:41:
[...]


Hier iemand die KVM en Qemu al jarenlang gebruikte, en toen een half decennium geleden ESXi ging gebruiken: waarschijnljik ben je je gehele learning curve m.b.t. ESXi vergeten. Wat een gedrocht. Want alle tooling is non-standard CLI. Allemaal hun eigen proprietary zooi cmds (Q: Waaaaroohoom?!?! A: Vendor lock-in). Als ik weet hoe iets moet in Linux (bijvoorbeeld smartctl), dan heb ik daar op ESXi helemaal niets aan. Tenzij wanneer ik smartmontools voor ESXi van een of andere obscure 3rd party af ga halen. Dus, nee, wat je zegt zijn fabeltjes. Proxmox is standaard Debian met een laagje erbovenop. Iedereen die Debian kent (of afgeleide zoals Ubuntu), kan ook met Proxmox overweg. Ik gebruik de Proxmox Web UI nagenoeg niet.

Nee eigenlijk niet. Ja er waren dingen die wat lastiger waren. Maar basis, installatie, storage aanmaken, iso uploaden, VM maken en gaan. 2de esxi host koppelen, vcenter installeren en gaan. Ik kan me op dat gebied eigenlijk niets lastigs herinneren. Ja HA en nog wat.

Ja esxcli is ff opzoeken. Maar buiten updates gebruikte ik dat eigenlijk haast niet.

En Linux gebruikte ik eigenlijk niet buiten webserver, truenas en nu nextcloud niet.

Ik wil PVE niet afkraken. Maar voor esxi had ik eigenlijk geen guides of hulp nodig voor de basis werking.

Van het weekend begin ik ff opnieuw, verse installatie. Alleen zo maf dat vga niet werkt met standaard installatie, heb de debug optie moeten gebruiken...

[_Eend_]

Je had misschien beter een proxmox servetje kunnen inrichten in ESX, want dat kan gewoon

Dat is wat ik heb gedaan voordat ik echt op PVE overstapte, zo kon ik rustig alles een beetje uitproberen. Je kunt dan ook mooi snapshots maken en terugzetten als je iets niet goed is gegaan. En dat was op een samengeraapte bak met een eclectische mix van hardware. SSD's en (stokoude) HDD's en net genoeg RAM om dit alles bij te benen.

Daar heeft @prutser001 nu niet zo veel meer aan, maar voor anderen die dezelfde overstap willen maken wel

[Quad]

Ik ben ook ooit van ESX naar PVE overgestapt. PVE heb ik denk ik in totaal in 3 keer (met tussenpozen) geprobeerd, bij de 3e keer werd het definitief. Vooral omdat PVE support kreeg voor import van ESX VM's zodat het overstappen wel heel makkelijk werd.

Maar inderdaad, de eerste inrichting in PVE is nooit de definitieve. Ik ben zelfs nog wel op de hosts geswitcht van local lvm naar ZFS en na een tijdje weer terug, ZFS gaf mij geen voordeel want het kost kostbare resources en schrijft mijn SSD's in moordend tempo af.

PBS heb ik in een VM uiteindelijk op mijn NAS geïnstalleerd, dit draait best stabiel en lijkt stabieler dan met VMs op een ZFS pool.

Ik wil nog wel eens een keer iets klooien met CEPH, maar daar heb ik een paar extra hosts voor nodig zodat ik een cluster van 3 kan maken. Maar dat is voor veel later, aangezien ik nu vooral focus op zuinigheid heb.

Een hele fijne plus voor PVE tov ESX is toch wel het uitvoeren van updates. Klik en klaar, soms bij een major versie voor PVE of sommige onderdelen is een reboot nodig, maar ook dat is soms secondenwerk.

[RailHenk87]

Ik zit met een VMware cluster die ik geërfd heb van de vorige IT'er binnen een organisatie. Thuis draai ik alles vlotjes op PVE en nu zou ik willen kijken of ik de overstap kan maken naar PVE binnen deze organisatie.

PVE installeren op een VM binnen VMware is me prima gelukt, maar ik loop nog vast in de networking. De pve host heeft netjes toegang tot het netwerk/internet, maar alles wat ik er bovenop wil draaien raakt niet buiten.
LXC of VM binnen PVE heeft geen internet toegang. Vreemd genoeg krijgen ze wel een IP van de DHCP server.

Ik vermoed dat VMWare ergens stokken in de wielen aan het steken is, maar niet meteen een idee wat het kan zijn. 'Promiscious mode' binnen de vswich staat op Accept net als de andere opties in dit scherm.

Iemand suggesties waar ik kan zoeken om dit te fixen?

[Zwelgje]

RailHenk87 schreef op zondag 5 januari 2025 @ 10:59:
Ik zit met een VMware cluster die ik geërfd heb van de vorige IT'er binnen een organisatie. Thuis draai ik alles vlotjes op PVE en nu zou ik willen kijken of ik de overstap kan maken naar PVE binnen deze organisatie.

PVE installeren op een VM binnen VMware is me prima gelukt, maar ik loop nog vast in de networking. De pve host heeft netjes toegang tot het netwerk/internet, maar alles wat ik er bovenop wil draaien raakt niet buiten.
LXC of VM binnen PVE heeft geen internet toegang. Vreemd genoeg krijgen ze wel een IP van de DHCP server.

Ik vermoed dat VMWare ergens stokken in de wielen aan het steken is, maar niet meteen een idee wat het kan zijn. 'Promiscious mode' binnen de vswich staat op Accept net als de andere opties in dit scherm.

Iemand suggesties waar ik kan zoeken om dit te fixen?

Forged Transmits ook goed staan?

https://williamlam.com/20...miscuous-mode-forged.html

https://wahlnetwork.com/2...ts-security-policy-works/

[ Voor 4% gewijzigd door Zwelgje op 05-01-2025 11:02 ]

[RailHenk87]

Jep, zowel Forged Transmits als Mac Address changes en Promiscuous mode staan allen op accept.

[RedRayMann]

icecreamfarmer schreef op zondag 24 november 2024 @ 12:21:
Wat updates gedraaid maar mijn plex/arr lxc had opeens te weinig opslag en leek opslag op te eten.
Dus een backup terug gezet maar daarmee kan ik opeens mijn sambashare niet meer mounten.
Dat bracht mij wel aan het denken of wat ik nu aan het doen ben handig is.

Mijn huidige setup is als volgt:

• lxc 1 Adguard (ubuntu lts);
• lxc 2 Plex/Jellyfin / arr suite met qbittorrent (ubunti lts met een fstab mount naar de sambashare);
• VM 1 Home assistant;
• VM 2 OMV met photoprism (voor het maken van de sambashare);
• Dit draait op een HP T630 met 16gb geheugen en een externe HDD als netwerkschijf.

Wanneer mijn nieuwbouw (over 1 jaar) klaar is wilde ik toch al overstappen naar een systeem zonder de trage usb hdd en moet mijn gehele homeassistant opnieuw ingeregeld worden. Dus ik wilde er nu niet te veel werk meer in steken.

Maar zou het niet verstandiger te zijn om alles in losse containers te draaien dus:

• lxc 1 Adguard (debian);
• lxc 2 Plex/Jellyfin (debian);
• lxc 3 ARR/Qbittorent (debian);
• lxc 4 Sambashare (debian, kan nu niet in een lxc want dan blijven de disks spinnen dat zou via sata wel moeten lukken);
• VM1 Homeassistant;

Of kan ik beter het volgende aanhouden:

• lxc 1 Adguard (debian);
• VM 1 Homeassistant;
• VM 2 OMV of Truenas of ... Met daarin middels containers de apps Plex/Jellyfin/ARR/Qbittorent/etc;

Ik zou dan in principe de mediastorage ook middels zfs (samba) in proxmox zelf kunnen aanmaken. Met de externe hdd is dat niet aan te bevelen had ik begrepen. Die heeft wel als voordeel dat ik hem uit kan pluggen en in mijn windows computer kan steken.


En hoe kan ik zien waarom de mount niet meer lukt?
Middels mount -a werkt het ook niet meer

Volgens mij heeft nog niemand op deze post gereageerd.
Ik zit in een zelfde situatie.
Afgelopen weken heb ik mijn Odroid H4+ geprobeerd zo zuinig mogelijk te maken.
In het zuinige server topic was ik regelmatig te vinden (Laatste post met setup en resultaten; RedRayMann in "Het grote zuinige server topic - deel 3")

Ik wil vandaag beginnen met het vullen van Proxmox en had het volgende idee;
VM1
- Unifi Controller
- Pihole of AdGuard (merken jullie verschil in verbruik of snelheid?)
- Vaultwarden (en aanverwanten voor toegang van buiten)
- VPN iets (Wireguard of Head/TaleScale)

VM2
- Home Assistant OS

VM3
- Truenas Scale

Omdat ik niet duidelijk krijg wat beter/handiger/zuiniger is heb ik deze vraag zowel daar als hier gepost.
Eén VM met de eerste vier regel er in of alles in losse LXC's
Ik lees voor beide pro's en cons op het internet.

Ik denk nu te gaan voor losse LXC's om mee te spelen, kan later dan altijd nog een VM maken en settings exporteren/ importeren.

Wat zijn jullie ideeën?

[Cyphax]

RedRayMann schreef op zondag 5 januari 2025 @ 13:41:
[...]

Volgens mij heeft nog niemand op deze post gereageerd.
Ik zit in een zelfde situatie.
Afgelopen weken heb ik mijn Odroid H4+ geprobeerd zo zuinig mogelijk te maken.
In het zuinige server topic was ik regelmatig te vinden (Laatste post met setup en resultaten; RedRayMann in "Het grote zuinige server topic - deel 3")

Ik wil vandaag beginnen met het vullen van Proxmox en had het volgende idee;
VM1
- Unifi Controller
- Pihole of AdGuard (merken jullie verschil in verbruik of snelheid?)
- Vaultwarden (en aanverwanten voor toegang van buiten)
- VPN iets (Wireguard of Head/TaleScale)

VM2
- Home Assistant OS

VM3
- Truenas Scale

Omdat ik niet duidelijk krijg wat beter/handiger/zuiniger is heb ik deze vraag zowel daar als hier gepost.
Eén VM met de eerste vier regel er in of alles in losse LXC's
Ik lees voor beide pro's en cons op het internet.

Ik denk nu te gaan voor losse LXC's om mee te spelen, kan later dan altijd nog een VM maken en settings exporteren/ importeren.

Wat zijn jullie ideeën?

Ik weet niet hoeveel geheugen je machine heeft, maar ik zou zoveel mogelijk in (eigen) LXC-containers stoppen. Die kan je los backuppen en upgraden/vervangen.
Voor mij is het grootste voordeel van LXC-containers dat ze minder resources nodig hebben. Zowel qua storage als geheugen. Een van mijn nodes heeft max 16GB RAM, maar draaien 14 containers (Vaultwarden, Gitea, Nextcloud, Jellyfin, PBS... vanalles draait er) en 1 VM (HomeAssistant) en zit qua geheugengebruik op iets minder dan 60%.

Nadeel van LXC kan zijn dat je container de kernel deelt met de host, maar ik heb daar nog geen problemen mee ervaren. Je kunt er geloof ik ook geen snapshots van maken als je wilt backuppen zoals bij een VM, maar ik backup alle containers al maanden op zondagnacht (met PBS) en dat gaat prima. Ook mounten van shares kan niet zomaar in een (niet-priviliged) LXC, maar dat is goed op te lossen met bind mounts.

Al met al ben ik heel blij dat ik het zo heb aangepakt in elk geval en zou het zo weer opnieuw doen als het moest.

De helper scripts zijn een hele fijne manier om LXC's te maken, voor alles wat je noemt is zo'n scriptje beschikbaar zo te zien en heb je in no-time zo'n container in de lucht.

[RedRayMann]

Cyphax schreef op zondag 5 januari 2025 @ 13:56:
[...]

Ik weet niet hoeveel geheugen je machine heeft, maar ik zou zoveel mogelijk in (eigen) LXC-containers stoppen. Die kan je los backuppen en upgraden/vervangen.
Voor mij is het grootste voordeel van LXC-containers dat ze minder resources nodig hebben. Zowel qua storage als geheugen. Een van mijn nodes heeft max 16GB RAM, maar draaien 14 containers (Vaultwarden, Gitea, Nextcloud, Jellyfin, PBS... vanalles draait er) en 1 VM (HomeAssistant) en zit qua geheugengebruik op iets minder dan 60%.

Nadeel van LXC kan zijn dat je container de kernel deelt met de host, maar ik heb daar nog geen problemen mee ervaren. Je kunt er geloof ik ook geen snapshots van maken als je wilt backuppen zoals bij een VM, maar ik backup alle containers al maanden op zondagnacht (met PBS) en dat gaat prima. Ook mounten van shares kan niet zomaar in een (niet-priviliged) LXC, maar dat is goed op te lossen met bind mounts.

Al met al ben ik heel blij dat ik het zo heb aangepakt in elk geval en zou het zo weer opnieuw doen als het moest.

De helper scripts zijn een hele fijne manier om LXC's te maken, voor alles wat je noemt is zo'n scriptje beschikbaar zo te zien en heb je in no-time zo'n container in de lucht.

Tnx voor je reactie.
Ik heb 32gb ram.
De helperscripts waren bij mij bekend, die ben ik nu aan het uitpluizen en bekijken wat ik nodig ga hebben.

De LXC die ik nu op het oog heb, hebben geen shares nodig. Vandaar dat ik in VM 3 Truenas wil. Doordat dit mijn eerste home made server/nas is, hou ik het gaar op iets meer gemak en meer GUI's.

[Cyphax]

RedRayMann schreef op zondag 5 januari 2025 @ 14:27:
[...]

Tnx voor je reactie.
Ik heb 32gb ram.
De helperscripts waren bij mij bekend, die ben ik nu aan het uitpluizen en bekijken wat ik nodig ga hebben.

De LXC die ik nu op het oog heb, hebben geen shares nodig. Vandaar dat ik in VM 3 Truenas wil. Doordat dit mijn eerste home made server/nas is, hou ik het gaar op iets meer gemak en meer GUI's.

Heb ik ook lang zo gedaan, de storage via smb shares aan privileged containers geven, met OMV. Voordeel is dat je inderdaad een grafische UI hebt om dat allemaal te regelen.

Ik heb die VM intussen al lang niet meer, de containers zijn unpriviliged en enige share (van mijn backup-NAS eigenlijk alleen) mount ik op de host en geef ik, net als de rest van de data, via bind mounts door aan de containers. Maar je moet het natuurlijk zo inrichten als je zelf wilt.
Als ik de bestanden op de machine wil benaderen als share doe ik dat intussen met SSH en WinSCP. Hoeft er geen samba geconfigureerd te zijn, scheelt weer een laagje authenticatie.

Met alles is het wat mij betreft zo dat, als je het in containers of eigen vm's stopt, je gewoon dingen kan proberen. Bevalt het niet, dan gooi je het weer weg.

[icecreamfarmer]

RedRayMann schreef op zondag 5 januari 2025 @ 13:41:
[...]

Volgens mij heeft nog niemand op deze post gereageerd.
Ik zit in een zelfde situatie.
Afgelopen weken heb ik mijn Odroid H4+ geprobeerd zo zuinig mogelijk te maken.
In het zuinige server topic was ik regelmatig te vinden (Laatste post met setup en resultaten; RedRayMann in "Het grote zuinige server topic - deel 3")

Ik wil vandaag beginnen met het vullen van Proxmox en had het volgende idee;
VM1
- Unifi Controller
- Pihole of AdGuard (merken jullie verschil in verbruik of snelheid?)
- Vaultwarden (en aanverwanten voor toegang van buiten)
- VPN iets (Wireguard of Head/TaleScale)

VM2
- Home Assistant OS

VM3
- Truenas Scale

Omdat ik niet duidelijk krijg wat beter/handiger/zuiniger is heb ik deze vraag zowel daar als hier gepost.
Eén VM met de eerste vier regel er in of alles in losse LXC's
Ik lees voor beide pro's en cons op het internet.

Ik denk nu te gaan voor losse LXC's om mee te spelen, kan later dan altijd nog een VM maken en settings exporteren/ importeren.

Wat zijn jullie ideeën?

Vanwege problemen met de gecombineerde plex/arr lxc heb ik de kerstvakantie aangegrepen om alles opnieuw op te bouwen. Besloten om idee 1 uit te voeren, separate debian lxc's geclusterd per gebruik.
Dus 1 voor Adguard, 1 voor Plex/Jellyfin en 1 voor Qbit en arr suite.
Daarnaast nog een VM voor OMV en HA. |Wat mij opvalt is een aanzienlijk lager geheugengebruik door Debian te kiezen.

Dat lijkt nu allemaal goed te werken echter krijg ik Snap niet werkend in de debian containers.
Krijg deze foutmelding en ondanks wat ik op internet gevonden heb krijg ik het niet werkend.

error: system does not fully support snapd: cannot mount squashfs image using "squashfs": mount:

Echter Overseerr en Tautulli hebben Snap nodig om te installeren. Iemand nog ideeen?

Ik zou trouwens Tailscale direct op proxmox installeren want als de VM er mee kapt en je bent remote dan kun je niet meer bij je systeem.

[RedRayMann]

icecreamfarmer schreef op zondag 5 januari 2025 @ 17:46:
Vanwege problemen met de gecombineerde plex/arr lxc heb ik de kerstvakantie aangegrepen om alles opnieuw op te bouwen. Besloten om idee 1 uit te voeren, separate debian lxc's geclusterd per gebruik.
Dus 1 voor Adguard, 1 voor Plex/Jellyfin en 1 voor Qbit en arr suite.
Daarnaast nog een VM voor OMV en HA. |Wat mij opvalt is een aanzienlijk lager geheugengebruik door Debian te kiezen.

Tnx voor de tip mbt Debian.
Heb nu Unifi en AdGuard beide in een LXC
De rest komt later wel.

De reden dat ik HAOS en TrueNas wil is dat ik hoop dat het direct werkt. Want vrouwlief wilt ook films en series kijken, muziek luisteren en foto's backuppen en terug kijken.

[--Christiaan--]

Hier weer iets raars aan de hand. Ik heb gisteren Docker geïnstalleerd met daarin Teslamate. Nu is mijn hele Proxmoxomgeving niet meer bereikbaar. De server waarop Proxmox draait geeft aan dat hij moet draaien op https://192.168.0.210:8006 maar als ik daar naartoe navigeer zoals voorheen blijft hij maar laden.

Ik kan wel inloggen op de Proxmox root dmv aansluiten toetsenbord op server en inloggen. Kan ik nog op een manier troubleshooten?

Edit: Dom, zat op het verkeerde netwerk. Jeetje...

[ Voor 5% gewijzigd door --Christiaan-- op 06-01-2025 16:43 ]

[lolgast]

--Christiaan-- schreef op maandag 6 januari 2025 @ 16:20:
Hier weer iets raars aan de hand. Ik heb gisteren Docker geïnstalleerd met daarin Teslamate. Nu is mijn hele Proxmoxomgeving niet meer bereikbaar. De server waarop Proxmox draait geeft aan dat hij moet draaien op https://192.168.0.210:8006 maar als ik daar naartoe navigeer zoals voorheen blijft hij maar laden.

Ik kan wel inloggen op de Proxmox root dmv aansluiten toetsenbord op server en inloggen. Kan ik nog op een manier troubleshooten?

Ninja edit

[ Voor 11% gewijzigd door lolgast op 06-01-2025 16:45 ]

[Wachten...]

Ik heb hier een klein servertje staan waar ik wat dingen op het staan met Proxmox.
Nu is het alleen zo dat de SSD wat klein begint te worden, en ik dus eigenlijk de schuif wil upgraden.

Wat zou de juiste manier zijn (eenvoudigste) om de boel van de ene schijf over te zetten naar de nieuwe schijf?

Ik ben geen diehard Proxmox user, dus ik hoop dat het enigszins eenvoudig gedaan kan worden.

Ik heb overigens alles op 1 schijf staan. Ik heb er dus niet meerder schijven in zitten.

[eheijnen]

Wachten... schreef op vrijdag 10 januari 2025 @ 09:43:
Ik heb hier een klein servertje staan waar ik wat dingen op het staan met Proxmox.
Nu is het alleen zo dat de SSD wat klein begint te worden, en ik dus eigenlijk de schuif wil upgraden.

Wat zou de juiste manier zijn (eenvoudigste) om de boel van de ene schijf over te zetten naar de nieuwe schijf?

Ik ben geen diehard Proxmox user, dus ik hoop dat het enigszins eenvoudig gedaan kan worden.

Ik heb overigens alles op 1 schijf staan. Ik heb er dus niet meerder schijven in zitten.

Makkelijkste is om er een schijf bij te plaatsen en eventueel de boel een beetje te reorganiseren.

[ResuCigam]

Ik zou een backup van mijn VM's maken en gewoon even Proxmox opnieuw installeren. Zo gebeurd.

[RobertMe]

Wachten... schreef op vrijdag 10 januari 2025 @ 09:43:
Ik heb hier een klein servertje staan waar ik wat dingen op het staan met Proxmox.
Nu is het alleen zo dat de SSD wat klein begint te worden, en ik dus eigenlijk de schuif wil upgraden.

Wat zou de juiste manier zijn (eenvoudigste) om de boel van de ene schijf over te zetten naar de nieuwe schijf?

Ik ben geen diehard Proxmox user, dus ik hoop dat het enigszins eenvoudig gedaan kan worden.

Ik heb overigens alles op 1 schijf staan. Ik heb er dus niet meerder schijven in zitten.

Als je ZFS gebruikt kun je een tweede schijf erbij zetten en dan een ZFS mirror opzetten. Is volgens mij netjes gedocumenteerd bij Proxmox incl. het overzetten van de bootloader (zodat die op beide disks staat en vanaf beide disks geboot kan worden worden). Als je vervolgens volledig succesvol de mirror hebt kun je oude schijf verwijderen uit de mirror en vervolgens uit het systeem halen.

[orvintax]

Wachten... schreef op vrijdag 10 januari 2025 @ 09:43:
Ik heb hier een klein servertje staan waar ik wat dingen op het staan met Proxmox.
Nu is het alleen zo dat de SSD wat klein begint te worden, en ik dus eigenlijk de schuif wil upgraden.

Wat zou de juiste manier zijn (eenvoudigste) om de boel van de ene schijf over te zetten naar de nieuwe schijf?

Ik ben geen diehard Proxmox user, dus ik hoop dat het enigszins eenvoudig gedaan kan worden.

Ik heb overigens alles op 1 schijf staan. Ik heb er dus niet meerder schijven in zitten.

Wat voor filesystem gebruik je voor die schijf? Als het ZFS is kun je die andere schijf toevoegen aan de pool, wachten totdat alles goed staat en dan de andere verwijderen. Met hoge uitzondering van ZRAID 0.

Edit: @RobertMe Was me al voor Enige toevoeging is dat je goed moet uitkijken dat je geen ZRAID 0 gebruikt. Maar dat lijkt me ook onwaarschijnlijk.

[ Voor 8% gewijzigd door orvintax op 10-01-2025 11:42 ]

[HowsMyApple]

@Wachten... geeft aan alles op 1 schijf te hebben staan. Ik zou er dan direct al vanuit gaan dat het geen ZFS is. Of is er wel een legitieme reden waarom er bij 1 schijf voor ZFS zou worden gekozen?

[eheijnen]

Lijkt me niet dat hij ZFS gebruikt als hij aangeeft een "eenvoudige" gebruiker te zijn. Zal eerder om een standaard setup gaan zou ik zeggen...

[TheBrones]

Is het niet mogelijk om met een liveboot de disk te clonen met Gparted en de partitie te vergroten?

[RobertMe]

eheijnen schreef op vrijdag 10 januari 2025 @ 12:11:
Lijkt me niet dat hij ZFS gebruikt als hij aangeeft een "eenvoudige" gebruiker te zijn. Zal eerder om een standaard setup gaan zou ik zeggen...

Via de installer kun je prima een ZFS systeem op zetten. Of het de default is weet ik niet, maar het kan wel. En zelf heb ik toentertijd mijn Proxmox ook opgezet met ZFS, ondanks maar 1 (OS) disk. In mijn geval dan weer wel een bewuste keuze om voor ZFS te gaan. @HowsMyApple in mijn geval voor het gebruik kunnen maken van snapshots, ZFS send & receive, etc etc.

[GoBieN-Be]

Eenvoudigste is backup (via PBS eventueel) en opnieuw installeren op nieuwe disk en restore.

[John245]

GoBieN-Be schreef op vrijdag 10 januari 2025 @ 21:14:
Eenvoudigste is backup (via PBS eventueel) en opnieuw installeren op nieuwe disk en restore.

Is dan wel altijd weer uitzoeken hoe je licentie werkt.

[GoBieN-Be]

De meeste van ons gebruiken Proxmox zonder enterprise licentie.
Gewoon met de community scripts goed zetten na installatie.
https://community-scripts...ripts?id=post-pve-install

[John245]

GoBieN-Be schreef op vrijdag 10 januari 2025 @ 21:46:
De meeste van ons gebruiken Proxmox zonder enterprise licentie.
Gewoon met de community scripts goed zetten na installatie.
https://community-scripts...ripts?id=post-pve-install

Heel nobel van jullie om de fouten er uit te halen voor de officiële release.

[RedRayMann]

Hallo allemaal,

Ik ben actief in het zuinige server topic, misschien hebben enkele mijn bericht daar ook al gelezen. Ik dubbelpost hem hier, omdat misschien hier de kennis zit om te helpen troubleshooten en de server weer zuinig te krijgen.

TLDR probleem
Mijn verbruik is ongeveer 3,3 watt met alleen Proxmox
Met bovenstaand software ongeveer 4,2 watt
Al drie keer schiet het verbruik ineens 2 watt omhoog, dit gebeurde niet op vaste tijden.
Geen idee wat de oorzaak is.

Hardware;
Odroid H4+
NVME Boot SSD
2x 8TB Samsung SSD
1x 5TB 2,5" Seagate HDD
Details, zie; inventaris: Server

Software;
Proxmox
Unifi LXC
AdGuard LXC (logging staat uit)
Nginx LXC
Vaultwarden LXC

Uitgebreid probleem
Ik heb een zuinige server gemaakt. 3,2 watt met alleen Proxmox.
Met bovenstaand software is het iets meer, begrijpelijk. Maar vannacht is het voor de derde keer verhoogd van 4,3 naar 6,6 watt.
Na de eerste twee keer heb ik Nginx uitgezet, hard reboot en werkte alles daarna weer met Unifi en AdGuard 48 uur zonder piek.
Ik heb na deze 48 uur Nginx weer aangezet en Vaultwarden geïnstalleerd en werkend gekregen.


Crosspost bericht uit Zuinige server topic
Na 30 uur ineens weer een piek van 2 watt extra.

10 januari tussen 20:00 en 22:00 uur Nginx en Vaultwarden werkend gekregen
in de tussentijd een verbruik van ongeveer 4,3 watt gemiddeld
12 januari tussen 04:15 en 04:25 uur een verhoging naar 6,6 watt

Ik zie in alle CPU grafieken van de LXC's een piek tussen 03:00 uur en 05:00 uur
In de in de host een verhoging van gemiddeld over meerdere uren 1,2% naar 1,3% CPU usage. Minimaal verschil maar duidelijk een verschil voor en na 04:00 uur.

Het valt ook op dat vorige keer én nu de IO-delay van 0,24% naar 0,008%

Powertop zit weer in C3

Vraag
Wat veroorzaakt dit extra verbruik, waarom kakt de IO-delay zo hard in en stijgt de CPU load iets?

[Airw0lf]

@RedRayMann - ik heb eigenlijk geen idee - staat de governor op PowerSave?

Monitoring (waaronder proces/service monitoring) helpt in situaties als deze.
Ik gebruik daar Observium voor - maar er is veel - bijvoorbeeld Zabbix, Nagios, PRTG, ...

[RedRayMann]

Airw0lf schreef op zondag 12 januari 2025 @ 12:34:
@RedRayMann - ik heb eigenlijk geen idee - staat de governor op PowerSave?

Monitoring (waaronder proces/service monitoring) helpt in situaties als deze.
Ik gebruik daar Observium voor - maar er is veel - bijvoorbeeld Zabbix, Nagios, PRTG, ...

Yes, CPU staat op powersave

Ik duik in de monitoring. Maar zorgt de monitoring ook niet voor extra verbruik e.d.? Of kan ik dan wel de oorspronkelijke oorzaak achterhalen?

Zat ook te denken, moet ik het niet proberen 24 uur te laten en het extra verbruik nu even te accepteren? Dat het misschien weer gaat zakken? Doordat er een taak of service is die nu meer power vraagt.

--edit--

Vorige kerel zakte het verbruik en de C-state weer na een reboot. Dus het is niet "permanent" dat er een taak actief is.

[ Voor 8% gewijzigd door RedRayMann op 12-01-2025 12:47 ]

[Quad]

Heb je het over een piek of een constant verbruik?

[stormfly]

Ik had al heel lang het probleem dat ik vele IPv6 adressen, uit verschillende VLAN's, op mijn WIN11 NIC had binnen Proxmox, wat dan resulteerde in een sporadische IPv6 outage in pingplotter.exe omdat hij het verkeerde IP koos.

Terwijl mijn vmbr0 vlan aware is volgens ontwerp. Bleek dat de onderliggende tap interface alle VLAN's doorliet, waardoor het Window's OS de IPv6 RA's verwerkte uit tenminste nog 5 andere IPv6 enable VLAN's. Met Linux VM's was dit probleem niet zichtbaar.

Het blijkt dat als je VM in het untagged vlan 1 zet je alsnog een VLAN tag moet specificeren om de tap interface naar de VM af te schermen. Hiermee zet Proxmox een limitatie op het aantal doorgelaten VLAN's op de tap interface.



tap<VID>i0 je kunt hier je VMID invullen.

---

EDIT ter verduidelijking nog wat screenshots

Oude situatie:

code:

root@pve:~#  bridge vlan show dev tap104i1
port              vlan-id
tap104i1          7 PVID Egress Untagged

root@pve:~# bridge vlan show dev tap104i0
port              vlan-id
tap104i0          1 PVID Egress Untagged
                  2
                  3
                  4 
                <cut>
                 4xxx

Nieuwe situatie

code:

root@pve:~#  bridge vlan show dev tap104i1
port              vlan-id
tap104i1          7 PVID Egress Untagged
root@pve:~#  bridge vlan show dev tap104i0
port              vlan-id
tap104i0          1 PVID Egress Untagged

[ Voor 22% gewijzigd door stormfly op 14-01-2025 12:57 ]

[RedRayMann]

Quad schreef op zondag 12 januari 2025 @ 13:05:
Heb je het over een piek of een constant verbruik?

Constant. De pieken zijn niet erg, maar het is ineens een hoger constant verbruikt.
Zo zie ik ook de IO-delay van constant 0,24% naar constant 0,008%
En het algehele CPU verbruik stijgt ook, van constant ongeveer 1,2% naar constant 1,3%
Allemaal rond het zelfde tijdstip.


@stormfly
Is dit informatie mbt mijn post? Of algemene kennis/ informatie voor een eerdere situatie?

Ben nog wat cron informatie afgegaan, wat eerder in het zuinige server topic was geadviseerd.

/etc/cron.d/e2scrub_all

code:

  GNU nano 7.2                                                                              /etc/cron.d/e2scrub_all                                                                                       
30 3 * * 0 root test -e /run/systemd/system || SERVICE_MODE=1 /usr/lib/x86_64-linux-gnu/e2fsprogs/e2scrub_all_cron
10 3 * * * root test -e /run/systemd/system || SERVICE_MODE=1 /sbin/e2scrub_all -A -r

Dit is wel rond 03:10 uur en toevallig ook zondag 03:30 uur
Past precies in de verhoging van vannacht.

/etc/cron.d/zfsutils-linux

code:

  GNU nano 7.2                                                                            /etc/cron.d/zfsutils-linux                                                                                      
PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin

# TRIM the first Sunday of every month.
24 0 1-7 * * root if [ $(date +\%w) -eq 0 ] && [ -x /usr/lib/zfs-linux/trim ]; then /usr/lib/zfs-linux/trim; fi

# Scrub the second Sunday of every month.
24 0 8-14 * * root if [ $(date +\%w) -eq 0 ] && [ -x /usr/lib/zfs-linux/scrub ]; then /usr/lib/zfs-linux/scrub; fi

Verhoging in verbruik waren op onderstaande momenten;
- Zondag 12 januari (2de zondag van de maand) rond 04:30 uur (4 dagen en 7 uur na boot)
- Dinsdag 7 januari (1ste dinsdag van de maand) rond 10:00 uur (17 uur na boot)
- Maandag 6 januari (1ste maandag van de maand) rond 02:00 uur (15 uur na boot)

--edit--
Zou het een scub zijn?
Ik laat het voor nu nog wel even voor wat het is. Ben benieuwd of hij later weer zelf zakt.

[stormfly]

RedRayMann schreef op zondag 12 januari 2025 @ 13:42:
[...]


@stormfly
Is dit informatie mbt mijn post? Of algemene kennis/ informatie voor een eerdere situatie?

Nee dit heeft geen relatie met jouw vragen. Ik heb mijn lang lopende probleem + oplossing samengevat voor anderen.

[Jerie]

RedRayMann schreef op zondag 12 januari 2025 @ 13:42:
[...]

Constant. De pieken zijn niet erg, maar het is ineens een hoger constant verbruikt.
Zo zie ik ook de IO-delay van constant 0,24% naar constant 0,008%
En het algehele CPU verbruik stijgt ook, van constant ongeveer 1,2% naar constant 1,3%
Allemaal rond het zelfde tijdstip.


@stormfly
Is dit informatie mbt mijn post? Of algemene kennis/ informatie voor een eerdere situatie?

Ben nog wat cron informatie afgegaan, wat eerder in het zuinige server topic was geadviseerd.

/etc/cron.d/e2scrub_all

code:

  GNU nano 7.2                                                                              /etc/cron.d/e2scrub_all                                                                                       
30 3 * * 0 root test -e /run/systemd/system || SERVICE_MODE=1 /usr/lib/x86_64-linux-gnu/e2fsprogs/e2scrub_all_cron
10 3 * * * root test -e /run/systemd/system || SERVICE_MODE=1 /sbin/e2scrub_all -A -r

Dit is wel rond 03:10 uur en toevallig ook zondag 03:30 uur
Past precies in de verhoging van vannacht.

/etc/cron.d/zfsutils-linux

code:

  GNU nano 7.2                                                                            /etc/cron.d/zfsutils-linux                                                                                      
PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin

# TRIM the first Sunday of every month.
24 0 1-7 * * root if [ $(date +\%w) -eq 0 ] && [ -x /usr/lib/zfs-linux/trim ]; then /usr/lib/zfs-linux/trim; fi

# Scrub the second Sunday of every month.
24 0 8-14 * * root if [ $(date +\%w) -eq 0 ] && [ -x /usr/lib/zfs-linux/scrub ]; then /usr/lib/zfs-linux/scrub; fi

Verhoging in verbruik waren op onderstaande momenten;
- Zondag 12 januari (2de zondag van de maand) rond 04:30 uur (4 dagen en 7 uur na boot)
- Dinsdag 7 januari (1ste dinsdag van de maand) rond 10:00 uur (17 uur na boot)
- Maandag 6 januari (1ste maandag van de maand) rond 02:00 uur (15 uur na boot)

--edit--
Zou het een scub zijn?
Ik laat het voor nu nog wel even voor wat het is. Ben benieuwd of hij later weer zelf zakt.

Wat zeggen de logs rond die tijd? Voor tips om rond datum/tijdstip te pinpointen zie bijv https://stackoverflow.com...hange-in-var-log-messages

[icecreamfarmer]

Wilde net updaten maar kreeg de melding er niet genoeg opslagruimte meer was.

Dus ik dacht open shell en maak de cache leeg. Echter de shell reageert nergens op.

Hij draait headless. Moet ik hem nu aan een monitor hangen en dan schijfruimte vrijmaken?

[stormfly]

icecreamfarmer schreef op zondag 12 januari 2025 @ 14:23:
Wilde net updaten maar kreeg de melding er niet genoeg opslagruimte meer was.

Dus ik dacht open shell en maak de cache leeg. Echter de shell reageert nergens op.

Hij draait headless. Moet ik hem nu aan een monitor hangen en dan schijfruimte vrijmaken?

https://jetkvm.com of je hangt er zoiets aan voor 69dollar.

[icecreamfarmer]

stormfly schreef op zondag 12 januari 2025 @ 17:00:
[...]


https://jetkvm.com of je hangt er zoiets aan voor 69dollar.

Heb er gewoon een monitor aangehangen.
Dit commando gedraaid en kan er weer in.
find /var/cache/apt/archives -type f -size +5M -delete

Is er een manier om dit middels cronjob of iets anders te automatiseren? Er zit maar een 28GB 30mm m2 ssd in voor het OS en bovenstaande actie maakte daarvan 4GB vrij.

Kan ook een grotere SSD kopen maar ik denk dat ik volgende jaar het apparaat anders ga gebruiken en wil dus eigenlijk niet nog een keer €50 investeren.

[stormfly]

icecreamfarmer schreef op zondag 12 januari 2025 @ 19:14:
[...]


Heb er gewoon een monitor aangehangen.
Dit commando gedraaid en kan er weer in.
find /var/cache/apt/archives -type f -size +5M -delete

Is er een manier om dit middels cronjob of iets anders te automatiseren? Er zit maar een 28GB 30mm m2 ssd in voor het OS en bovenstaande actie maakte daarvan 4GB vrij.

Kan ook een grotere SSD kopen maar ik denk dat ik volgende jaar het apparaat anders ga gebruiken en wil dus eigenlijk niet nog een keer €50 investeren.

Ik zou een veiligere variant kiezen: sudo apt-get clean

Weekelijks

code:

sudo crontab -e
0 0 * * 0 apt-get clean

[Jerie]

icecreamfarmer schreef op zondag 12 januari 2025 @ 19:14:
[...]


Heb er gewoon een monitor aangehangen.
Dit commando gedraaid en kan er weer in.
find /var/cache/apt/archives -type f -size +5M -delete

Is er een manier om dit middels cronjob of iets anders te automatiseren? Er zit maar een 28GB 30mm m2 ssd in voor het OS en bovenstaande actie maakte daarvan 4GB vrij.

Kan ook een grotere SSD kopen maar ik denk dat ik volgende jaar het apparaat anders ga gebruiken en wil dus eigenlijk niet nog een keer €50 investeren.

Maar 28 GB? Meer dan genoeg. Probeer even ncdu / dan kun je interactief zoeken. Kan ook met standaard du. Zie flags -s en -m.

[icecreamfarmer]

Jerie schreef op maandag 13 januari 2025 @ 02:07:
[...]


Maar 28 GB? Meer dan genoeg. Probeer even ncdu / dan kun je interactief zoeken. Kan ook met standaard du. Zie flags -s en -m.

Dat zou je denken maar toch loopt hij vol.

[--Christiaan--]

Helaas is Proxmox toch al een aantal keer deze week onbereikbaar geweest, een reboot verhelpt het geheel. Is er een manier om ergens logs te vinden of te kijken waar het misgaat?

Op het scherm aangesloten op de server staat dan wel gewoon dat hij actief is op het IP, maar is onbereikbaar. Alle VM's/LXC's ook.

[powerboat]

--Christiaan-- schreef op maandag 13 januari 2025 @ 11:40:
Helaas is Proxmox toch al een aantal keer deze week onbereikbaar geweest, een reboot verhelpt het geheel. Is er een manier om ergens logs te vinden of te kijken waar het misgaat?

Op het scherm aangesloten op de server staat dan wel gewoon dat hij actief is op het IP, maar is onbereikbaar. Alle VM's/LXC's ook.

Ik heb dit onlangs ook een paar keer gehad, achteraf bleek dat er bij mij een geheugen module stuk was gegaan.

Wellicht even mem testen.

[--Christiaan--]

powerboat schreef op maandag 13 januari 2025 @ 12:31:
[...]


Ik heb dit onlangs ook een paar keer gehad, achteraf bleek dat er bij mij een geheugen module stuk was gegaan.

Wellicht even mem testen.

Oh jeetje, dat zou wel balen zijn. Is er een manier waarop ik dat vanuit Proxmox kan doen?

Gevonden, maar krijg error: bad shim signature.

[ Voor 6% gewijzigd door --Christiaan-- op 13-01-2025 13:29 ]

[wautah91]

Ik heb zojuist geprobeerd in mijn 5gen i5 nuc een grotere m2 ssd te plaatsen. Oude 250GB ssd eruit gehaald en verwisseld voor de 1TB NV3 van Kingston.

Op een usb met belena etcher de proxmox 8.3 iso geflashed. Installatie van proxmox op de 1TB ssd verliep snel en goed zonder problemen.

Bij de melding remove iso media de usb stick verwijderd. De NUC geboot en komt daarna met de melding 'no bootable media found'. In de UEFI is ook de ssd niet te zien. 2 usb sticks geprobeerd, maakt ook niet uit.

Als ik de oude ssd erin stop werkt alles weer normaal, maar hoe krijg ik de nieuwe ssd aan de praat?

[UTMachine]

stormfly schreef op zondag 12 januari 2025 @ 13:24:
Ik had al heel lang het probleem dat ik vele IPv6 adressen, uit verschillende VLAN's, op mijn WIN11 NIC had binnen Proxmox, wat dan resulteerde in een sporadische IPv6 outage in pingplotter.exe omdat hij het verkeerde IP koos.

Terwijl mijn vmbr0 vlan aware is volgens ontwerp. Bleek dat de onderliggende tap interface alle VLAN's doorliet, waardoor het Window's OS de IPv6 RA's verwerkte uit tenminste nog 5 andere IPv6 enable VLAN's. Met Linux VM's was dit probleem niet zichtbaar.

Het blijkt dat als je VM in het untagged vlan 1 zet je alsnog een VLAN tag moet specificeren om de tap interface naar de VM af te schermen. Hiermee zet Proxmox een limitatie op het aantal doorgelaten VLAN's op de tap interface.

[Afbeelding]

tap<VID>i0 je kunt hier je VMID invullen.

Oude situatie, lijst ingekort. Liep tot 4xxx

code:

root@pve:~#  bridge vlan show dev tap104i0
port              vlan-id
tap104i0          1 PVID Egress Untagged
                  2
                  3
                  4 
                <cut>
                 4xxx

Nieuwe situatie

code:

root@pve:~#  bridge vlan show dev tap104i1
port              vlan-id
tap104i1          7 PVID Egress Untagged
root@pve:~#  bridge vlan show dev tap104i0
port              vlan-id
tap104i0          1 PVID Egress Untagged

Klopt ik had hetzelfde nadat ik de bridge op vlan aware had gezet. Ik kreeg een dhcp antwoord uit de ‘verkeerde’ vlan. Vlan tag op 1 zetten, loste dit op. Ik gebruikte hier Debian, dus geldt ook voor Linux jammer genoeg.
De bedankt voor de bridge output, dat verklaart een hoop van het rare gedrag op Proxmox.

[ Voor 4% gewijzigd door UTMachine op 14-01-2025 04:20 ]

[Airw0lf]

@stormfly en @UTMachine - ik herken dit soort vlan problemen niet.

Heb je in Proxmox een vlan range opgegeven bij vlan aware?
Bij mij staat hier 2-4094. Of 240 en 999 als die bridge poort alleen die 2 vlans mag doorgeven.

Heb je dan ook al eens naar de vlan instellingen van de switch-poort gekeken?
Bij mij staat PVID op 1 (want management "vlan") met untagged/untagged.
En alle andere gebruikte vlans (in de range van 2-4094) staan op tagged/tagged.

Samen zorgt dat er voor dat alle pakketjes van het management vlan zonder tags door het netwerk fietsen. En dat alle andere vlans met tags door het netwerk fietsen. Beiden geldt ook voor het bridge netwerkje van een Proxmox host.

[ Voor 9% gewijzigd door Airw0lf op 14-01-2025 07:38 ]

[stormfly]

Airw0lf schreef op dinsdag 14 januari 2025 @ 07:35:
@stormfly en @UTMachine - ik herken dit soort vlan problemen niet.

Heb je in Proxmox een vlan range opgegeven bij vlan aware?
Bij mij staat hier 2-4094. Of 240 en 999 als die bridge poort alleen die 2 vlans mag doorgeven.

Heb je dan ook al eens naar de vlan instellingen van de switch-poort gekeken?
Bij mij staat PVID op 1 (want management "vlan") met untagged/untagged.
En alle andere gebruikte vlans (in de range van 2-4094) staan op tagged/tagged.

Samen zorgt dat er voor dat alle pakketjes van het management vlan zonder tags door het netwerk fietsen. En dat alle andere vlans met tags door het netwerk fietsen. Beiden geldt ook voor het bridge netwerkje van een Proxmox host.

Mijn netwerk is inderdaad hetzelfde als bij jou geconfigureerd.

Wat is de output bij onderstaand commando bij jou? En wat heb jij op de VM gezet als tag=?

code:

bridge vlan show dev tap<VM ID>i0

[Japie.G]

Ik zit nog in de leer en lees fase, maar ondertussen probeer ik al wat op te bouwen.

Ik heb nu 2x een Bmax B4 plus met naast de default 512gb ssd een 1tb ssd er in.

BmaxB4 N100 16GBRam - 1 : De default SSD draait nu op EXT4 en host proxmox. De 1tb SSD is unused.
BmaxB4 N100 16GBRam - 2 : De default SSD draait nu op EXT4 en host proxmox. De 1tb SSD is unused.

De BmaxB4 beschikt over een 1gbit ethernet poort.

Ik wil uiteindelijk een derde node erbij bouwen, maar dat gaat een krachtigere Intel i5 node worden met veel storage aangezien ik deze ook als NAS wil inzetten. Toekomst.. Voor nu heb ik dus 2x de BmaxB4 N100

Deze wil ik alvast clusteren. Later met de 3e node wil ik een stukje HA gaan gebruiken voor 3 VM's. 2x een Pihole VM en 1x een docker VM die onder andere mijn warmtepomp aanstuurt. Die mogen liever niet down, want dan geen internet meer thuis of geen warm water . En ik vind het gewoon ook leuk om hiermee te experimenteren.

Vraag voor nu. Ik wil omdat ik de nodes wil gaan clusteren de 2 N100 nodes uitrusten met een USB to 2,5gbit Ethernet dongen uitrusten. Deze laat ik dan naar een unifi flex 2.5 switch lopen, verder geheel offline van mijn reguliere netwerk. Puur alleen voor de cluster communicatie.

Vraag1: Is dat een goed idee of is alles via de bit verbinding laten lopen ook doable voor een kleine hobbysetup zoals ik voor ogen heb. Investering voor een los 2.5gbit netwerkje voor de 2 nodes is ongeveer 9 tientjes, ik zit me af te vragen of het dat waard is.

Vraag2. Ik wil de 1tb SSD schijven gebruiken voor de HA straks. Moet ik deze schijven alvast als CEPH configureren of is ZFS met replicatie een beter idee? En hoe heeft dit invloed op het gebruik van de netwerk interfaces? Als ik een 2.5gbit nic toevoeg voor de proxmox clustercommunicatie moet ik dan de CEPH hier ook overheen laten lopen? Of clustercomm over de gbit en alleen CEPH over de 2.5gbit? En als ik ZFS + replicatie gebruik, wat heeft dit dan voor invloed op de netwerkcommunicatie? Wat is best practice?

Hopelijk kan iemand me met antwoord op deze vragen vast verder helpen. Ondertussen ga ik verder met kennis opdoen over dit onderwerp. Alvast bedankt!

[MJV]

Ik heb in het verleden wat vreemde VLAN problemen gehad i.c.m. Proxmox, die opgelost waren door de host na configuratie wijzigingen effectief te herstarten. Zou niet nodig moeten zijn, maar bleek wel de oplossing.

[Airw0lf]

stormfly schreef op dinsdag 14 januari 2025 @ 08:15:
[...]

Mijn netwerk is inderdaad hetzelfde als bij jou geconfigureerd.

Wat is de output bij onderstaand commando bij jou? En wat heb jij op de VM gezet als tag=?

code:

bridge vlan show dev tap<VM ID>i0

Op een na draaien bij mij alle VM's zonder vlan-tag. Wat wil zeggen dat alle vlans doorgegeven worden en je binnen de VM bepaald welke vlans er gebruikt gaan worden door interfaces te koppelen aan een vlan-id - bijvoorbeeld interface enp0s18.190 (wat in mijn geval het VoIP vlan is).

Er is in deze VM's altijd één interface zonder vlan-id => die doet mee in vlan-1 (management vlan).

In deze VM's zien de interface instellingen er alsvolgt uit (voorbeeld):

code:

auto enp0s18
iface enp0s18 inet dhcp

auto enp0s18.210
iface enp0s18.210 inet dhcp

auto enp0s18.220
iface enp0s18.220 inet dhcp

auto enp0s18.230
iface enp0s18.230 inet dhcp

De HASS-VM draait met tag 230 - wat wil zeggen dat die alleen in dat ene vlan mee doet - binnen de VM gebruik ik geen vlan-id => dit is het enige en daarmee tevens het "management" voor deze VM.

De output van het gevraagde commando van deze ene VM (VM 105):

code:

port              vlan-id
tap105i0          1 PVID Egress Untagged

De output van het gevraagde commando voor alle overige VM's (voorbeeld van VM 106):

code:

port              vlan-id  
tap106i0          1 PVID Egress Untagged
                  2
                  3
                  4
                  5
                  6
<loopt door tot 4094>

[ Voor 20% gewijzigd door Airw0lf op 14-01-2025 09:57 ]

[stormfly]

Airw0lf schreef op dinsdag 14 januari 2025 @ 09:30:
[...]


Op een na draaien alle VM's zonder vlan-tag. Wat wil zeggen dat alle vlans doorgegeven worden en je binnen de VM bepaald welke vlans er gebruikt gaan worden door interfaces te koppelen aan een vlan-id. Er is een interface zonder vlan-id => die doet mee in vlan-1 (management vlan).

De HASS-VM draait met tag 230 - wat wil zeggen dat die alleen in dat ene vlan mee doet - binnen de VM gebruik ik geen vlan-id => dit is het enige en daarmee tevens het management "vlan" voor deze VM.

De output van het gevraagde commando:

code:

port              vlan-id  
tap106i0          1 PVID Egress Untagged
                  2
                  3
                  4
                  5
                  6
<loopt door tot 4094>

Je hebt qua netwerk hetzelfde ontwerp als ik, en je laat ook alle VLAN's door naar de VM's zie ik. In potentie heb je dezelfde kans op "VLAN leaking" als ik. Met de kennis die ik nu heb zou ik dat ontwerp aanpassen zoals ik recent uitgelegd heb.

Als ik je verhaal goed begrijp gebruik jij on-top nog VLAN's in het OS van van je VM? Dat is bij mij niet het geval, in de VM gebruik ik untagged netwerk verbindingen. Doordat jij de tag afdwingt binnen de NIC van het OS

Mijn ontwerp:

VM OS untagged -> PVE VM nic geen tag ingevuld -> PVE OS vmbr0 vlan-aware -> resultaat leaking.
VM OS untagged -> PVE VM nic tag=1 ingevuld -> PVE OS vmbr0 vlan-aware -> resultaat geen leaking.

Jouw ontwerp:
VM OS tagged 230 -> PVE VM nic geen tag ingevuld -> PVE OS vmbr0 vlan-aware -> resultaat geen leaking in het VM os vanwege afdwingen 230.

Vat ik het zo goed samen?

[Airw0lf]

@stormfly - jouw post en mijn aangepaste post hebben elkaar gekruist - tjek ff tegen jouw instellingen.

Los daarvan: ik begrijp eigenlijk nog steeds niet wat je bedoeld met de term "leaking" en hoe je dat dan opgelost denkt te hebben. Hoe zie je dat?

[ Voor 5% gewijzigd door Airw0lf op 14-01-2025 10:25 ]

[eymey]

@stormfly In denk dat in theorie, de config van @Airw0lf nog steeds wel 'leaking' zou kunnen hebben.

Namelijk, In het VM OS wordt weliswaar de NIC op tag 230 gezet. Maar wat asl een 'bad actor' in die VM root toegang weet te verkrijgen en de NIC bijvorobeeld in promiscuous mode weet te krijgen om vervolgens met network capture tools te gaan 'sniffen' welke VLAN tags er voorbij komen? (bv. ARP broadcast of ander broadcast verkeer op de andere VLANs).

Als je doel is om voor een bepaalde VM zo strict mogelijke isolatie te krijgen, dan moet je eigenlijk op niveau van de hypervisor/definitie van de virtuele NIC in PVE al zorgen dat niet-benodigde VLANs ook niet naar de VM toe gaan.

[Jerie]

Jullie zeggen beide niet waar de DHCP server staat.

Je moet m.i. zo min mogelijk vanuit gaan dat een device de juiste VLAN gebruikt in de interface. Niet in de laatste plaats omdat-ie pwned kan zijn.

Je moet dan ook untagged niet op VLAN 1 zetten ofwel management VLAN niet op 1 zetten. Een van twee moet je veranderen.

Dus dan wil je op chokepoints aangeven welke VLAN untagged is. In mijn geval doe ik dat op switch. Proxmox VLAN aware maken op bridge is virtueel hetzelfde. Dat kan bijvoorbeeld ook met Openvswitch (ovs). Best practice is dan om Proxmox dat te laten bepalen.

Maar ikzelf draai enkel 2 VMs op Proxmox die beide VLANs gebruikt: de router/firewall. Als iemand root daarop heeft ben ik m.i. de lul. De andere VM draait alle services (in containers). Je zou op zich twee VMs kunnen gebruiken (of zelfs meer) en dan apart per VLAN. Maar het gaat mij met name om IoT rommel in het netwerk. Die wil ik gescheiden hebben, en alle switches (fysiek of virtueel) doen daaraan mee.

[UTMachine]

Airw0lf schreef op dinsdag 14 januari 2025 @ 10:18:
@stormfly - jouw post en mijn aangepaste post hebben elkaar gekruist - tjek ff tegen jouw instellingen.

Los daarvan: ik begrijp eigenlijk nog steeds niet wat je bedoeld met de term "leaking" en hoe je dat dan opgelost denkt te hebben. Hoe zie je dat?

Op mijn proxmox host heb ik vlan aware aanstaan en alle vlans toegestaan. Ik configureer geen vlan in de vm als het vlan 1 is. In dit geval, heb ik wel leaking gezien (antwoord van verkeerde DHCP server), maar het werkt anders gewoon voor 99.999%. Door expliciet vlan 1 in de vm te configureren (ipv leeg laten), werkt het weer zoals ervoor (toen vlan aware uit stond op Proxmox vmbr0).

[Airw0lf]

UTMachine schreef op dinsdag 14 januari 2025 @ 11:25:
[...]


Op mijn proxmox host heb ik vlan aware aanstaan en alle vlans toegestaan. Ik configureer geen vlan in de vm als het vlan 1 is. In dit geval, heb ik wel leaking gezien (antwoord van verkeerde DHCP server), maar het werkt anders gewoon voor 99.999%. Door expliciet vlan 1 in de vm te configureren (ipv leeg laten), werkt het weer zoals ervoor (toen vlan aware uit stond op Proxmox vmbr0).

Die begrijp ik niet - als vlan aware aan staat met vlan 2-4094, dan heb je in de vm toch geen vlan 1 beschikbaar? Of hoe werkt (lekt?) dat dan?

[UTMachine]

Airw0lf schreef op dinsdag 14 januari 2025 @ 11:31:
[...]


Die begrijp ik niet - als vlan aware aan staat met vlan 2-4094, dan heb je in de vm toch geen vlan 1 beschikbaar? Of hoe werkt (lekt?) dat dan?

Dat is een goeie, maar VLAN 1 werkt gewoon met die configuratie (bridge-vids 2-4096).

[Airw0lf]

UTMachine schreef op dinsdag 14 januari 2025 @ 12:21:
[...]


Dat is een goeie, maar VLAN 1 werkt gewoon met die configuratie (bridge-vids 2-4096).

Hoe heb je dat in de VM dan "geconfigureerd"?

Hypothese:
De switch heeft voor de Proxmox-poort een PVID van 1 staan (dus untagged doorzetten).
De vlan-tag wordt er dus afgehaald door de switch waardoor het blijft werken.
Blijft over het antwoord op de vraag wat er dan met de overige vlans gebeurd - mochten er daarvan gebruikt worden

[ Voor 11% gewijzigd door Airw0lf op 14-01-2025 12:37 ]

[stormfly]

Airw0lf schreef op dinsdag 14 januari 2025 @ 11:31:
[...]


Die begrijp ik niet - als vlan aware aan staat met vlan 2-4094, dan heb je in de vm toch geen vlan 1 beschikbaar? Of hoe werkt (lekt?) dat dan?

Ja VLAN 1 untagged komt altijd mee, tenzij je die wegfiltert schat ik in. Maar daar gaat dit gesprek niet over, het gaat juist over de andere VLAN's die meeliften terwijl je slechts VLAN 1 untagged verwacht.

Zie het screenshot wat ik poste in mijn eerste post "tag=1" voor de VM's die slechts VLAN1 nodig hebben en niets te zoeken hebben in andere VLAN's.

eymey schreef op dinsdag 14 januari 2025 @ 10:38:
@stormfly In denk dat in theorie, de config van @Airw0lf nog steeds wel 'leaking' zou kunnen hebben.

Namelijk, In het VM OS wordt weliswaar de NIC op tag 230 gezet. Maar wat asl een 'bad actor' in die VM root toegang weet te verkrijgen en de NIC bijvorobeeld in promiscuous mode weet te krijgen om vervolgens met network capture tools te gaan 'sniffen' welke VLAN tags er voorbij komen? (bv. ARP broadcast of ander broadcast verkeer op de andere VLANs).

Dat denk ik ook dat hij nog leaking heeft, want het is niet afgeschermd op VMnic niveau geeft zijn output weer. Ik denk dat als hij Wireshark draait in promiscious mode dat je ook ARP's en IPv6 RA's uit andere VLAN's tegenkomt.

Als je doel is om voor een bepaalde VM zo strict mogelijke isolatie te krijgen, dan moet je eigenlijk op niveau van de hypervisor/definitie van de virtuele NIC in PVE al zorgen dat niet-benodigde VLANs ook niet naar de VM toe gaan.

Bij mij zijn die overige VLAN's wel nodig voor andere VM's, dat is ook specifiek de kracht van een Hypervisor. Voor mij is het nu opgelost met de tip die ik eerder schreef tag=1.

[ Voor 5% gewijzigd door stormfly op 14-01-2025 12:42 ]

[Jerie]

Als jij niet zegt VLAN aware met de VLAN IDs die je nodig hebt, dan stript hij VLAN eraf. Als je zegt VLAN 1 dan is het standaard VLAN 1, en werkt untagged niet. Zeg je VLAN aware 10-100 (want 4k geeft soms problemen ) dan werkt 10, 20, 30, enz. Zeg je niets, dan bepaald de andere kant of er iets mee moet (bijv untagged=1).

Je moet altijd beide kanten correct configureren en rekening houden met untagged. Sommige devices kunnen alleen maar untagged, en je moet altijd rekening houden met theoretische mogelijkheid dat zo'n device ineens untagged of andere VLAN gebruikt. DHCP requests zijn ook untagged, maar kun je forwarden.

Met je netwerkmanager (bijv in Proxmox /etc/network/interfaces) kun je e.e.a. instellen. En voor uitgebreide configuratie kun je OpenvSwitch gebruiken.

[Jerie]

stormfly schreef op dinsdag 14 januari 2025 @ 12:38:

Bij mij zijn die overige VLAN's wel nodig voor andere VM's, dat is ook specifiek de kracht van een Hypervisor. Voor mij is het nu opgelost met de tip die ik eerder schreef tag=1.

Nee, dat is de kracht van een switch/bridge/router. Met een hypervisor virtualiseer je VMs. Wil je enkel NICs virtualiseren dan kan dat met bijvoorbeeld SR-IOV native. Maar, hoewel handig, SR-IOV is weer niet specifiek voor hypervisor. Laten we niet anderen opleggen dat ze VLANs moeten gebruiken indien ze hypervisor gebruiken.

Jarenlang EdgeOS router gebruikt met VLANs. Zonder bridge (ook een tijd met). Niks hypervisor nodig gehad op die machine.

[stormfly]

stormfly in "Het grote Proxmox VE topic"

Heb mijn originele post nog even aangepast @Airw0lf hopelijk geeft dit wat duidelijkheid. Zonder VLAN tag (leeg veld) had ik alleen VLAN 1 untagged verwacht. Maar blijkbaar komt *alles* mee, dat is mijn punt. En dat los je op met het invoeren van tag=1 waarbij ik eerst dacht dan gaat de VMnic VLAN 1 juist getagged aanleveren, maar dat bleek niet het geval.

[Airw0lf]

stormfly schreef op dinsdag 14 januari 2025 @ 12:59:
stormfly in "Het grote Proxmox VE topic"

Heb mijn originele post nog even aangepast @Airw0lf hopelijk geeft dit wat duidelijkheid. Zonder VLAN tag (leeg veld) had ik alleen VLAN 1 untagged verwacht. Maar blijkbaar komt *alles* mee, dat is mijn punt. En dat los je op met het invoeren van tag=1 waarbij ik eerst dacht dan gaat de VMnic VLAN 1 juist getagged aanleveren, maar dat bleek niet het geval.

Ow ja - nu weet ik het weer - een Windows nic ondersteund standaard geen vlans - tenminste niet in de vorm van een vlan-trunk - geen idee wat er dan precies gaat gebeuren als die zoiets voor zijn kiezen krijgt.

Maar als je met een Proxmox-bridge-poort geen vlan-tag opneemt worden alle vlans doorgezet. Dus vanuit mijn perspectief is dit een gevalletje works-as-designed (geen lek).

En als je al wil spreken van een lek dan zit die aan de Windows kant vanwege het gebrek aan vlan ondersteuning. Een nic per vlan is ook niet echt een oplossing omdat je maar voor een nic een default gateway kan opgeven.

Ik heb ook geen idee wat jouw instellingen met 2 nics op een Proxmox-bridge-poort aan Windows kant laat zien. Ook vraag ik me af wat de noodzaak is om in een Windows 11 station meerdere vlans te hebben. Maar goed - dat lijkt me een ander, off-topic vraagstuk...

[ Voor 3% gewijzigd door Airw0lf op 14-01-2025 14:23 ]

[WheeleE]

Inmiddels draai ik al een tijdje een bescheiden verzameling lxc's voor vanalles en nogwat. Voor zover ik kan nagaan staat alles degelijk (genoeg) ingesteld (heb zelfs een externe backup! )

Nu wil ik eigenlijk de startupprocedure wat beter stroomlijnen omdat ik een paar NAS-shares heb gemount die door een paar lxc's worden gebruikt.
Is er een manier om te controleren of de shares op de host correct gemount zijn, en daarna pas de lxc's te starten? Ik ben niet kundig genoeg op Linuxgebied om door de zoekresultaatbomen het spreekwoordelijke bos te zijn.
De enige hint die ik dacht te hebben kwam uit dit topic: Cockpit. Daar kan ik de functionaliteit alleen niet in vinden.

[Jerie]

stormfly schreef op dinsdag 14 januari 2025 @ 12:59:
stormfly in "Het grote Proxmox VE topic"

Heb mijn originele post nog even aangepast @Airw0lf hopelijk geeft dit wat duidelijkheid. Zonder VLAN tag (leeg veld) had ik alleen VLAN 1 untagged verwacht. Maar blijkbaar komt *alles* mee, dat is mijn punt. En dat los je op met het invoeren van tag=1 waarbij ik eerst dacht dan gaat de VMnic VLAN 1 juist getagged aanleveren, maar dat bleek niet het geval.

Een bridge is een switch. Als hij niet VLAN aware is, dan zal hij alles bridgen naar untagged, ja. Is hij VLAN aware, dan bridged hij netjes de VLANs door zolang je die IDs accepteert. Bij een switch (en remember: bridge = switch) kun je untagged specificeren naar welke VLAN dat moet. Dat moet je ook doen want je moet er vanuit gaan dat een device altijd untagged data kan versturen/ontvangen.

[Jerie]

Airw0lf schreef op dinsdag 14 januari 2025 @ 13:45:

En als je al wil spreken van een lek dan zit die aan de Windows kant vanwege het gebrek aan vlan ondersteuning. Een nic per vlan is ook niet echt een oplossing omdat je maar voor een nic een default gateway kan opgeven.

Sorry, maar nee. Windows ondersteunt gewoon VLANs. Zie bijvoorbeeld https://www.startech.com/...ging-network-card-windows het hangt wel af van de NIC/driver.

Ik tik dit op een Windows machine die VLAN specificeert. X710 op Windows kan VLAN. Marvell AQC111 idem. Intel I211 niet.

Maar uiteindelijk moet je toch ook afvangen wat je doet met untagged traffic. Dat jij dat niet (goed) doet, heeft niets met Windows te maken. Want zelfs als ik de Intel I211 zou gebruiken, dan zeg ik tegen switch untagged = VLAN 20 en hoppa welkom bij de IoT troep.

[Airw0lf]

Jerie schreef op dinsdag 14 januari 2025 @ 17:54:
[...]


Sorry, maar nee. Windows ondersteunt gewoon VLANs. Zie bijvoorbeeld https://www.startech.com/...ging-network-card-windows het hangt wel af van de NIC/driver.

Ik tik dit op een Windows machine die VLAN specificeert. X710 op Windows kan VLAN. Marvell AQC111 idem. Intel I211 niet.

Maar uiteindelijk moet je toch ook afvangen wat je doet met untagged traffic. Dat jij dat niet (goed) doet, heeft niets met Windows te maken.

In mijn beleving heeft een switch geen weet van wat een aangesloten apparaat (in dit geval Windows) met vlans kan doen - tagged of untagged. Ik begrijp niet wat je hier nu mee wil zeggen en heb wat uitleg nodig...

Want zelfs als ik de Intel I211 zou gebruiken, dan zeg ik tegen switch untagged = VLAN 20 en hoppa welkom bij de IoT troep.

Dat zou ik geen vlan ondersteuning willen noemen... je stelt een switchpoort nu zo in dat een Windows-apparaat iets met die pakketjes kan.

[Jerie]

Airw0lf schreef op dinsdag 14 januari 2025 @ 18:18:
[...]


In mijn beleving heeft een switch geen weet van wat een aangesloten apparaat (in dit geval Windows) met vlans kan doen - tagged of untagged. Ik begrijp niet wat je hier nu mee wil zeggen en heb wat uitleg nodig...

Neem een managed switch (of software/virtuele bridge) en je bent klaar. Proxmox kan dat maar hetzelfde geldt voor zo'n beetje ieder Linux OS. Heeft dus niets met hypervisor of Proxmox specifiek te maken. Wel is het zo dat zo'n hypervisor op stevige hardware draait die leuke I/O op de bridge aankan, bijv. i.c.m. IDS/DPI.

Evt. moet je nog pielen met rx-vlan-offload / tx-vlan-offload

Dat zou ik geen vlan ondersteuning willen noemen... je stelt een switchpoort nu zo in dat een Windows-apparaat iets met die pakketjes kan.

Maar dat is het in de praktijk wel. Alle traffic op die port wordt VLAN 20. Het apparaat op die port zit dus ook op VLAN 20, maar is untagged. Want de switch weet alle traffic untagged op die port is VLAN 20. Vervolgens kan je apparaat zeggen ik ga eens even op VLAN 10 wat proberen (want hij is compromised). Maakt niets uit, mag hij proberen. De switch doet daar niets mee, want op die port accepteert hij VLAN 10 niet. Je kunt zelfs zeggen ik accepteer VLAN 20 niet. Maakt niet uit, dan gebruik je geen VLAN; door de managed switch gebruikt de device dan wel VLAN.

Wat je met X710 en AQC111 kan maar met I211 niet (op Windows; want op Linux werkt het wel) is meerdere VLANs. Je kunt dan bijvoorbeeld ook zeggen untagged is VLAN 20, tagged VLAN 10 mag. Of meerdere tags, dat kan ook. Dat kan met de I211 op Windows niet. Maar Windows zelf, dat ondersteunt wel VLAN.

[daily.data.inj]

WheeleE schreef op dinsdag 14 januari 2025 @ 17:33:
Inmiddels draai ik al een tijdje een bescheiden verzameling lxc's voor vanalles en nogwat. Voor zover ik kan nagaan staat alles degelijk (genoeg) ingesteld (heb zelfs een externe backup! )

Nu wil ik eigenlijk de startupprocedure wat beter stroomlijnen omdat ik een paar NAS-shares heb gemount die door een paar lxc's worden gebruikt.
Is er een manier om te controleren of de shares op de host correct gemount zijn, en daarna pas de lxc's te starten? Ik ben niet kundig genoeg op Linuxgebied om door de zoekresultaatbomen het spreekwoordelijke bos te zijn.
De enige hint die ik dacht te hebben kwam uit dit topic: Cockpit. Daar kan ik de functionaliteit alleen niet in vinden.

Ik lees even mee. Met Opentofu/Ansible heb ik nu het aanmaken + provisionen van de nodige VM's volledig geautomatiseerd.

Voor configuratie van de Proxmox host zelf ben ik er nog niet uit of ik dit alleen d.m.v. bash scripts en crontab laat doen, via een IaC-achtige oplossing of eventuele andere opties.

[stormfly]

Airw0lf schreef op dinsdag 14 januari 2025 @ 13:45:
[...]

Maar als je met een Proxmox-bridge-poort geen vlan-tag opneemt worden alle vlans doorgezet. Dus vanuit mijn perspectief is dit een gevalletje works-as-designed (geen lek).

Jerie schreef op dinsdag 14 januari 2025 @ 17:53:
[...]


Een bridge is een switch. Als hij niet VLAN aware is, dan zal hij alles bridgen naar untagged, ja. Is hij VLAN aware, dan bridged hij netjes de VLANs door zolang je die IDs accepteert. Bij een switch (en remember: bridge = switch) kun je untagged specificeren naar welke VLAN dat moet. Dat moet je ook doen want je moet er vanuit gaan dat een device altijd untagged data kan versturen/ontvangen.

De GUI geeft namelijk bij geen tag deze tekst weer. En dat is knap misleidend toch waardoor je aanneemt dat je geen vlans/No VLAN -> hooguit untagged vlan 1 doorlaat. De praktijk blijkt dat alle VLAN's op de NIC staan.

Het resulteert in VLAN leaking omdat de GUI niet weergeeft wat er daadwerkelijk wordt toepast.

[stormfly]

Jerie schreef op dinsdag 14 januari 2025 @ 17:54:
[...]

Maar uiteindelijk moet je toch ook afvangen wat je doet met untagged traffic. Dat jij dat niet (goed) doet, heeft niets met Windows te maken. Want zelfs als ik de Intel I211 zou gebruiken, dan zeg ik tegen switch untagged = VLAN 20 en hoppa welkom bij de IoT troep.

Exact en dat wil je voorkomen in je Hypervisor door te zorgen dat alleen de noodzakelijk VLAN's naar de VM gaan en niet alle, terwijl de GUI aangeeft NO VLAN. @Airw0lf Dat jumpen van VLANs is mogelijk in het OS met de configuratie zoals ik eerder heb toegelicht met screenshots.

@Airw0lf waarom een 2e NIC, omdat de Alfen laadpaal alleen maar benaderd kan worden vanuit dezelfde IP reeks. Super suf ontwerp, ik heb daarvoor een 2e NIC in het IOT VLAN zonder GW. Inmiddels kan hij wel weg omdat ik het in de router genat heb. Heb hem laten staan om hier het verschil tussen de configuraties te documenteren.

[ Voor 20% gewijzigd door stormfly op 14-01-2025 21:10 ]

[Jerie]

Dat is niet je bridge van je host (wat jij steeds hypervisor noemt) maar de interface van een Qemu VM. Je bridge staat in /etc/network/interfaces of Datacenter -> pve -> System -> Network

Het gaat er om dat je bij die bridges bridge-vlan-aware yes hebt staan, en dat laat de GUI ook zien. Want ik heb daar wel degelijk VLAN aware enabled staan als flag.

[Airw0lf]

stormfly schreef op dinsdag 14 januari 2025 @ 21:04:
[...]

De GUI geeft namelijk bij geen tag deze tekst weer. En dat is knap misleidend toch waardoor je aanneemt dat je geen vlans/No VLAN -> hooguit untagged vlan 1 doorlaat. De praktijk blijkt dat alle VLAN's op de NIC staan.

Het resulteert in VLAN leaking omdat de GUI niet weergeeft wat er daadwerkelijk wordt toepast.

Mmm - voor mij is dit nog steeds een works-as-designed en geldt voor alle OS-smaakjes.

In de afbeelding staat alleen dat er een vmbr0 interface is. En dat ie geen vlan tag heeft. Wat wil zeggen dat de betreffende VM-interface alleen een IP adres kan krijgen in een untagged vlan - welke dat dan ook is. In de praktijk komt dit neer op de pvid van de betreffende switchpoort.

Eventuele andere, niet nader genoemde vlans worden gewoon doorgezet. Ik zou niet weten hoe je anders voor een OS de deur open zet naar vlan interfaces. Je zou hooguit kunnen stellen dat de makers van de nic-driver en/of de switchfirmware het anders hadden moeten doen - bijvoorbeeld alleen doorlaten wat expliciet genoemd is.

Als je dat ziet als lekken en daarmee bombardeerd tot een risico... tja... kwestie van interpretatie...

Een manier om hier wat aan te doen is de betreffende switch/bridge poort geen vlans door laten geven - ook niet untagged. Kost alleen even wat tijd om uit te zoeken hoe dat moet in een Proxmox server en zijn bridgepoorten (al dan niet m.b.v. openvswitch) - maar het "lek" is te dichten.

Kortom... works-as-designed!

[ Voor 5% gewijzigd door Airw0lf op 15-01-2025 08:50 ]

[powerboat]

Ik ben alweer een tijdje aan het stoeien met LXC, maar toch weer telkens tegen issues aan. Het GPU-sharen en de performance van een unpriviledged container is super tof, waardoor ik met weinig resources leuke dingen kan doen!

Maar zodra ik een NFS-share via de hypervisor moeten mounten/binden en er komt flink load op te staan dan schiet de io-delay als een raket omhoog waardoor de hele hypervisor traag word.

Iemand gelijksoortige ervaring en iemand een oplossing hiervoor?

[stormfly]

Airw0lf schreef op woensdag 15 januari 2025 @ 08:31:
[...]


Mmm - voor mij is dit nog steeds een works-as-designed en geldt voor alle OS-smaakjes.

In de afbeelding staat alleen dat er een vmbr0 interface is. En dat ie geen vlan tag heeft. Wat wil zeggen dat de betreffende VM-interface alleen een IP adres kan krijgen in een untagged vlan - welke dat dan ook is. In de praktijk komt dit neer op de pvid van de betreffende switchpoort.

Eventuele andere, niet nader genoemde vlans worden gewoon doorgezet. Ik zou niet weten hoe je anders voor een OS de deur open zet naar vlan interfaces. Je zou hooguit kunnen stellen dat de makers van de nic-driver en/of de switchfirmware het anders hadden moeten doen - bijvoorbeeld alleen doorlaten wat expliciet genoemd is.

vmbr0 is de bridgekoppeling met de fysieke hoofd interface naar het LAN toe, deze staat buiten het onderwerp waar wij over babbelen. Daar verwacht ik alle VLAN's omdat er meerdere VM's zijn met diverse VLAN tags.

Ik ken geen situatie waarbij ik op 1 NIC meerder VLAN's naar een OS zou willen halen. Daar gebruik ik altijd losse NIC's voor omdat het adresseren van IP en het weglaten van de gateway overzichtelijker is.

Als je dat ziet als lekken en daarmee bombardeerd tot een risico... tja... kwestie van interpretatie...

Een manier om hier wat aan te doen is de betreffende switch/bridge poort geen vlans door laten geven - ook niet untagged. Kost alleen even wat tijd om uit te zoeken hoe dat moet in een Proxmox server en zijn bridgepoorten (al dan niet m.b.v. openvswitch) - maar het "lek" is te dichten.

Kortom... works-as-designed!

Het gedrag is aangepast over de tijd, vroeger was dit effect er niet en had mijn VM de juiste IPv6 adressering. Als de tekst in de GUI "No VLAN" bevat dan verwacht ik niet 1-4096 als VLAN reeks op de VMnic. Werkt wat mij betreft niet as-designed dan had er "All VLAN" moeten staan.

Blij dat PVE voor jou doet wat je er van verwacht, en voor mij met de aanpassing nu ook. Twee tevreden gebruikers

[ Voor 13% gewijzigd door stormfly op 15-01-2025 12:12 ]

[Jerie]

stormfly schreef op woensdag 15 januari 2025 @ 12:06:
[...]

vmbr0 is de bridgekoppeling met de fysieke hoofd interface naar het LAN toe, deze staat buiten het onderwerp waar wij over babbelen. Daar verwacht ik alle VLAN's omdat er meerdere VM's zijn met diverse VLAN tags.

Als je dat niet wilt, dan moet je dat in /etc/network/interfaces regelen. Heel simpel. Dat is de host. Dat andere zegt enkel iets over de interface op de VM. Untagged only is altijd 'alles' als de host de VLANs eraf stript. Vandaar vlan-aware (dat is switch-gedrag, en remember: bridge = switch).

Verder kun je prima meerdere bridges maken (bijvoorbeeld vmbr0 voor management Proxmox, en vmbr1 voor alle andere VLANs), en dat je dat dan op fysieke managed switches alvast instelt. Je zult hoe dan ook altijd ergens de VLANs van elkaar moeten gaan scheiden. Zie hieronder.

Ik ken geen situatie waarbij ik op 1 NIC meerder VLAN's naar een OS zou willen halen. Daar gebruik ik altijd losse NIC's voor omdat het adresseren van IP en het weglaten van de gateway overzichtelijker is.

Ik wel: in geval van een router VM, of een VM die meerdere VLANs gebruikt voor meerdere containers. Het is echter best practice om dat op niveau van switch (in dit geval de bridge op de host van VMs, 'pve') al te scheiden. Met DHCP kom je dan dhcp snooping te gebruiken... (en daar heb ik geen zin in )

[orvintax]

--Christiaan-- schreef op maandag 13 januari 2025 @ 11:40:
Helaas is Proxmox toch al een aantal keer deze week onbereikbaar geweest, een reboot verhelpt het geheel. Is er een manier om ergens logs te vinden of te kijken waar het misgaat?

Op het scherm aangesloten op de server staat dan wel gewoon dat hij actief is op het IP, maar is onbereikbaar. Alle VM's/LXC's ook.

Uiteindelijk is Proxmox een schil rond Debian 12. Dus je kunt bijvoorbeeld algemene Linux/GNU logs bekijken zoals de systemd journal via "journalctl" en kernel logs via "dmesg".

[Cyphax]

powerboat schreef op woensdag 15 januari 2025 @ 11:39:
Ik ben alweer een tijdje aan het stoeien met LXC, maar toch weer telkens tegen issues aan. Het GPU-sharen en de performance van een unpriviledged container is super tof, waardoor ik met weinig resources leuke dingen kan doen!

Maar zodra ik een NFS-share via de hypervisor moeten mounten/binden en er komt flink load op te staan dan schiet de io-delay als een raket omhoog waardoor de hele hypervisor traag word.

Iemand gelijksoortige ervaring en iemand een oplossing hiervoor?

Wellicht zit de clou in het dikgedrukte. Hoe heb je dat geconfigureerd? Als bind mounts in de container?

[powerboat]

Cyphax schreef op woensdag 15 januari 2025 @ 16:50:
[...]

Wellicht zit de clou in het dikgedrukte. Hoe heb je dat geconfigureerd? Als bind mounts in de container?

Gemount in hypervisor en daarna gebind in de container. Kan volgens mij ook niet anders met unpriveliged

[Cyphax]

powerboat schreef op woensdag 15 januari 2025 @ 20:21:
[...]


Gemount in hypervisor en daarna gebind in de container. Kan volgens mij ook niet anders met unpriveliged

Ja, precies, dat is vziw de "beste" manier van storage doorgeven, dat zou op zich ook geen problemen moeten opleveren. Hoe is de rest van het systeem? Piekt er nog iets anders?
Als je die of vergelijkbare load erop (op de share, ik denk dat je dat bedoelt met load erop maar verbeter me als ik ernaast zit ) zet vanuit de hypervisor zelf, krijg je dan hetzelfde effect?

[powerboat]

Cyphax schreef op woensdag 15 januari 2025 @ 20:29:
[...]

Ja, precies, dat is vziw de "beste" manier van storage doorgeven, dat zou op zich ook geen problemen moeten opleveren. Hoe is de rest van het systeem? Piekt er nog iets anders?
Als je die of vergelijkbare load erop (op de share, ik denk dat je dat bedoelt met load erop maar verbeter me als ik ernaast zit ) zet vanuit de hypervisor zelf, krijg je dan hetzelfde effect?

De hypervisor staat verder uit zijn neus te eten, als ik een NFS-share aan een VM mount heb ik geen problemen, maar kan ik helaas geen gpu sharen om te transcoden.

Het is een beetje kiezen tussen twee kwade in, ik heb het vermoeden dat het iets is in de kernel van de hypervisor met de NFS-share iets niet lekker loopt met lezen en schrijven.

Ik heb een beetje haat liefde verhouding met LXC's (en OpenVZ) ondanks dat ik Proxmox vanaf versie 1.5 gebruik .

Ik denk dat uiteindelijk terug ga naar een full vm met gpu passthrough.

[WheeleE]

WheeleE schreef op dinsdag 14 januari 2025 @ 17:33:
Inmiddels draai ik al een tijdje een bescheiden verzameling lxc's voor vanalles en nogwat. Voor zover ik kan nagaan staat alles degelijk (genoeg) ingesteld (heb zelfs een externe backup! )

Nu wil ik eigenlijk de startupprocedure wat beter stroomlijnen omdat ik een paar NAS-shares heb gemount die door een paar lxc's worden gebruikt.
Is er een manier om te controleren of de shares op de host correct gemount zijn, en daarna pas de lxc's te starten? Ik ben niet kundig genoeg op Linuxgebied om door de zoekresultaatbomen het spreekwoordelijke bos te zijn.
De enige hint die ik dacht te hebben kwam uit dit topic: Cockpit. Daar kan ik de functionaliteit alleen niet in vinden.

Na veel googlen ben ik dit artikel tegengekomen: https://dannyda.com/2020/...system-in-proxmox-ve-pve/
Daarin wordt het bestand /etc/systemd/system/multi-user.target.wants/pve-guests.service genoemd.
Eén van de mogelijkheden in die file is ExecStartPre acties specificeren.

Simpel ExecStartPre=/bin/sleep 30 bijvoorbeeld:

We will add following line
ExecStartPre=/bin/sleep 30
(Which means we let it wait 30 seconds before starting the VM boot sequence)
(Note: Modify the time accordingly depend on our needs, e.g. if the NAS is taking very long time to start we may change this to 60 or even 120 rather than 30)
above following line
ExecStartPre=-/usr/share/pve-manager/helpers/pve-startall-delay

Dat leidt me ertoe te vermoeden dat er ook iets mogelijk is als ExecStartPre=/bin/CheckMountedShareStatus.sh

Maar nu is dus de uitdaging om CheckMountedShareStatus.sh te schrijven

[Theetjuh]

Een misschien makkelijkere oplossing ia gebruik te maken van autofs? Deze zal automatisch gaan mounten als het mountpunt benaderd wordt.
Ik gebruik dat al aardig wat jaren op allerlei linux machines en zo ook gebruikt met de stap naar Proxmox en eigenlijk nog nooit issues ervaren.

[Jerie]

The-Source schreef op donderdag 26 december 2024 @ 18:37:
@Jerie ik heb mijn cron ook moeten aanpassen naar een script om het werkend te krijgen. Heb niet gecontroleerd hoeveel stroom het nu echt bespaard maar het is altijd meer dan niets.
Moet alleen nog denken hoe ik updates ga doen maar periodiek server zelf aan drukken en daarna de updates draaien is ook weinig moeite.

Mja, dat kan met unattended-upgrades (8)

Ik ben er niet zo'n fan van. Ik bedoel, security updates, sure. Toch heb je dan ook soms regressies.

Wat ik gewoon doe is eerst topgrade -c dan even denken wat ik de afgelopen week op main server heb gedaan en wat ik moet syncen qua veranderingen en dan.

$ sudo syncoid --recursive --sendoption=w tank-ms01 root@192.168.0.93:tank/tank-hp10 --insecure-direct-connection=192.168.0.93:9090,9090,60,mbuffer; ssh root@192.168.0.93 /usr/local/bin/powerdown_till_next_weekend.sh >/dev/null 2>&1

Nadat syncoid er klaar mee is, gaat de machine neer (al heb ik met turbostat gekeken en is hij best zuinig als hij niets doet (~5W total CPU/pkg/RAM/GFX)). Waar die poweroff 7W dan vandaan komt, geen idee.

En dit alles na 11 uur 's avonds. Op zich zou ik dat ook nog kunnen automatiseren maar ik wil eerst updaten en dan pas syncoid draaien. En het updaten wil ik handmatig doen, met user verificatie. Misschien iets van iedere 5 min proberen en als het systeem is geupdate dan gaan. Maar ik vind het eigenlijk geen punt het handmatig even in tmux te doen. Want in de pane erboven zit de andere backup server (remote). Die doe ik voorlopig ook nog handmatig. Via crontab gaat hij hoe dan ook om 8 uur 's morgens uit (want cron), heeft niemand last gehad van de fans.

En ik moet de NVMe's ook nog backuppen. Maar dat kost geen tijd, kan tussendoor want dat gaat supersnel over 10 gbit.

[koelkast]

Ik draai al een tijdje proxmox met o.a. home assistant en vele andere lxc containers. Bevalt heel goed, laatst naar een nieuwe setups met nuc overgestapt, via backup ging dat super eenvoudig (met als opslag de nas).

Ik heb nu op de nieuwe nuc eindelijk eens een goede backup ingesteld omdat er best kritische data op staat. Elke nacht een backup naar de nas werkt goed.

Twee vragen:

1. Is er een duidelijk voordeel voor thuisgebruiker als het gaat om proxmox backup server?

2. Ik wil graag een 2e mini pc met proxmox stand-by hebben staan als de nuc onverhoopt uitvalt. Dan kan de hele boel snel weer up and running gemaakt worden.
Is het aan te bevelen (en mogelijk) om elke nacht de backup op de 2e mini pc te zetten, zodat die het snel kan overnemen, of zelfs lice te synchroniseren? Hoe doen jullie dat? Of gewoon 2e met proxmox erop en als het nodig is de backup erop zetten? Dan ben je met een half uurtje ook weer running. Iemand?

[lasharor]

koelkast schreef op vrijdag 24 januari 2025 @ 10:13:
Ik draai al een tijdje proxmox met o.a. home assistant en vele andere lxc containers. Bevalt heel goed, laatst naar een nieuwe setups met nuc overgestapt, via backup ging dat super eenvoudig (met als opslag de nas).

Ik heb nu op de nieuwe nuc eindelijk eens een goede backup ingesteld omdat er best kritische data op staat. Elke nacht een backup naar de nas werkt goed.

Twee vragen:

1. Is er een duidelijk voordeel voor thuisgebruiker als het gaat om proxmox backup server?

2. Ik wil graag een 2e mini pc met proxmox stand-by hebben staan als de nuc onverhoopt uitvalt. Dan kan de hele boel snel weer up and running gemaakt worden.
Is het aan te bevelen (en mogelijk) om elke nacht de backup op de 2e mini pc te zetten, zodat die het snel kan overnemen, of zelfs lice te synchroniseren? Hoe doen jullie dat? Of gewoon 2e met proxmox erop en als het nodig is de backup erop zetten? Dan ben je met een half uurtje ook weer running. Iemand?

1. Deduplication, je ziet dat ook terug in de interface van PBS. Na verloop van tijd bespaar je ruimte omdat je niet 100x een kopie maakt van hetzelfde bestand.

2. Ik doe dit niet, ik heb backups van mijn VM's en LXC's. Mijn data heb ik vervolgens off-site gebackuped. In het geval dat er wat zou gebeuren ben ik vrij snel weer online door gewoon Proxmox opnieuw te installeren en de backups terug te zetten. Voor huis tuin en keuken gebruik lijkt een uur downtime vaak niet echt problematisch.

[koelkast]

lasharor schreef op vrijdag 24 januari 2025 @ 11:02:
[...]


1. Deduplication, je ziet dat ook terug in de interface van PBS. Na verloop van tijd bespaar je ruimte omdat je niet 100x een kopie maakt van hetzelfde bestand.

2. Ik doe dit niet, ik heb backups van mijn VM's en LXC's. Mijn data heb ik vervolgens off-site gebackuped. In het geval dat er wat zou gebeuren ben ik vrij snel weer online door gewoon Proxmox opnieuw te installeren en de backups terug te zetten. Voor huis tuin en keuken gebruik lijkt een uur downtime vaak niet echt problematisch.

Dank voor je duidelijke antwoorden. Ga ik mooi pbs gebruiken voor de ruimte en de mini pc bij de hand houden als dat nodig is (de nas backupt naar de nas bij familie).

[barrymossel]

Afgelopen week de NUC met drie VMs vervangen door een (nog) wat meer capabele server. Nog niet erg veel opslag erin, want (nog) niet nodig, maar ik wil wel toekomstbestendig zijn. Proxmox draait vanaf een 1TB nvme en daar worden ook alle VMs en containers op gezet. Verder heb ik de beschikking over een 1TB SSD en een 8TB HDD.

Het volgende draait of wil ik gaan draaien:

• VM met Home Assistant
• VM met Ubuntu en wat willekeurige docker containers
• VM met Openmediavault waar Plex samen met enkele "arrs" op draait
• VM of LXC met Openmediavault en Immich voor foto- en dataopslag

De 8TB HDD is een LVM-thin en wil ik sowieso gebruiken voor opslag van de Plex media. Nu is 7TB toegewezen aan de OMV/Plex VM. HA en Ubuntu draaien volledig op de nvme (incl. opslag). Maar nu zit ik te twijfelen over de foto- en dataopslag én backups.

Ik kan natuurlijk van de SSD een directory maken en deze gebruiken voor backups, maar dat vind ik ook een beetje zonde. Ik heb dan wel de ruimte om de hele foto/docs opslag te backuppen, want dat zal voorlopig niet boven de 500GB komen. De initiële opslag komt dan op de HDD.
Andere optie is om de gehele HDD aan de Plex media te besteden (en evt. in de toekomst uit te breiden met een extra HDD - dat kan toch met een LVM-thin?) en de SSD te gebruiken voor foto's en documenten. Backups van de VMs en containers, exclusief data kan dan op de nvme. De data van de opslag kan ik dan eventueel doen op een PBS, die ik dan op de nuc die nog "over" is draai. Ik vind het wel wat zonde om een goedwerkende NUC daar volledig aan te besteden...

TL;DR
Optie 1:

• VM met Home Assistant op nvme
• VM met Ubuntu en wat willekeurige docker containers op nvme
• VM met Openmediavault waar Plex samen met enkele "arrs" op draait op nvme + data op HDD
• VM of LXC met Openmediavault en Immich voor foto- en dataopslag op nvme + data op HDD
• Backups op SSD

• VM met Home Assistant op nvme
• VM met Ubuntu en wat willekeurige docker containers op nvme
• VM met Openmediavault waar Plex samen met enkele "arrs" op draait op nvme + data op HDD
• VM of LXC met Openmediavault en Immich voor foto- en dataopslag op nvme + data op SSD
• Backups op nvme + opslag backup op NUC met PBS

Mijn twee vragen zijn dan ook:

1. Wat zouden jullie doen in mijn situatie op basis van bovenstaande?
2. Kun je zomaar een HDD toevoegen aan een LVM-thin pool en die dan resizen in de OMV VM?

[orvintax]

koelkast schreef op vrijdag 24 januari 2025 @ 10:13:
Ik draai al een tijdje proxmox met o.a. home assistant en vele andere lxc containers. Bevalt heel goed, laatst naar een nieuwe setups met nuc overgestapt, via backup ging dat super eenvoudig (met als opslag de nas).

Ik heb nu op de nieuwe nuc eindelijk eens een goede backup ingesteld omdat er best kritische data op staat. Elke nacht een backup naar de nas werkt goed.

Twee vragen:

1. Is er een duidelijk voordeel voor thuisgebruiker als het gaat om proxmox backup server?

2. Ik wil graag een 2e mini pc met proxmox stand-by hebben staan als de nuc onverhoopt uitvalt. Dan kan de hele boel snel weer up and running gemaakt worden.
Is het aan te bevelen (en mogelijk) om elke nacht de backup op de 2e mini pc te zetten, zodat die het snel kan overnemen, of zelfs lice te synchroniseren? Hoe doen jullie dat? Of gewoon 2e met proxmox erop en als het nodig is de backup erop zetten? Dan ben je met een half uurtje ook weer running. Iemand?

Ik denk dat vraag één al goed beantwoord is. Maar over de tweede vraag. Ik denk dat het nogal context gevoel is. Ik denk dat je jezelf vooral de vraag moet stellen hoe vervelend je downtime vind. Ik weet niet hoe groot je backups zijn. Maar als ze niet al te groot zijn kun je ze redelijk snel downloaden. Mij lijkt dat persoonlijk acceptabel voor een thuisgebruiker. Maar nogmaals, het ligt er aan hoe vervelend jij downtime vind.

[Anoniemand]

koelkast schreef op vrijdag 24 januari 2025 @ 10:13:

2. Ik wil graag een 2e mini pc met proxmox stand-by hebben staan als de nuc onverhoopt uitvalt. Dan kan de hele boel snel weer up and running gemaakt worden.
Is het aan te bevelen (en mogelijk) om elke nacht de backup op de 2e mini pc te zetten, zodat die het snel kan overnemen, of zelfs lice te synchroniseren? Hoe doen jullie dat? Of gewoon 2e met proxmox erop en als het nodig is de backup erop zetten? Dan ben je met een half uurtje ook weer running. Iemand?

Goeie vraag. Ik ben nog niet verder dan de volgende gedachten:
- Cluster opzetten --> 3 servers nodig (maar zelf te weinig VMs om het te rechtvaardigen). 2 servers en een witness zou dan wel een optie zijn.
- Op het moment dat het misgaat nieuwe hardware bestellen (hopelijk snel in huis), proxmox installeren en backups terughalen --> Vermoedelijk te lange downtime (dus server blijf nog even up nu ik dit getypt heb )

[ Voor 7% gewijzigd door Anoniemand op 24-01-2025 17:52 ]

[Airw0lf]

koelkast schreef op vrijdag 24 januari 2025 @ 10:13:
Ik draai al een tijdje proxmox met o.a. home assistant en vele andere lxc containers. Bevalt heel goed, laatst naar een nieuwe setups met nuc overgestapt, via backup ging dat super eenvoudig (met als opslag de nas).

Ik heb nu op de nieuwe nuc eindelijk eens een goede backup ingesteld omdat er best kritische data op staat. Elke nacht een backup naar de nas werkt goed.

Twee vragen:

1. Is er een duidelijk voordeel voor thuisgebruiker als het gaat om proxmox backup server?

2. Ik wil graag een 2e mini pc met proxmox stand-by hebben staan als de nuc onverhoopt uitvalt. Dan kan de hele boel snel weer up and running gemaakt worden.
Is het aan te bevelen (en mogelijk) om elke nacht de backup op de 2e mini pc te zetten, zodat die het snel kan overnemen, of zelfs lice te synchroniseren? Hoe doen jullie dat? Of gewoon 2e met proxmox erop en als het nodig is de backup erop zetten? Dan ben je met een half uurtje ook weer running. Iemand?

Mijn aanpak is gebaseerd twee keer hetzelfde systeem.
Een is daadwerkelijk actief met alle VM's en LXC's.
De tweede gebruik ik voor testen en fallback.

Beiden zijn voorzien van 4 disken:
(1) - de Proxmox boot disk
(2) - alle VM en LXC volumes
(3) - een interne backup disk
(4) - een externe backup disk.

Gaat er iets stuk, dan hang ik de disken om en start alles opnieuw op.
Gaat een van de disken stuk dan vervang ik de betreffende disk, zet eventueel een backup terug en start alles opnieuw op.

Met deze aanpak mis ik maximaal twee dagen aan gegevens.

Zijn er 3 of meer gelijktijdige storingen dan gaat het mogelijk allemaal langer duren omdat dan de levertijd van nieuwe onderdelen een rol gaat spelen. Ook kan ik in deze periode geen testen doen.

[ Voor 9% gewijzigd door Airw0lf op 25-01-2025 09:15 ]