Het grote Proxmox VE topic

[Airw0lf]

Zoals eerder te lezen heb ik twee Proxmox servers in gebruik.

Beiden hebben raid 0 volumes. Maar de LVS-output is verschillend.
Twee volumes hebben iets met "_rimage_" in de device list staan en een niet:

code:

lvs -a -o name,devices,stripe_size

  LV                      Devices                                           Stripe

  addn-volumes            addn-volumes_rimage_0(0),addn-volumes_rimage_1(0) 64.00k
  [addn-volumes_rimage_0] /dev/sdc(0)                                           0
  [addn-volumes_rimage_1] /dev/sdd(0)                                           0

  nas-volume              nas-volume_rimage_0(0),nas-volume_rimage_1(0) 64.00k
  [nas-volume_rimage_0]   /dev/sda(0)                                       0
  [nas-volume_rimage_1]   /dev/sdb(0)                                       0

  all-PVE-volumes         /dev/sda(0),/dev/sdb(0)                           64.00k

Alle volumes zijn met LVM aangemaakt en gebaseerd op de on-board sata poorten.
Alle disken zijn WD/Hitach sata spindle disken.

Ik maak gebruik van versie 8.3.2. op een AMD B550 chipset.
De ene op basis van een Asus TUF B550-Plus en de ander Asus TUF B550M-Plus.
Beiden hebben een AMD Ryzen 7 5700X aan boord.

Wat wat wil dat "_rimage_" precies zeggen?
Wat zou een reden kunnen zijn dat die niet te zien zijn bij het volume aangeduid met "all-PVE-volumes"?

[ Voor 15% gewijzigd door Airw0lf op 25-01-2025 17:24 ]

[Jerie]

Wellicht raw image. Want bij devices geldt beginnend met r doorgaans voor raw.

[Zwelgje]

Anoniemand schreef op vrijdag 24 januari 2025 @ 17:39:
[...]


Goeie vraag. Ik ben nog niet verder dan de volgende gedachten:
- Cluster opzetten --> 3 servers nodig (maar zelf te weinig VMs om het te rechtvaardigen). 2 servers en een witness zou dan wel een optie zijn.
- Op het moment dat het misgaat nieuwe hardware bestellen (hopelijk snel in huis), proxmox installeren en backups terughalen --> Vermoedelijk te lange downtime (dus server blijf nog even up nu ik dit getypt heb )

hier een cluster van 2, gaat prima. 1 van die machines gaat elke nacht uit zodat er nog 1 node overblijft. dan heb ik een job draaien die een

code:

pvecm expected 1

doet zodat je wel VM's kan starten/andere dingen doen als je cluster geen quorum heeft

[Airw0lf]

Jerie schreef op zaterdag 25 januari 2025 @ 18:30:
Wellicht raw image. Want bij devices geldt beginnend met r doorgaans voor raw.

Die begrijp ik niet - het zijn allemaal fysieke disken.

Wat bedoel je precies?

[tomdh76]

Vorig maand is mijn moederbord (Asrock B6504DU) overleden na 2 maanden dienst te hebben gedaan. Van de week een nieuwe gekregen en weer snel online omdat alles nog gewoon op harde schijven stond. Wat ik echter gek vind is dat ik als de computer aanzet ik altijd het proxmox OS als boot moet aanvinken. De installatie staat op een SSD als eerste in het bios menu.
Als ik in de proxmox shell efibootmgr intyp krijg ik 3 boots:

Boot0000* proxmox
Boot0001* UEFI: Built-in EFI Shell
Boot0002* UEFI OS

De boot0002 stond als eerste om te booten terwijl boot0000 als eerste moet booten lijikt me. Dit heb ik nu aangepast maar wat doen uberhaupt die andere boots daar? Kan ik die gewoon deleten?

[Jerie]

Airw0lf schreef op zaterdag 25 januari 2025 @ 21:45:
[...]


Die begrijp ik niet - het zijn allemaal fysieke disken.

Wat bedoel je precies?

LVM kent 3 layers:

* Physical
* Virtual
* Logical

Logical is wat je userland ziet. Physical is de hardware kant. Virtual is de 'glue' die LVM ongekende flexibiliteit biedt.

Je logical volumes heten:

* nas-volume
* addn-volumes

(Ja, ik draai de volgorde even om, waarom wordt zo duidelijk.)

nas-volume heeft twee images in RAID1:

nas-volume_rimage_0
nas-volume_rimage_1

addn-volume heeft twee images in RAID1:

addn-volumes_rimage_0
addn-volumes_rimage_1

Dat was je virtuele layer.

Dan nog je fysieke layer:

/dev/sda (die bevat nas-volume_rimage_0)
/dev/sdb (die bevat nas-volume_rimage_1)

/dev/sdc (addn-volumes_rimage_0)
/dev/sdd (addn-volumes_rimage_1)

Je filesystem(s) zitten op je logical volumes.

Wat wil nu het geval. Wil je een nieuwe partitie aanmaken van bijvoorbeeld 10% genaamd top_secret dan kan dat. FDE erop met LUKS? Kan. Je resized dan de logical volumes, daarna het filesystem, dan LUKS erop, filesystem creëren en klaar. Wil je andere pathing, dan kan dat ook. Waarom werkt dat allemaal? Omdat dat virtuele gedeelte de lijm is die de kernel snapt.

[Jerie]

tomdh76 schreef op zondag 26 januari 2025 @ 09:44:
Vorig maand is mijn moederbord (Asrock B6504DU) overleden na 2 maanden dienst te hebben gedaan. Van de week een nieuwe gekregen en weer snel online omdat alles nog gewoon op harde schijven stond. Wat ik echter gek vind is dat ik als de computer aanzet ik altijd het proxmox OS als boot moet aanvinken. De installatie staat op een SSD als eerste in het bios menu.
Als ik in de proxmox shell efibootmgr intyp krijg ik 3 boots:

Boot0000* proxmox
Boot0001* UEFI: Built-in EFI Shell
Boot0002* UEFI OS

De boot0002 stond als eerste om te booten terwijl boot0000 als eerste moet booten lijikt me. Dit heb ik nu aangepast maar wat doen uberhaupt die andere boots daar? Kan ik die gewoon deleten?

UEFI OS is wat men vroeger het BIOS noemde. Het is een klein OSje dat je als eerst opstart als je je computer opstart. De EFI shell is een krachtige command line, waarmee je bijvoorbeeld een firmware update of rescue OS kunt opstarten vanaf USB stick zonder dat je je gehele OS opstart. Na succesvolle configuratie/install wil je die niet meer default, dan wil je direct je OS opstarten. Dus zet je in dit geval Proxmox bovenaan.

[Airw0lf]

Jerie schreef op zondag 26 januari 2025 @ 11:27:
[...]


LVM kent 3 layers:

* Physical
* Virtual
* Logical

Logical is wat je userland ziet. Physical is de hardware kant. Virtual is de 'glue' die LVM ongekende flexibiliteit biedt.

Ja - snap ik

Je logical volumes heten:

* nas-volume
* addn-volumes

(Ja, ik draai de volgorde even om, waarom wordt zo duidelijk.)

nas-volume heeft twee images in RAID1:

nas-volume_rimage_0
nas-volume_rimage_1

addn-volume heeft twee images in RAID1:

addn-volumes_rimage_0
addn-volumes_rimage_1

Dat was je virtuele layer.

Snap ik - maar betwijfel ik in dit geval - zie ook onderstaande lvs-output:
Het zijn twee dezelfde disken in raid-0 geconfigureerd waardoor de capaciteit effectief gelijk is aan de optelsom van de ruimte van de twee disken. Als het raid-1 zou zijn, dan zou de capaciteit effectief gelijk moeten zijn aan de ruimte van een disk.

code:

lvs -a -o +lv_health_status raid-0-nas
  LV                    VG         Attr       LSize  Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert Health
  nas-volume            raid-0-nas rwi-aor--- 14.55t
  [nas-volume_rimage_0] raid-0-nas iwi-aor--- <7.28t
  [nas-volume_rimage_1] raid-0-nas iwi-aor--- <7.28t

lvs -a -o +lv_health_status raid-0-addn
  LV                      VG          Attr       LSize  Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert Health
  addn-volumes            raid-0-addn rwi-aor--- <3.64t
  [addn-volumes_rimage_0] raid-0-addn iwi-aor--- <1.82t
  [addn-volumes_rimage_1] raid-0-addn iwi-aor--- <1.82t

Ik heb bij de inrichting achtereenvolgens de volgende commando's uitgevoerd:

code:

sudo pvcreate /dev/sda 
sudo pvcreate /dev/sdb
sudo vgcreate raid-0-nas /dev/sda /dev/sdb
sudo lvcreate --type raid0 -l 100%FREE -n nas-volume raid-0-nas

sudo pvcreate /dev/sdc
sudo pvcreate /dev/sdd
sudo vgcreate raid-0-addn /dev/sdc /dev/sdd
sudo lvcreate --type raid0 -l 100%FREE -n addn-volumes raid-0-addn

Vraag: wat zie ik hier over het hoofd?

Dan nog je fysieke layer:

/dev/sda (die bevat nas-volume_rimage_0)
/dev/sdb (die bevat nas-volume_rimage_1)

/dev/sdc (addn-volumes_rimage_0)
/dev/sdd (addn-volumes_rimage_1)

Je filesystem(s) zitten op je logical volumes.

Ja - snap ik - alleen... waarom deze rimage aanduiding bij deze twee?
En niet bij die ene met all-PVE-volumes?

Alle 3 de volumes zijn op dezelfde manier aangemaakt.
En vooraf de disken gepoetst met "wipefs --all /dev/sd<x>"

[ Voor 25% gewijzigd door Airw0lf op 26-01-2025 13:02 ]

[Jerie]

Ah, nee, ik zie het nu, ik naam aan dat het RAID1 was. Het is RAID0. Dus als 1 van die devices stuk gaat, dan heb je data loss. Niets mis mee, zelfs hogere performance en meer disk space. Je moet hoe dan ook goede backups regelen.

En rimage is gewoon raw image, die image staat op zo'n HDD.

[lasharor]

barrymossel schreef op vrijdag 24 januari 2025 @ 15:12:
Afgelopen week de NUC met drie VMs vervangen door een (nog) wat meer capabele server. Nog niet erg veel opslag erin, want (nog) niet nodig, maar ik wil wel toekomstbestendig zijn. Proxmox draait vanaf een 1TB nvme en daar worden ook alle VMs en containers op gezet. Verder heb ik de beschikking over een 1TB SSD en een 8TB HDD.

Het volgende draait of wil ik gaan draaien:

• VM met Home Assistant
• VM met Ubuntu en wat willekeurige docker containers
• VM met Openmediavault waar Plex samen met enkele "arrs" op draait
• VM of LXC met Openmediavault en Immich voor foto- en dataopslag

De 8TB HDD is een LVM-thin en wil ik sowieso gebruiken voor opslag van de Plex media. Nu is 7TB toegewezen aan de OMV/Plex VM. HA en Ubuntu draaien volledig op de nvme (incl. opslag). Maar nu zit ik te twijfelen over de foto- en dataopslag én backups.

Ik kan natuurlijk van de SSD een directory maken en deze gebruiken voor backups, maar dat vind ik ook een beetje zonde. Ik heb dan wel de ruimte om de hele foto/docs opslag te backuppen, want dat zal voorlopig niet boven de 500GB komen. De initiële opslag komt dan op de HDD.
Andere optie is om de gehele HDD aan de Plex media te besteden (en evt. in de toekomst uit te breiden met een extra HDD - dat kan toch met een LVM-thin?) en de SSD te gebruiken voor foto's en documenten. Backups van de VMs en containers, exclusief data kan dan op de nvme. De data van de opslag kan ik dan eventueel doen op een PBS, die ik dan op de nuc die nog "over" is draai. Ik vind het wel wat zonde om een goedwerkende NUC daar volledig aan te besteden...

TL;DR
Optie 1:

• VM met Home Assistant op nvme
• VM met Ubuntu en wat willekeurige docker containers op nvme
• VM met Openmediavault waar Plex samen met enkele "arrs" op draait op nvme + data op HDD
• VM of LXC met Openmediavault en Immich voor foto- en dataopslag op nvme + data op HDD
• Backups op SSD

• VM met Home Assistant op nvme
• VM met Ubuntu en wat willekeurige docker containers op nvme
• VM met Openmediavault waar Plex samen met enkele "arrs" op draait op nvme + data op HDD
• VM of LXC met Openmediavault en Immich voor foto- en dataopslag op nvme + data op SSD
• Backups op nvme + opslag backup op NUC met PBS

Mijn twee vragen zijn dan ook:

1. Wat zouden jullie doen in mijn situatie op basis van bovenstaande?
2. Kun je zomaar een HDD toevoegen aan een LVM-thin pool en die dan resizen in de OMV VM?

Ik zelf doe eigenlijk niets qua data opslag in PVE. Het is makkelijker om alles gewoon direct door te zetten naar OMV.

Daar maak ik dan gebruik van MergerFS en Snapraid. Ik zelf heb meerdere SSD's en HDD's in mijn systeem. Dus, alle schijven heb ik doorgezet naar OMV en dan vervolgens een SSD_DATA en HDD_DATA pool aangemaakt in MergerFS. Afhankelijk van het type data en wat ik er mee doe (foto's, documenten etfc op SSD en grote videos etc op HDD) zet ik ze dan door naar mijn LXC's (Via NFS en bind mounts)

Ik zou in jou geval eigenlijk hetzelfde doen. Een virtuele harde schijf toevoegen aan OMV die bijvoorbeeld 800G inneemt van die 1TB SSD. En daarnaast die hele 8TB HDD doorzetten naar OMV. Dan maak je nu al MergerFS pools aan en ga je gewoon uitbreiden op het moment dat het nodig is.

Je kan het beste daarna alles zoveel mogelijk van elkaar scheiden. Bijv:

* HA VM
* OMV VM
* PLEX LXC
* Docker VM (Debian) of in LXC (met dus Immich etc)

[dotcom87]

Ik heb via een veiling 4 HP EliteDesk 800 G4's gekocht die ik graag wil gaan opzetten in een Proxmox cluster.
3 in een cluster en 1 als backup server.

De HP EliteDesk heeft 1 SATA poort en 2 M.2 slots.

Ik ben aan het kijken welke drives ik ga aanschaffen. Ik zoek prijs/kwaliteit goede drives. Iemand wat advies of tips hiervoor?

Alsook, wat zou je op welke schijf doen? OS/VMs/...

[The-Source]

Even een ter info postje. Ik heb zelf wat lxc containers draaien welke via de helper scripts waren ingericht.
Nu is helper scripts sinds eind vorig jaar over gestapt naar nieuwe site en naam naar community scripts.
Veel van de lxc's hebben een ingebakken update optie maar kan je zeggen dat je dan niet naar het meest recente gaat.
Runnen van nieuw script kan je " pip requirements.txt errors" krijgen.
Grote kans dat onderstaande je kan helpen, hielp bij mij in ieder geval bij meerdere lxc's
https://github.com/commun...ProxmoxVE/discussions/555

[nero355]

The-Source schreef op dinsdag 28 januari 2025 @ 16:31:
Even een ter info postje. Ik heb zelf wat lxc containers draaien welke via de helper scripts waren ingericht.
Nu is helper scripts sinds eind vorig jaar over gestapt naar nieuwe site en naam naar community scripts.
Veel van de lxc's hebben een ingebakken update optie maar kan je zeggen dat je dan niet naar het meest recente gaat.
Runnen van nieuw script kan je " pip requirements.txt errors" krijgen.
Grote kans dat onderstaande je kan helpen, hielp bij mij in ieder geval bij meerdere lxc's
https://github.com/commun...ProxmoxVE/discussions/555

Ik weet niet of dat wel de manier is om zoiets op te lossen, want toen ik het onlangs tegenkwam vanwege Mopidy + Add-ons/Plug-ins onder Raspberry Pi OS heb ik begrepen dat ze simpelweg conflicten willen voorkomen tussen applicaties die je via APT/APT-GET en Python PIP -M installeert

Ik zou eerder zeggen kijk eens of je niet naar die nieuwe manier van dingen installeren/isoleren moet overstappen en dus je applicatie in zo'n Virtuele Omgeving van Python moet gooien

Maar ik ben alles behalve een Python Expert dus misschien zit ik er gruwelijk naast, echter ga ik het wel een keer proberen binnenkort...

dotcom87 schreef op dinsdag 28 januari 2025 @ 14:29:
De HP EliteDesk heeft 1 SATA poort en 2 M.2 slots.

Ik ben aan het kijken welke drives ik ga aanschaffen.

Ik zoek prijs/kwaliteit goede drives.
Iemand wat advies of tips hiervoor?

Proxmox helpt cheapass SSD's naar de klote door teveel Writes dus als je SSD's wilt en dan "On a budget" zou je naar tweedehands Enterprise spul moeten kijken zoals de welbekende fatsoenlijke Intel Enterprise SSD's

Alsook, wat zou je op welke schijf doen? OS/VMs/...

Ik vind in alle eerlijkheid dat er nog steeds niks mis is met een 2,5/3,5 inch HDDtje voor Proxmox OS gebruiken en dan weer een HDD of SSD voor de VM's/LXC's afhankelijk van wat je ermee doet of in dit geval wat er in je Mini PC dan wel Thin Client PCtje past

Mijn experimenteer bakkie heeft oude WD Raptor 36 GB en 150 GB ADFD 10K rpm HDD's en reguliere tevens oude Hitachi 250 GB 7.2k rpm HDD's erin zitten

Voor af en toe wat testen is dat prima en als het ding 24/7 zou draaien heel eerlijk gezegd ook !!!

[dotcom87]

nero355 schreef op woensdag 29 januari 2025 @ 00:04:
[...]

Ik weet niet of dat wel de manier is om zoiets op te lossen, want toen ik het onlangs tegenkwam vanwege Mopidy + Add-ons/Plug-ins onder Raspberry Pi OS heb ik begrepen dat ze simpelweg conflicten willen voorkomen tussen applicaties die je via APT/APT-GET en Python PIP -M installeert

Ik zou eerder zeggen kijk eens of je niet naar die nieuwe manier van dingen installeren/isoleren moet overstappen en dus je applicatie in zo'n Virtuele Omgeving van Python moet gooien

Maar ik ben alles behalve een Python Expert dus misschien zit ik er gruwelijk naast, echter ga ik het wel een keer proberen binnenkort...


[...]

Proxmox helpt cheapass SSD's naar de klote door teveel Writes dus als je SSD's wilt en dan "On a budget" zou je naar tweedehands Enterprise spul moeten kijken zoals de welbekende fatsoenlijke Intel Enterprise SSD's


[...]

Ik vind in alle eerlijkheid dat er nog steeds niks mis is met een 2,5/3,5 inch HDDtje voor Proxmox OS gebruiken en dan weer een HDD of SSD voor de VM's/LXC's afhankelijk van wat je ermee doet of in dit geval wat er in je Mini PC dan wel Thin Client PCtje past

Mijn experimenteer bakkie heeft oude WD Raptor 36 GB en 150 GB ADFD 10K rpm HDD's en reguliere tevens oude Hitachi 250 GB 7.2k rpm HDD's erin zitten

Voor af en toe wat testen is dat prima en als het ding 24/7 zou draaien heel eerlijk gezegd ook !!!

Bedankt voor het antwoord!

Ik lees ook veel ivm enterprise SSDs, zoals de Micron 7450 etc (zowel SATA als NVMe).

Maar ik maak me wat zorgen over de "koeling" van die dingen, als ik er zo 3 in 1 thin client ga stoppen.

edit: Volgens de website van Crucial passen die dingen ook niet in de HP EliteDesk 800 G4

[dcm360]

Tja. Ergens de middenweg nemen tussen een goedkope SSD en een Enterpise SSD is ook een optie. 1 van mijn machines draait ondertussen al 5 jaar op een uitvoering: Intel 760p 256GB, en heeft nu een wearout van 25%. En op een andere machine draai ik VM's en containers van een setje 600p's (Proxmox dus wel op een andere SSD), ondanks dat dat budget-QLC-dingetjes zijn zit de wearout daarvan na 5 jaar ook nog maar op 7%.

[gastje01]

Ik heb ergens een zetje in de juiste richting nodig. Ik heb Proxmox draaien met een zooitje containers en 2 VM's en dat loopt eigenlijk prima, maar nu loop ik vast op het netwerk stukje.

Ik ben van plan (of ieder geval te testen) om OpenWRT hier aan toe te voegen en mijn EdgeRouterX met pensioen te sturen. Ik krijg het echter niet voor elkaar om de VLAN's netjes door te geven, het is een beetje random of het werkt of niet.

Situatie:
Edgerouter, kent VLAN 1 (untagged), 10, 20, wordt zo netjes op de Trunk poort van Proxmox aangeboden. Ik heb een linux bridge ingesteld, VMBR0, VLAN aware aangevinkt, enp1s0 gebdridged/slave port. Bij VLAN ID-s heb ik 2-100 ingegeven, daarmee heb ik ruimte zat.

OpenWRT draait in een VM, krijg netjes een IP op VLAN1(native), krijgt ook netjes een IP op VLAN10 waarbij ik een losse netwerk interface heb gemaakt met een VLAN tag. Doe ik ditzelfde voor VLAN20, dan krijg ik geen IP adres.

Daarnaast VLAN30 aangemaakt op mijn switch en AP's, deze is dus niet bekend bij de Edgerouter. OpenWRT een DHCP servertje laten runnen, 1x een IP gekregen op een client en daarna krijg ik geen verbinding meer. Ook als ik een test LXC VLAN30 mee geef, geen IP adres binnen dezelfde host. Als alternatief heb ik in OpenWRT interface 0.30 aangemaakt om de VLAN's te regelen binnen de VM zelf, ook geen resultaat.

Wat mis ik?

[m.eddy]

gastje01 schreef op donderdag 30 januari 2025 @ 10:14:
Ik heb ergens een zetje in de juiste richting nodig. Ik heb Proxmox draaien met een zooitje containers en 2 VM's en dat loopt eigenlijk prima, maar nu loop ik vast op het netwerk stukje.

Ik ben van plan (of ieder geval te testen) om OpenWRT hier aan toe te voegen en mijn EdgeRouterX met pensioen te sturen. Ik krijg het echter niet voor elkaar om de VLAN's netjes door te geven, het is een beetje random of het werkt of niet.

Situatie:
Edgerouter, kent VLAN 1 (untagged), 10, 20, wordt zo netjes op de Trunk poort van Proxmox aangeboden. Ik heb een linux bridge ingesteld, VMBR0, VLAN aware aangevinkt, enp1s0 gebdridged/slave port. Bij VLAN ID-s heb ik 2-100 ingegeven, daarmee heb ik ruimte zat.

OpenWRT draait in een VM, krijg netjes een IP op VLAN1(native), krijgt ook netjes een IP op VLAN10 waarbij ik een losse netwerk interface heb gemaakt met een VLAN tag. Doe ik ditzelfde voor VLAN20, dan krijg ik geen IP adres.

Daarnaast VLAN30 aangemaakt op mijn switch en AP's, deze is dus niet bekend bij de Edgerouter. OpenWRT een DHCP servertje laten runnen, 1x een IP gekregen op een client en daarna krijg ik geen verbinding meer. Ook als ik een test LXC VLAN30 mee geef, geen IP adres binnen dezelfde host. Als alternatief heb ik in OpenWRT interface 0.30 aangemaakt om de VLAN's te regelen binnen de VM zelf, ook geen resultaat.

Wat mis ik?

Totaal geen idee waar dit aan kan liggen maar wel een ander concept zoals ik openwrt heb draaiien. Ook VM maar beide betrokken netwerpoorten met pcipassthrough aan de vm toegekent vanuit Proxmox. Op die manier is het op proxmox niveau simpel en binnen openwrt eigenlijk ook.

[gastje01]

m.eddy schreef op donderdag 30 januari 2025 @ 10:20:
[...]


Totaal geen idee waar dit aan kan liggen maar wel een ander concept zoals ik openwrt heb draaiien. Ook VM maar beide betrokken netwerpoorten met pcipassthrough aan de vm toegekent vanuit Proxmox. Op die manier is het op proxmox niveau simpel en binnen openwrt eigenlijk ook.

Zo ver ben ik nog niet gekomen, mijn EdgeRouter draait een aantal VPN verbindingen die moeten blijven werkern, Ik wilde alles beetje voor beetje over zetten en als laatste de internetverbinding doen.

Het idee was om 1 fysieke netwerkinterface (WAN) volledig door te geven aan de VM en de andere interface (ik heb er maar 2) als uplink naar mijn switch en de rest van het netwerk te gebruiken. Voorwaarde is dan wel dat alle VLANs werken, anders schiet ik er niks mee op.

[tomdh76]

gastje01 schreef op donderdag 30 januari 2025 @ 10:14:
Ik heb ergens een zetje in de juiste richting nodig. Ik heb Proxmox draaien met een zooitje containers en 2 VM's en dat loopt eigenlijk prima, maar nu loop ik vast op het netwerk stukje.

Ik ben van plan (of ieder geval te testen) om OpenWRT hier aan toe te voegen en mijn EdgeRouterX met pensioen te sturen. Ik krijg het echter niet voor elkaar om de VLAN's netjes door te geven, het is een beetje random of het werkt of niet.

Situatie:
Edgerouter, kent VLAN 1 (untagged), 10, 20, wordt zo netjes op de Trunk poort van Proxmox aangeboden. Ik heb een linux bridge ingesteld, VMBR0, VLAN aware aangevinkt, enp1s0 gebdridged/slave port. Bij VLAN ID-s heb ik 2-100 ingegeven, daarmee heb ik ruimte zat.

OpenWRT draait in een VM, krijg netjes een IP op VLAN1(native), krijgt ook netjes een IP op VLAN10 waarbij ik een losse netwerk interface heb gemaakt met een VLAN tag. Doe ik ditzelfde voor VLAN20, dan krijg ik geen IP adres.

Daarnaast VLAN30 aangemaakt op mijn switch en AP's, deze is dus niet bekend bij de Edgerouter. OpenWRT een DHCP servertje laten runnen, 1x een IP gekregen op een client en daarna krijg ik geen verbinding meer. Ook als ik een test LXC VLAN30 mee geef, geen IP adres binnen dezelfde host. Als alternatief heb ik in OpenWRT interface 0.30 aangemaakt om de VLAN's te regelen binnen de VM zelf, ook geen resultaat.

Wat mis ik?

Ja dit is lastig, heb ik ook mee lopen klooien. Moet je niet de enps01 vlan aware maken de bridge niet?

edit: nee toch de bridge als vlan aware...

[gastje01]

tomdh76 schreef op donderdag 30 januari 2025 @ 11:25:
[...]


Ja dit is lastig, heb ik ook mee lopen klooien. Moet je niet de enps01 vlan aware maken de bridge niet?

Die optie is er niet (in de GUI)

[ThinkPad]

gastje01 schreef op donderdag 30 januari 2025 @ 10:14:
[...]
OpenWRT hier aan toe te voegen en mijn EdgeRouterX met pensioen te sturen
[....]

offtopic:
Op de ERX kun je ook OpenWRT installeren

[gastje01]

Toch maar eens de Proxmox node herstart en nu werkt alles

Technisch gezien zou alleen het herstarten van de netwerkservice voldoende moeten zijn toch?

ThinkPad schreef op donderdag 30 januari 2025 @ 11:36:
[...]

offtopic:
Op de ERX kun je ook OpenWRT installeren

Dat is de vervolgstap, dan krijg deze een 'functie elders' als Wireguard endpoint voor de offsite backup

[ Voor 48% gewijzigd door gastje01 op 30-01-2025 12:36 ]

[nero355]

gastje01 schreef op donderdag 30 januari 2025 @ 12:32:
Toch maar eens de Proxmox node herstart en nu werkt alles

Technisch gezien zou alleen het herstarten van de netwerkservice voldoende moeten zijn toch?

Zie : https://pve.proxmox.com/w...on#_apply_network_changes

Het zit net wat anders in elkaar dan je zou denken en daarom heeft die reboot geholpen

[gastje01]

nero355 schreef op donderdag 30 januari 2025 @ 16:55:
[...]

Zie : https://pve.proxmox.com/w...on#_apply_network_changes

Het zit net wat anders in elkaar dan je zou denken en daarom heeft die reboot geholpen

Ah kijk, nu valt er ineens een hoop op zn plek. Inmiddels werkt (bijna) alles keurig zoals ik bedacht had, alleen het DHCP stukje vanuit OpenWRT wil nog niet, maar dat is offlopic voor hier.

[ Voor 10% gewijzigd door gastje01 op 30-01-2025 20:05 ]

[ZuinigeRijder]

Sinds kort ook een gebruiker van een Proxmox VE.

Ik heb al sinds eind 2013 een Raspberry Pi type B Versie 2.0 met 512MB RAM op een microSD kaartje met logging in RAM. Daar draaide van alles op, maar deze week alles overgezet. Wat draaide er dan op:
- SBFSpot om via bluetooth SMA inverter uit te lezen en naar PVOutput te sturen
- Eigen Python script om Solis omvormer uit te lezen en naar PVOutput te sturen
- Eigen Python script om deze twee PVOutput opwek te combineren in PVOutput
- Eigen Python script om Broadlink slim stopcontact (SP3S-EU) uit te lezen en jaar/maand/week/dag kWh totalen bij te houden
- Eigen Python scripts Ritbeheer tools voor Hyundai Bluelink en Kia Connect

Maar ik wilde ook eens aan de slag met Home Assistant. Een optie was een Raspberry Pi 4 of 5. Maar met Nvme opslag en genoeg geheugen wordt het al snel duur. Nu heb ik op marktplaats een Intel NUC 5 i3 RYK mini desktop, 16GB geheugen, 256GBNvme, TDP van 15 Watt, gekocht voor 75 euro. Natuurlijk al een oudje (2015?), maar sneller dan een Raspberry Pi 4 en meer geheugen en al Nvme opslag.

Hier draait nu op Proxmox VE:
- VM met DietPi, waarop alles draait wat eerst op de Raspberry Pi draaide
- VM met Home Assistant OS (Philips Hue, SP3S-EU, Netatmo, PVOutput)

Nog geheugen en schijfopslag over. Moet nog aan de slag met backup maken naar USB schijf.
Nog tips voor het maken van backups op een (tijdelijk) USB gekoppelde schijf via Proxmox VE?

En misschien wat anderen zoal hebben draaien op een Proxmox VE wat interessant zou kunnen zijn?

[ Voor 4% gewijzigd door ZuinigeRijder op 31-01-2025 12:24 ]

[Airw0lf]

@ZuinigeRijder - gewoon via PVE doen - is simpel en snel.

Via LVM een logical volume aanmaken op je usb disk. Die vervolgens via /etc/fstab mounten en die mount als dir opnemen in /etc/pve/storage.cfg.

[tomdh76]

powerboat schreef op woensdag 23 oktober 2024 @ 12:35:
[...]


Ik weet niet of je gebruik maakt van ZFS, maar die pakt standaard 50%. Ik weet niet of die terug schaalt naarmate je meer nodig hebt, ik weet wel dat je het kan limiteren (als vuistregel min. 8GB + 1GB werkgeheugen per TB aan opslag).

Vorig jaar had ik het "probleem" dat constant 95% van mijn 64 Gb ram werd gebruikt. Nog eens hiernaar gekeken en dit script gevonden: https://github.com/geoai777/zfs_arc

Nu telkens rond de 70% RAM gebruik. Geen verschil verder maar een licht blauwe balk bij de RAM usage ziet er wat rustiger uit dan telkens een rode balk...

[A1AD]

tomdh76 schreef op zaterdag 1 februari 2025 @ 08:47:
[...]


Vorig jaar had ik het "probleem" dat constant 95% van mijn 64 Gb ram werd gebruikt. Nog eens hiernaar gekeken en dit script gevonden: https://github.com/geoai777/zfs_arc

Nu telkens rond de 70% RAM gebruik. Geen verschil verder maar een licht blauwe balk bij de RAM usage ziet er wat rustiger uit dan telkens een rode balk...

Dit staat toch mooi hier beschreven?

[tomdh76]

A1AD schreef op zaterdag 1 februari 2025 @ 10:51:
[...]


Dit staat toch mooi hier beschreven?

ja dat had ik ook gelezen, toen kwam ik op 6 gb ram. Echter ik zag dan wel in de logs een keer een melding over 'memory cgroup ....'

met het script kwam ik op 8 gb ram en tot nu toe daar geen memory errors.

had ik natuurlijk ook zelf op 8 kunnen zetten maar script is altijd handiger denk ik

[ Voor 9% gewijzigd door tomdh76 op 01-02-2025 11:32 ]

[Jerie]

Hoe meet jij het RAM gebruik? Want idealiter wil je 100% RAM gebruiken.

[A1AD]

Jerie schreef op zaterdag 1 februari 2025 @ 13:06:
Hoe meet jij het RAM gebruik? Want idealiter wil je 100% RAM gebruiken.

"arcstat" en "free"?

[nero355]

tomdh76 schreef op zaterdag 1 februari 2025 @ 11:32:
ja dat had ik ook gelezen, toen kwam ik op 6 gb ram. Echter ik zag dan wel in de logs een keer een melding over 'memory cgroup ....'

met het script kwam ik op 8 gb ram en tot nu toe daar geen memory errors.

had ik natuurlijk ook zelf op 8 kunnen zetten maar script is altijd handiger denk ik

8 GB RAM is sowieso de minimale grootte voor een beetje DIY NAS en eigenlijk moet je ook nooit minder dan dat willen

Verder is er nog een waarde waarvan ik altijd de naam vergeet om de grootte van de gereserveerde ruimte op je Pool te verlagen zodat je niet ineens een volle Pool lijkt te hebben terwijl er nog 10 GB vrij is op je Pool van 60 GB of zo

[A1AD]

@nero355 refreservation?

[nero355]

A1AD schreef op zaterdag 1 februari 2025 @ 18:05:
@nero355 refreservation?

Nee, deze : Dadona in "Het grote ZFS topic"

Als je hele grote Pools hebt dan kan die best lelijk uitpakken !!

[tomdh76]

Nadat mijn vorige proxmox server het begaf na 2 maanden door een defect moederboard, moet ik weer vertrouwen krijgen in het systeem. Ik kijk nu elke ochtend naar de systeem logs of ik iets vreemds zie maar vind de logs voor mij niet veel zeggen. Ik zie de hele nacht door dingen als proxmox pveproxy[99099]: worker exit, worker finished etc. Denk dat dat geen probleem is.

Hoe kijken jullie naar de logs? Of kijken jullie er alleen naar als er iets niet goed gaat? Ik zou het liefst enkel logs krijgen met een emergency of zo'n soort label.

[Polyphemus]

tomdh76 schreef op maandag 3 februari 2025 @ 07:58:
Nadat mijn vorige proxmox server het begaf na 2 maanden door een defect moederboard, moet ik weer vertrouwen krijgen in het systeem. Ik kijk nu elke ochtend naar de systeem logs of ik iets vreemds zie maar vind de logs voor mij niet veel zeggen. Ik zie de hele nacht door dingen als proxmox pveproxy[99099]: worker exit, worker finished etc. Denk dat dat geen probleem is.

Hoe kijken jullie naar de logs? Of kijken jullie er alleen naar als er iets niet goed gaat? Ik zou het liefst enkel logs krijgen met een emergency of zo'n soort label.

Ik heb een Ryzen 5 Proxmox server met 20 LXCs en 4 VMs en ik kijk werkelijk nooit in de logs, want het is zo stabiel als een huis Nooit vastlopers of crashes, zelfs niet nu ik op de test-repository draai, al maanden...

[Harmen]

tomdh76 schreef op maandag 3 februari 2025 @ 07:58:
Nadat mijn vorige proxmox server het begaf na 2 maanden door een defect moederboard, moet ik weer vertrouwen krijgen in het systeem. Ik kijk nu elke ochtend naar de systeem logs of ik iets vreemds zie maar vind de logs voor mij niet veel zeggen. Ik zie de hele nacht door dingen als proxmox pveproxy[99099]: worker exit, worker finished etc. Denk dat dat geen probleem is.

Hoe kijken jullie naar de logs? Of kijken jullie er alleen naar als er iets niet goed gaat? Ik zou het liefst enkel logs krijgen met een emergency of zo'n soort label.

Oei, vervelend zeg! Kijk zelf nooit naar de logs.
Maak gebruik van enterprise 1l pc's, een oude Dell micro voor als backup systeem en primair een HP ProDesk 600 G6 Mini. Enig issue wat ik heb gehad was dat de netwerkkaart bevroor, maar dat heb ik inmiddels verholpen.

[Anoniemand]

tomdh76 schreef op maandag 3 februari 2025 @ 07:58:
Hoe kijken jullie naar de logs? Of kijken jullie er alleen naar als er iets niet goed gaat? Ik zou het liefst enkel logs krijgen met een emergency of zo'n soort label.

Ik heb nu even gekeken naar aanleiding van jouw bericht

Ik zie postfix foutmeldingen (die ik zojuist heb verholpen) en verder met name logs van de backups die gemaakt worden.

Nu nog even met grep gezocht op worker en zie daar inderdaad ook de nodige van (worker started, finished, exit)

[orvintax]

tomdh76 schreef op maandag 3 februari 2025 @ 07:58:
Hoe kijken jullie naar de logs? Of kijken jullie er alleen naar als er iets niet goed gaat? Ik zou het liefst enkel logs krijgen met een emergency of zo'n soort label.

Proxmox heeft notificatie functionaliteit die je kan koppelen met bijvoorbeeld SMTP zodat die meldingen kan sturen als er iets gebeurd/misgaat. Lees meer hier

[UUDIBUUDI]

tomdh76 schreef op maandag 3 februari 2025 @ 07:58:
Nadat mijn vorige proxmox server het begaf na 2 maanden door een defect moederboard, moet ik weer vertrouwen krijgen in het systeem. Ik kijk nu elke ochtend naar de systeem logs of ik iets vreemds zie maar vind de logs voor mij niet veel zeggen. Ik zie de hele nacht door dingen als proxmox pveproxy[99099]: worker exit, worker finished etc. Denk dat dat geen probleem is.

Hoe kijken jullie naar de logs? Of kijken jullie er alleen naar als er iets niet goed gaat? Ik zou het liefst enkel logs krijgen met een emergency of zo'n soort label.

Ik kijk soms naar de ssd wear, verder niet. Het ding host o.a. een vm met opnsense die als gateway fungeert, ik heb vier analoge piepers (waarvan 1 volwassene) rondlopen die het ding voor mij monitoren . Ik heb een 2e kastje op de plank (2xdeskmini 110 met leftover nvme/ssd/ram, de 1e is al 7 jaar oud en recent eentje bijgehaald), min of meer klaar voor gebruik voor als de 1e poef zegt. Ik zet hem af en toe aan zodat proxmox backups naar een nfs share kan blazen. Wordt misschien anders als ik er weer wat meer mee ga hobbyen, maar dat brandt de laatste tijd op een laag pitje.

[Airw0lf]

Ik heb op een Proxmox server een CIFS share als dir willen opnemen.
Dat ging niet goed. Maar nu zit ik met deze folder (de output van "ls -l"):

code:

d????????? ? ?    ?       ?            ? shared-resources

Hoe kan ik die verwijderen?

Ik heb het geprobeerd met "rm --force --dir" en met "rm -R --force --dir"
Maar krijg steeds "rm: cannot remove '/mnt/pve/shared-resources': Is a directory"

Iemand een idee wat hier aan de hand is?

[orvintax]

Airw0lf schreef op maandag 3 februari 2025 @ 18:51:
Ik heb op een Proxmox server een CIFS share als dir willen opnemen.
Dat ging niet goed. Maar nu zit ik met deze folder (de output van "ls -l"):

code:

d????????? ? ?    ?       ?            ? shared-resources

Hoe kan ik die verwijderen?

Ik heb het geprobeerd met "rm --force --dir" en met "rm -R --force --dir"
Maar krijg steeds "rm: cannot remove '/mnt/pve/shared-resources': Is a directory"

Iemand een idee wat hier aan de hand is?

Misschien voor de hand liggend, maar Is opnieuw opstarten een optie? Ik heb laatst iets vergelijkbaars meegemaakt en opgelost met een NFS share.

[Jerie]

Airw0lf schreef op maandag 3 februari 2025 @ 18:51:
Ik heb op een Proxmox server een CIFS share als dir willen opnemen.
Dat ging niet goed. Maar nu zit ik met deze folder (de output van "ls -l"):

code:

d????????? ? ?    ?       ?            ? shared-resources

Hoe kan ik die verwijderen?

Ik heb het geprobeerd met "rm --force --dir" en met "rm -R --force --dir"
Maar krijg steeds "rm: cannot remove '/mnt/pve/shared-resources': Is a directory"

Iemand een idee wat hier aan de hand is?

rmdir doorgaans

Kijk eerst eens bij mount of deze erbij staat. En dan umount -f /mnt/pve/shared-resources

[The-dragon]

Beste Tweakers,

Ik ga binnenkort mijn onboard netwerkkaart vervangen naar een 2 poorts PCI-e netwerkkaart.

Zijn er bepaalde stappen die ik moet hanteren/uitvoeren?

[Airw0lf]

The-dragon schreef op dinsdag 4 februari 2025 @ 09:26:
Beste Tweakers,

Ik ga binnenkort mijn onboard netwerkkaart vervangen naar een 2 poorts PCI-e netwerkkaart.

Zijn er bepaalde stappen die ik moet hanteren/uitvoeren?

Ja - zorg dat je een keyboard en scherm aangesloten hebt.
Zodat je kunt opvragen wat de poortnamen gaan worden.
En daar de interface settings op kunt aanpassen.

Alternatief is in grub de parameters opnemen die er voor zorgen dat de naamgeving eth0 t/m ethx gaat worden. Zodat je op voorhand elke poort van een ip adres kunt voorzien.

Met de output van "ip a" is te zien wat zonder die grub instellingen de poortnamen gaan worden. Op die manier hou je de deur open naar non-eth instellingen - ook als er geen scherm/toetsenbord is aangesloten.

[Airw0lf]

Is er een manier om een bestaand LVM volume (gemount als dir) te converteren naar een LVM-thin pool zonder verlies van data? Waar kan ik daarover iets terugvinden?

Ik heb dit gevonden:
https://pve.proxmox.com/wiki/Storage:_LVM_Thin
Maar er wordt niets genoemd over wel/geen verlies van gegevens.

[Ernie]

Beste Tweakers, Ik vraag jullie hulp!

Ik ben voor het eerst met Proxmox bezig en het werkt, o.a. met een paar VMs.

Mijn vraag: Ik heb 1 USB harde schijf verbonden en wil deze gaan gebruiken als dedicated opslag voor backups via Samba of (S)FTP (Desktop, Proxmox VM backups, evt meer). Hoe zet ik dit het beste op?
Bijv: Direct op Proxmox een Samba of SFTP server opzetten. In Proxmox een VM met bijv Turnkey Linux File Server en Disk Passthrough oid.

Ik weet dat USB niet aangeraden wordt voor een NAS OS bijv. maar ik wil geen nieuwe hardware kopen met SATA Poorten en heb geen SATA hardware beschikbaar (HP T620). Ik heb mijn USB schijf getest en SMART waarden werken in het proxmox overview. Wat verder belangrijk is voor mij is dat ik HDD spindown kan doen. Backups gaan 1x per dag draaien en energieverbruik is belangrijk. Zodra alles werkt wil ik een 2e USB schijf als mirror toevoegen en een offsite server opzetten maken met nog 2 USB schijven voor een totaal van 2 backup locaties met 4 schijven.

Airw0lf schreef op vrijdag 31 januari 2025 @ 12:29:
@ZuinigeRijder - gewoon via PVE doen - is simpel en snel.

Via LVM een logical volume aanmaken op je usb disk. Die vervolgens via /etc/fstab mounten en die mount als dir opnemen in /etc/pve/storage.cfg.

Ik zag bijvoorbeeld dit hier voorbijkomen. Zou dit ook voor mij kunnen werken? Ik snap nog niet zo goed wat de opslag soorten in Proxmox betekenen

[orvintax]

Ernie schreef op vrijdag 7 februari 2025 @ 10:32:
Beste Tweakers, Ik vraag jullie hulp!

Ik ben voor het eerst met Proxmox bezig en het werkt, o.a. met een paar VMs.

Mijn vraag: Ik heb 1 USB harde schijf verbonden en wil deze gaan gebruiken als dedicated opslag voor backups via Samba of (S)FTP (Desktop, Proxmox VM backups, evt meer). Hoe zet ik dit het beste op?
Bijv: Direct op Proxmox een Samba of SFTP server opzetten. In Proxmox een VM met bijv Turnkey Linux File Server en Disk Passthrough oid.

Ik weet dat USB niet aangeraden wordt voor een NAS OS bijv. maar ik wil geen nieuwe hardware kopen met SATA Poorten en heb geen SATA hardware beschikbaar (HP T620). Ik heb mijn USB schijf getest en SMART waarden werken in het proxmox overview. Wat verder belangrijk is voor mij is dat ik HDD spindown kan doen. Backups gaan 1x per dag draaien en energieverbruik is belangrijk. Zodra alles werkt wil ik een 2e USB schijf als mirror toevoegen en een offsite server opzetten maken met nog 2 USB schijven voor een totaal van 2 backup locaties met 4 schijven.


[...]


Ik zag bijvoorbeeld dit hier voorbijkomen. Zou dit ook voor mij kunnen werken? Ik snap nog niet zo goed wat de opslag soorten in Proxmox betekenen

Als je meer dan alleen Proxmox backups wilt maken zou je inderdaad voor iets als Turnkey Linux Fileserver moeten gebruiken samen met disk passthrough. Verbinden met Proxmox zou ik dan doen via NFS. CIFS/Samba kun je dan gebruiken voor je vermoedelijke Windows machine. Het voorstel van @Airw0lf zou moeten werken. Maar ik weet niet waarom je dit niet via de UI zou kunnen doen. Een mogelijke reden lijkt mij, afhankelijk van je systeem, dat passthrough van een enkele USB disk niet gaat.

[Ernie]

orvintax schreef op vrijdag 7 februari 2025 @ 11:37:
[...]

Als je meer dan alleen Proxmox backups wilt maken zou je inderdaad voor iets als Turnkey Linux Fileserver moeten gebruiken samen met disk passthrough. Verbinden met Proxmox zou ik dan doen via NFS. CIFS/Samba kun je dan gebruiken voor je vermoedelijke Windows machine. Het voorstel van @Airw0lf zou moeten werken. Maar ik weet niet waarom je dit niet via de UI zou kunnen doen. Een mogelijke reden lijkt mij, afhankelijk van je systeem, dat passthrough van een enkele USB disk niet gaat.

Dankje voor je reactie.

Inderdaad ik wil een windows machine backuppen (met Duplicati) naar de USB schijf aan mijn thin client. Op termijn dus naar 2 servers met elk 2 disks. Ik heb maar heel weinig kritische data (100 GB) dus dan is dat niet echt kostbaar.

Ik ga ook een aantal VMs en Dockers draaien en die wil ik dus met Proxmox zelf backuppen.

Hoe ziet dit met NFS eruit dan? Er draait op Proxmox een VM met TKL File server met daarop de NFS server. En dan vertel ik Proxmox om te backuppen naar deze NFS server (op het IP adres waar de TKL server luistert?). Begrijp ik dat zo goed? Dan gaat de server naar zichzelf backuppen maar via het netwerk als ik het goed begrijp. Elke VM/Docker heeft zijn eigen interne IP als ik het goed begrijp.

Ik ben volledig nieuw met Proxmox en heb 0 ervaring met deze UI en wat LVM of directory storage betekent e.d. Maar ik heb wel wat RPi1 en Samba ervaring. Dat is namelijk mijn huidige backup server. Ik herken dus sommige commands van @Airw0lf.

Is het een optie om direct op proxmox een Samba share en/of NFS server op te zetten en daar niet een aparte VM voor te draaien? Of is dit een heel slecht idee? Ik zit ook een beetje vast met USB passthrough en hoe/wat dat goed te doen. Ik vind veel informatie maar wordt er nog niet echt wijs uit.

[Airw0lf]

Volgens mij kan je in de webgui alleen lvm volumes mounten als er nog geen filesystem is aangemaakt. Wat zeggen dat er nog geen lvcreate en formattering commando's zijn uitgevoerd.

Het lijkt me niet handig om een usb disk te mounten als een blockdevice omdat je hem dan alleen kunt gebruiken via pve.(d.w.z. de webgui en/of cli) => altijd een ext4-filesystem aanmaken. Daarna via /etc/fstab en /etc/pve/storage.cfg mounten als directory.

Op deze manier kan je de disk loskoppelen en via een ander Linux systeem benaderen. Alle ext4-volumes zijn op die manier te gebruiken.

Backuppen naar een Samba share gaat prima - daar heb je nfs niet voor nodig.
Je kunt je hooguit afvragen of een backup naar een share via een Proxmox-VM wel zo handig is... nfs of samba speelt hierbij geen rol...

[ Voor 23% gewijzigd door Airw0lf op 07-02-2025 17:35 ]

[Cyphax]

Ernie schreef op vrijdag 7 februari 2025 @ 16:34:
[...]

Ik ga ook een aantal VMs en Dockers draaien en die wil ik dus met Proxmox zelf backuppen.

Hoe ziet dit met NFS eruit dan? Er draait op Proxmox een VM met TKL File server met daarop de NFS server. En dan vertel ik Proxmox om te backuppen naar deze NFS server (op het IP adres waar de TKL server luistert?). Begrijp ik dat zo goed? Dan gaat de server naar zichzelf backuppen maar via het netwerk als ik het goed begrijp. Elke VM/Docker heeft zijn eigen interne IP als ik het goed begrijp.

In plaats van Docker zou ik in eerste instantie proberen het in LXC-containers te doen. Ik raad Proxmox' eigen backup-oplossing (PBS) aan: https://community-scripts...?id=proxmox-backup-server

Ik heb zo opgelost: de PBS container krijgt twee bind mounts mee. Eentje wijst naar de host zelf, daar worden de backups naartoe geschreven. De tweede bind mount is eigenlijk een gemounte (samba) share van een NAS op de host, en daar synchroniseert PBS dan weer de backups naartoe. In jouw geval wil je een USB-schijf gebruiken: ik zou die mounten op de host onder bijv. /media/usbdisk oid en dan dat pad doorgeven aan de container.

[orvintax]

Ernie schreef op vrijdag 7 februari 2025 @ 16:34:
[...]
Hoe ziet dit met NFS eruit dan? Er draait op Proxmox een VM met TKL File server met daarop de NFS server. En dan vertel ik Proxmox om te backuppen naar deze NFS server (op het IP adres waar de TKL server luistert?). Begrijp ik dat zo goed? Dan gaat de server naar zichzelf backuppen maar via het netwerk als ik het goed begrijp. Elke VM/Docker heeft zijn eigen interne IP als ik het goed begrijp.

Correct. Maar omdat de VM en Proxmox op dezelfde machine draait. Zal het niet daadwerkelijk over het netwerk gaan, maar gebeurd dit gewoon intern. Ik heb een vergelijkbare setup en ik kan meerdere gigabytes per seconde wegschrijven over een gigabit LAN verbinding

Is het een optie om direct op proxmox een Samba share en/of NFS server op te zetten en daar niet een aparte VM voor te draaien? Of is dit een heel slecht idee? Ik zit ook een beetje vast met USB passthrough en hoe/wat dat goed te doen. Ik vind veel informatie maar wordt er nog niet echt wijs uit.

Dit is zeker een optie, Proxmox is onderwater een Debian installatie. Ik zou het alleen wel afraden. Het is een beetje onorthodox om een file server te installeren direct naast je hypervisor.

[orvintax]

Airw0lf schreef op vrijdag 7 februari 2025 @ 17:29:
Volgens mij kan je in de webgui alleen lvm volumes mounten als er nog geen filesystem is aangemaakt. Wat zeggen dat er nog geen lvcreate en formattering commando's zijn uitgevoerd.

Het lijkt me niet handig om een usb disk te mounten als een blockdevice omdat je hem dan alleen kunt gebruiken via pve.(d.w.z. de webgui en/of cli) => altijd een ext4-filesystem aanmaken. Daarna via /etc/fstab en /etc/pve/storage.cfg mounten als directory.

Op deze manier kan je de disk loskoppelen en via een ander Linux systeem benaderen. Alle ext4-volumes zijn op die manier te gebruiken.

Backuppen naar een Samba share gaat prima - daar heb je nfs niet voor nodig.
Je kunt je hooguit afvragen of een backup naar een share via een Proxmox-VM wel zo handig is... nfs of samba speelt hierbij geen rol...

De vraag is of @Ernie nood heeft om de USB disk op andere machines te mounten. Volgensmij gebruikt ie USB disks omdat hij geen SATA poorten meer over heeft. Het lijkt mij dan makkelijker om de disk via de webgui in te richten.

[Ernie]

Dank allen voor het meedenken

Airw0lf schreef op vrijdag 7 februari 2025 @ 17:29:
Volgens mij kan je in de webgui alleen lvm volumes mounten als er nog geen filesystem is aangemaakt. Wat zeggen dat er nog geen lvcreate en formattering commando's zijn uitgevoerd.

Het lijkt me niet handig om een usb disk te mounten als een blockdevice omdat je hem dan alleen kunt gebruiken via pve.(d.w.z. de webgui en/of cli) => altijd een ext4-filesystem aanmaken. Daarna via /etc/fstab en /etc/pve/storage.cfg mounten als directory.

Op deze manier kan je de disk loskoppelen en via een ander Linux systeem benaderen. Alle ext4-volumes zijn op die manier te gebruiken.

Backuppen naar een Samba share gaat prima - daar heb je nfs niet voor nodig.
Je kunt je hooguit afvragen of een backup naar een share via een Proxmox-VM wel zo handig is... nfs of samba speelt hierbij geen rol...

Ik snap het niet helemaal denk ik. Wat is een block device? Ik wil inderdaad graag de schijf in een ander linux systeem kunnen lezen mocht de host stuk gaan. Een ext4 filesysteem it is

Misschien stomme vraag maar wat maakt het onhandig om naar een share op een Proxmox-VM te backuppen? vanwege ongeoorloofde access/Ransomware? Ik ben van plan om unieke login te maken enkel voor de share en om mijn backup software direct te laten verbinden en de Samba/FTPS share dus nooit te mounten als netwerk disk op de windows machine. Vandaar ook het idee om SFTP te gebruiken evt.

Cyphax schreef op vrijdag 7 februari 2025 @ 17:33:
[...]

In plaats van Docker zou ik in eerste instantie proberen het in LXC-containers te doen. Ik raad Proxmox' eigen backup-oplossing (PBS) aan: https://community-scripts...?id=proxmox-backup-server

Ik heb zo opgelost: de PBS container krijgt twee bind mounts mee. Eentje wijst naar de host zelf, daar worden de backups naartoe geschreven. De tweede bind mount is eigenlijk een gemounte (samba) share van een NAS op de host, en daar synchroniseert PBS dan weer de backups naartoe. In jouw geval wil je een USB-schijf gebruiken: ik zou die mounten op de host onder bijv. /media/usbdisk oid en dan dat pad doorgeven aan de container.

Goeie tip van de PBS oplossing. Die scripts zijn fantastisch.
Wat bedoel je met de "host". Ik neem aan de proxmox installatie? Bedoel je dat je dus 2 backups hebt, 1 naar een NAS in een VM en eentje direct op de opslag van proxmox?

Docker vs LXC moet ik meer uitzoeken wat dat betekent. Ik heb tot nu toe met een community script (https://community-scripts...oxmoxVE/scripts?id=docker) een LXC container met docker en portainer opgezet en daar Mealie opgezet.

Praktisch zou ik dan dus PBS in een LXC container kunnen opzetten en daarmee de VMs, LXC container backuppen naar /media/usbdisk1 (oid). Hoe pas ik dan de windows machine hierbij? Dat moet dus op de een of andere manier via het netwerk.

Ik denk dat ik het verschil tussen een mounted schijf /media/usbdisk1 en de "harde schijf" van een VM niet begrijp. Kan je een mount hebben en op dezelfde schijf ook de VM wat laten opslaan? en is dat dan nog te lezen als je deze aan een ander linux systeem hangt?

@orvintax Dankje voor de uitleg! Ik heb inderdaad geen SATA Poorten op mijn Thin Client

[Airw0lf]

@Ernie - een block device is een manier van gegevens wegschrijven zonder dat er een bepaald filesystem (bijvoorbeeld ext4) onder hangt. Doordat je de overhead van het filesystem niet hebt win je iets aan snelheid en heb je minder IO latency.

Een schijf die gemount is via /etc/fstab heeft per definitie een filesystem. En is geschikt voor de opslag van VM-disks in de vorm van qcow2 of raw bestanden.

Als je systeem ruimte heeft voor één interne disk en meerdere USB3 disken, dan lijkt me 1 interne en 2 of meer externe disken het meest handige.

De interne disk gebruik je om pve mee te starten. Eén externe disk gebruik je als blockdevice om daar de qcow2 en raw bestanden neer te leggen voor de VM's en LXC's. Waardoor je maximale prestaties hebt. De tweede externe USB disk gebruik je met een ext4 format voor backups en andere gegevens.

Ik heb een vergelijkbare setup: een 256-MBytes SSD om pve mee te starten. Een 2-TBytes interne spindle disk voor de VM's en de containers. En een 12-Tbytes USB disk voor backups, migraties en andere gegevens.

De keuze voor SSD versus spindle is bepaald door levensduur en snelheid. Dat wil zeggen dat ik voor het booten en backups de snelheid prefereer boven levensduur omdat er weinig schrijfacties zijn te verwachten. Bij de disk met qcow en raw bestanden heeft de levensduur prioriteit omdat dit gepaard gaat met veel schrijfacties vanuit de VM's en LXC containers.

Heb je een probleem met dat systeem, dan hang je *alle* disken om naar een ander systeem en kun je weer verder. Met daarnaast: zolang er maar één disk tegelijk stuk gaat is er altijd herstel mogelijk.

Een backup via een filesystem wat via het netwerk loopt levert veel vertraging op. Met Samba is het nog te doen - maar sftp/scp heb ik laten varen - duurde te lang. Over NFS durf ik niks te zeggen - geen ervaring mee.

Inzake Docker versus LXC: zijn beide containers om applicaties te virtualiseren. Waarbij LXCwat meer lijkt op een VM - die is ook geschikt om Docker containers te laten draaien.

edit:
tekst aangepast omdat de genoemde 12-TBytes externe disk een spindle disk is - en geen SSD.

[ Voor 3% gewijzigd door Airw0lf op 08-02-2025 20:10 ]

[WheeleE]

Ik ben aan het overwegen om mijn proxmox-server opnieuw te installeren, met een betere partitie-verdeling.
Van alle containers heb ik backups maar ik kan geen backup-optie vinden voor de Proxmox-config zelf. Is die er überhaupt wel?
Opzich is de custom configuratie niet heel spectaculair voor zover ik me kan herinneren. Een handjevol shares, een cronjob en wat algemene opties. Vanaf scratch configureren is dus geen heel groot bezwaar maar als het niet zo hoeven is dat mooi meegenomen natuurlijk.

[Airw0lf]

WheeleE schreef op zondag 9 februari 2025 @ 12:02:
Ik ben aan het overwegen om mijn proxmox-server opnieuw te installeren, met een betere partitie-verdeling.
Van alle containers heb ik backups maar ik kan geen backup-optie vinden voor de Proxmox-config zelf. Is die er überhaupt wel?
Opzich is de custom configuratie niet heel spectaculair voor zover ik me kan herinneren. Een handjevol shares, een cronjob en wat algemene opties. Vanaf scratch configureren is dus geen heel groot bezwaar maar als het niet zo hoeven is dat mooi meegenomen natuurlijk.

Voor zover ik weet zitten alle settings in /etc/pve. Hierin ligt ook storage.cfg - daar is terug te vinden welke directories en volumes er in gebruik zijn.

[Cyphax]

WheeleE schreef op zondag 9 februari 2025 @ 12:02:
Ik ben aan het overwegen om mijn proxmox-server opnieuw te installeren, met een betere partitie-verdeling.
Van alle containers heb ik backups maar ik kan geen backup-optie vinden voor de Proxmox-config zelf. Is die er überhaupt wel?
Opzich is de custom configuratie niet heel spectaculair voor zover ik me kan herinneren. Een handjevol shares, een cronjob en wat algemene opties. Vanaf scratch configureren is dus geen heel groot bezwaar maar als het niet zo hoeven is dat mooi meegenomen natuurlijk.

Er is wel een scriptje voor het backuppen van host-configuratie, die kan je even proberen: https://community-scripts...VE/scripts?id=host-backup
Volgens mij leeft het meeste in /etc/pve en onderliggende directories.
Als de shares in /etc/fstab staan kan je die ook wel backuppen (al weet ik niet of uuid's hetzelfde zijn na een nieuwe installatie).

[WheeleE]

Dank! Ik denk dat ik met een backup van de config files wel een heel eind kom. Dan heb ik in ieder geval iets wat ik kan raadplegen als ik met de herinstallatie bezig ben.

[TheMystery]

Ik heb een docker unprivileged lxc uitgerold via de community scripts, waarbij ik op mijn NAS de config files wil zetten.

Nu heb ik op de proxmox host de share aangemaakt en via een bind mount deze toegevoegd aan de lxc en de juiste groepen enzo aangemaakt, dit op de volgende manier:

Proxmox host:
mkdir -p /mnt/lxc_shares/Docker
Via fstab mount gemaakt naar deze folder:
//nas/Docker/ /mnt/lxc_shares/Docker cifs _netdev,x-systemd.automount,noatime,nobrl,uid=100000,gid=110000,dir_mode=0770,file_mode=0770,user=user,pass=pass 0 0

lxc container
groupadd -g 10000 lxc_shares
useradd testuser
usermod -aG lxc_shares testuser

binnen de lxc.conf de bind mount toegevoegd:
lxc.mount.entry: /mnt/lxc_shares/Docker mnt/Docker none rbind,create=dir 0 0


id testuser:
uid=1000(testuser) gid=1000(testuser) groups=1000(testuser),10000(lxc_shares)
Folder rechten binnen lxc
drwxrwx--- 2 root lxc_shares
bestand rechten binnen lxc
-rwxrwx--- 1 root lxc_shares


Hierin heb ik nu de docker container dockge uitgerold en hierbij PUID=1000 en PGID=1000 gebruikt, en deze werkt en heeft zijn config op de share staan.

Rol ik een linuxserver.io docker container uit met PUID=1000 en PGID=1000 dan kan deze niet op de share schrijven. Rechten technisch zou het naar mening toch goed moeten staan.
Als ik PUID=0 en PGID=0 gebruik werkt het goed, maar ik zou eigenlijk de containers niet als root uitrollen als zou het binnen de unprivileged lxc misschien niet veel uitmaken.

Ik verwacht dat dockge werkt omdat denk ik deze standaard id 0 gebruikt, zie ook eigenlijk niet in de documentatie PUID, PGID opties.

Iemand en idee wat hier fout gaat?

Edit: heb het gevonden als ik in de docker container ook de groep aanmaak en de user erin gooi werkt het.
Alleen nog niet gevonden om deze met compose aan te maken.

[ Voor 4% gewijzigd door TheMystery op 10-02-2025 20:26 ]

[The-Source]

Mocht je interesse hebben om de seagate disk saga FARM data uit te willen lezen dan zal je er achter komen dat dit niet in PVE kan.
Ik heb zelf deze instructies gevold om backports optie te hebben: https://www.cyberciti.biz...-12-backports-repository/
In de PVE shell kan je die allemaal zonder sudo doen en bij stap 8

code:

apt install -t bookworm-backports smartmontools

En na install apt lis smartmontools zal dan versie "smartmontools/stable-backports,now 7.4-2~bpo12+1" moeten aangeven. En command: smartctl -a /dev/sdx -l farm | grep -i "power on hours" zal dan ook output geven.

[WheeleE]

Uitdaging: simpel en snel op elke lxc mijn eigen ssh key in authorized_keys krijgen.
In essentie niet ingewikkeld: in de lxc console echo '<key>' ~/.ssh/authorized_keys uitvoeren.
Maar...dan moet ik elke keer m'n key opzoeken en copy-pasten. En ik ben liever lui dan moe.

Dus als alternatief: via de console van Proxmox zelf (want daar zit ik toch al vaak vanwege het uitvoeren vd helperscripts) d.m.v. scp een template authorized_keys kopiëren.
Alleen heb ik daar het root-password van de lxc voor nodig, of moet de ssh key van de proxmox-root al bekend zijn in de lxc. En laat nou beiden niet het geval zijn.

Zijn er nog andere opties? Of kan ik het beter gewoon via de eerste manier doen?

[lolgast]

@WheeleE Vanuit de proxmox host kun je met commando

pct enter LXC-Nummer

een console sessie openen naar de betreffende LXC. Kun je daar niets mee?
Met

pct exec …

voer je direct een commando uit in de betreffende LXC.

Hier een lijst met de volledige opties
https://pve.proxmox.com/pve-docs/pct.1.html

[ Voor 35% gewijzigd door lolgast op 16-02-2025 21:48 ]

[WheeleE]

@lolgast Dat ziet er wel bruikbaar uit, thanks! Ga ik de komende dagen dieper in duiken

[ronjon]

Kan je niet ssh-copy-id doen vanaf je host naar je lxc ?

[WheeleE]

ronjon schreef op zondag 16 februari 2025 @ 22:01:
Kan je niet ssh-copy-id doen vanaf je host naar je lxc ?

Dat moet ik nog nader onderzoeken. Ik gebruik namelijk een losse ssh key die ik buiten proxmox om heb gegenereer, om de containers van buiten met ssh te benaderen. Niet met de proxmox-key.
Als ik de private key van de PVE kan halen kan het misschien wel gaan werken.

[Jerie]

man pct:

pct push <vmid> <file> <destination> [OPTIONS]

Copy a local file to the container.

Daarmee je key kopieren.

[Ernie]

Airw0lf schreef op zaterdag 8 februari 2025 @ 15:26:
@Ernie - een block device is een manier van gegevens wegschrijven zonder dat er een bepaald filesystem (bijvoorbeeld ext4) onder hangt. Doordat je de overhead van het filesystem niet hebt win je iets aan snelheid en heb je minder IO latency.

Een schijf die gemount is via /etc/fstab heeft per definitie een filesystem. En is geschikt voor de opslag van VM-disks in de vorm van qcow2 of raw bestanden.

Als je systeem ruimte heeft voor één interne disk en meerdere USB3 disken, dan lijkt me 1 interne en 2 of meer externe disken het meest handige.

De interne disk gebruik je om pve mee te starten. Eén externe disk gebruik je als blockdevice om daar de qcow2 en raw bestanden neer te leggen voor de VM's en LXC's. Waardoor je maximale prestaties hebt. De tweede externe USB disk gebruik je met een ext4 format voor backups en andere gegevens.

Ik heb een vergelijkbare setup: een 256-MBytes SSD om pve mee te starten. Een 2-TBytes interne spindle disk voor de VM's en de containers. En een 12-Tbytes USB disk voor backups, migraties en andere gegevens.

De keuze voor SSD versus spindle is bepaald door levensduur en snelheid. Dat wil zeggen dat ik voor het booten en backups de snelheid prefereer boven levensduur omdat er weinig schrijfacties zijn te verwachten. Bij de disk met qcow en raw bestanden heeft de levensduur prioriteit omdat dit gepaard gaat met veel schrijfacties vanuit de VM's en LXC containers.

Heb je een probleem met dat systeem, dan hang je *alle* disken om naar een ander systeem en kun je weer verder. Met daarnaast: zolang er maar één disk tegelijk stuk gaat is er altijd herstel mogelijk.

Een backup via een filesystem wat via het netwerk loopt levert veel vertraging op. Met Samba is het nog te doen - maar sftp/scp heb ik laten varen - duurde te lang. Over NFS durf ik niks te zeggen - geen ervaring mee.

Inzake Docker versus LXC: zijn beide containers om applicaties te virtualiseren. Waarbij LXCwat meer lijkt op een VM - die is ook geschikt om Docker containers te laten draaien.

edit:
tekst aangepast omdat de genoemde 12-TBytes externe disk een spindle disk is - en geen SSD.

Nog bedankt voor de gedetailleerde uitleg!

Mocht er iemand langskomen met dezelfde vraag. Uiteindelijk wordt mijn oplossing waarschijnlijk:
1 SSD met hierop Proxmox + VM en containers.
2 externe HDDs, 1 voor data, 1 voor backup van VMs en data.

Voor de de file server (Samba) heb ik nu een LXC container opgezet via standaard template vanuit Proxmox. de externe harddisk heb ik als mountpoint doorgegeven aan de LXC container. Ik heb de fileserver nog niet volledig geconfigureerd maar ik kan in ieder geval de schijf zien in de container. Dus de rest zal ook wel lukken.

Nog 1 vraag nav jouw post. Hoe belangrijk het om de scheiding te maken tussen de opslag voor PVE en waar de VMs op draaien? Ik heb namelijk ruim voldoende opslag op de interne SSD.

[Airw0lf]

@Ernie - hoe groot zijn die 3 disken?
En inzake "1 externe HD voor data": wat zie je als "data"?

[Ernie]

Airw0lf schreef op maandag 17 februari 2025 @ 13:24:
@Ernie - hoe groot zijn die 3 disken?
En inzake "1 externe HD voor data": wat zie je als "data"?

De SSD = 256Gb
Twee externe HDDs = 500Gb per stuk

met data bedoel ik alle bestanden (foto's, documenten, etc.) die ik via de fileserver ga opslaan via Samba (of misschien een ander protocol).

Hoe ik in de toekomst data van een extra service, zoals bijv. Immich kan verwerken heb ik nog niet helemaal uitgedacht.

[Cyphax]

Ernie schreef op maandag 17 februari 2025 @ 11:04:
[...]

Nog 1 vraag nav jouw post. Hoe belangrijk het om de scheiding te maken tussen de opslag voor PVE en waar de VMs op draaien? Ik heb namelijk ruim voldoende opslag op de interne SSD.

In mijn ervaring maakt dat niet uit. Mijn PVE-server heeft een 250GB SSD en een paar TB storage op HDD en bij mij staan Proxmox, VM disks, CT volumes, ISO volumes en CT Templates allemaal op die SSD. (Backups gaan naar Proxmox Backup Server, die backupt naar de HDD en naar een NAS verderop in het netwerk)

Door zoveel mogelijk in containers te draaien, kom ik met 250GB enorm ver. Het zit namelijk nog lang niet vol (meer dan 90GB over), ondanks 15 containers en een VM.

[Airw0lf]

Ernie schreef op maandag 17 februari 2025 @ 11:04:
[...]

Nog 1 vraag nav jouw post. Hoe belangrijk het om de scheiding te maken tussen de opslag voor PVE en waar de VMs op draaien? Ik heb namelijk ruim voldoende opslag op de interne SSD.

Bij dagelijks gebruik nauwelijks relevant.

Het fijne weet ik er niet meer van. Maar het heeft me ooit eens geholpen om bij een niet-werkend PVE-cluster de zaak uit elkaar te trekken tot twee losse werkende PVE servers. Ik ben er niet zo zeker van of dat gelukt zou zijn met alles op een volume.

Maar je kan je SSD altijd opdelen in twee of meer partities/volumes: een om te booten en een tweede voor de qcow/raw bestanden. Ik gok dat dat nu ook het geval is.

[Jerie]

ESXi kon niet booten van NVMe op mijn server, dus daarom aparte opslag voor ESXi. USB, flash. Die ging binnen de kortste keren stuk, of althans het filesystem werd FUBAR. Vaak een dd heen en weer lostte het op. Zo niet, dan was voordeel dan dat ik dat hele ding leeg kon maken. Een reinstall van ESXi was ook niet ernstig.

Na USB stick #2 of #3 ben ik geswitched naar Proxmox. Had eigenlijk meer te maken met Broadcom. Zelfde probleem toen. Daarna een SSD met SATA naar USB converter eraan gehangen, en presto. Sindsdien nul problemen. Enihe lelijke is dat die SSD aan buitenkant hangt i.p.v. intern zoals USB, want geen ruimte in server. Eigenlijk zou ik ook de NVMe (x2; het is een RAID1) leeg moeten maken, dan Proxmox installeren op NVMe (zoals ik ook op mijn main server heb; want dit alles betreft mijn backup server). Scheelt dan elektriciteit voor de SSD.

Al met al, kan (bij Proxmox) prima op hetzelfde medium. Wel even bedenken hoeveel ruimte je in wilt nemen voor Proxmox zelf. En de keuze voor filesystem is relevant, gezien Grub niet kan booten van ZFS.

[Airw0lf]

Cyphax schreef op maandag 17 februari 2025 @ 17:30:
[...]

In mijn ervaring maakt dat niet uit. Mijn PVE-server heeft een 250GB SSD en een paar TB storage op HDD en bij mij staan Proxmox, VM disks, CT volumes, ISO volumes en CT Templates allemaal op die SSD. (Backups gaan naar Proxmox Backup Server, die backupt naar de HDD en naar een NAS verderop in het netwerk)

Door zoveel mogelijk in containers te draaien, kom ik met 250GB enorm ver. Het zit namelijk nog lang niet vol (meer dan 90GB over), ondanks 15 containers en een VM.

Ik gok dat je de meeste (grootste?) qcow en/of raw bestanden op die TB-HDD storage hebt staan?
Of hoe gebruik je die TB-HDD storage? En op welke manier worden die aangesproken door die 15 containers?

Want je gaat mij niet wijs kunnen maken dat *alle* gegevens van *alle* 15 containers op die ene 250-GBytes SSD staan. En dat daarvan dan ook nog eens 90-GBytes niet gebruikt is. Als dat wel zo is kunnen die paar TBytes storage ook weg... heb je toch niet nodig...

[Airw0lf]

Ernie schreef op maandag 17 februari 2025 @ 15:09:
[...]

De SSD = 256Gb
Twee externe HDDs = 500Gb per stuk

met data bedoel ik alle bestanden (foto's, documenten, etc.) die ik via de fileserver ga opslaan via Samba (of misschien een ander protocol).

Hoe ik in de toekomst data van een extra service, zoals bijv. Immich kan verwerken heb ik nog niet helemaal uitgedacht.

En op welke manier zou je die 500-GBytes data USB disk dan willen aanspreken vanuit 2 of meer containers/VM's? Anders dan de cqow of raw bestanden van de containers/VM's?

Het lijkt me handig(er) om die backup disk wat groter te doen - bijvoorbeeld 1 of 2 TBytes. En die te formatteren als ext4. Dan kan je er meerdere backup-versies op kwijt - bijvoorbeeld 3 of 5 versies (retention op 3 of 5). Ook is er dan ruimte voor o.a. ISO's, VM- en LXC-templates.

[Cyphax]

Airw0lf schreef op dinsdag 18 februari 2025 @ 07:29:
[...]


Ik gok dat je de meeste (grootste?) qcow en/of raw bestanden op die TB-HDD storage hebt staan?
Of hoe gebruik je die TB-HDD storage? En op welke manier worden die aangesproken door die 15 containers?

Want je gaat mij niet wijs kunnen maken dat *alle* gegevens van *alle* 15 containers op die ene 250-GBytes SSD staan. En dat daarvan dan ook nog eens 90-GBytes niet gebruikt is. Als dat wel zo is kunnen die paar TBytes storage ook weg... heb je toch niet nodig...

Mijn eigen data staat op die HDD's: Media (misschien 1TB), Nextcloud-data (~280GB), dat alles staat onder 1 pad, zodat ik maar vanaf 1 pad hoef te backuppen. In mijn geval /mnt/vg_fileserver op de host. Data gaat via bind mounts naar de containers.

De containers zijn over het algemeen dus niet zo groot, en omdat er maar 1 VM is (HomeAssistant) past het zo makkelijk.

[Ernie]

Airw0lf schreef op dinsdag 18 februari 2025 @ 07:44:
[...]


En op welke manier zou je die 500-GBytes data USB disk dan willen aanspreken vanuit 2 of meer containers/VM's? Anders dan de cqow of raw bestanden van de containers/VM's?

Het lijkt me handig(er) om die backup disk wat groter te doen - bijvoorbeeld 1 of 2 TBytes. En die te formatteren als ext4. Dan kan je er meerdere backup-versies op kwijt - bijvoorbeeld 3 of 5 versies (retention op 3 of 5). Ook is er dan ruimte voor o.a. ISO's, VM- en LXC-templates.

Ik ben eigenlijk (nog) niet van plan de 500GB data USB disk aan te spreken vanuit andere containers of VMs.
Wat jij zegt mbt backups is volgens mij wel hoe ik het heb opgezet. De USB disk is als ext4 geformatteerd en als mountpoint doorgegeven aan file server in een LXC container.

Ik heb niet zoveel data blijkbaar. 100Gb aan foto's, documenten etc. Qua VMs heb ik nu: TKL fileserver (LXC) en Home Assistant . Daar komen op termijn nog wel een paar VMs/containers bij, (Mealie, Immich). Als het niet meer past kan ik natuurlijk upgraden naar iets groters.

Voor Immich kan ik waarschijnlijk de database en foto's apart bewaren en backuppen. De foto's zitten namelijk ook al in de 100Gb "standaard backup". Dit moet ik echt nog even uitzoeken.

Zou je de ISOs, LXC templates etc.ook lokaal bewaren? Ze kosten niet veel ruimte denk ik maar die pluk je toch ook zo weer van internet? Of bedoel je zelfgemaakte templates/ISOs bijvoorbeeld.

Cyphax schreef op maandag 17 februari 2025 @ 17:30:
[...]

In mijn ervaring maakt dat niet uit. Mijn PVE-server heeft een 250GB SSD en een paar TB storage op HDD en bij mij staan Proxmox, VM disks, CT volumes, ISO volumes en CT Templates allemaal op die SSD. (Backups gaan naar Proxmox Backup Server, die backupt naar de HDD en naar een NAS verderop in het netwerk)

Door zoveel mogelijk in containers te draaien, kom ik met 250GB enorm ver. Het zit namelijk nog lang niet vol (meer dan 90GB over), ondanks 15 containers en een VM.

Waar heb jij de Proxmox Backup Server draaien? Het ziet er geweldig uit maar het wordt afgeraden om die binnen PVE te draaien las ik ergens? Wat ik zo las heeft het goeie deduplicatie binnen de backups bijv!

[Cyphax]

Ernie schreef op dinsdag 18 februari 2025 @ 10:10:
[...]

Waar heb jij de Proxmox Backup Server draaien? Het ziet er geweldig uit maar het wordt afgeraden om die binnen PVE te draaien las ik ergens? Wat ik zo las heeft het goeie deduplicatie binnen de backups bijv!

Het is gewoon stiekem toch een container bij mij binnen pve. De backups sla ik dus op buiten de container (plus nog synchronisatie met de nas, wat pbs zelf ook regelt) en pbs zelf heb ik 1 keer gebackupt en daarna met rust gelaten.
Het draait prima. Ik heb ook een container met Gotify draaien, daar stuurt ie een notificatie naartoe als ie wat uitgevroten heeft.
Tot dusverre heeft ie me nog niet in de steek gelaten.

(Voor andere backups ben ik heel gecharmeerd geworden van Kopia, die de backups volgens mij op vergelijkbare manier opslaat (in chunks))

[orvintax]

Jerie schreef op dinsdag 18 februari 2025 @ 06:38:
Al met al, kan (bij Proxmox) prima op hetzelfde medium. Wel even bedenken hoeveel ruimte je in wilt nemen voor Proxmox zelf. En de keuze voor filesystem is relevant, gezien Grub niet kan booten van ZFS.

Ook voor @Ernie maar Proxmox maakt zelf al die verdeling tijdens de installatie. Om van ZFS te booten gebruikt Proxmox sytemd-boot. Het zal mij benieuwen waarom dat uitmaakt.

[Jerie]

orvintax schreef op dinsdag 18 februari 2025 @ 12:51:
[...]

Ook voor @Ernie maar Proxmox maakt zelf al die verdeling tijdens de installatie. Om van ZFS te booten gebruikt Proxmox sytemd-boot. Het zal mij benieuwen waarom dat uitmaakt.

Wel, je zult moeten leren hoe systemd-boot werkt wanneer je Grub gewend bent. Voorbeelden: custom boot parameters, andere kernel booten. Alle systemd software doet dingen op geheel eigenaardige wijze, en om dat te moeten uitzoeken tijdens crisissituatie had ik geen zin in. Zelfde met die DNS server van ze die /etc/resolv.conf modificatie vrolijk ongedaan maakt (maar dan niet direct).

[Wachten...]

Ik heb hier een Nextcloud LXC container draaien op mijn Proxmox server, echter blijft deze hangen in Maintenance mode.

Heeft iemand enig idee hoe ik dat er weer uit kan krijgen? De meeste dingen die ik vind, zijn niet gerelateerd aan LXC containers, dus de commando`s werken niet.

[Cyphax]

Wachten... schreef op dinsdag 18 februari 2025 @ 20:50:
Ik heb hier een Nextcloud LXC container draaien op mijn Proxmox server, echter blijft deze hangen in Maintenance mode.

Heeft iemand enig idee hoe ik dat er weer uit kan krijgen? De meeste dingen die ik vind, zijn niet gerelateerd aan LXC containers, dus de commando`s werken niet.

Per de docs zou ik eerst dit proberen:

sudo -u www-data php occ maintenance:mode --off

Ik ga er dan even vanuit dat www-data de user is waar nextcloud onder gehost wordt, kan ook iets anders zijn in jouw geval potentieel.

Wel een aanrader om eens occ te draaien zonder commando, de lijst van dingen die je ermee kan is enorm, en het is wel goed om te weten wat voor fallback je hebt bij problemen of onderhoud.

[ Voor 11% gewijzigd door Cyphax op 18-02-2025 20:58 ]

[Wachten...]

Cyphax schreef op dinsdag 18 februari 2025 @ 20:57:
[...]

Per de docs zou ik eerst dit proberen:

sudo -u www-data php occ maintenance:mode --off

Ik ga er dan even vanuit dat www-data de user is waar nextcloud onder gehost wordt, kan ook iets anders zijn in jouw geval potentieel.

Wel een aanrader om eens occ te draaien zonder commando, de lijst van dingen die je ermee kan is enorm, en het is wel goed om te weten wat voor fallback je hebt bij problemen of onderhoud.

Ik ga dat zo even proberen, ik heb nu net even handmatig de config.php aangepast en de 'maintenance' => true, op false gezet. Nu werkt het weer.

Ik ga eens kijken naar de occ (geen idee nog wat het is)

Hoe kun je het beste trouwens updaten via de console? Want ik las her en der dat het beter is om te doen vanuit de console dan via de GUI.

[Cyphax]

Wachten... schreef op dinsdag 18 februari 2025 @ 21:02:
[...]


Ik ga dat zo even proberen, ik heb nu net even handmatig de config.php aangepast en de 'maintenance' => true, op false gezet. Nu werkt het weer.

Dat occ-commando doet vast hetzelfde wat jij hebt gedaan, of hij moet ook nog checks erbij doen ofzo.

Ik ga eens kijken naar de occ (geen idee nog wat het is)

Hoe kun je het beste trouwens updaten via de console? Want ik las her en der dat het beter is om te doen vanuit de console dan via de GUI.

Hier leggen ze dat uit (je moet er wel een stukje voor scrollen ). Het zijn wel een paar stappen, maar toch. Ik moet wel zeggen dat het al een tijdje geleden is dat de web updater problemen gaf bij een update. Ik maak nu een backup van de container en probeer het dan met de web updater, en mocht ik daar spijt van krijgen, dan kan ik het opnieuw proberen. Maar het gaat eigenlijk al een hele tijd vlekkeloos.

[XoReP]

Het viel mij niet op dat mijn Proxmox om de haverklap herstart. Bevat wel de nieuwste updates. Andere bakkie is ook helemaal bij en draait wel nog prima. Meer mensen last van spontane reboots?

Hardware is een Supermicro X10SDV. Voor de zekerheid maar een memtest aangezet. Staat in ieder geval al een stuk langer aan terwijl de memtest draait dan dat hij Proxmox draait.

[dcm360]

Spontane reboots of vastlopers (kan hetzelfde lijken, servermoederborden hebben vaak de optie om bij detectie van een vastloper een reset te doen d.m.v. een hardware watchdog) zijn bij mij eigenlijk altijd wel hardware-issues geweest. Als het meezit staat er iets nuttigs in de logs, die kan je opvragen met 'journalctl -e -b -1' (laatste deel van de logs van de vorige boot). Mocht dat melden dat er geen persistent logs zijn, is het aan te raden dat aan te zetten met 'mkdir -p /var/log/journal'.

[_JGC_]

Laatste keer dat ik spontane reboots had met Proxmox was het kapot geheugen. Dat stond 3 maanden voor het ging crashen al EDAC CE foutmeldingen te geven overigens.

Blijft leuk spul dat Proxmox. Vanmiddag het moederbord en heatsink van Supermicro Polen binnengekregen en de 4x48GB DDR5 ECC uit Denemarken via Max ICT. Op de keukentafel inelkaar gezet met een Ryzen 9 7900, 2x500GB Kingston DC2000B NVME drives en een voeding uit een 10 jaar oude Supermicro server. Voor ik beeld had was ik 5 minuten verder, daarna Proxmox geprobeerd te installeren...
1GB USB stick past het niet meer op, had geen grotere, dus met Etcher de ISO op een oude 500GB harddisk in een USB dock weggeschreven, dat werkte gewoon alsof het een USB stick was.

Morgen bij de klant ombouwen. Moederbord swappen, SSDs eruit, booten, SSDs erin, pool importeren met nieuwe naam (anders heb ik 2 rpools), SLOG mirror toewijzen aan partities op de NVME SSDs. Vervolgens PCI bus ID van de Quadro P2000 bijwerken in de config van de RDS VM, config files op hun plek, storage.cfg bijwerken, rebooten en gaan met die banaan.

E-2236 met 128GB eruit, Ryzen9 7900 met 192GB erin. 2x zoveel cores, hogere baseclock en hogere IPC. Sneller/meer geheugen (3600 vs 2400) en snellere opslag.

Ben benieuwd hoe dit gaat draaien, ze liepen tegen de beperking van 6 cores op die Xeon aan.

Had nog een 9950X overwogen, maar die E-2236 (80W) turbo boostend in een 1U server was al oorverdovend soms. Nu mooi een 65W CPU erin, ik zou niet weten hoe ik 170W moet koelen met een 1U server in een ruimte zonder airco.

Edit: vanavond ingebouwd. Heb de turbo moeten beperken tot 4.25GHz anders is het in de ruimte ernaast niet meer te doen qua geluid (TDP van AMD werkt blijkbaar toch anders?). Ding loopt veel soepeler dan die oude Xeon. Morgen de vuurdoop met volle belasting.

[ Voor 7% gewijzigd door _JGC_ op 20-02-2025 01:25 ]

[Wachten...]

Kan iemand mij misschien weer een stapje verder helpen.

Ik heb een LXC container draaien met Nextcloud. Nu had ik wat problemen met het updaten van Nextcloud, en kwam erachter in de logs dat er geen schijfruimte meer was. Ik had 8GB schijfruimte en heb dat verhoogt met pct resize naar iets van 30GB.

Nu is alleen het gekke dat als ik onderstaand commando uitvoer, dan zie dat mijn schijf 8GB groot is.

code:

df -h

Doe ik een vervolgens onderstaand commando, dan is daar de schijf 30GB

code:

lvdisplay | grep "LV Path\|LV Size"

Weet iemand wat ik verkeerd doe? Of is het ook mogelijk om anders de data over te zetten naar een nieuwe LXC container met daarop Nextcloud? Ik kan nu namelijk geen updates draaien etc.

[ Voor 11% gewijzigd door Wachten... op 20-02-2025 09:01 ]

[Airw0lf]

Wachten... schreef op donderdag 20 februari 2025 @ 09:00:
Kan iemand mij misschien weer een stapje verder helpen.

Ik heb een LXC container draaien met Nextcloud. Nu had ik wat problemen met het updaten van Nextcloud, en kwam erachter in de logs dat er geen schijfruimte meer was. Ik had 8GB schijfruimte en heb dat verhoogt met pct resize naar iets van 30GB.

Nu is alleen het gekke dat als ik onderstaand commando uitvoer, dan zie dat mijn schijf 8GB groot is.

code:

df -h

Doe ik een vervolgens onderstaand commando, dan is daar de schijf 30GB

code:

lvdisplay | grep "LV Path\|LV Size"

Weet iemand wat ik verkeerd doe? Of is het ook mogelijk om anders de data over te zetten naar een nieuwe LXC container met daarop Nextcloud? Ik kan nu namelijk geen updates draaien etc.

Ik gok dat de eerste de output is binnen de lxc container.
En dat de tweede de output is van Proxmox.

Normaal gesproken zijn er twee stappen nodig - de eerste is binnen Proxmox en een tweede is binnen de LXC. Je hebt - denk ik - alleen de eerste gedaan?

De tweede doe je door te lxc op te starten via een ISO waar (bijvoorbeeld) gparted op staat. Daar kan je dan de disk binnen de LXC resizen naar de gewenste 30-GBytes. En zou het weer moeten werken als vanouds.

Alles overhevelen naar een nieuwe LXC brengt weer andere, meer nextcloud-uitdagingen met zich mee...

[ Voor 7% gewijzigd door Airw0lf op 20-02-2025 09:09 ]

[Wachten...]

Airw0lf schreef op donderdag 20 februari 2025 @ 09:05:
[...]


Ik gok dat de eerste de output is binnen de lxc container.
En dat de tweede de output is van Proxmox.

Normaal gesproken zijn er twee stappen nodig - de eerste is binnen Proxmox en een tweede is binnen de LXC. Je hebt - denk ik - alleen de eerste gedaan?

De tweede doe je door te lxc op te starten via een ISO waar (bijvoorbeeld) gparted op staat. Daarmee kan je dan de disk binnen de LXC resizen naar de gewenste 30-GBytes.

Dank voor je reactie, maar bedoel je dan als ik in de GUI kijk van de de container?
Want als ik daar kijk onder resources, dan zie ik dit


Ga ik dan naar summary, dan zie ik dit

[Airw0lf]

Wachten... schreef op donderdag 20 februari 2025 @ 09:10:
[...]


Dank voor je reactie, maar bedoel je dan als ik in de GUI kijk van de de container?
Want als ik daar kijk onder resources, dan zie ik dit
[Afbeelding]

Ga ik dan naar summary, dan zie ik dit
[Afbeelding]

Hoe die LXC precies geconfigureerd is weet ik niet - ok heb geen verklaring voor wat je hier gepost hebt.

Voor de volledigheid: als je op "root disk" van de LXC staat is er een knopje "Volume Action". Hieronder zit de actie "+ Resize" - dat is stap 1.
Stap 2 is de LXC starten via de eerder genoemde ISO en disk binnen de LXC resizen naar de grootte van stap 1.

Nogmaals - wat er bij jou aan de hand is weet ik niet - geen idee.

[Wachten...]

Airw0lf schreef op donderdag 20 februari 2025 @ 09:21:
[...]


Hoe die LXC precies geconfigureerd is weet ik niet - ok heb geen verklaring voor wat je hier gepost hebt.

Voor de volledigheid: als je op "root disk" van de LXC staat is er een knopje "Volume Action". Hieronder zit de actie "+ Resize" - dat is stap 1.
Stap 2 is de LXC starten via de eerder genoemde ISO en disk binnen de LXC resizen naar de grootte van stap 1.

Nogmaals - wat er bij jou aan de hand is weet ik niet - geen idee.

Dat wordt nog even verder uitzoeken dan. ik zag ook de meeste het op die manier doen, of enkel met pct resize, maar bij mij werkte dat dus niet.

Is er dan een manier om gewoon naar een nieuwe container te gaan en daarin alles overzetten? Het enige wat ik op nextcloud draai is contacten en agenda`s

[Wachten...]

@Airw0lf

Wat ik ook zie, is dat als ik de container uitzet, dat ik dan wel de volledige 32GB zie, maar zodra ik hem start dan is hij maar 8GB.

Als ik ook het volgende commando probeer pct resize 102 rootfs 20G, dan geeft hij ook aan dat hij het niet kan verkleinen. Ergens is de schijf dus wel vergroot.

code:

unable to shrink disk size

[Wachten...]

ik heb het inmiddels voor elkaar. Geen idee waarom hij het nu wel ineens doet.

Ik heb eerste de schijf nog een klein beetje vergroot

code:

pct resize 102 rootfs 32G

vervolgens de container uitgezet en opnieuw opgestart, en nu laat hij wel overal de juiste grote zien.

Ik denk dat er ergens een klein foutje heeft gezeten, maar dat heeft mij gisteren wel heel mijn avond gekost

[dcm360]

Een resize van een schijf van een container zou sowieso instant moeten zijn, de 'schijf' wordt immers beheerd door dezelfde kernel als die van de host. Starten vanaf een iso (wat überhaupt niet kan bij een container) bij een volle schijf zou alleen nodig zijn als je een VM met een volgelopen schijf hebt en niet meer wil booten.

[Wachten...]

dcm360 schreef op donderdag 20 februari 2025 @ 10:37:
Een resize van een schijf van een container zou sowieso instant moeten zijn, de 'schijf' wordt immers beheerd door dezelfde kernel als die van de host. Starten vanaf een iso (wat überhaupt niet kan bij een container) bij een volle schijf zou alleen nodig zijn als je een VM met een volgelopen schijf hebt en niet meer wil booten.

Ja ik denk dus dat het eerder niet lukte met alles, omdat de schijf al vol zat.
Ik ben alleen geen grote kenner van dit alles, dus het is een beetje gissen. Maar het werkt nu gelukkig.

Ik ga later nog wel eens kijken hoe ik toch voor de zekerheid alles kan overgooien naar een nieuwe Nextcloud installatie. Dat voelt toch wat fijner na al dat gerommel in deze container

[orvintax]

Jerie schreef op dinsdag 18 februari 2025 @ 16:33:
[...]


Wel, je zult moeten leren hoe systemd-boot werkt wanneer je Grub gewend bent. Voorbeelden: custom boot parameters, andere kernel booten. Alle systemd software doet dingen op geheel eigenaardige wijze, en om dat te moeten uitzoeken tijdens crisissituatie had ik geen zin in. Zelfde met die DNS server van ze die /etc/resolv.conf modificatie vrolijk ongedaan maakt (maar dan niet direct).

Dat is waar. Maar Proxmox documentatie beschrijft wel hoe je bepaalde zaken in GRUB en Systemd oplost, dus ik heb er zelf nooit problemen mee gehad. Ik denk ook niet dat @Ernie hier snel mee gaat klooien.

[orvintax]

@Wachten... Voor het migreren naar een nieuwe Nextcloud LXC zou ik persoonlijk gewoon de backup en restore guide volgen van Nextcloud. Link

[RobertMe]

orvintax schreef op donderdag 20 februari 2025 @ 12:36:
[...]

Dat is waar. Maar Proxmox documentatie beschrijft wel hoe je bepaalde zaken in GRUB en Systemd oplost, dus ik heb er zelf nooit problemen mee gehad. Ik denk ook niet dat @Ernie hier snel mee gaat klooien.

Ook ik zou niet weten wat je hieraan wilt aanpassen. Hoogstens dus de kernel cmdline. En die procedure is, onder Proxmox, voor zowel Grub als systemd-boot echt exact hetzelfde. Uit mijn hoofd /etc/kernel/cmdline aanpassen en dan een Proxmox specifiek commando draaien. Waarbij dat tooltje er ook direct voor zorgt dat als je een gemirrorde bootloader hebt (als in: meerdere schijven waar de bootloader op staat) ze ook allemaal worden bijgewerkt. Iets dat de standaard tooling van Grub / systemd-boot niet zal doen (/je handmatig voor elke boot/EFI partitie moet doen).

En verder zijn alle bootloaders in gebruik denk ik redelijk hetzelfde. V.w.b. "hoe kies je tijdens boot een optie" en evt "hoe pas je de kernel cmdline aan tijdens boot" ("e" voor edit, dan aanpassen en dan "F10" voor booten?) En staat volgens mij vaak ook wel op beeld beschreven, en anders zullen de meesten het zo onregelmatig gebruiken dat ze het toch moeten opzoeken. Dus of je dan voor Grub of systemd-boot moet opzoeken hoe het werkt maakt niet uit.

[Ernie]

orvintax schreef op donderdag 20 februari 2025 @ 12:36:
[...]

Dat is waar. Maar Proxmox documentatie beschrijft wel hoe je bepaalde zaken in GRUB en Systemd oplost, dus ik heb er zelf nooit problemen mee gehad. Ik denk ook niet dat @Ernie hier snel mee gaat klooien.

Dat klopt wel dat ik hier niet mee ga klooien (hoop ik ). Dit gaat mijn pet te boven, maar ik blijf lekker meelezen.