Het grote Proxmox VE topic

[eheijnen]

Eens even een vraag:

Zijn ervaringen met het combineren van PVE met een baremetal Postgresql installatie (geen containers). Op de host zelf dus?

[dcm360]

Ik ben wel heel erg benieuwd naar de beweegredenen achter die vraag. Want door 'services' direct op de host te gaan draaien verlies je alle toegevoegde waarde van Proxmox.

[htca]

eheijnen schreef op donderdag 27 juni 2024 @ 09:31:
Eens even een vraag:

Zijn ervaringen met het combineren van PVE met een baremetal Postgresql installatie (geen containers). Op de host zelf dus?

op zich kan het, want uiteindelijk is er linux versie namelijk. Maar de vraag is waarom je dat zou doen

[ge-flopt]

htca schreef op donderdag 27 juni 2024 @ 12:53:
[...]

op zich kan het, want uiteindelijk is er linux versie namelijk. Maar de vraag is waarom je dat zou doen

Voor Postgresql zou ik niet meteen een use case kunnen bedenken inderdaad. Ik heb wel een issue gehad met Motion. Ik kreeg een camera niet via een direct connection naar een VM gekoppeld (waarschijnlijk persoonlijke onkunde), met apt install op de host zelf had ik het binnen 2 minuten aan de gang.

[dotcom87]

Ik ben al een tijdje aan het proberen om mijn swap partitie werkend te krijgen in mijn ubuntu LXC container...

Op mijn Proxmox host heb ik het volgende wanneer ik swapon -s uitvoer:

code:

root@pve2:~# swapon -s
Filename                                Type            Size            Used            Priority
/dev/dm-0                               partition       67108860        0               -2
root@pve2:~#

Ik heb inderdaad een partitie van 64 gb aangemaakt bij de installatie van Proxmox.

Wanneer ik dan in mijn Ubuntu LXC ga, en daar swapon -s doe, dan krijg ik dit:

code:

root@optimizationserver:/dev# swapon -s
Filename                                Type            Size            Used            Priority
none                                    virtual         524288          0               0

is er een manier om die volledige swap van mijn host te kunnen gebruiken in mijn container?

[eheijnen]

dcm360 schreef op donderdag 27 juni 2024 @ 11:22:
Ik ben wel heel erg benieuwd naar de beweegredenen achter die vraag. Want door 'services' direct op de host te gaan draaien verlies je alle toegevoegde waarde van Proxmox.

Dat zou ik niet zeggen. Proxmox blijft zoals die is en PG komt er naast.
Het is/wordt geen productie machine en is alleen voor te "prutsen"....

Heb dit allemaal nu op Debian draaien met Qemu/Kvm en dat werkt ook best goed (al jaren). En de PG performance is heel goed.

PVE als kant en klare oplossing is interessant en gemakkelijk...

Maar, linksom of rechtsom, levert dit in principe geen problemen op als ik het zo hoor?

[dcm360]

eheijnen schreef op donderdag 27 juni 2024 @ 16:16:
[...]

Dat zou ik niet zeggen. Proxmox blijft zoals die is en PG komt er naast.
Het is/wordt geen productie machine en is alleen voor te "prutsen"....

Maar voor simpel ernaast heb je in Proxmox dus containers, en dan zit het niet meteen vast aan de Proxmox-installatie. Kan je ook meteen prutsen aan de PG-installatie zonder enkel risico voor de rest.

[...]

Maar, linksom of rechtsom, levert dit in principe geen problemen op als ik het zo hoor?

Nouja, een container klik je binnen een minuut in elkaar, en dat is denk ik ook wat iedereen hier zou doen... Dus naast stellen dat het op zich niet onmogelijk is weet ik niet of er echt ervaringen mee zijn.

[ Voor 31% gewijzigd door dcm360 op 27-06-2024 17:02 ]

[htca]

eheijnen schreef op donderdag 27 juni 2024 @ 16:16:
[...]


Maar, linksom of rechtsom, levert dit in principe geen problemen op als ik het zo hoor?

Nee in principe niet, maar ik zou mezelf een plezier doen en een lxc inrichten al dan niet middels een helper script. Mocht er dan iets niet gaan zoals je wilt, wipe je de lxc en begin je opnieuw

[orvintax]

dotcom87 schreef op donderdag 27 juni 2024 @ 15:09:
Ik ben al een tijdje aan het proberen om mijn swap partitie werkend te krijgen in mijn ubuntu LXC container...

Op mijn Proxmox host heb ik het volgende wanneer ik swapon -s uitvoer:

code:

root@pve2:~# swapon -s
Filename                                Type            Size            Used            Priority
/dev/dm-0                               partition       67108860        0               -2
root@pve2:~#

Ik heb inderdaad een partitie van 64 gb aangemaakt bij de installatie van Proxmox.

Wanneer ik dan in mijn Ubuntu LXC ga, en daar swapon -s doe, dan krijg ik dit:

code:

root@optimizationserver:/dev# swapon -s
Filename                                Type            Size            Used            Priority
none                                    virtual         524288          0               0

is er een manier om die volledige swap van mijn host te kunnen gebruiken in mijn container?

Er is misschien wel een manier, ik betwijfel of het goed gaat werken, maar ik zou het absoluut niet doen. Maak gewoon een extra disk aan voor je LXC en stel daar lekker de swap op in!

[orvintax]

eheijnen schreef op donderdag 27 juni 2024 @ 16:16:
[...]

Dat zou ik niet zeggen. Proxmox blijft zoals die is en PG komt er naast.
Het is/wordt geen productie machine en is alleen voor te "prutsen"....

Heb dit allemaal nu op Debian draaien met Qemu/Kvm en dat werkt ook best goed (al jaren). En de PG performance is heel goed.

PVE als kant en klare oplossing is interessant en gemakkelijk...

Maar, linksom of rechtsom, levert dit in principe geen problemen op als ik het zo hoor?

Zelfs voor te prutsen zou ik je aanraden om het gewoon goed te doen. Dan leer je ook meteen hoe het hoort. Zoals ook door andere Tweakers aangegeven gaat dit voorbij het hele princiepe van een hypervisor.

Het zal je niet direct problemen opleveren, maar dit is simpelweg niet de bedoeling. En omdat hier geen rekening mee gehouden word zal het me niet verbazen als je vroeg of laat wel problemen hebt. En voor mij persoonlijk is het laatste waar ik problemen mee wil hebben mijn databases.

[dotcom87]

orvintax schreef op donderdag 27 juni 2024 @ 17:55:
[...]

Er is misschien wel een manier, ik betwijfel of het goed gaat werken, maar ik zou het absoluut niet doen. Maak gewoon een extra disk aan voor je LXC en stel daar lekker de swap op in!

Heb je hier misschien een soort van stappenplan voor?

[eheijnen]

orvintax schreef op donderdag 27 juni 2024 @ 17:58:
[...]

Zelfs voor te prutsen zou ik je aanraden om het gewoon goed te doen. Dan leer je ook meteen hoe het hoort. Zoals ook door andere Tweakers aangegeven gaat dit voorbij het hele princiepe van een hypervisor.

Het zal je niet direct problemen opleveren, maar dit is simpelweg niet de bedoeling. En omdat hier geen rekening mee gehouden word zal het me niet verbazen als je vroeg of laat wel problemen hebt. En voor mij persoonlijk is het laatste waar ik problemen mee wil hebben mijn databases.

Ik kan altijd eens naar een container kijken en wat daarmee kan.
Was ook onderdeel van de vraag om te kijken in hoeverre PVE zich als dedicated Hypervisor gedraagt.

Wil eigenlijk het gemak van PVE erbij en de flexibiliteit van Linux ansich zoals ik dat nu heb in een multi purpose setup.

[ronjon]

die flexibiliteit wordt niet anders wanneer je PG in ee LXC gaat draaien. linux is je guest OS
daarnaast biedt een container veel extra gemakken, zoals een backup van de hele container (dus geen gehannes met eigen scripts om PG databases te backuppen), migreren van de guest naar een andere PVE instantie.

als je PG naast PVE gaat draaien, hebben alle containers "last" van de extra load die er op de host dan ontstaat

[htca]

eheijnen schreef op donderdag 27 juni 2024 @ 18:34:
[...]

Ik kan altijd eens naar een container kijken en wat daarmee kan.
Was ook onderdeel van de vraag om te kijken in hoeverre PVE zich als dedicated Hypervisor gedraagt.

Wil eigenlijk het gemak van PVE erbij en de flexibiliteit van Linux ansich zoals ik dat nu heb in een multi purpose setup.

Als het je gaat om “de ervaring van het installeren van pg op een linux systeem” zou ik een vm aan maken en daar een distro op knallen…. Kun je mee spelen wat je wilt, zonder dat het je pve er mee interveniereerd

[eheijnen]

htca schreef op donderdag 27 juni 2024 @ 21:35:
[...]

Als het je gaat om “de ervaring van het installeren van pg op een linux systeem” zou ik een vm aan maken en daar een distro op knallen…. Kun je mee spelen wat je wilt, zonder dat het je pve er mee interveniereerd

Het gaat niet om de ervaring, PG draait hier al jaren op Debian en heb ervaring met ESX en QEMU.

Ik heb PVE eens op testsysteem gezet. Zo te zien zou dat geen problemen opleveren als je de PG data maar op een lokatie onderbrengt waar PVE vanaf blijft. Maar een LXC container is ook nog een optie. Die zal ik ook nog eens bekijken.

[XiMMiX]

dotcom87 schreef op donderdag 27 juni 2024 @ 15:09:
Ik ben al een tijdje aan het proberen om mijn swap partitie werkend te krijgen in mijn ubuntu LXC container...

Op mijn Proxmox host heb ik het volgende wanneer ik swapon -s uitvoer:

code:

root@pve2:~# swapon -s
Filename                                Type            Size            Used            Priority
/dev/dm-0                               partition       67108860        0               -2
root@pve2:~#

Ik heb inderdaad een partitie van 64 gb aangemaakt bij de installatie van Proxmox.

Wanneer ik dan in mijn Ubuntu LXC ga, en daar swapon -s doe, dan krijg ik dit:

code:

root@optimizationserver:/dev# swapon -s
Filename                                Type            Size            Used            Priority
none                                    virtual         524288          0               0

is er een manier om die volledige swap van mijn host te kunnen gebruiken in mijn container?

Ja, je kan de swap die je LXC container ter beschikking heeft aanpassen via de webinterface onder "Resources" van de betreffende container.

[Zwelgje]

hier mensen ervaring met dit stukje hardware om Proxmox op te draaien?

https://www.bee-link.com/...00?variant=46197463122162

ding heeft 2 (weliswaar 1gb) netwerkkaarten dus wil er Proxmox op zetten en dan OPNsense als firewall. en daarnaast nog wat containers

ziet er leuk uit kwa design en formaat en de CPU is een N200

[Vaevictis_]

*knip* dit mag niet op het forum. Dit is de afgelopen jaren al meerdere malen kenbaar gemaakt.

[ Voor 127% gewijzigd door br00ky op 29-06-2024 18:36 ]

[John245]

Vaevictis_ schreef op zaterdag 29 juni 2024 @ 12:20:
*knip* dit mag niet op het forum

Mijn ervaring is dat je voor een cluster wat meer geheugen nodig heb.

[ Voor 21% gewijzigd door br00ky op 29-06-2024 18:34 ]

[Vaevictis_]

John245 schreef op zaterdag 29 juni 2024 @ 12:26:
[...]


Mijn ervaring is dat je voor een cluster wat meer geheugen nodig heb.

[Afbeelding]

Geheugen is uit te breiden, heb het zelf in een cluster gedraaid voor migratie naar nieuwe hardware.

[Theetjuh]

Members only:

Alleen zichtbaar voor ingelogde gebruikers. Inloggen

Het is maar wat je nodig hebt, ik heb 12 containers draaien en 2 vm’s.
Ik had achteraf prima uitgekunt met 8GB per node, dan de 32 waar ik voor ben gegaan.

[Soepie]

Zwelgje schreef op zaterdag 29 juni 2024 @ 12:17:
hier mensen ervaring met dit stukje hardware om Proxmox op te draaien?

https://www.bee-link.com/...00?variant=46197463122162

ding heeft 2 (weliswaar 1gb) netwerkkaarten dus wil er Proxmox op zetten en dan OPNsense als firewall. en daarnaast nog wat containers

ziet er leuk uit kwa design en formaat en de CPU is een N200

Ik heb de voorloper met de N100 hier draaien (EQ12) met 2 x 2.5Gb lan poorten. De 16G variant met 500Gb disk.
Draait als één zonnetje. Installatie was 5 minuten.

[rachez]

Zwelgje schreef op zaterdag 29 juni 2024 @ 12:17:
hier mensen ervaring met dit stukje hardware om Proxmox op te draaien?

https://www.bee-link.com/...00?variant=46197463122162

ding heeft 2 (weliswaar 1gb) netwerkkaarten dus wil er Proxmox op zetten en dan OPNsense als firewall. en daarnaast nog wat containers

ziet er leuk uit kwa design en formaat en de CPU is een N200

Gaaf ding, alleen jammer van die 16GB mem.
Als hij 2 so-dimm sticks aankon had ik er zeker een gehaald om mijn nuc te vervangen, maar in mijn geval heb ik 64GB memory wel nodig.

[The-Source]

Zwelgje schreef op zaterdag 29 juni 2024 @ 12:17:
hier mensen ervaring met dit stukje hardware om Proxmox op te draaien?

https://www.bee-link.com/...00?variant=46197463122162

ding heeft 2 (weliswaar 1gb) netwerkkaarten dus wil er Proxmox op zetten en dan OPNsense als firewall. en daarnaast nog wat containers

ziet er leuk uit kwa design en formaat en de CPU is een N200

Ik volg zelf al enige tijd het YouTube kanaal van nascompares ondanks de naam wordt er best vaak aandacht gegeven aan dit type bordjes en mini pc. Vaak gericht op de storage mogelijkheden maar ook op leuk dat je 4x nvme gen4 kan aansluiten maar met hoeveel lanes bijvoorbeeld.
Als je op zoek bent naar een nas al dan niet een systeem met meer mogelijkheden wel een aanrader om te bekijken

[Zwelgje]

rachez schreef op zondag 30 juni 2024 @ 10:09:
[...]

Gaaf ding, alleen jammer van die 16GB mem.
Als hij 2 so-dimm sticks aankon had ik er zeker een gehaald om mijn nuc te vervangen, maar in mijn geval heb ik 64GB memory wel nodig.

goed genoeg voor wat ik wil, heb er net 1 besteld en krijg hem met 3 a 7 werkdagen thuis.

er draait zoals ik aangaf straks proxmox op met 1 OPNsense VM met 4/6gb ram en een aantal containers (nginx, guacamole, unifi controller) Maw die 16gb komt niet vol.

de build-kwaliteit ziet er goed uit, vele malen beter dan de TopTon doos die ik nu heb voor deze config. werkt goed maar ziet er wat shabby uit

heb ernaast nog een paar intel NUC's met 64gb ram, daarop draaien de Windows VM's die wat meer ram en power nodig zijn. die bakjes draaien niet 24x7 en deze wel.

zuinigheid is belangrijker dan de spes

[rachez]

@Zwelgje , check, nice ding wel moet ik zeggen en zuinigheid is altijd goed bij 24/7.
Ga ze zeker in de gaten houden, wellicht in de toekomst.

[ElCondor]

Ik volg dit topic al een tijdje en nu dan maar eens de knoop door gehakt.

Na een succesvolle start op een docker host op basis van UBUNTU op Hyper-V met de bedoeling om containers te draaien, uiteindelijk de keuze gemaakt om de switch te maken naar een Linux hypervisor.
Van het weekeinde twee NUC6i7's voorzien van ProxMox.
Voor nu nog even 500GB interne storage en 32GB per NUC een mini clustertje.
Daar nu een DOCKER LXC (Alpine) in de lucht getrokken. Eens kijken of ik de stacks die ik nu nog op mijn Hyper-V/UBUNTU docker draai kan overpoten naar het NUC Cluster. De bedoeling is om uiteindelijk alle VM's van de Hyper-V host af te krijgen en dan deze host ook uit te rusten met ProxMox. Dat wordt dan de main node met 64GB en 2TB storage aan boord, met de NUCs als backup/uitwijk en container hosts. Er draaien nu alleen nog een behoorlijk aantal Windows VM's op die nog 'ff' ergens anders naartoe moeten...

Wel leuk om mee te knutselen. Will keep ya'll posted.

[wmn79]

Ik heb een proxmox installatie met twee containers. Op de een staat turnkey fileserver op de andere draaien een aantal docker containers. De disk waarop de container volumes staan (vm-100-disk-0 & vm-101-disk-0) is volgeraakt waardoor de containers niet meer opstarten. Waarschijnlijk komt dit door de logging van een prism docker die ik er laatst bij heb gezet.

De disk van de containers is vol waardoor beide containers niet meer willen starten. Container 100 geeft bv:

code:

run_buffer: 571 Script exited with status 32
lxc_init: 845 Failed to run lxc.hook.pre-start for container "100"
__lxc_start: 2034 Failed to initialize container "100"

TASK ERROR: startup for container '100' failed

en als ik de container probeer te mounten via pct mount 100 krijg ik dit:

code:

mount: /var/lib/lxc/100/rootfs: can't read superblock on /dev/mapper/pve-vm--100--disk--0.
       dmesg(1) may have more information after failed mount system call.
mounting container failed
command 'mount /dev/dm-6 /var/lib/lxc/100/rootfs//' failed: exit code 32

Hebben jullie tips hoe ik de disks (vooral vm-100-disk-0 want daar zit het probleem) vanaf de host kan benaderen zodat ik daar wat kan opschonen en de containers weer kan laten starten? De fysieke disk heeft volgens mij geen ruimte meer om deze uit te breiden dus dat is geen optie.

Hieronder de output van lsblk.

• sda is de interne SSD van 256GB waar het om gaat,
• sdb is een externe usb HDD van 4TB en
• nvme0n1 is een nvwme disk van 2TB

.

code:

NAME                         MAJ:MIN RM   SIZE RO TYPE MOUNTPOINTS
sda                            8:0    0 238.5G  0 disk 
├─sda1                         8:1    0  1007K  0 part 
├─sda2                         8:2    0   512M  0 part /boot/efi
└─sda3                         8:3    0   238G  0 part 
  ├─pve-swap                 252:0    0     7G  0 lvm  [SWAP]
  ├─pve-root                 252:1    0  59.3G  0 lvm  /
  ├─pve-data_tmeta           252:2    0   1.6G  0 lvm  
  │ └─pve-data-tpool         252:4    0 152.6G  0 lvm  
  │   ├─pve-data             252:5    0 152.6G  1 lvm  
  │   ├─pve-vm--100--disk--0 252:6    0   128G  0 lvm  
  │   └─pve-vm--101--disk--0 252:7    0     8G  0 lvm  
  └─pve-data_tdata           252:3    0 152.6G  0 lvm  
    └─pve-data-tpool         252:4    0 152.6G  0 lvm  
      ├─pve-data             252:5    0 152.6G  1 lvm  
      ├─pve-vm--100--disk--0 252:6    0   128G  0 lvm  
      └─pve-vm--101--disk--0 252:7    0     8G  0 lvm  
sdb                            8:16   0   3.6T  0 disk 
├─sdb1                         8:17   0   200M  0 part 
└─sdb2                         8:18   0   3.6T  0 part /mnt/expansion_hdd
nvme0n1                      259:0    0   1.8T  0 disk 
├─nvme0n1p1                  259:1    0   1.8T  0 part 
└─nvme0n1p9                  259:2    0     8M  0 part

Hebben jullie tips hoe ik de disks (vooral vm-100-disk-0 want daar zit het probleem) vanaf de host kan benaderen zodat ik daar wat kan opschonen en de containers weer kan laten starten? De fysieke disk heeft volgens mij geen ruimte meer om deze uit te breiden dus dat is geen optie.

[krijn1985]

wmn79 schreef op woensdag 3 juli 2024 @ 16:15:
Ik heb een proxmox installatie met twee containers. Op de een staat turnkey fileserver op de andere draaien een aantal docker containers. De disk waarop de container volumes staan (vm-100-disk-0 & vm-101-disk-0) is volgeraakt waardoor de containers niet meer opstarten. Waarschijnlijk komt dit door de logging van een prism docker die ik er laatst bij heb gezet.

De disk van de containers is vol waardoor beide containers niet meer willen starten. Container 100 geeft bv:

code:

run_buffer: 571 Script exited with status 32
lxc_init: 845 Failed to run lxc.hook.pre-start for container "100"
__lxc_start: 2034 Failed to initialize container "100"

TASK ERROR: startup for container '100' failed

en als ik de container probeer te mounten via pct mount 100 krijg ik dit:

code:

mount: /var/lib/lxc/100/rootfs: can't read superblock on /dev/mapper/pve-vm--100--disk--0.
       dmesg(1) may have more information after failed mount system call.
mounting container failed
command 'mount /dev/dm-6 /var/lib/lxc/100/rootfs//' failed: exit code 32

Hebben jullie tips hoe ik de disks (vooral vm-100-disk-0 want daar zit het probleem) vanaf de host kan benaderen zodat ik daar wat kan opschonen en de containers weer kan laten starten? De fysieke disk heeft volgens mij geen ruimte meer om deze uit te breiden dus dat is geen optie.

Hieronder de output van lsblk.

• sda is de interne SSD van 256GB waar het om gaat,
• sdb is een externe usb HDD van 4TB en
• nvme0n1 is een nvwme disk van 2TB

.

code:

NAME                         MAJ:MIN RM   SIZE RO TYPE MOUNTPOINTS
sda                            8:0    0 238.5G  0 disk 
├─sda1                         8:1    0  1007K  0 part 
├─sda2                         8:2    0   512M  0 part /boot/efi
└─sda3                         8:3    0   238G  0 part 
  ├─pve-swap                 252:0    0     7G  0 lvm  [SWAP]
  ├─pve-root                 252:1    0  59.3G  0 lvm  /
  ├─pve-data_tmeta           252:2    0   1.6G  0 lvm  
  │ └─pve-data-tpool         252:4    0 152.6G  0 lvm  
  │   ├─pve-data             252:5    0 152.6G  1 lvm  
  │   ├─pve-vm--100--disk--0 252:6    0   128G  0 lvm  
  │   └─pve-vm--101--disk--0 252:7    0     8G  0 lvm  
  └─pve-data_tdata           252:3    0 152.6G  0 lvm  
    └─pve-data-tpool         252:4    0 152.6G  0 lvm  
      ├─pve-data             252:5    0 152.6G  1 lvm  
      ├─pve-vm--100--disk--0 252:6    0   128G  0 lvm  
      └─pve-vm--101--disk--0 252:7    0     8G  0 lvm  
sdb                            8:16   0   3.6T  0 disk 
├─sdb1                         8:17   0   200M  0 part 
└─sdb2                         8:18   0   3.6T  0 part /mnt/expansion_hdd
nvme0n1                      259:0    0   1.8T  0 disk 
├─nvme0n1p1                  259:1    0   1.8T  0 part 
└─nvme0n1p9                  259:2    0     8M  0 part

Hebben jullie tips hoe ik de disks (vooral vm-100-disk-0 want daar zit het probleem) vanaf de host kan benaderen zodat ik daar wat kan opschonen en de containers weer kan laten starten? De fysieke disk heeft volgens mij geen ruimte meer om deze uit te breiden dus dat is geen optie.

Niet gelijk een antwoord op je vraag, maar kijk even of er toevallig snapshots ofzo nog staan die je weg kunt gooien van je LVM pool. Misschien dat je op die manier ruimte kunt maken en dat hij (na eventuele uitbreiding van je disk (LET OP: dit kun je volgens niet ongedaan maken)) weer zou kunnen starten.

[wmn79]

krijn1985 schreef op woensdag 3 juli 2024 @ 16:33:
[...]


Niet gelijk een antwoord op je vraag, maar kijk even of er toevallig snapshots ofzo nog staan die je weg kunt gooien van je LVM pool. Misschien dat je op die manier ruimte kunt maken en dat hij (na eventuele uitbreiding van je disk (LET OP: dit kun je volgens niet ongedaan maken)) weer zou kunnen starten.

Thanks het weggooien van een paar snapshots heeft inderdaad weer voldoende ruimte gegeven om ze weer op te kunnen starten. Nu ga ik even wat troep weggooien.

[lolgast]

krijn1985 schreef op woensdag 3 juli 2024 @ 16:33:
[...]


Niet gelijk een antwoord op je vraag, maar kijk even of er toevallig snapshots ofzo nog staan die je weg kunt gooien van je LVM pool. Misschien dat je op die manier ruimte kunt maken en dat hij (na eventuele uitbreiding van je disk (LET OP: dit kun je volgens niet ongedaan maken)) weer zou kunnen starten.

Echt wel
Stop de LXC
Pas in de .conf file van de LXC de disksize aan
Maak een backup van de LXC
Restore de LXC

[krijn1985]

lolgast schreef op woensdag 3 juli 2024 @ 18:33:
[...]

Echt wel
Stop de LXC
Pas in de .conf file van de LXC de disksize aan
Maak een backup van de LXC
Restore de LXC

Weer wat geleerd. Ik kon het in de GUI volgens mij niet vinden. Je moet natuurlijk hierbij wel opletten dat je disk van je VM niet vol staat anders gaat er waarschijnlijk wat kapot.

[The-Source]

Kan het zijn dat wanneer je een VM maakt met daarbij een 2e 'drive' met 20TB aan ruimte dat het aanmaken van z'n VM lang duurt. >> Ja is het antwoord

code:

 Logical volume "vm-201-disk-0" created.
scsi0: successfully created disk 'local-lvm:vm-201-disk-0,iothread=1,size=32G'
Formatting '/hdds/vm-drives/images/201/vm-201-disk-0.qcow2', fmt=qcow2 cluster_size=65536 extended_l2=off preallocation=metadata compression_type=zlib size=21990232555520 lazy_refcounts=off refcount_bits=16
  Logical volume "vm-201-disk-0" successfully removed.
  WARNING: D-Bus notification failed: Transport endpoint is not connected
TASK ERROR: unable to create VM 201 - unable to create image: received interrupt

Deze task duurt 13 minuten en lijkt dus gefaild, maar in het task overzicht is status nog steeds aan het rond draaien.
Ik laat hem nu wel de nacht aan staan maar mocht het een issue dan weet ik het ook niet zo 1 2 3 waar ik dat moet gaan zoeken

edit: vanochtend ingelogd en heeft 45minuten geduurd.

[ Voor 4% gewijzigd door The-Source op 04-07-2024 08:06 . Reden: update ]

[zeroday]

Iemand een idee hoe je dit zou kunnen oplossen:

ik heb een aantal LXC's en die hebben een mp0 mount point vanuit de host.
dat werkt perfect.

Echter kom ik er vandaag achter dat een host, na wellicht een update, de mount niet meer actief heeft.
hierdoor geeft de LXC een error dat de folder niet meer beschikbaar is (transport error).

Omdat een mount niet echt werkt (entry staat niet in fstab), zit er blijkbaar niets anders op dan een reboot.
want de lxc is meer een client dan dat het zelf wat bepaald.

iemand dit meegemaakt en weet de oplossing?

[lolgast]

@zeroday Nooit meegemaakt, ik heb op een stuk of 7 à 8 LXC ook mountpoints ingesteld en nog geen problemen ondervonden.

Een mountpoint vanuit de config kun je voor zover ik weet alleen resetten door een reboot. Dus wellicht een scriptje maken dat de aanwezigheid van de mp controleert bij boot en zo nee, een reboot doen? Zou wel een check inbouwen voor maximaal 3 reboots oid anders kom je nooit meer in je LXC als er echt iets stuk is

[zeroday]

lolgast schreef op vrijdag 5 juli 2024 @ 22:27:
@zeroday Nooit meegemaakt, ik heb op een stuk of 7 à 8 LXC ook mountpoints ingesteld en nog geen problemen ondervonden.

Een mountpoint vanuit de config kun je voor zover ik weet alleen resetten door een reboot. Dus wellicht een scriptje maken dat de aanwezigheid van de mp controleert bij boot en zo nee, een reboot doen? Zou wel een check inbouwen voor maximaal 3 reboots oid anders kom je nooit meer in je LXC als er echt iets stuk is

Ik ook nog niet eerder, tot ik vandaag een website niet kon bereiken. En zag dat Apache niet meer gestart kon worden.

Ik laat proxmox via cloudflare een certificaat ophalen voor een paar LXC's en die heb ik
dan via dat mount point beschikbaar voor de LXC ..

Dus dat die LXC gereboot moet worden is niet zo erg. Heb maar 2 van die mountpoints.

[Beekforel]

Ik ben zoekende naar de juiste (beste?) configuratie. Ik heb momenteel Proxmox draaien met zo'n 15 LXC virtuele machines. Ik heb aan de Proxmox host een NFS share vanaf mijn NAS gedeeld en deze zet ik door via bind mount naar de lxc machines.

Heb op de nas de boel zover mogelijk open gezet, en zodoende lijkt het allemaal wel ok te werken over het algemeen. Maar niet elke container of applicatie lijkt hetzelfde met permissies om te gaan waardoor ik zo nu en dan tegen problemen met schrijven aanloop.

Wat is nou de beste configuratie voor een setup als deze? Overal dezelfde user aanmaken en met uid mapping's werken? Dit voelt wat bewerkelijk? Kan het eenvoudiger?

[ Voor 3% gewijzigd door Beekforel op 07-07-2024 20:25 ]

[lolgast]

@Beekforel Als je security belangrijk vindt, uid mappings. En ja, dat is inderdaad bewerkelijk. Er is een python script dat de mappings uitpoept als je de uid/gid mappings opgeeft. Als je het eenmaal doorhebt is het zo gefixt. Ik heb het recent ook gedaan voor al mijn *arr/sabnzbd containers. Werkt als een trein met elk zijn eigen username en uid in de LXC’s

Als je dat niet belangrijk vindt maak je privileged containers aan.

[ Voor 22% gewijzigd door lolgast op 07-07-2024 21:28 ]

[Beekforel]

@lolgast dus je maakt in je lxc een user die map je naar een andere user op de host? Ik begrijp de voorbeelden niet goed genoeg. Zie dan vaak uid 1005, is dat willekeurig of heeft dat nog een betekenis? En hoe zorg ik dat mijn applicatie onder de betreffende user draait/data schrijft?

[lolgast]

@Beekforel Correct. In mijn specifieke geval:
Ik heb op mijn proxmox host (die fungeert via een Samba-LXC als mijn NAS) een user ‘media’ aangemaakt, met uid/gid 1001.
In mijn Sonarr LXC heb ik een user ‘sonarr’ aangemaakt met uid/gid 1016 (*16 is het nummer van de LXC). Dus ik map via dat Github script 1016:1016=1001:1001 van de LXC naar de host. sonarr:sonarr=media:media
In mijn Sabnzbd heb ik user ‘sabnzbd’ met uid/gid 1019. Dus voer ik in het script 1019:1019=1001:1001. sabnzbd:sabnzbd=media:media

Op die manier kan sabnzbd iets downloaden en staan de permissions op mijn NAS op user media. Omdat ’media’ op mijn NAS dezelfde permissions heeft als ‘sonarr’ in de LXC van Sonarr kan dat programma de downloads gewoon oppikken, verplaatsen en verder afhandelen.

Hoe je een applicatie onder een bepaalde user draait is per applicatie verschillend. Veelal kun je de service-daemon aanpassen met een specifieke user, maar of de applicatie dat slikt is afwachten. Nog los van de permissions die je dan op de applicatiefolders zult moeten aanpassen. Dat is even pielen en gaat echt wel even gevloek opleveren. Maar onderaan de streep is het vrij standaard Linux gedrag

[Zwelgje]

Zwelgje schreef op maandag 1 juli 2024 @ 19:30:
[...]


goed genoeg voor wat ik wil, heb er net 1 besteld en krijg hem met 3 a 7 werkdagen thuis.

er draait zoals ik aangaf straks proxmox op met 1 OPNsense VM met 4/6gb ram en een aantal containers (nginx, guacamole, unifi controller) Maw die 16gb komt niet vol.

de build-kwaliteit ziet er goed uit, vele malen beter dan de TopTon doos die ik nu heb voor deze config. werkt goed maar ziet er wat shabby uit

heb ernaast nog een paar intel NUC's met 64gb ram, daarop draaien de Windows VM's die wat meer ram en power nodig zijn. die bakjes draaien niet 24x7 en deze wel.

zuinigheid is belangrijker dan de spes

update,

ding is net binnengekomen vandaag. build kwaliteit is echt perfect. premium 'feel' (idem aan intel NUC) supersnel en superzuinig.

BIOS is zéér uitgebreid en biedt veel mogelijkheden tot finetunen.

proxmox net geinstalleerd zonder centje pijn, alle devices herkent en hij zoemt al vrolijk mee in het cluster

so far: zeer tevreden

[Animal]

Ik draai al een tijdje een LXC met Ubuntu(met daarin een tvheadend docker).
Dit heeft altijd gewerkt maar na een (kernel) update bij de host(proxmox) werkt de DVB driver niet meer (anysee)

dmesg | grep dvb

[42828.780454] dvbdev: DVB: registering new adapter (Anysee)
[42828.784543] dvbdev: dvb_create_media_entity: media entity 'dvb-demux' registered.
[42828.805270] usb 1-4: dvb_usb_anysee: Unsupported Anysee version. Please report to <[e-mail]>.

Hier hebben ze het over hetzelfde probleem.
https://bugs.launchpad.net/ubuntu/+source/linux/+bug/2052855

Enig idee hoe dit te fixen?

[Vaevictis_]

Animal schreef op woensdag 10 juli 2024 @ 13:53:
Ik draai al een tijdje een LCX met Ubuntu(met daarin een tvheadend docker).
Dit heeft altijd gewerkt maar na een (kernel) update bij de host(proxmox) werkt de DVB driver niet meer (anysee)

dmesg | grep dvb

[42828.780454] dvbdev: DVB: registering new adapter (Anysee)
[42828.784543] dvbdev: dvb_create_media_entity: media entity 'dvb-demux' registered.
[42828.805270] usb 1-4: dvb_usb_anysee: Unsupported Anysee version. Please report to <[e-mail]>.

Hier hebben ze het over hetzelfde probleem.
https://bugs.launchpad.net/ubuntu/+source/linux/+bug/2052855

Enig idee hoe dit te fixen?

LXC neem ik aan? Dan zit er geen driver meer in de kernel dus downgraden kernel. Geen idee waarom die driver niet meer mee is gecompileerd. Aan de andere kant ben ik altijd van het minimalisme, hoe minder code in de kernel hoe veiliger en sneller die is.

[Animal]

Vaevictis_ schreef op woensdag 10 juli 2024 @ 13:59:
[...]


LXC neem ik aan? Dan zit er geen driver meer in de kernel dus downgraden kernel. Geen idee waarom die driver niet meer mee is gecompileerd. Aan de andere kant ben ik altijd van het minimalisme, hoe minder code in de kernel hoe veiliger en sneller die is.

Kun je me op weg helpen om de kernel te downgraden in proxmox?
Anysee E30 Combo Plus USB DVB-C adapter stopped working on kernel >6.1.38-4
(https://www.spinics.net/lists/linux-media/msg245858.html)

Is het uberhaupt mogelijk? Ik draai nu zelfs op Proxmox 8.2.4

[ Voor 4% gewijzigd door Animal op 10-07-2024 14:08 ]

[John245]

Animal schreef op woensdag 10 juli 2024 @ 14:07:
[...]

Kun je me op weg helpen om de kernel te downgraden in proxmox?
Anysee E30 Combo Plus USB DVB-C adapter stopped working on kernel >6.1.38-4
(https://www.spinics.net/lists/linux-media/msg245858.html)

Is het uberhaupt mogelijk? Ik draai nu zelfs op Proxmox 8.2.4

Vandaag netjes ge-upgrade. Draai nog netjes op 8.2.2.

[Vaevictis_]

Animal schreef op woensdag 10 juli 2024 @ 14:07:
[...]

Kun je me op weg helpen om de kernel te downgraden in proxmox?
Anysee E30 Combo Plus USB DVB-C adapter stopped working on kernel >6.1.38-4
(https://www.spinics.net/lists/linux-media/msg245858.html)

Is het uberhaupt mogelijk? Ik draai nu zelfs op Proxmox 8.2.4

Hiermee zou het moeten lukken, zelf niet geprobeerd.

code:

$ proxmox-boot-tool kernel list
$ proxmox-boot-tool kernel add|remove <kernel-version>
$ proxmox-boot-tool refresh

[Animal]

Vaevictis_ schreef op woensdag 10 juli 2024 @ 14:16:
[...]


Hiermee zou het moeten lukken, zelf niet geprobeerd.

code:

$ proxmox-boot-tool kernel list
$ proxmox-boot-tool kernel add|remove <kernel-version>
$ proxmox-boot-tool refresh

Een downgrade naar pve-kernel-6.1.2-1-pve_6.1.2-1_amd64.deb heeft driver op de proxmox host weer geladen. Bedankt voor de hulp!

[Zwelgje]

rachez schreef op zondag 30 juni 2024 @ 10:09:
[...]

Gaaf ding, alleen jammer van die 16GB mem.
Als hij 2 so-dimm sticks aankon had ik er zeker een gehaald om mijn nuc te vervangen, maar in mijn geval heb ik 64GB memory wel nodig.

om hier op terug te komen. ik heb er vandaag een 32gb module ingezet (DDR4 2666) en die werkt gewoon, hij ziet de volle 32gb.

er zitten 2 slots in, zou me niks verbazen als er ook 'gewoon' 64gb in zou kunnen. ik zou die 16gb die ik nog heb er ook bij kunnen prikken maar met 32gb ben ik nu ook al blij(er)

[tjanssen]

Op mijn nieuwe servertje wil ik 2x een SSD in (software) RAID1 (mirror) met ZFS gaan gebruiken. Kan dit gezeur opleveren met de hardware trim van de schijven zelf?

[John245]

Zwelgje schreef op vrijdag 12 juli 2024 @ 08:51:
[...]


om hier op terug te komen. ik heb er vandaag een 32gb module ingezet (DDR4 2666) en die werkt gewoon, hij ziet de volle 32gb.

er zitten 2 slots in, zou me niks verbazen als er ook 'gewoon' 64gb in zou kunnen. ik zou die 16gb die ik nog heb er ook bij kunnen prikken maar met 32gb ben ik nu ook al blij(er)

Over het algemeen vindt het moederboard het niet leuk als je modules met verschillende grootte er in stop. Mijn moederboard kan 2TB aan, maar voorlopig heb ik genoeg aan 256 GB.

[John245]

tjanssen schreef op vrijdag 12 juli 2024 @ 10:03:
Op mijn nieuwe servertje wil ik 2x een SSD in (software) RAID1 (mirror) met ZFS gaan gebruiken. Kan dit gezeur opleveren met de hardware trim van de schijven zelf?

Waarom geen mirror in ZFS?

[tjanssen]

John245 schreef op vrijdag 12 juli 2024 @ 10:05:
[...]

Waarom geen mirror in ZFS?

Dit schrijf ik ook... Of ik ben niet duidelijk genoeg...

[John245]

tjanssen schreef op vrijdag 12 juli 2024 @ 10:10:
[...]


Dit schrijf ik ook... Of ik ben niet duidelijk genoeg...

Overheen gelezen. Zou geen probleem moeten zijn.

[RobertMe]

tjanssen schreef op vrijdag 12 juli 2024 @ 10:10:
[...]


Dit schrijf ik ook... Of ik ben niet duidelijk genoeg...

Naar mijn idee duidelijk genoeg / is dat het meest voor de hand liggende. Alternatief is eerst een software raid oplossing en over de nieuwe disk die daar uit komt weer ZFS gebruiken, maar dat zou echt niet logisch zijn.

In any case, ik heb al 4 jaar een systeem waarbij de boot disk een ZFS mirror over 2 NVME SSDs is. En dat werkt gewoon prima.

[Feni]

tjanssen schreef op vrijdag 12 juli 2024 @ 10:03:
Op mijn nieuwe servertje wil ik 2x een SSD in (software) RAID1 (mirror) met ZFS gaan gebruiken. Kan dit gezeur opleveren met de hardware trim van de schijven zelf?

Nee, dat maakt voor het filesystem niet uit. Je SSD's zullen TRIM toepassen op blocks die al discarded zijn. SSD's worden vaak ingezet in RAID1/RAID10 etc met ZFS. Let wel ff op dat je in de VM instellingen de juiste controller toepast (virtio scsi single) opties aanvinkt (bv discard, ssd, etc).

[tjanssen]

Feni schreef op vrijdag 12 juli 2024 @ 10:48:
[...]

Nee, dat maakt voor het filesystem niet uit. Je SSD's zullen TRIM toepassen op blocks die al discarded zijn. SSD's worden vaak ingezet in RAID1/RAID10 etc met ZFS. Let wel ff op dat je in de VM instellingen de juiste controller toepast (virtio scsi single) opties aanvinkt (bv discard, ssd, etc).

Thanks voor de tip van de opties. Je bedoelt dan SSD emulation?

[Feni]

tjanssen schreef op vrijdag 12 juli 2024 @ 11:03:
[...]


Thanks voor de tip van de opties. Je bedoelt dan SSD emulation?

Yes, die idd

[rachez]

Zwelgje schreef op vrijdag 12 juli 2024 @ 08:51:
[...]


om hier op terug te komen. ik heb er vandaag een 32gb module ingezet (DDR4 2666) en die werkt gewoon, hij ziet de volle 32gb.

er zitten 2 slots in, zou me niks verbazen als er ook 'gewoon' 64gb in zou kunnen. ik zou die 16gb die ik nog heb er ook bij kunnen prikken maar met 32gb ben ik nu ook al blij(er)

Interessant. Ik ging ervanuit dat hij maar een geheugenslot had vanwege dit plaatje, maar het zijn er dus twee:

Je kan dan best eens gelijk hebben dat hij ook 64GB aankan. Intel nuc's werden eerst ook verkocht als max 32Gb en die draaiden ook prima op 64GB. Zal er eens naar zoeken.

[Zwelgje]

rachez schreef op vrijdag 12 juli 2024 @ 14:09:
[...]


Interessant. Ik ging ervanuit dat hij maar een geheugenslot had vanwege dit plaatje, maar het zijn er dus twee:[Afbeelding]

Je kan dan best eens gelijk hebben dat hij ook 64GB aankan. Intel nuc's werden eerst ook verkocht als max 32Gb en die draaiden ook prima op 64GB. Zal er eens naar zoeken.

hmm in linux geeft ie 2 memory banks aan maar fysiek is er toch maar 1 aangesloten en daar heb ik dus de 32gb dim in. er is wel ruimte onder die dimm maar daar zit dus geen opening. verwarrend want het lijkt wel een slot te zijn maar er zit dus niks (fysiek)

heb geen 64gb module om te testen

[rachez]

@Zwelgje Check, good to know.

[orvintax]

tjanssen schreef op vrijdag 12 juli 2024 @ 10:03:
Op mijn nieuwe servertje wil ik 2x een SSD in (software) RAID1 (mirror) met ZFS gaan gebruiken. Kan dit gezeur opleveren met de hardware trim van de schijven zelf?

Zover ik weet niet, ZFS kan gewoon omgaan met SSDs. Gebruik het zelf al jaren.

[dcm360]

Tegenwoordig gaat dat inderdaad allemaal prima, mijn huidige thuisserver draait ook al weer een jaar of 5 prima vanaf SSD's. Als mijn geheugen me niet in de steek laat heb ik die wel gebouwd zo rond het omslagpunt dat dat de combinatie Proxmox/ZFS/SSD eindelijk eens ging werken. De poging ervoor (dat zou wel rond 2014-ish geweest zijn) mislukte jammerlijk, het schrijfgedrag van Proxmox in combinatie met SSD's zonder TRIM leverde destijds zodanig snel brakke schijven op dat ik de SSD's maar weer had vervangen door wat vlottere HDD's.

[The Chaser]

Weet iemand een eenvoudige manier om de node zelf te back-uppen? (niet de vm's)
Wat ik terugvond is telkens de disk klonen.
Mijn 'server' is een mini pc met enkel 1 disk. Ik ben er heel tevreden van en er steekas een nieuwe ssd in. Maar je weet maar nooit als een upgrade niet lukt of de disk toch faalt.

[The_Admin]

The Chaser schreef op maandag 15 juli 2024 @ 19:57:
Weet iemand een eenvoudige manier om de node zelf te back-uppen? (niet de vm's)
Wat ik terugvond is telkens de disk klonen.
Mijn 'server' is een mini pc met enkel 1 disk. Ik ben er heel tevreden van en er steekas een nieuwe ssd in. Maar je weet maar nooit als een upgrade niet lukt of de disk toch faalt.

PBS met agent :-)

[powerboat]

Laatst toch maar eens weer met LXC gaan spelen, Jellyfin i.c.m. (i)gpu-sharing en NFS. Blijft toch mooi staaltje techniek. Maar ik heb wel wat frustraties met LXC in een unprivileged container. Zaken die normaal wel werken gaan of zijn gewoon stuk in een unprivileged container

Iemand die dezelfde frustraties deelt ?

[Cyphax]

powerboat schreef op woensdag 17 juli 2024 @ 16:14:
Laatst toch maar eens weer met LXC gaan spelen, Jellyfin i.c.m. (i)gpu-sharing en NFS. Blijft toch mooi staaltje techniek. Maar ik heb wel wat frustraties met LXC in een unprivileged container. Zaken die normaal wel werken gaan of zijn gewoon stuk in een unprivileged container

Iemand die dezelfde frustraties deelt ?

Ja met bind mounts en dan uid's mappen... wat een lastig systeem is dat zeg. Ik krijg het meestal wel aan de praat maar vraag me niet hoe.
Da's overigens wel gelijk het enige: het ging op zich prima met smb-mounts die ook van diezelfde machine vandaan kwamen, maar ik had het briljante idee om bind mounts te gaan gebruiken en dat heeft wel wat uurtjes gekost.
En de besparing in opslag en geheugengebruik is wel wat waard. Ik doe dus wel zoveel mogelijk in LXC-containers, waaronder Jellyfin.

[ Voor 7% gewijzigd door Cyphax op 17-07-2024 17:38 ]

[The-Source]

Is er trouwens nog een best practices als je naar BIOS instellingen AMD Ryzen platform zou kijken.
Kan zo 1 2 3 hier nier direct iets over vinden of het komt weer uit 2020 dus grote kans dat het achterhaald is.
Sta op het punt om een oud servertje gedag te gaan zeggen, maar wel goed om even te kijken of de basis van het nieuwe systeem goed staat

Vannacht toevallig ook 1 disk failure op de oude server, RAID 5 array en 2e disk zie ik ook fouten voorbij komen. Data is overigens al veilig op andere disks. Dus nu echt tijd voor afscheid

[ComTech]

Ik heb een LXC container welke een mountpoint heeft naar een NFS share op de proxmox host zelf.
Deze NFS share is naar een Truenas server.
Op de proxmox host zelf heb ik in die NFS share lees/schrijf rechten, maar in de LXC container niet.
Hoe kan ik daar ook lees/schrijf rechten krijgen? Moet ik iets aan de LXC configuratie toevoegen?
Of is de NFS share niet goed geconfigureerd op de Truenas server?

[Cyphax]

ComTech schreef op zaterdag 27 juli 2024 @ 17:42:
Ik heb een LXC container welke een mountpoint heeft naar een NFS share op de proxmox host zelf.
Deze NFS share is naar een Truenas server.
Op de proxmox host zelf heb ik in die NFS share lees/schrijf rechten, maar in de LXC container niet.
Hoe kan ik daar ook lees/schrijf rechten krijgen? Moet ik iets aan de LXC configuratie toevoegen?
Of is de NFS share niet goed geconfigureerd op de Truenas server?

Heb je iets gedaan met userid-mapping? Zo niet, dan is het als het hopelijk alleen een kwestie van uids goedzetten op de bron van de share, en eventueel op je Proxmoxhost.

[lolgast]

@ComTech Lees de eerste 4 posts vanaf hier anders even
Beekforel in "Het grote Proxmox VE topic"

[The-Source]

ComTech schreef op zaterdag 27 juli 2024 @ 17:42:
Ik heb een LXC container welke een mountpoint heeft naar een NFS share op de proxmox host zelf.
Deze NFS share is naar een Truenas server.
Op de proxmox host zelf heb ik in die NFS share lees/schrijf rechten, maar in de LXC container niet.
Hoe kan ik daar ook lees/schrijf rechten krijgen? Moet ik iets aan de LXC configuratie toevoegen?
Of is de NFS share niet goed geconfigureerd op de Truenas server?

Niet het beste advies! Maar heb er gisteren zelf mee geklooid en "opgelost" met privileged optie aan. Anders moet je met de uid en gid aan de slag en dat ging bij mij niet goed ( iets met gebrek aan juiste kennis)

[Zwelgje]

The-Source schreef op zaterdag 27 juli 2024 @ 12:38:
Is er trouwens nog een best practices als je naar BIOS instellingen AMD Ryzen platform zou kijken.
Kan zo 1 2 3 hier nier direct iets over vinden of het komt weer uit 2020 dus grote kans dat het achterhaald is.
Sta op het punt om een oud servertje gedag te gaan zeggen, maar wel goed om even te kijken of de basis van het nieuwe systeem goed staat

Vannacht toevallig ook 1 disk failure op de oude server, RAID 5 array en 2e disk zie ik ook fouten voorbij komen. Data is overigens al veilig op andere disks. Dus nu echt tijd voor afscheid

hangt er vanaf wat je wilt bereiken, wil je max performance of maximale efficiency?

[The-Source]

@Zwelgje efficiëntie ( laag stroom verbruik) weegt bij mij een zwaarder dan performance.
Meeste vm's zijn niet CPU intensief al zijn er wel piek momenten maar eerlijk gezegd is die piek met post processing ipv voor live output dus mag iets langer duren.

[Zwelgje]

The-Source schreef op zondag 28 juli 2024 @ 08:49:
@Zwelgje efficiëntie ( laag stroom verbruik) weegt bij mij een zwaarder dan performance.
Meeste vm's zijn niet CPU intensief al zijn er wel piek momenten maar eerlijk gezegd is die piek met post processing ipv voor live output dus mag iets langer duren.

Ik heb uit dit documentje wat settings kunnen halen (ondanks dat ik ander systeem heb) veel van deze BIOS settings en aanbeveling zijn toch vrij generiek) je moet even naar het stukje 'bios settings' scrollen.

het gaat dan voornamelijk om P en C states waar je de winst gaat halen en het stukje 'proxmox optimalisations'

[lolgast]

Zwelgje schreef op zondag 28 juli 2024 @ 08:54:
[...]


Ik heb uit dit documentje wat settings kunnen halen (ondanks dat ik ander systeem heb) veel van deze BIOS settings en aanbeveling zijn toch vrij generiek) je moet even naar het stukje 'bios settings' scrollen.

het gaat dan voornamelijk om P en C states waar je de winst gaat halen en het stukje 'proxmox optimalisations'

Je bent het document vergeten

[Zwelgje]

lolgast schreef op zondag 28 juli 2024 @ 08:59:
[...]

Je bent het document vergeten

Excuus, zondagochtendopstartissues van mijn eigen OS

https://windgate.net/topt...proxmox-powersave-tuning/

[lolgast]

Zwelgje schreef op zondag 28 juli 2024 @ 09:07:
[...]


Excuus, zondagochtendopstartissues van mijn eigen OS

https://windgate.net/topt...proxmox-powersave-tuning/

Mijn vakantie is morgen voorbij, maar ik kreeg meteen kantoor-vibes. Daar vergeet men ook om de haverklap bijlages toe te voegen aan de mails

offtopic:
Daarom maak ik altijd éérst de mail en vul ik daarna de ontvangers pas in

[ThinkPad]

Ik had last van een vage bug: heb SNMPD draaien om m'n Proxmox host via SNMP te kunnen monitoren in PRTG. Dit stopte met werken (timeouts op SNMP sensoren) en een paar uur later/volgende dag werkte het weer.

Bleek te liggen aan dat m'n NAS (die ik via NFS gemount heb) niet bereikbaar was (gaat 's nachts uit ) en dat SNMPD dan bleef hangen in een timeout.

De regel

skipNFSInHostResources true

toevoegen in /etc/snmp/snmpd.conf lijkt vooralsnog de oplossing

Schijnt al een behoorlijk oude bug te zijn, als je zoekt op die parameter.

Nu nog even verder knutselen zodat ik ook de disk SMART status en CPU temperaturen e.d. in PRTG krijg.
Zal m'n post nog wel even aanvullen tegen de tijd dat ik dat werkend heb.

[ Voor 13% gewijzigd door ThinkPad op 01-08-2024 08:09 ]

[ThinkPad]

Nog een tip voor als je je stoort aan die hardcoded poort 8006 van de webinterface: stel een NAT-rule in op je router die poort 443 ombuigt naar 8006. Tip van een collega, werkt idd prima

LET OP: Doe dit alleen als je de source kunt beperken tot je interne netwerk. Bij de meeste consumentenrouters is een NAT-rule vaak gelijk aan een port forward, waarmee je dus je Proxmox management interface aan internet hangt Ik gebruik OPNsense en kan daarmee kiezen voor welke netwerken de regel van toepassing is.

[ Voor 46% gewijzigd door ThinkPad op 05-08-2024 15:03 ]

[pc_freak1]

dat is een goede, ik draai zelf een cloudflare tunnel, dat werkt ook prima

[The_Admin]

ThinkPad schreef op maandag 5 augustus 2024 @ 14:23:
Nog een tip voor als je je stoort aan die hardcoded poort 8006 van de webinterface: stel een NAT-rule in op je router die poort 443 ombuigt naar 8006. Tip van een collega, werkt idd prima

Ik zou daar een reverse proxy voor gebruiken, niet gaan kutten met NAT rules op je router en per ongeluk 443 openen voor de halve wereld en daarmee automatisch uitkomen op je Proxmox management interface. Één niet gepatcht lekje in die webinterface en je hele netwerk is zo'n beetje gecompromitteerd.

[ThinkPad]

Ik gebruik OPNsense en daar kan ik gewoon het source netwerk opgeven, die staat dan ook alleen op 'LAN' en zéker niet op 'WAN' nee Maar bedankt voor het meedenken, heb m'n post wat verduidelijkt.

[ Voor 19% gewijzigd door ThinkPad op 05-08-2024 15:02 ]

[powerboat]

ThinkPad schreef op maandag 5 augustus 2024 @ 14:23:
Nog een tip voor als je je stoort aan die hardcoded poort 8006 van de webinterface: stel een NAT-rule in op je router die poort 443 ombuigt naar 8006. Tip van een collega, werkt idd prima

LET OP: Doe dit alleen als je de source kunt beperken tot je interne netwerk. Bij de meeste consumentenrouters is een NAT-rule vaak gelijk aan een port forward, waarmee je dus je Proxmox management interface aan internet hangt Ik gebruik OPNsense en kan daarmee kiezen voor welke netwerken de regel van toepassing is.

Ik zou een hypervisor sowieso niet rechtstreeks aan het internet hangen en alleen beschikbaar maken via een VPN en d.m.v. een reverse proxy en DNS een (interne) domeinnaam eraan koppelen

[zeroday]

The_Admin schreef op maandag 5 augustus 2024 @ 14:56:
[...]


Ik zou daar een reverse proxy voor gebruiken, niet gaan kutten met NAT rules op je router en per ongeluk 443 openen voor de halve wereld en daarmee automatisch uitkomen op je Proxmox management interface. Één niet gepatcht lekje in die webinterface en je hele netwerk is zo'n beetje gecompromitteerd.

ik hoef alleen maar proxmox in mijn browser te klikken of de URL wordt door mijn browser al ingevuld
is eenmalig een keer weer weten op welke poort het zit .. en dan is het voor PBS weer net wat anders ..
dus och .. zoveel moeite neem ik niet .. ;-)

[Zwelgje]

powerboat schreef op maandag 5 augustus 2024 @ 15:36:
[...]


Ik zou een hypervisor sowieso niet rechtstreeks aan het internet hangen en alleen beschikbaar maken via een VPN en d.m.v. een reverse proxy en DNS een (interne) domeinnaam eraan koppelen

doet hij ook niet, je moet alleen oppassen dat je het niet per ongeluk doet op die manier

[powerboat]

Zwelgje schreef op maandag 5 augustus 2024 @ 19:36:
[...]


doet hij ook niet, je moet alleen oppassen dat je het niet per ongeluk doet op die manier

Skoezie je hebt gelijk, niet goed gelezen

[The-Source]

powerboat schreef op maandag 5 augustus 2024 @ 15:36:
[...]


Ik zou een hypervisor sowieso niet rechtstreeks aan het internet hangen en alleen beschikbaar maken via een VPN en d.m.v. een reverse proxy en DNS een (interne) domeinnaam eraan koppelen

Jep zo heb ik het ook staan. nginx met wildcard certificaat. Lokale DNS record(pihole) aangemaakt met fqdn > IP nginx.
NGINX host fdqn > ip proxmox poort 8006.
Websockets aangezet en het werkt als een zonnetje.
Zo ook voor elke andere webinterface die je hebt draaien (portainer, homeassistant, node-red, pihole zelf etc etc)

[WheeleE]

Sinds een paar maanden ben ik aan het knutselen met een Proxmox-omgeving op een Intel NUC. Het hoofddoel is om daar zoveel mogelijk mijn Docker-containers op te consolideren, aangevuld met 1 of 2 knutselomgevingen en eventueel een VM voor het een of ander.

In eerste instantie had ik een ubuntu lcx-container voor Docker, maar dat bleek niet lekker te werken met shares mounten naar mijn NAS. Nu heb ik een Ubuntu-VM waarop dat wel lukt. Er draait docker op met in totaal 15 containers.

So far so good, maar...ik worstel met de resources. De VM heeft 8Gb tot z'n beschikking waarvan de qBittorrent-container bijna 7Gb inpikt. Ik heb dat niet kunnen indammen maar twijfel nu wel of ik de boel niet moet splisten. Maar in hoeverre? Meerdere VM's maken (vanwege de shares) klinkt als onnodige overhead.

Zijn er tips, best practices voor dit soort situaties?

[lolgast]

@WheeleE Ik zou je persoonlijk willen aanbevelen om een LXC te gebruiken waar mogelijk. Omdat je nog 'aan het stoeien' bent zou je kunnen beginnen met Proxmox Helper scripts. Er is er zelfs 1 kant-en-klaar voor qBittorrent. Met gebruik van LXC maak je veel meer gebruik van de kracht van Proxmox.

7GB geheugen voor een simpele Docker container klopt niet overigens, dan zit er iets goed mis in die container

[Airw0lf]

@WheeleE
Ik heb de afgelopen jaren soms wat vage problemen gehad met Ubuntu in een LXC container.
Die "spontaan" verdwenen met de inzet van Debian => zelfde versie als Proxmox.

[ Voor 73% gewijzigd door Airw0lf op 08-08-2024 12:16 ]

[WheeleE]

Dat zijn goede tips, thanks
M'n NUC is ruim bemeten dus ik ga eens experimenterne met een debian-LXC container.

[RobertMe]

WheeleE schreef op donderdag 8 augustus 2024 @ 12:05:
So far so good, maar...ik worstel met de resources. De VM heeft 8Gb tot z'n beschikking waarvan de qBittorrent-container bijna 7Gb inpikt. Ik heb dat niet kunnen indammen

En @lolgast is dat niet gewoon qBitorrent die zoveel mogelijk RAM probeert te gebruiken als cache? Ongebruikt RAM heb je niks aan. Als het wel gebruikt wordt kan dat de performance helpen (immers hoeft het niet steeds van de disk gelezen te worden). Hetzelfde als dat databases bv zoveel RAM gebruiken als mogelijk is. En Linux zelf doet het ook, met het file cache. Alleen telt Linux' file cache niet mee onder RAM gebruik. Maar als je bv free -m doet zie je used, available en free. En tussen free en available kan dan een verschil zitten van GBs. Omdat RAM dat gebruikt wordt door de kernel om bestanden in te bewaren wel "available" is maar dus niet "free". En op het moment dat je meer applicaties gaat draaien, en de concrete vraag naar RAM dus toeneemt, zal er steeds minder in het file cache worden bijgehouden omdat er geen plek meer voor is, en "kruipen" het available en free RAM dus ook naar elkaar toe.

En gezien qBitorrent ook iets met bestanden doet kan ik mij best indenken dat die ook zoveel mogelijk beschikbaar probeert te houden in het RAM. Alleen ziet de kernel dat dus wel als daadwerkelijk "geclaimd" RAM-gebruik. Maar zal als het goed is qBittorent dit wel weer automatisch afbouwen als het OS meer RAM nodig heeft (om dus daadwerkelijk meer applicaties te draaien).

En/maar met LXC speelt dit probleem weer minder. Omdat je bij LXC geen deel van het RAM reserveert voor de container en niet perse een maximum vastlegt. LXC lift mee op de host kernel en heeft dus directe toegang tot alle beschikbare RAM. Je krijgt dus geen kunstgrepen zoals bij VMs dat je bv 32GB RAM hebt en dan 8GB toekent aan de VM en later meer nodig hebt en dan de VM instellingen moet aanpassen en mogelijk rebooten etc alsof je fysiek RAM hebt bijgeprikt.

[lolgast]

@RobertMe Dat zou natuurlijk kunnen, ik heb geen ervaring met qBittorrent. Een snelle zoekmachine-search linkt me naar meerdere memory leak topics over de span van 3 verschillende jaren, tot in 2024. Ik gooi het dus voor het gemak even op slechte software

[WheeleE]

_{qBittorrent pakt inderdaad blijkbaar al het geheugen dat ie kan. Niet echt handig}

Er gaat een wereld voor me open met die Proxmox Helper Scripts. Voor bijna alles is wel een LXC te installeren.
Ik twijfel nu of ik mijn dockercontainers waar mogelijk moet omzetten naar een LXC, of dat ik een paar Docker LXC's zal gebruiken. Dat laatste zou qua kennis en overzicht wel mijn voorkeur hebben maar misschien zijn er andere voordelen van dedicated LXC's?

[HaTe]

WheeleE schreef op vrijdag 9 augustus 2024 @ 14:27:
_{qBittorrent pakt inderdaad blijkbaar al het geheugen dat ie kan. Niet echt handig}

Er gaat een wereld voor me open met die Proxmox Helper Scripts. Voor bijna alles is wel een LXC te installeren.
Ik twijfel nu of ik mijn dockercontainers waar mogelijk moet omzetten naar een LXC, of dat ik een paar Docker LXC's zal gebruiken. Dat laatste zou qua kennis en overzicht wel mijn voorkeur hebben maar misschien zijn er andere voordelen van dedicated LXC's?

Ik heb ze sinds kort ook ontdekt en heb al heel wat overgezet. De grootste klapper heb ik gemaakt met Frigate die ik eerst in HassOS (docker) VM had draaien met 1 camera zonder hardware decoding:
Hass OS - Frigate:

Coral Inference Speed: 200 ms
CPU usage: 25% on 4 cores (ging omlaag van 40% in Hass OS VM naar 15% CPU-gebruik)

Proxmox LXC - Frigate:

Coral Inference Speed: 13ms
CPU usage: 25% on 1 core

Totale CPU-gebruik in Proxmox ging van 20-25% gemiddeld naar 15% gemiddeld.

Verder is het ook zo veel makkelijker onderhouden, aangezien alles op dezelfde manier te updaten is.

[Daiov97]

Ik heb hier een tijdje succesvol HAOS draaien in een VM, aantal LXC containers (waaronder docker). M'n frigate begon er echter mee op te houden, als ik op de GUI probeer in te loggen zie ik een Frigate balk met een draaiend rondje...

Al meerdere reboots gedaan, hele proxmox server gereboot, en nu heb ik frigate niet werkend maar wil HAOS ook niet meer starten.

Krijg in eerste instantie

code:

/usr/bin/kvm: error while loading shared libraries: /lib/x86_64-linux-gnu/libgmp.so.10: unexpected PLT reloc type 0x8948d001
command '/usr/bin/kvm --version' failed: exit code 127
TASK ERROR: Detected old QEMU binary ('unknown', at least 3.0 is required)

Probeer ik 'm helemaal een update te geven, lukt dat ook niet:

code:

/usr/lib/apt/methods/http: error while loading shared libraries: /lib/x86_64-linux-gnu/libgmp.so.10: unexpected PLT reloc type 0x8948d001
/usr/lib/apt/methods/http: error while loading shared libraries: /lib/x86_64-linux-gnu/libgmp.so.10: unexpected PLT reloc type 0x8948d001
/usr/lib/apt/methods/http: error while loading shared libraries: /lib/x86_64-linux-gnu/libgmp.so.10: unexpected PLT reloc type 0x8948d001
/usr/lib/apt/methods/http: error while loading shared libraries: /lib/x86_64-linux-gnu/libgmp.so.10: unexpected PLT reloc type 0x8948d001
Reading package lists... Done
E: Method http has died unexpectedly!
E: Sub-process http returned an error code (127)
E: Method /usr/lib/apt/methods/http did not start correctly
E: Method http has died unexpectedly!
E: Sub-process http returned an error code (127)
E: Method /usr/lib/apt/methods/http did not start correctly
E: Method http has died unexpectedly!
E: Sub-process http returned an error code (127)
E: Method /usr/lib/apt/methods/http did not start correctly
E: Method http has died unexpectedly!
E: Sub-process http returned an error code (127)
E: Method /usr/lib/apt/methods/http did not start correctly
E: Failed to fetch http://deb.debian.org/debian/dists/bookworm/InRelease  
E: Failed to fetch http://deb.debian.org/debian/dists/bookworm-updates/InRelease  
E: Failed to fetch http://security.debian.org/debian-security/dists/bookworm-security/InRelease  
E: Failed to fetch http://download.proxmox.com/debian/pve/dists/bookworm/InRelease  
E: Some index files failed to download. They have been ignored, or old ones used instead.

Halve internet al afgezocht maar ben er nu aardig klaar mee. Iemand een idee?

[dcm360]

Mijn eerste ingeving (nouja, na wat Googelen) zou zijn dat libgmp beschadigd is, en het gevolg heeft dat nauwelijks nog wat werkt omdat veel andere tools er van afhankelijk zijn. Dit bestand ergens elders vandaan plukken (ik zou de officiële .deb pakken) en zelf overschrijven zou dat kunnen fixen - als dat het probleem is. (let er dan wel op dat het gaat om libgmp.so.10.4.1, libgmp.so.10 is geen bestand maar een link naar de eerdergenoemde)

[WheeleE]

De eerste hobbel bij gebruik van lxc-containers (debian) via helper-scripts: cifs-mounts blijven een 'permission denied' error geven. Dezelfde die ik al eerder had in gewone blanco ubuntu-containers, en waarom ik naar de VM was overgestapt.

Ik weet zeker dat de credentials en het mountcommando kloppen. In de VM werken ze namelijk prima.
Van de zoekresultaten online duizelt het me inmiddels.

Misschien is een hybride omgeving het handigste. Alles zonder shares in een lxc container, de rest in een vm.

[powerboat]

WheeleE schreef op maandag 12 augustus 2024 @ 21:15:
De eerste hobbel bij gebruik van lxc-containers (debian) via helper-scripts: cifs-mounts blijven een 'permission denied' error geven. Dezelfde die ik al eerder had in gewone blanco ubuntu-containers, en waarom ik naar de VM was overgestapt.

Ik weet zeker dat de credentials en het mountcommando kloppen. In de VM werken ze namelijk prima.
Van de zoekresultaten online duizelt het me inmiddels.

Misschien is een hybride omgeving het handigste. Alles zonder shares in een lxc container, de rest in een vm.

Unpriviliged container? Volgens mij moet je dat ook via een omweg behandelen.

1. Mounten aan je hypervisor.
2. Binden vanuit je hypervisor aan je container.

Weet het niet zeker maar volgens mij moet het op die manier vanwege security redenen.

Andere mindere veilige optie is om je container privileged te maken.

[WheeleE]

Oh...er begint een kwartje te vallen! Ik probeerde direct vanuit de container te mounten.
Maar dat zou dan alleen kunnen door de container privileged te maken, en dat is minder veilig.

Dus beter eerst de share mounten op de proxmox-host (in de gui? of via de shell?) en dan die share toekennen aan de container. Leuk uitzoekklusje voor de komende dagen