Het grote Proxmox VE topic

[krijn1985]

joecks schreef op woensdag 7 juli 2021 @ 15:42:
@A1AD Dat lijk mij wel verstandig. ik heb zojuist even een nieuw container aangemaakt op basis van Debian turnkey core 16.1.1 en daarop Docker geïnstalleerd , gelijk al foutmelding dat deze niet gestart kon worden. Misschien dat het op een andere manier wel mogelijk is maar dat weet ik niet.

Probeer eens een LXC container met debian bullseye (als die er nog niet is zul je een buster container moeten upgraden naar bullseye). Ik gok dat door veranderingen/toevoegingen van cgroups v2 een buster LXC er nu niet goed mee over weg kan. Ik heb namelijk een tijdje geleden ook problemen met bullseye LXC in proxmox 6.3 en daarin werkte met zelfde instelling etc docker ook niet. Het leek dat het probleem kwam door cgroups v2 dingen die de bullseye container verwachte. Ik heb dit toen niet kunnen oplossen en gokte dat het kwam door een verouderde kernel en/of oudere LXC.

Ik heb zelf nog geen tijd om over te gaan naar 7.0 om dit te testen.

[joecks]

krijn1985 schreef op woensdag 7 juli 2021 @ 16:10:
[...]


Probeer eens een LXC container met debian bullseye (als die er nog niet is zul je een buster container moeten upgraden naar bullseye). Ik gok dat door veranderingen/toevoegingen van cgroups v2 een buster LXC er nu niet goed mee over weg kan. Ik heb namelijk een tijdje geleden ook problemen met bullseye LXC in proxmox 6.3 en daarin werkte met zelfde instelling etc docker ook niet. Het leek dat het probleem kwam door cgroups v2 dingen die de bullseye container verwachte. Ik heb dit toen niet kunnen oplossen en gokte dat het kwam door een verouderde kernel en/of oudere LXC.

Ik heb zelf nog geen tijd om over te gaan naar 7.0 om dit te testen.

Wat vaag allemaal , ik heb dus handmatig een upgrade gedaan naar bullseye , daarna starte mijn docker wel zonder fouten alleen waren alleen al mijn docker containers verdwenen. Vervolgens opnieuw de docker containers aangemaakt en in portainer verschenen ze daarna ook weer met de originele aanmaakdatum en config.

Zal morgen even goed kijken of alles weer werkt zoals voorheen, bedankt voor het opweg helpen.

[RobertMe]

krijn1985 schreef op woensdag 7 juli 2021 @ 16:10:
[...]


Probeer eens een LXC container met debian bullseye (als die er nog niet is zul je een buster container moeten upgraden naar bullseye). Ik gok dat door veranderingen/toevoegingen van cgroups v2 een buster LXC er nu niet goed mee over weg kan. Ik heb namelijk een tijdje geleden ook problemen met bullseye LXC in proxmox 6.3 en daarin werkte met zelfde instelling etc docker ook niet. Het leek dat het probleem kwam door cgroups v2 dingen die de bullseye container verwachte. Ik heb dit toen niet kunnen oplossen en gokte dat het kwam door een verouderde kernel en/of oudere LXC.

Ik heb zelf nog geen tijd om over te gaan naar 7.0 om dit te testen.

Volgens mij moeten de cgroups echt identiek zijn. Ik heb toentertijd Alpine geprobeerd te draaien in LXC met dan Docker en die faalde ook op afwijkende / voor Alpine / Docker niet bestaande cgroups.

Edit:
Overigens sluit ook ik dan aan in het rijtje v.w.b. "ik wacht wel dat iemand weet hoe het werkende te krijgen / houden". Maar vermoed inderdaad ook dat Bulseye in LXC gewoon zal werken.

[ Voor 9% gewijzigd door RobertMe op 07-07-2021 16:51 ]

[smesjz]

smesjz schreef op donderdag 8 juli 2021 @ 05:45:
Hier is uiteindelijk het probleem opgelost door lxc.cgroup2.devices.allow te gebruiken.
Dat hadden ze ook wel bij pve6to7 script mogen geven als warning want het sloopt uiteindelijk je containers.

pve6to7 --full klaagt ook dat je niet lxc.cgroup hebt ipv lxc.cgroup2..

Ik zag dit vandag bij de release notes van de updates van pve-manager:

code:

pve-manager (7.0-9) bullseye; urgency=medium

  * pve6to7: sync new checks and adaptions from stable-6 branch for consistency

En draaien van pve6to7 geeft nu wel een warning op lxc.cgroup

code:

INFO: Checking container configs for deprecated lxc.cgroup entries
WARN: The following CTs have 'lxc.cgroup' keys configured, which will be ignored in the new default unified cgroupv2:
    CT 107
    Often it can be enough to change to the new 'lxc.cgroup2' prefix after the upgrade to Proxmox VE 7.x

Als ik paar dagen had gewacht met upgraden had ik al die problemen dus niet gehad omdat het netjes wordt vermeld wat je moet doen. Jammer alleen dat het niet vanaf dag 1 er in zit.

[orvintax]

smesjz schreef op vrijdag 9 juli 2021 @ 20:26:
[...]


Ik zag dit vandag bij de release notes van de updates van pve-manager:

code:

pve-manager (7.0-9) bullseye; urgency=medium

  * pve6to7: sync new checks and adaptions from stable-6 branch for consistency

En draaien van pve6to7 geeft nu wel een warning op lxc.cgroup

code:

INFO: Checking container configs for deprecated lxc.cgroup entries
WARN: The following CTs have 'lxc.cgroup' keys configured, which will be ignored in the new default unified cgroupv2:
    CT 107
    Often it can be enough to change to the new 'lxc.cgroup2' prefix after the upgrade to Proxmox VE 7.x

Als ik paar dagen had gewacht met upgraden had ik al die problemen dus niet gehad omdat het netjes wordt vermeld wat je moet doen. Jammer alleen dat het niet vanaf dag 1 er in zit.

Tja dat kun je verwachten als je meteen naar een nieuwe versie gaat updaten

[krijn1985]

MakhouT schreef op woensdag 26 april 2023 @ 00:56:
Nog er wat mee zitten spelen en nu stoot ik op docker fouten op. Heeft dit met proxmox te maken of is het puur docker issue?

root@Plex:~# docker run hello-world
docker: Error response from daemon: OCI runtime create failed: container_linux.go:367: starting container process caused: process_linux.go:495: container init caused: process_linux.go:458: setting cgroup config for procHooks process caused: can't load program: operation not permitted: unknown.
ERRO[0000] error waiting for container: context canceled

Ben er geen expert in maar leest als docker/proxmox combi probleem. Welke LXC heb je gepakt?
Ik heb ook wel eens problemen gehad om docker in LXC te draaien omdat ik de LXC geupdatete had naar bullseye terwijl proxmox nog op buster zat (volgens mij). Is je proxmox installatie ook up to date?

[RobertMe]

stormfly schreef op dinsdag 2 mei 2023 @ 13:24:
@RobertMe
and others. ik heb nu mijn Docker containers naar een LXC container met Ubuntu verplaatst.

Eigenlijk veel simpler dan ik had gedacht. Heb jij nog specifiek tips of guides die je hebt gevolgd?

Je merkt in de apt update scroll snelheid dat wel winst hebt door het verwijderen van de VM laag.

Goede tip dank!

Te late tip, maar ik zou wel Debian gebruiken, en dan ook dezelfde versie als waar Proxmox op gebaseerd is. Met Buster => Bullseye / Proxmox 6 => 7 was er een soecifiek upgrade path waarbij je eerst de een en daarna de ander moest updaten en anders werkte het niet meer. Door Ubuntu te gebruiken vraag je naar mijm idee dus bijna om problemen doordat je in LXC een een OS hebt met een compleet andere release cyclus etc.
Reden dat het toen niet werkte had IIRC te maken met cgroups. Binnen de LXC werd (door Docker) een poging gedaan om cgroups te gebruiken die niet bekend waren binnen de kernel/LXC. En dat is ook de reden waarom bv Alpine als LXC helemaal niet werkt om Docker te draaien. Omdat Alpine echt altijd andere cgroups heeft.

[stormfly]

RobertMe schreef op dinsdag 2 mei 2023 @ 14:07:
[...]

Te late tip, maar ik zou wel Debian gebruiken, en dan ook dezelfde versie als waar Proxmox op gebaseerd is. Met Buster => Bullseye / Proxmox 6 => 7 was er een soecifiek upgrade path waarbij je eerst de een en daarna de ander moest updaten en anders werkte het niet meer. Door Ubuntu te gebruiken vraag je naar mijm idee dus bijna om problemen doordat je in LXC een een OS hebt met een compleet andere release cyclus etc.
Reden dat het toen niet werkte had IIRC te maken met cgroups. Binnen de LXC werd (door Docker) een poging gedaan om cgroups te gebruiken die niet bekend waren binnen de kernel/LXC. En dat is ook de reden waarom bv Alpine als LXC helemaal niet werkt om Docker te draaien. Omdat Alpine echt altijd andere cgroups heeft.

Dat is wel een hele goede tip moet ik zeggen. Dan laat je het nog beter op elkaar aansluiten.

Binnenkort even ombouwen. Het viel mij alles mee hoe snel je met SCP zo’n docker-compose omgeving weer live hebt. Met behoud van data.

Bij unpriv container zet jij dan ja of nee?

[ Voor 6% gewijzigd door stormfly op 02-05-2023 14:14 ]