Het grote Proxmox VE topic

[Wachten...]

stormfly schreef op vrijdag 20 oktober 2023 @ 10:33:
[...]


Als die automations op een een "domme" manier geschreven zijn, bv dat ze elke minuut naar de tijd kijken voor een check. Dan vreten ze CPU, slim programmeren van automations -> lager energie verbruik.

Dat begrijp ik, maar dat is hier niet het geval. Het zijn voornamelijk automations aan de hand van bewegingssensoren. Daarnaast heb ik dan nog wat andere kleine automations die om bepaalde tijden activeren, thats it.

@Dutchess_Nicole
Volgens mij zie ik hier wat je bedoelt met de host pc en de CPU even zoeken op Change CPU Model to Host Ik heb namelijk de standaard installatie gedaan, maar zover ik het begrijp kun je met deze setting ervoor zorgen dat hij de CPU settings van de host overneemt, als ik het goed begrijp tenminste. Ik ga dus even een nieuwe handmatige installatie doen, en zien of dit wat helpt.


Overigens werkt bij mij het volgende commando niet om het permanent te maken.

code:

@reboot echo "powersave" | tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor

[Dutchess_Nicole]

Staar je ook niet dood op eventuele power spikes. Ze zullen over het algemeen kort duren en de hoeveelheid euro's aan stroom die het je in een jaar extra kost kun je waarschijnlijk op 1 hand tellen.

Daarentegen als je het te strak instelt dan loop je wel mogelijk performance mis als je het wel een keertje nodig hebt.

[ocaj]

Vandaar ook dat ik hem op "ondemand" heb staan.

(Maar goed, er draaien bij mij ook al 24/7 3 HDDs van 12TB in min proxmox-server, dus ik accepteer al een ander basisverbruik....)

[Wachten...]

Dutchess_Nicole schreef op vrijdag 20 oktober 2023 @ 10:49:
Staar je ook niet dood op eventuele power spikes. Ze zullen over het algemeen kort duren en de hoeveelheid euro's aan stroom die het je in een jaar extra kost kun je waarschijnlijk op 1 hand tellen.

Daarentegen als je het te strak instelt dan loop je wel mogelijk performance mis als je het wel een keertje nodig hebt.

Ik snap wat je bedoelt, echter herken in dit soort spikes niet in andere systemen die ik draai/gedraaid heb.
Van alle systemen zit er hooguit een wattage verschil van circa 4 Watt. Hier zit een verschil van circa 14 a 16 Watt. En mocht dat nou 1x per minuut gebeuren, dan heb ik daar al minder moeite mee, maar zoals gezegd doet het systeem momenteel helemaal niks, en heb ik om de circa 15 seconden een spike naar de 18 Watt.

[commentator]

Wachten... schreef op vrijdag 20 oktober 2023 @ 10:32:
[...]


Maar ik draai dus al amper wat. Ik heb net mijn andere containers uitgezet en draai nu enkel Home assistant in een VM, meer niet, en mijn Home Assistant stelt echt niks voor. Ik heb Deconz draaien en wat klein integraties en circa 50 automations. Het stelt dus echt niet veel voor.

Ik vond overigens nog deze tutorial, waar ook wordt gesproken over microcode. Is dit iets wat ik nog kan doen? En zijn er uberhaupt dingen qua updates e.d. die ik uit kan voeren zoals drivers etc. Of wordt dit automatisch al goed opgepakt door de Proxmox updates?

heb je voor de test de HA vm al eens uitgezet en gekeken wat dan het stroomverbruik doet?

[John245]

Wachten... schreef op vrijdag 20 oktober 2023 @ 11:02:
[...]


Ik snap wat je bedoelt, echter herken in dit soort spikes niet in andere systemen die ik draai/gedraaid heb.
Van alle systemen zit er hooguit een wattage verschil van circa 4 Watt. Hier zit een verschil van circa 14 a 16 Watt. En mocht dat nou 1x per minuut gebeuren, dan heb ik daar al minder moeite mee, maar zoals gezegd doet het systeem momenteel helemaal niks, en heb ik om de circa 15 seconden een spike naar de 18 Watt.

Hier:

Minimum 154 W
Maximum 167 W
Gemiddeld 158 W

[Wachten...]

John245 schreef op vrijdag 20 oktober 2023 @ 11:06:
[...]

Hier:

Minimum 154 W
Maximum 167 W
Gemiddeld 158 W

Ja zoals gezegd heb jij denk ik heel wat draaien. Ik draai hier momenteel enkel een hele simpele HA.
Als ik nou een aantal VM`s heb draaien en wat containers, dan snap ik dat er af en toe spikes zijn tot misschien wel 20 Watt +. (echter dan ook niet zo vaak als dat het hier nu gebeurd)

Ik vind de spikes dus niet perse gek, maar wel voor een systeem wat niks doet.

@commentator Ik ben even aan het zoeken naar een andere meter, want ik meet mijn systemen in Home Assistant. ik kan deze dus niet uitzetten, want dan krijg ik geen metingen meer door

[ Voor 4% gewijzigd door Wachten... op 20-10-2023 11:16 ]

[commentator]

Wachten... schreef op vrijdag 20 oktober 2023 @ 11:15:
[...]

@commentator Ik ben even aan het zoeken naar een andere meter, want ik meet mijn systemen in Home Assistant. ik kan deze dus niet uitzetten, want dan krijg ik geen metingen meer door

Andere optie: even op een ander systeem proxmox zetten, beide in cluster zetten en dan de vm migreren naar het andere systeem

[Wachten...]

commentator schreef op vrijdag 20 oktober 2023 @ 11:18:
[...]


Andere optie: even op een ander systeem proxmox zetten, beide in cluster zetten en dan de vm migreren naar het andere systeem

Ik ben er nog niet heel erg in thuis allemaal. Dus moet dan even uitzoeken of ik het op mijn windows laptop kan draaien o.i.d.

Ik kan wel even kijken of ik op een andere manier HA kan draaien en het dan testen.
Of anders moet ik dus even een normale stroom meter halen. Dan heb ik dat ook maar in huis.

[dcm360]

Dutchess_Nicole schreef op vrijdag 20 oktober 2023 @ 09:55:
[...]


VM's hebben hun eigen setting en die zullen dus aan de host doorgeven dat ze power willen. Hoe die interactie verloopt tussen een forced slow en forced performance setting kan ik niet vertellen. Ik weet niet welke prioriteit krijgt. Ik vermoed dat een guest OS prioriteit zou krijgen.

VM's hebben geen echte hardware die stroom verbruikt, en daarmee is het onzinnig om hardware powersaving-opties door te voeren op VM's. Alleen op de host de hardware powersaving goedzetten voldoet, en op de guests gaat het verder vooral om software-tuning.

[Zwelgje]

dcm360 schreef op vrijdag 20 oktober 2023 @ 14:04:
[...]

VM's hebben geen echte hardware die stroom verbruikt, en daarmee is het onzinnig om hardware powersaving-opties door te voeren op VM's. Alleen op de host de hardware powersaving goedzetten voldoet, en op de guests gaat het verder vooral om software-tuning.

dat is niet helemaal waar, ik doe veel Citrix installaties en troubleshooting en als een Windows VM dan op niet op 'maximum performance' staat (control panel, energiebeheer) dan presteert hij beduidend minder.

[dcm360]

Zwelgje schreef op vrijdag 20 oktober 2023 @ 14:10:
[...]


dat is niet helemaal waar, ik doe veel Citrix installaties en troubleshooting en als een Windows VM dan op niet op 'maximum performance' staat (control panel, energiebeheer) dan presteert hij beduidend minder.

Maar gaat dat dan daadwerkelijk om hardwarefeatures die anders gebruikt worden, of zijn het kernelinstellingen die je verandert? Ik zet in op de tweede, die dropdown past ruim meer aan dan alleen de omgang met de hardware.

[Zwelgje]

dcm360 schreef op vrijdag 20 oktober 2023 @ 15:10:
[...]

Maar gaat dat dan daadwerkelijk om hardwarefeatures die anders gebruikt worden, of zijn het kernelinstellingen die je verandert? Ik zet in op de tweede, die dropdown past ruim meer aan dan alleen de omgang met de hardware.

Hardware=CPU energiebeheer. de rest is virtueel en doet ie niks mee

[dcm360]

Zwelgje schreef op vrijdag 20 oktober 2023 @ 15:25:
[...]


Hardware=CPU energiebeheer. de rest is virtueel en doet ie niks mee

Maar de CPU is net zo goed virtueel als de rest van de hardware... Tenzij je echte cores aan het uitdelen bent aan de VM's, maar dat is zover ik weet niet iets wat KVM kan?

[nero355]

Airw0lf schreef op donderdag 19 oktober 2023 @ 23:29:
Weet dat een "ongebruikte" videokaart zo een 10-15 Watt slurpt.
Dus van een Proxmox servertje de videokaart eruit halen (indien mogelijk en na initiele installatie) kan ook al helpen.

Shitty videokaart dan, want dat kan veel zuiniger!

Ik geloof dat een Nvidia GT 1030 ergens richting de 6 of zelfs 3 Watt kon gaan en Intel iGPU's doen ook zoiets als ik het me goed herinner...

ocaj schreef op vrijdag 20 oktober 2023 @ 08:27:
Proxmox gebruikt default "performance".

Dat heeft waarschijnlijk te maken met het volgende :

Als je dat niet doet dan heb je kans op "tijdverschuivingen" in je VM's als de CPU/SoC teveel op en neer zit te springen qua clockspeed

En ik gok dat dit :

Zwelgje schreef op vrijdag 20 oktober 2023 @ 14:10:
Dat is niet helemaal waar, ik doe veel Citrix installaties en troubleshooting en als een Windows VM dan op niet op 'maximum performance' staat (control panel, energiebeheer) dan presteert hij beduidend minder.

Ook een soortgelijke reden heeft...


Nou is het wel alweer een flinke tijd geleden dat ik hiermee te maken heb gehad, maar bij deze heb je in ieder geval iets om in de gaten te houden

dcm360 schreef op vrijdag 20 oktober 2023 @ 15:43:
Maar de CPU is net zo goed virtueel als de rest van de hardware... Tenzij je echte cores aan het uitdelen bent aan de VM's, maar dat is zover ik weet niet iets wat KVM kan?

Op het moment dat je bepaalde VT features van de CPU binnen de VM exposed dan is het allemaal wel ineens een flink stuk directer en dus minder virtueel... ?!

[ Voor 14% gewijzigd door nero355 op 20-10-2023 15:49 ]

[Airw0lf]

nero355 schreef op vrijdag 20 oktober 2023 @ 15:47:
[...]

Shitty videokaart dan, want dat kan veel zuiniger!

Ik geloof dat een Nvidia GT 1030 ergens richting de 6 of zelfs 3 Watt kon gaan en Intel iGPU's doen ook zoiets als ik het me goed herinner...

[...]

Kan vast - maar of het echt gebeurd...
https://www.tomshardware....e-gt-1030-2gb,5110-9.html

Een vergelijk met een iGPU lijkt me niet terecht - die heeft een CPU nodig om iets te doen.

[ Voor 9% gewijzigd door Airw0lf op 20-10-2023 16:05 ]

[ascent]

Oesie schreef op dinsdag 10 oktober 2023 @ 16:18:
Zojuist mijn SSD gewisseld en Proxmox opnieuw geinstalleerd.
Na het restoren van de VM is er volgens mij ook nog een optie 'localnetwork (pve)' bij gekomen. Kan iemand duiden waar dat vandaan komt? Kan ook niet zien waar ik dat het kan verwijderen. Overigens is het verder helemaal leeg, zie tweede screenshot.

Das voor Software Defined Networking, SDN. Nieuwe feature in proxmox 8

[Airw0lf]

ascent schreef op vrijdag 20 oktober 2023 @ 16:44:
[...]


Das voor Software Defined Networking, SDN. Nieuwe feature in proxmox 8

Maar wel "experimental"...
https://pve.proxmox.com/pve-docs/chapter-pvesdn.html

[RobertMe]

Wat zijn de ervaringen met een mix van Proxmox versie en Debian LXCs? Ik draai nog Proxmox 7 (Bullseye dus) met Debian Bullseye LXCs. Toentertijd met de upgrade van PVE 6 naar 7 was ook een LXC upgrade van Buster naar Bullseye vereist staat mij bij (in ieder geval om nested Docker te draaien). Maar ik wil (een deel van) mijn LXCs upgraden naar Bookworm, maar zit niet perse op een PVE upgrade te wachten.

offtopic:
Eigenlijk moet ik gewoon een herinstallatie gaan doen, zonder PVE, met behoud van data De "grote bak" die ik in 2020 in elkaar heb gezet, en PVE op heb gezet, draait intussen veel minder op met een PVE loze mini PC erbij die de 24/7 taken over heeft genomen. En de "grote bak" wil ik die paar services eigenlijk ook nog eens een keer bare metal op gaan draaien. Maarja, zin / tijd

[Zwelgje]

nero355 schreef op vrijdag 20 oktober 2023 @ 15:47:


Dat heeft waarschijnlijk te maken met het volgende :

Als je dat niet doet dan heb je kans op "tijdverschuivingen" in je VM's als de CPU/SoC teveel op en neer zit te springen qua clockspeed

20 jaar geleden was dat idd zo, ten tijde van ESX 1.0 en 2.0 werd de tijd indaad geteld door het aantal clockcycli van de CPU te berekenen (wat niet zo lekker werkt als de machine het erg druk heeft) maar dat is in een moderne hypervisor zeker niet meer het geval.

[nero355]

Airw0lf schreef op vrijdag 20 oktober 2023 @ 16:02:
Kan vast - maar of het echt gebeurd...
https://www.tomshardware....e-gt-1030-2gb,5110-9.html

Nog steeds 10 Watt of lager, maar ik zou zweren dat ik nog lagere getallen heb gezien...

Een vergelijk met een iGPU lijkt me niet terecht - die heeft een CPU nodig om iets te doen.

Ligt eraan hoe je het bekijkt : In sommige gevallen is het in feite een losse unit binnen het geheel

Zwelgje schreef op vrijdag 20 oktober 2023 @ 20:28:
20 jaar geleden was dat idd zo, ten tijde van ESX 1.0 en 2.0 werd de tijd indaad geteld door het aantal clockcycli van de CPU te berekenen (wat niet zo lekker werkt als de machine het erg druk heeft) maar dat is in een moderne hypervisor zeker niet meer het geval.

Dit was toch echt ten tijde van ESXi 6.x.x en Intel Socket 2011v1/v2/v3 CPU's

[RobbyTown]

Maandag stap ik over naar een andere provider ben eigenlijk wel benieuwd wat het met de ping doet. In het verleden een pi gehad met daarop debian en vervolgens smokeping erop geïnstalleerd.

Tegenwoordig is smokeping handig vanuit een docker te halen: https://hub.docker.com/r/linuxserver/smokeping

Die pi is overleden. Nu heb ik een proxmox draaien alleen hoe kan ik het beste smokeping nu in/op draaien, ik bedoel wat is nu de beste fundering?

Het ene filmpje zie ik Debian iso en dan een VM opzetten het andere filmpje via LXC (Turnkey Core)
En vervolgens word bij beide docker erop gezet en vervolgens portainer en dan smokeping.

Maar wat is nu het beste om de eerste stap te doen? VM vanuit de ISO of een LXC?
Of is dit de beste manier: VM met debian (vanuit een iso) en daar smokeping erop zonder docker dus.

Zit namelijk in twijfel door dit: Cardinal in "Het grote Proxmox VE topic"
Het word afgeraden maar het kan prima dat volg ik dus niet helemaal

[ Voor 26% gewijzigd door RobbyTown op 21-10-2023 06:24 ]

[Airw0lf]

RobbyTown schreef op zaterdag 21 oktober 2023 @ 06:16:
Maandag stap ik over naar een andere provider ben eigenlijk wel benieuwd wat het met de ping doet. In het verleden een pi gehad met daarop debian en vervolgens smokeping erop geïnstalleerd.

Tegenwoordig is smokeping handig vanuit een docker te halen: https://hub.docker.com/r/linuxserver/smokeping

Die pi is overleden. Nu heb ik een proxmox draaien alleen hoe kan ik het beste smokeping nu in/op draaien, ik bedoel wat is nu de beste fundering?

Het ene filmpje zie ik Debian iso en dan een VM opzetten het andere filmpje via LXC (Turnkey Core)
En vervolgens word bij beide docker erop gezet en vervolgens portainer en dan smokeping.

Maar wat is nu het beste om de eerste stap te doen? VM vanuit de ISO of een LXC?
Of is dit de beste manier: VM met debian (vanuit een iso) en daar smokeping erop zonder docker dus.

Zit namelijk in twijfel door dit: Cardinal in "Het grote Proxmox VE topic"
Het word afgeraden maar het kan prima dat volg ik dus niet helemaal

Afgeraden... kan prima... er is geen silver bullet in deze wereld...

Over afraden: stapelen van virtualisatie lagen - docker containers op LXC containers op Proxmox op bare-metal en daardoor de nodige overhead. In dit kader zijn LXC en VM's twee verschillende OS-virtualisatie vormen waardoor beheer lastig kan zijn; ook al omdat Proxmox in basis Debian gebruikt.

Over werkt prima: ik gebruik Proxmox met LXC containers en VM's door elkaar - beiden bevatten ook weer Docker containers. Dit alles werkt als een tierelier - geen onverwachte uitval of dito vertragingen.

Een LXC zet ik in als ik de virtualisatie overhead tot een minimum wil terugbrengen. En daarbinnen de prestaties van de applicatie (bijvoorbeeld PiHole) wil maximaliseren. De twee Docker containers die hier meedraaien bevatten elk een applicatie die niet bijzonder veel gebruikt wordt - maar wel echt nodig zijn (in mijn geval Omada en SWAG).

De inzet van Docker is gedaan omdat er in die twee applicaties software componenten zitten die elkaar bijten als je ze samen binnen een LXC/VM installeert. Om de overhead tot een minimum te beperken zijn de Docker containers geinstalleerd met de optie host-network - dus niet de standaard optie bridge-network (wat per container de overhead van een NAT/DHCP-stack met zich meebrengt).

Een VM zet ik in als het niet anders kan. Bijvoorbeeld bij een VM met NAS software die omwille van prestaties direct de controller met disken wil aanspreken. Die heb ik dus een aparte controller met disken "gegeven".
Een ander voorbeeld is Home Assistant - de volledige versie laat zich alleen installeren met een VM. Daarbinnen worden door HA weer de nodige Docker containers aangemaakt.

Het liefst zou ik alles via Debian-op-bare-metal doen; aangevuld met CasaOS (let op - tis Cas*a* en niet Cas*e*). Dit laatste voor het draaien van alle applicaties in Docker containers met MAC-vlans. Maar voor de dingen die ik wil doen is dat echt nog een stap te ver => dit is er een van de categorie WiP...

Zoiets als Smokeping doe ik het liefst i.c.m. (bijvoorbeeld) Observium. Dus Observium als LXC container op Proxmox. En binnen die LXC gecombineerd met Smokeping zodat de ping-stats met de SNMP-stats in een plaatje te combineren zijn via Observium.

Dit is eigenlijk wel de essentie van mijn visie/werkwijze/best-practice...

Helpt dit
Of ben je halverwege al afgehaakt omdat je "door-de-virtualisatie-bomen-het-applicatie-bos-niet-meer-ziet".

[ Voor 12% gewijzigd door Airw0lf op 21-10-2023 09:34 ]

[Cyphax]

RobbyTown schreef op zaterdag 21 oktober 2023 @ 06:16:

Maar wat is nu het beste om de eerste stap te doen? VM vanuit de ISO of een LXC?
Of is dit de beste manier: VM met debian (vanuit een iso) en daar smokeping erop zonder docker dus.

Ik had eerst een VM voor docker-containers maar op gegeven moment ben ik zoveel mogelijk gaan migreren naar LXC's, die hebben wat minder overhead (en de docker-vm staat al heel lang uit en heb ik nooit meer nodig gehad). Mijn server kan niet meer dan 16GB RAM huisvesten dus hoe minder geheugen een dienst gebruikt, hoe beter. Ik heb nu twee VM's: eentje voor HA en eentje voor OMV. De eerste gebruikt 3,7GB RAM en de tweede 1,4GB. De LXC-container met Nextcloud gebruikt daarentegen maar 401MB. Mijn Wireguard-container gebruikt nieteens 100MB RAM. De grootste is Jellyfin met 1,3GB RAM. Dat zou allemaal veel meer zijn als ze in VM's draaien. Dus nu kan ik naast die 2VM's nog 10 andere diensten in containers draaien en blijft het passen binnen die 16GB.

Mijn advies zou dus zijn om in eerste instantie smokeping te installeren in een LXC-container, als je het klein wil houden met Alpine of anders met Debian of iets anders. Mocht dat uiteindelijk toch niet fijn werken, dan kun je altijd nog de docker-route volgen.

[RobertMe]

RobertMe schreef op vrijdag 20 oktober 2023 @ 18:57:
Wat zijn de ervaringen met een mix van Proxmox versie en Debian LXCs? Ik draai nog Proxmox 7 (Bullseye dus) met Debian Bullseye LXCs. Toentertijd met de upgrade van PVE 6 naar 7 was ook een LXC upgrade van Buster naar Bullseye vereist staat mij bij (in ieder geval om nested Docker te draaien). Maar ik wil (een deel van) mijn LXCs upgraden naar Bookworm, maar zit niet perse op een PVE upgrade te wachten.

offtopic:
Eigenlijk moet ik gewoon een herinstallatie gaan doen, zonder PVE, met behoud van data De "grote bak" die ik in 2020 in elkaar heb gezet, en PVE op heb gezet, draait intussen veel minder op met een PVE loze mini PC erbij die de 24/7 taken over heeft genomen. En de "grote bak" wil ik die paar services eigenlijk ook nog eens een keer bare metal op gaan draaien. Maarja, zin / tijd

Toch maar even "ervoor gaan zitten". Gisteravond 2 LXC containers geupdate naar Bookworm. Eerst eentje zonder Docker, en gezien dat goed ging daarna een met Docker erin. Gezien ook dat goed ging vandaag de laatste geupdate naar Bookworm. En daarna ook maar Proxmox zelf geupdate

[RobbyTown]

@Airw0lf @Cyphax Dank voor de info. Na vele handleidingen is het uiteindelijk gelukt met Ubuntu LXC

[Wachten...]

Ik heb even een vraagje over containers binnen Proxmox.

Ik ben van een Raspberry pi over gegaan naar een Proxmox server (om te proberen), en heb Adguard nu draaien in een LXC container.

Nu wil ik alleen Unbound toevoegen aan Adguard, en mijn vraag is of ik de handleidingen kan volgen die normaal voor Linux gehanteerd worden zoals deze

Het is mij nog niet volledig duidelijk hoe het precies werkt. Ik weet wel dat de containers gebruik maken van de host en dus een soort eigen virtuele omgeving zijn binnen de host (als ik het zo goed omschrijf), maar of er dan dingen anders zijn tijdens installatie handleidingen etc, dat begrijp ik niet zo goed.

Oftewel, kan ik gewoon standaard handleidingen volgen en die in de 'console' van de betreffende container uitvoeren, of moet je andere stappen nemen als je met een container te maken hebt?

[ Voor 11% gewijzigd door Wachten... op 22-10-2023 12:04 ]

[powerboat]

Wachten... schreef op zondag 22 oktober 2023 @ 11:59:
Ik heb even een vraagje over containers binnen Proxmox.

Ik ben van een Raspberry pi over gegaan naar een Proxmox server (om te proberen), en heb Adguard nu draaien in een LXC container.

Nu wil ik alleen Unbound toevoegen aan Adguard, en mijn vraag is of ik de handleidingen kan volgen die normaal voor Linux gehanteerd worden zoals deze


Het is mij nog niet volledig duidelijk hoe het precies werkt. Ik weet wel dat de containers gebruik maken van de host en dus een soort eigen virtuele omgeving zijn binnen de host (als ik het zo goed omschrijf), maar of er dan dingen anders zijn tijdens installatie handleidingen etc, dat begrijp ik niet zo goed

Je kan het (zo goed als) behandelen als een eigen server.

[ Voor 6% gewijzigd door powerboat op 22-10-2023 12:05 ]

[Wachten...]

powerboat schreef op zondag 22 oktober 2023 @ 12:05:
[...]


Je kan het (zo goed als) behandelen als een eigen server.

Ja precies, ik zat het hier al even te lezen.

Maar wanneer worden dingen dan eventueel anders? Of zijn er dingen waar ik op moet/kan letten?

Want ik lees toch iedere keer veel verhalen dat mensen toch maar gewoon een VM draaien, omdat het met containers wel een lastig is/niet werkt/ingewikkeld is etc. Wat wordt daar dan mee bedoelt? Ik krijg dit namelijk niet echt duidelijk voor mezelf en waar ik beter aan doe.

Wat ik overigens dan wel meer hoor is dat mensen dockers draaien i.p.v. LXC containers.

EDIT: Hier lees ik dan ook weer dat LXC containers een security risk (kunnen) zijn, en raden ze aan om docker in VM te draaien. Kortom, ik kom overal wisselende verhalen tegen, en aangezien mijn Linux kennis alles behalve expert niveau te noemen is, wil ik dingen wel zo veilig mogelijk doen

[ Voor 25% gewijzigd door Wachten... op 22-10-2023 12:15 ]

[CurlyMo]

Wachten... schreef op zondag 22 oktober 2023 @ 12:08:
[...]
EDIT: Hier lees ik dan ook weer dat LXC containers een security risk (kunnen) zijn, en raden ze aan om docker in VM te draaien. Kortom, ik kom overal wisselende verhalen tegen, en aangezien mijn Linux kennis alles behalve expert niveau te noemen is, wil ik dingen wel zo veilig mogelijk doen

Op het moment dat je unpriviliged LXC containers draait inderdaad, maar dat moet je dan ook niet doen.

[Wachten...]

CurlyMo schreef op zondag 22 oktober 2023 @ 12:29:
[...]

Op het moment dat je unpriviliged LXC containers draait inderdaad, maar dat moet je dan ook niet doen.

Je bedoelt het andersom neem ik aan? Privileged geeft toegang tot de host neem ik aan?

Nu dat je dat dan toch aanhaalt, Ik wilde graag eens Deconz installeren op Proxmox om eens te testen.
Nu is er een script van tteck en die geeft aan dat als je de container als privileged draait, dat hij dan de USB pass through toepast.

Maar ik vraag me nu af. Kun je de container naderhand weer op unprivileged zetten, en dat de pass through die ik dat script zat nog steeds werkt? Het gaat er hier dus om dat de Deconz LXC container de Conbee stick kan zien/lezen

[powerboat]

Wachten... schreef op zondag 22 oktober 2023 @ 12:08:
[...]


Ja precies, ik zat het hier al even te lezen.

Maar wanneer worden dingen dan eventueel anders? Of zijn er dingen waar ik op moet/kan letten?

Want ik lees toch iedere keer veel verhalen dat mensen toch maar gewoon een VM draaien, omdat het met containers wel een lastig is/niet werkt/ingewikkeld is etc. Wat wordt daar dan mee bedoelt? Ik krijg dit namelijk niet echt duidelijk voor mezelf en waar ik beter aan doe.

Wat ik overigens dan wel meer hoor is dat mensen dockers draaien i.p.v. LXC containers.

EDIT: Hier lees ik dan ook weer dat LXC containers een security risk (kunnen) zijn, en raden ze aan om docker in VM te draaien. Kortom, ik kom overal wisselende verhalen tegen, en aangezien mijn Linux kennis alles behalve expert niveau te noemen is, wil ik dingen wel zo veilig mogelijk doen

LXC containers zijn efficiënter dan full virtualization en daar zit denk ik het grootste voordeel. Ik vind zelf een nadeel dat het afhankelijk is van de kernel van de host, ik heb daar weleens een issue mee gehad. Maar dat neemt niet weg dat het een zeer mooie techniek is.

Zelf maak ik liever gebruik van full virtualization, maar dat is meer omdat het voor mij duidelijker is en volledig opzichzelfstaand is.

Docker gebruik ik in een vm i.c.m. Ansible zodat het updaten van een applicatie makkelijker te doen is (mits het door de ontwikkelaar ondersteund is). Dit zie ik ook meer als een soort van package dan als een vm (al is dit uiteraard ook een container).

Kortom! Gewoon beginnen en kijken wat voor jou het beste werkt

[CurlyMo]

Wachten... schreef op zondag 22 oktober 2023 @ 12:36:
[...]
Maar ik vraag me nu af. Kun je de container naderhand weer op unprivileged zetten, en dat de pass through die ik dat script zat nog steeds werkt? Het gaat er hier dus om dat de Deconz LXC container de Conbee stick kan zien/lezen

Theoretisch kan het, maar niet als beginner.

[Dutchess_Nicole]

Wachten... schreef op zondag 22 oktober 2023 @ 12:08:
[...]


Ja precies, ik zat het hier al even te lezen.

Maar wanneer worden dingen dan eventueel anders? Of zijn er dingen waar ik op moet/kan letten?

Want ik lees toch iedere keer veel verhalen dat mensen toch maar gewoon een VM draaien, omdat het met containers wel een lastig is/niet werkt/ingewikkeld is etc. Wat wordt daar dan mee bedoelt? Ik krijg dit namelijk niet echt duidelijk voor mezelf en waar ik beter aan doe.

Wat ik overigens dan wel meer hoor is dat mensen dockers draaien i.p.v. LXC containers.

EDIT: Hier lees ik dan ook weer dat LXC containers een security risk (kunnen) zijn, en raden ze aan om docker in VM te draaien. Kortom, ik kom overal wisselende verhalen tegen, en aangezien mijn Linux kennis alles behalve expert niveau te noemen is, wil ik dingen wel zo veilig mogelijk doen

Zolang je alleen binnen je eigen containertje blijft en via netwerk e.d. je werk kan doen is een LXC container niet anders dan een VM qua gebruik.

Anders, en veel ingewikkelder, wordt het zodra je hardware passthrough wil gaan doen. Zeker met unprivileged containers wordt het verhaal ineens een stuk ingewikkelder zowel aan de host en aan de container kant.

Het kan zeker (ik heb ook video passthrough draaien voor Jellyfin, bijvoorbeeld) maar het is zeker niet voor beginners.

[Wachten...]

Dutchess_Nicole schreef op maandag 23 oktober 2023 @ 09:29:
[...]


Zolang je alleen binnen je eigen containertje blijft en via netwerk e.d. je werk kan doen is een LXC container niet anders dan een VM qua gebruik.

Anders, en veel ingewikkelder, wordt het zodra je hardware passthrough wil gaan doen. Zeker met unprivileged containers wordt het verhaal ineens een stuk ingewikkelder zowel aan de host en aan de container kant.

Het kan zeker (ik heb ook video passthrough draaien voor Jellyfin, bijvoorbeeld) maar het is zeker niet voor beginners.

Dank voor je reactie.
Maar begrijp ik het dan goed dat als ik Deconz wil draaien, dat dit niet zo makkelijk te doen is in een container, omdat USB pass through te ingewikkeld is voor beginners (mij)?

Dat zou wel zonde zijn, want dan moet ik toch weer een VM op gaan starten, wat ik eigenlijk niet wil.

[Dutchess_Nicole]

Wachten... schreef op maandag 23 oktober 2023 @ 09:43:
[...]


Dank voor je reactie.
Maar begrijp ik het dan goed dat als ik Deconz wil draaien, dat dit niet zo makkelijk te doen is in een container, omdat USB pass through te ingewikkeld is voor beginners (mij)?

Dat zou wel zonde zijn, want dan moet ik toch weer een VM op gaan starten, wat ik eigenlijk niet wil.

Voor wat ik begrijp is USB 1 van de simpelere opties om voor passthrough in te stellen. Ik heb dat alleen nog maar geprobeerd op een VM dus ik kan niet zeggen hoe makkelijk of moeilijk dat gaat zijn in een container.

Ik weet wel dat proberen de graphics processor door te geven aan een container een rotklus is, dus afhankelijk van wat het is kan het beide kanten op gaan.

Zoveel issues zijn er nou ook weer niet met een VM, je kan ook gewoon een heel klein VM-metje maken natuurlijk.

[Wachten...]

Dutchess_Nicole schreef op dinsdag 24 oktober 2023 @ 08:26:
[...]

Voor wat ik begrijp is USB 1 van de simpelere opties om voor passthrough in te stellen. Ik heb dat alleen nog maar geprobeerd op een VM dus ik kan niet zeggen hoe makkelijk of moeilijk dat gaat zijn in een container.

Ik weet wel dat proberen de graphics processor door te geven aan een container een rotklus is, dus afhankelijk van wat het is kan het beide kanten op gaan.

Zoveel issues zijn er nou ook weer niet met een VM, je kan ook gewoon een heel klein VM-metje maken natuurlijk.

Ja in een VM werkt het ook wel. Ik heb/had hem al in de Home assistant VM draaien, maar ik houd het liever gescheiden. Ik wil nog wel eens spelen met HA, en dan is het fijn als de Conbee altijd online blijft in zijn eigen container.

[GoBieN-Be]

Ik zie het zo.

Docker zijn applicatie containers. Het is voornamelijk een userland omgeving, er draait geen echt OS in de container. Het idee achter docker containers is ook dat ze een soort van state-less zijn. Dit wil zeggen, je configuratie/database/data is opgeslagen op een volume of folder en je kan gewoon de Docker container redeployen met de laatste versie van de image en alles is weer up and running zonder verlies van data. Met bepaalde tools kan je dat zelf automatiseren, zoals bijvoorbeeld watchtower.

Virtuele Machine is een PC nabootsen, met virtuele hardware zoals CPU/RAM/DISK en daarop een OS en software installeren. Er is (bijna) geen onderscheid met het OS en software installeren op een fysieke computer. Het OS en de software moet je zelf updaten via de tools van het OS en de software.

LXC containers zijn een beetje zoals virtuele machines, want je installeert ook een OS binnen de LXC container. Echter de kernel wordt niet apart uitgevoerd, deze wordt van de host gebruikt. Er is dus minder overhead dan bij volledige VM virtualisatie. Het OS en de software moet je zelf updaten via de tools van het OS en de software. En enkel Linux kan gebruikt worden, aangezien de Host kernel overgenomen wordt in de LXC.

Ik ben absoluut geen expert op dit gebied, Docker nog maar 2-tal jaartjes geleden ontdekt en LXC containers nog maar een week geleden. Dus dit is mijn visie als leek

[ Voor 4% gewijzigd door GoBieN-Be op 25-10-2023 11:47 ]

[GoBieN-Be]

Oh ja, en om Docker containers te kunnen gebruiken heb je een Host OS nodig.
Dat kan een fysieke PC zijn met jouw voorkeur van OS (Debian, Ubuntu, Rocky, ...).
Dat kan een VM zijn met jouw voorkeur van OS (Debian, Ubuntu, Rocky, ...).
Of dat kan een LXC zijn met jouw voorkeur van OS (Debian, Ubuntu, Rocky, ...).

[ Voor 15% gewijzigd door GoBieN-Be op 24-10-2023 18:12 ]

[Uberprutser]

Gisteren "upgrade" (ofwel reinstall) gedaan van 7 naar 8 en weer 4 watt eraf kunnen snoepen van verbruik.
Zat op 64 en nu op de 60 watt idle, inclusief Unify switch en alle PoE devices (AP, RPI4, camera en Flex switch). Nog steeds aan het kijken naar een andere host want de i7-7700 die erin zit heeft maar 4 cores en dat begint een beperking te worden met alles wat er draait aan VMs, containers in VMs en OPNsense.

Wat betreft LXC: Ik heb hier een tijd geleden mee gespeeld en telkens kom ik weer uit op een losse VM met Docker. De overhead voor elke container is too much. Zelf draai ik alles in Kubernetes op een enkele container na die op de RPI4 draait. Zal vast prima werken in bepaalde omstandheden maar ik was en ben er geen fan van.

[ Voor 15% gewijzigd door Uberprutser op 26-10-2023 09:55 ]

[orvintax]

Uberprutser schreef op donderdag 26 oktober 2023 @ 09:53:
Wat betreft LXC: Ik heb hier een tijd geleden mee gespeeld en telkens kom ik weer uit op een losse VM met Docker. De overhead voor elke container is too much. Zelf draai ik alles in Kubernetes op een enkele container na die op de RPI4 draait. Zal vast prima werken in bepaalde omstandheden maar ik was en ben er geen fan van.

Welke kubernetes variant gebruik je? Ik zou namelijk verwachten dat een VM + Kubernetes meer zal gebruiken dan losse LXC containers.

[Uberprutser]

orvintax schreef op donderdag 26 oktober 2023 @ 11:19:
[...]

Welke kubernetes variant gebruik je?

Op m'n Proxmox doos standaard k8s 1.25 wat neer komt op net een GB per VM. In m'n lab overigens VMware TKG.

Het is vooral de hoeveelheid containers (ongeveer 50) die in mijn geval meer overhead zou creëren.

[ Voor 4% gewijzigd door Uberprutser op 26-10-2023 11:35 ]

[Joop911]

Ben een newbie met opnsense en vlans.

Ik heb meerdere proxmox hosts welke de VMs draaien, het is de bedoeling dat de VMs op een VLAN draaien (192.168.20.x) Deze proxmox hosts hebben opnsense als firewall. De hosts hebben 2 netwerk kaarten; een voor LAN (enp4s0) en een voor WAN (enp5s0).

Ik heb een KPN MKB EEN abo met 6 publieke IP adressen (x.x.198.121 - x.x.198.126, GW x.x.198.121) maar het lukt mij niet om iedere proxmox host hun eigen publieke IP adres te geven. Ik wil de proxmox GUI, opnsense GUI en VM’s via LAN (192.168.2.x) kunnen benaderen.



Vanuit proxmox console op LAN kan ik naar buiten pingen, met publieke ip x.x.198.121, VMs kan ik niet bereiken.
Vanuit opnsense console kan ik pingen en heeft het juiste publieke IP adres x.x.198.122, ik kan de VM's (op VLAN) pingen.
Vanuit de VMs op VLAN kan ik de VMs pingen maar niet naar buiten of naar LAN.

Maar ik vraag me af of de opnsense instellingen kloppen. Ik zie foutmeldingen op de opnsense console;
- warning1 “arpresolve: can’t allocate llinfo x.x.198.121 on vtnet0_vlan20”
- warning2 "arp: x.x.198.121 moved from e4:5f:01:ac:44:b6 to 54:47:cc:00:a1:b7 on vtnet1"


1. Wat is hier aan de hand dat ik de VMs vanuit LAN niet kan bereiken?
2. Waarom krijg ik die opnsense warnings?

[Airw0lf]

@Joop911 - klinkt als een (soort) opdracht van/voor school...

Afgaande op de inzet van een unmanaged switch en een EB12:
Die vlans mogen blijkbaar alleen bestaan binnen je Proxmox host(s)?
Welke vlan instellingen heb je hiervoor gebruikt binnen die Proxmox host(s)?
En welke instellingen binnen de VM's?

Een OpnSense router doet standaard geen NAT en laat standaard geen verkeer door.
Welke instellingen heb je gebruikt voor de lan en vlan interfaces?
Welke rules heb je aangemaakt om te NAT-en en verkeer door te laten voor elk van die interfaces?

[ Voor 9% gewijzigd door Airw0lf op 26-10-2023 17:47 ]

[FijneKnul]

Ik kom er niet meer uit. Ook niet na lang googelen.

Als mij zoekwerk correct is, dan is er vanuit Proxmox zelf geen mogelijkheid om naar bestanden te browsen op een van mijn VM-disks in de local-lvm?

Ik heb een VM draaien met Ubunta, daarop docker die wat iso's download. De storage van die VM zit nu vol en de VM wilt dus niet meer opstarten. Volgens mij is dan de oplossing om bij de storage van die VM te komen en daar wat files te verwijderen zodat ik weer bij mij data kan en de boel kan exporteren. Maar dat mij nu dus niet.

In het kort dus de vraag: Hoe kom ik bij de data van een VM, als de VM zelf niet op wilt starten omdat zijn harddrive vol zit?

Opslag zit trouwens in een LVM (als ik het goed begrijp is dat belangrijke info).

[ Voor 5% gewijzigd door FijneKnul op 27-10-2023 16:03 ]

[tomdh76]

FijneKnul schreef op vrijdag 27 oktober 2023 @ 16:02:
Ik kom er niet meer uit. Ook niet na lang googelen.

Als mij zoekwerk correct is, dan is er vanuit Proxmox zelf geen mogelijkheid om naar bestanden te browsen op een van mijn VM-disks in de local-lvm?

Ik heb een VM draaien met Ubunta, daarop docker die wat iso's download. De storage van die VM zit nu vol en de VM wilt dus niet meer opstarten. Volgens mij is dan de oplossing om bij de storage van die VM te komen en daar wat files te verwijderen zodat ik weer bij mij data kan en de boel kan exporteren. Maar dat mij nu dus niet.

In het kort dus de vraag: Hoe kom ik bij de data van een VM, als de VM zelf niet op wilt starten omdat zijn harddrive vol zit?

Opslag zit trouwens in een LVM (als ik het goed begrijp is dat belangrijke info).

Kan je niet de disk size vergroten van de VM en dan opstarten?

[dcm360]

Makkelijkste is denk ik om een Live-CD te starten in de VM (bijvoorbeeld de Ubuntu-live-cd) en van daaruit de schijf een beetje op te ruimen.

Als alternatief kan je de virtuele schijf ook mounten, als het goed is zit deze ergens onder /dev/mapper/ verstopt op de host.

[FijneKnul]

tomdh76 schreef op vrijdag 27 oktober 2023 @ 17:00:
[...]


Kan je niet de disk size vergroten van de VM en dan opstarten?

Dat heb ik geprobeerd, maar leverde geen succes op.

dcm360 schreef op vrijdag 27 oktober 2023 @ 17:04:
Makkelijkste is denk ik om een Live-CD te starten in de VM (bijvoorbeeld de Ubuntu-live-cd) en van daaruit de schijf een beetje op te ruimen.

Als alternatief kan je de virtuele schijf ook mounten, als het goed is zit deze ergens onder /dev/mapper/ verstopt op de host.

Dat eerste begrijp ik niet. Ik neem aan dat ik dan een nieuwe VM moet starten en daar de Ubuntu-live-CD moet starten? Ik ga dat eens uitzoeken, dankjewel.

Je tweede tip ga ik ook uitzoeken. Zoals ik je zin lees is het dus mogelijk om de 'local-lvm' te mounten, maar dan begrijp ik alleen nog niet waar. (Mijn windows PC? Binnen proxmox zelf? Of dan via de ubuntu-live-cd die je eerder noemde?)

Ik ga googlen, dankjulliewel.

[commentator]

FijneKnul schreef op vrijdag 27 oktober 2023 @ 17:14:
[...]

Dat eerste begrijp ik niet. Ik neem aan dat ik dan een nieuwe VM moet starten en daar de Ubuntu-live-CD moet starten? Ik ga dat eens uitzoeken, dankjewel.

nee, je start de VM die niet start op vanaf de cd
Dus je voegt voor je m start die livecd toe als cd en start dan vanaf die cd ipv de hardeschijf ervan.
Daardoor kun je binnen die VM aan de gegevens

[DRaakje]

Ik had dat probleem ook eens. Sindsdien heb ik standaard voor bepaalde VMs, een 10 GB file op de schijf staan die ik kan verwijderen als ik dat soort problemen heb.
Ow en de downloads die gooi ik op zijn eigen disk, daardoor heb ik niet het probleem dat als de boel vol staat dat ik niet meer kan booten. Die ik dan ook buiten de backup heb zitten, waardoor de backup niet achterlijk groot wordt.

[ Voor 13% gewijzigd door DRaakje op 27-10-2023 19:29 ]

[MJV]

FijneKnul schreef op vrijdag 27 oktober 2023 @ 17:14:
[...]


Dat heb ik geprobeerd, maar leverde geen succes op.
[...]


Dat eerste begrijp ik niet. Ik neem aan dat ik dan een nieuwe VM moet starten en daar de Ubuntu-live-CD moet starten? Ik ga dat eens uitzoeken, dankjewel.

Als extra uitleg: die VM is en blijft natuurlijk gewoon een virtuele machine, en dat betekent dat je er een hele hdezelfde dingen mee kunt doen als je die je met een niet virtuele machine kunt. Die kun je ook vanaf een USB (of vroeger een cd/dvd) booten, en een VM dus ook .

[Airw0lf]

commentator schreef op vrijdag 27 oktober 2023 @ 17:20:
[...]


nee, je start de VM die niet start op vanaf de cd
Dus je voegt voor je m start die livecd toe als cd en start dan vanaf die cd ipv de hardeschijf ervan.
Daardoor kun je binnen die VM aan de gegevens

@FijneKnul :
Maar voordat je de virtuele power-knop bedient wel eerst de boot sequence veranderen... anders duurt het zo lang voordat ie van de CD-ISO start...

[ Voor 5% gewijzigd door Airw0lf op 28-10-2023 15:20 ]

[FijneKnul]

MJV schreef op vrijdag 27 oktober 2023 @ 19:40:
[...]

Als extra uitleg: die VM is en blijft natuurlijk gewoon een virtuele machine, en dat betekent dat je er een hele hdezelfde dingen mee kunt doen als je die je met een niet virtuele machine kunt. Die kun je ook vanaf een USB (of vroeger een cd/dvd) booten, en een VM dus ook .

Dankjewel. Het is me gelukt met jullie advies, ik kan weer verder.

Fijn weekend allen

[Joop911]

Airw0lf schreef op donderdag 26 oktober 2023 @ 16:21:
@Joop911 - klinkt als een (soort) opdracht van/voor school...

Afgaande op de inzet van een unmanaged switch en een EB12:
Die vlans mogen blijkbaar alleen bestaan binnen je Proxmox host(s)?
Welke vlan instellingen heb je hiervoor gebruikt binnen die Proxmox host(s)?
En welke instellingen binnen de VM's?

Een OpnSense router doet standaard geen NAT en laat standaard geen verkeer door.
Welke instellingen heb je gebruikt voor de lan en vlan interfaces?
Welke rules heb je aangemaakt om te NAT-en en verkeer door te laten voor elk van die interfaces?

Het is geen opdracht van school helaas
Dank je wel voor je reactie btw

VLANs bestaan binnen proxmox omdat ze daar gemaakt worden op dit moment. Ik wil in feite 10 VMs per proxmox draaien en ze afgeschermd hebben dat ze met LAN kunnen communiceren. Maar ik wil wel van LAN kunnen ssh-en in the VMs. De VMs moeten met de buitenwereld kunnen communiceren waarbij iedere proxmox host zijn eigen ingaande publiek IP moeten hebben.

Welke vlan instellingen heb je hiervoor gebruikt binnen die Proxmox host(s)?
Ik maak de VLAN via opnsense, zie instellingen.




En welke instellingen binnen de VM's?




Een OpnSense router doet standaard geen NAT en laat standaard geen verkeer door.
Ok ik begrijp dat deze standaard geen verkeer doorlaat. Maar snap niet zo goed wat en waarom ik NAT nodig heb.

Welke instellingen heb je gebruikt voor de lan en vlan interfaces?

Mijn proxmox interface definitie.


Opnsense Interfaces - LAN en VLAN




Welke rules heb je aangemaakt om te NAT-en en verkeer door te laten voor elk van die interfaces?

Opnsense rules voor LAN en OPT1, niets ingevuld onder NAT.




Ik hoop dat dit de juiste antwoorden zijn op je vragen. Laat me ajb weten of dit helpt.

wat ik mezelf nog afvraag is wat de foutmeldingen op opnsense betekenen. Ik zie foutmeldingen op de opnsense console; warning1 “arpresolve: can’t allocate llinfo x.x.198.121 on vtnet0_vlan20” en warning2 "arp: x.x.198.121 moved from e4:5f:01:ac:44:b6 to 54:47:cc:00:a1:b7 on vtnet1"

[dcm360]

Je lijkt het externe IP-adres nu zowel op de Proxmox-host als in opnsense ingesteld te hebben, dat leidt tot de foutmelding die je als laatste krijgt. Je zult moeten kiezen waar je deze instelt, want 2 apparaten met hetzelfde IP gaat niet werken.

Verder lijkt het er op dat je het VLAN dubbel aan het taggen bent: zowel op de interface van de VM tag je de poort met VLAN 20, maar in opnsense stel je daarbovenop ook nog een keer VLAN 20 in. Ook hier zal je moeten kiezen uit 1 van de 2, en niet beiden.

[Airw0lf]

@Joop911 - sorry voor de kort-door-de-bocht aanpak - maar dit rammelt aan alle kanten.

Ik weet niet wat precies de aanleiding is om dit te gaan doen. En op deze manier te doen.
Laat staan met netwerk apparatuur zonder vlan mogelijkheden.

Maar goed... begin eens met alles uittekenen op basis van een netwerkschema, 2 of meer proxmox servers en per proxmox server 10 VM's. Neem hierin ook de vlans en subnetten mee; idealiter aangevuld met de te verwachten verkeersstromen. Dit met de aanname dat je er daadwerkelijk mee in productie wil gaan en er dan ook iets aan beheer ingeregeld moet worden.

Hoe is dat voor jou?

[Joop911]

Mensen, bedankt voor de reacties.

“Je lijkt het externe IP-adres nu zowel op de Proxmox-host als in opnsense ingesteld te hebben, dat leidt tot de foutmelding die je als laatste krijgt. Je zult moeten kiezen waar je deze instelt, want 2 apparaten met hetzelfde IP gaat niet werken.”
Klopt. De proxmox host heeft 2 netwerkkaarten - een (vmbr0) zit op het LAN met (default publiek IP x.x.198.121), ik heb die tweede kaart (vmbr1) geconfigureerd als IP2 x.x.198.122
Maar mss doe ik dit verkeerd.

Ik ga het netwerkschema dat @Airw0lf suggereerde maken en dan hier posten. Al vast bedankt voor het meedenken.

[GoBieN-Be]

Als die op het LAN zit waarom dan een publiek (WAN) IP adres?

[zeroday]

Misschien eerst de benadering toepassen (indien niet al gebeurd) om alles eerst zonder VLAN met elkaar samen te laten werken. Daarna kun je per machine / host dan wel bepalen om iets onder een VLAN te gooien.

Ik vind zelf dat een VLAN in je eigen persoonlijke LAN thuis iets is wat mooi kan werken maar feitelijk overbodige luxe is. En bij troubleshooting geeft het gewoon veel meer issues waarbij je je netwerk dan goed moet kennen om het te kunnen oplossen.

Dus wil je het gebruiken: mooi maar begin dan eerst klein en breid het dan uit. Daar leer je het meest van.

[ Voor 10% gewijzigd door zeroday op 31-10-2023 07:45 ]

[nero355]

zeroday schreef op dinsdag 31 oktober 2023 @ 07:45:
Ik vind zelf dat een VLAN in je eigen persoonlijke LAN thuis iets is wat mooi kan werken maar feitelijk overbodige luxe is.
En bij troubleshooting geeft het gewoon veel meer issues waarbij je je netwerk dan goed moet kennen om het te kunnen oplossen.

Als je het gewoon goed doet en ook daadwerkelijk begrijpt waar je mee bezig bent dan is er niks aan de hand!

Joop911 schreef op donderdag 26 oktober 2023 @ 15:43:
1. Wat is hier aan de hand dat ik de VMs vanuit LAN niet kan bereiken?

Volgens mij zit je LAN en WAN adressen door elkaar te gebruiken in je pfSense/OPNsense en gaat dat sowieso niet werken

2. Waarom krijg ik die opnsense warnings?

Omdat het IP adres blijkbaar op twee verschillende NIC's is assigned en dat is natuurlijk niet handig...

Verder heb ik het idee dat je opzet niet helemaal de handigste is of je afbeelding met de opzet van het netwerk niet helemaal klopt dus kijk daar eerst eens effe goed naar voordat we je verder gaan helpen

[powerboat]

@Joop911 , I Agree met Nero en Zeroday. Check je design en begin klein met een plat netwerk en begin daarna met vlan's.

[Joop911]

Mensen dank voor de reacties. Ik heb inmiddels iemand gevonden die me helpt. Ik zal terugposten als ik eea werkend heb.

@nero355 het klopt dat ik nog veel moet leren;-) Voor mij zijn de duidelijkste leerpunten hoe krijg ik VLAN aan het werken in proxmox/opnsense. En ten tweede hoe configureer ik meerdere WANs met meerdere proxmox hosts.

Voor de duidelijkheid. Proxmox runnen met een paar VMs op LAN lukt natuurlijk en heeft een hele tijd gewerkt. Maar ik struikel op dit moment met het gebruik van opnsense met de VMs.

[powerboat]

Joop911 schreef op dinsdag 31 oktober 2023 @ 20:05:
Mensen dank voor de reacties. Ik heb inmiddels iemand gevonden die me helpt. Ik zal terugposten als ik eea werkend heb.

@nero355 het klopt dat ik nog veel moet leren;-) Voor mij zijn de duidelijkste leerpunten hoe krijg ik VLAN aan het werken in proxmox/opnsense. En ten tweede hoe configureer ik meerdere WANs met meerdere proxmox hosts.

Voor de duidelijkheid. Proxmox runnen met een paar VMs op LAN lukt natuurlijk en heeft een hele tijd gewerkt. Maar ik struikel op dit moment met het gebruik van opnsense met de VMs.

Heb je vlan aware op de bridges (interfaces) aan staan?

De meerdere WAN poorten configureer je op je opnsense als (alias) als je die als router gaat gebruiken.

https://forum.opnsense.org/index.php?topic=35383.0

[ Voor 10% gewijzigd door powerboat op 31-10-2023 21:45 ]

[Zwelgje]

powerboat schreef op dinsdag 31 oktober 2023 @ 21:42:
[...]


Heb je vlan aware op de bridges (interfaces) aan staan?

ja, zie screenshot van hem

[powerboat]

Zwelgje schreef op woensdag 1 november 2023 @ 05:58:
[...]


ja, zie screenshot van hem

Oeps! Niet goed gekeken ( was al laat)

[bdu]

Ik hoop dat jullie kunnen helpen.

Ik heb al een jaar of 2 een NUC draaien met enkele containers en VM's. Nu heb ik recent een upgrade gedaan naar een AMD systeem. Ik heb daar Proxmox en een enkele VM op gezet en dit draaide naar behoren.

Nu ben ik van de week begonnen met het verhuizen van de containers en VM's van de NUC naar het nieuwe systeem (middels backup en restore). Dit draaide (ogenschijnlijk) allemaal goed.

Totdat ik vanmorgen zag dat de UI van Proxmox bij alle containers, VM en storage een 'Status: unknown' geeft:


Bijna alles draait zonder problemen; wil zeggen dat de UI bereikbaar is, via SSH inloggen mogelijk is etc. Op 1 container na, deze is onbereikbaar via ui of ssh, krijg ik niet gestopt of gereboot. Geeft geen status. Als ik deze wil starten krijg ik de volgende melding:

code:

root@pve-ryzen:/# pct start 112
CT 112 already running

De back-up is vannacht bij deze container vastgelopen:

code:

INFO: Starting Backup of VM 112 (lxc)
INFO: Backup started at 2023-11-02 02:18:16
INFO: status = running
INFO: CT Name: docker-backup
INFO: including mount point rootfs ('/') in backup
INFO: backup mode: snapshot
INFO: ionice priority: 7
INFO: create storage snapshot 'vzdump'

Kan dit met elkaar te maken hebben? Enig idee wat ik zou kunnen proberen om dit weer aan de praat te krijgen (zonder reboot).

Zaken die wel werken via UI:
- Node: 'Status'; geeft alleen het eerste gedeelte met de CPU, memory etc weer. De grafieken werken niet
- Datacenter: 'Options' is wel benaderbaar maar 'Status' geeft dan weer niets
- Containers/VM's: 'Options', 'Resource', 'Netwerk' etc is wel beschikbaar. Consol of Summary (communication failure (0)) dan weer niet.

Iemand een idee?

[nero355]

@bdu

Je moet wat meer info posten over het geheel :
- Exacte hardware die in gebruik is nu ?
- Hoe zijn de LXC's aangemaakt en op welke Storage staan die ?
- enz...
- enz..
- enz.

[bdu]

nero355 schreef op donderdag 2 november 2023 @ 13:01:
@bdu

Je moet wat meer info posten over het geheel :
- Exacte hardware die in gebruik is nu ?
- Hoe zijn de LXC's aangemaakt en op welke Storage staan die ?
- enz...
- enz..
- enz.

Hardware:


Ik heb een 2tb nvme met een LOCAL en LOCAL-LVM (daar draaien alle LXC en VM's op), hier draait ook proxmox op. Containers en VM's zijn dus al een tijd geleden aangemaakt op de oude proxmox omgeving (welke trouwens dezelfde Proxmox versie draaide). Deze zijn via backup + restore overgezet naar de nieuwe host.

Daarnaast nog 2*4tb SSD tbv Truenas welke draait op een VM (ZFS Mirror). De VM heeft een NFS share voor de backups.

Containers zijn met name containers waar docker in draait.. met verschillende docker containers (aantal verschilt per instantie).

Heb je meer informatie nodig?

[nero355]

bdu schreef op donderdag 2 november 2023 @ 13:40:
Hardware:
[Afbeelding]

Ik heb een 2tb nvme Welke dan ?!?!

Heb je meer informatie nodig?

Maak nou eens gewoon een lijstje met alle hardware onderdelen man!

Dit is echt Tweakers onwaardig met zo'n screenshot!

Containers zijn met name containers waar docker in draait.. met verschillende docker containers (aantal verschilt per instantie).

Wat is daar de reden voor precies

Lijkt me niet echt de meest handige aanpak eerlijk gezegd, maar misschien heb jij er een goede reden voor ?!

[orvintax]

bdu schreef op donderdag 2 november 2023 @ 12:15:
Ik hoop dat jullie kunnen helpen.

Ik heb al een jaar of 2 een NUC draaien met enkele containers en VM's. Nu heb ik recent een upgrade gedaan naar een AMD systeem. Ik heb daar Proxmox en een enkele VM op gezet en dit draaide naar behoren.

Nu ben ik van de week begonnen met het verhuizen van de containers en VM's van de NUC naar het nieuwe systeem (middels backup en restore). Dit draaide (ogenschijnlijk) allemaal goed.

Totdat ik vanmorgen zag dat de UI van Proxmox bij alle containers, VM en storage een 'Status: unknown' geeft:
[Afbeelding]

Bijna alles draait zonder problemen; wil zeggen dat de UI bereikbaar is, via SSH inloggen mogelijk is etc. Op 1 container na, deze is onbereikbaar via ui of ssh, krijg ik niet gestopt of gereboot. Geeft geen status. Als ik deze wil starten krijg ik de volgende melding:

code:

root@pve-ryzen:/# pct start 112
CT 112 already running

De back-up is vannacht bij deze container vastgelopen:

code:

INFO: Starting Backup of VM 112 (lxc)
INFO: Backup started at 2023-11-02 02:18:16
INFO: status = running
INFO: CT Name: docker-backup
INFO: including mount point rootfs ('/') in backup
INFO: backup mode: snapshot
INFO: ionice priority: 7
INFO: create storage snapshot 'vzdump'

Kan dit met elkaar te maken hebben? Enig idee wat ik zou kunnen proberen om dit weer aan de praat te krijgen (zonder reboot).

Zaken die wel werken via UI:
- Node: 'Status'; geeft alleen het eerste gedeelte met de CPU, memory etc weer. De grafieken werken niet
- Datacenter: 'Options' is wel benaderbaar maar 'Status' geeft dan weer niets
- Containers/VM's: 'Options', 'Resource', 'Netwerk' etc is wel beschikbaar. Consol of Summary (communication failure (0)) dan weer niet.

Iemand een idee?

Wat voor configuratie gebruik je bij je backups? Zowel als in Proxmox instellingen als in waar gaat het naar toe. Backups kunnen namelijk VMs en containers pauzeren/stoppen en aangezien die niet goed gaan denk ik wel dat dit hier invloed op kan hebben.

[bdu]

nero355 schreef op donderdag 2 november 2023 @ 13:44:
[...]

Maak nou eens gewoon een lijstje met alle hardware onderdelen man!

Dit is echt Tweakers onwaardig met zo'n screenshot!

#	Category	Product	Prijs	Subtotaal
1	Processors	AMD Ryzen 7 5700G Boxed	€ 187,68	€ 187,68
1	Barebones	ASRock DeskMini X300	€ 149,90	€ 149,90
1	Processorkoeling	Noctua NH-L9a-AM4 chromax.black	€ 54,90	€ 54,90
1	Geheugen intern	Crucial CT2K32G4SFD832A	€ 149,42	€ 149,42
1	Solid state drives	Samsung 870 QVO 4TB	€ 178,-	€ 178,-
1	Solid state drives	Samsung 980 Pro (zonder heatsink) 2TB	€ 137,49	€ 137,49
1	Serversoftware	TrueNAS Scale	€ 0,-	€ 0,-
1	Overige componenten	ASRock DeskMini 2x USB 2.0 cable	€ 9,95	€ 9,95
			Totaal	€ 867,34

[...]

Wat is daar de reden voor precies

Lijkt me niet echt de meest handige aanpak eerlijk gezegd, maar misschien heb jij er een goede reden voor ?!

Wat de reden hiervan is, die heb ik niet direct. Containers zijn 'lichter' dan VM's. Docker maakt het beheer uiteraard makkelijker.

orvintax schreef op donderdag 2 november 2023 @ 14:12:
[...]

Wat voor configuratie gebruik je bij je backups? Zowel als in Proxmox instellingen als in waar gaat het naar toe. Backups kunnen namelijk VMs en containers pauzeren/stoppen en aangezien die niet goed gaan denk ik wel dat dit hier invloed op kan hebben.

Compression: ZSTD (fast and good)
Mode: Snapshot
Target is de NFS mount

Het lijkt er inderdaad op dat container 112 is 'vastgelopen' tijdens de backup:

code:

INFO: Starting Backup of VM 112 (lxc)
INFO: Backup started at 2023-11-02 02:18:16
INFO: status = running
INFO: CT Name: docker-backup
INFO: including mount point rootfs ('/') in backup
INFO: backup mode: snapshot
INFO: ionice priority: 7
INFO: create storage snapshot 'vzdump'

[ Voor 13% gewijzigd door bdu op 02-11-2023 14:59 ]

[Mirabis]

bdu schreef op donderdag 2 november 2023 @ 12:15:
Ik hoop dat jullie kunnen helpen.

Ik heb al een jaar of 2 een NUC draaien met enkele containers en VM's. Nu heb ik recent een upgrade gedaan naar een AMD systeem. Ik heb daar Proxmox en een enkele VM op gezet en dit draaide naar behoren.

Nu ben ik van de week begonnen met het verhuizen van de containers en VM's van de NUC naar het nieuwe systeem (middels backup en restore). Dit draaide (ogenschijnlijk) allemaal goed.

Totdat ik vanmorgen zag dat de UI van Proxmox bij alle containers, VM en storage een 'Status: unknown' geeft:
[Afbeelding]

Bijna alles draait zonder problemen; wil zeggen dat de UI bereikbaar is, via SSH inloggen mogelijk is etc. Op 1 container na, deze is onbereikbaar via ui of ssh, krijg ik niet gestopt of gereboot. Geeft geen status. Als ik deze wil starten krijg ik de volgende melding:

code:

root@pve-ryzen:/# pct start 112
CT 112 already running

De back-up is vannacht bij deze container vastgelopen:

code:

INFO: Starting Backup of VM 112 (lxc)
INFO: Backup started at 2023-11-02 02:18:16
INFO: status = running
INFO: CT Name: docker-backup
INFO: including mount point rootfs ('/') in backup
INFO: backup mode: snapshot
INFO: ionice priority: 7
INFO: create storage snapshot 'vzdump'

Kan dit met elkaar te maken hebben? Enig idee wat ik zou kunnen proberen om dit weer aan de praat te krijgen (zonder reboot).

Zaken die wel werken via UI:
- Node: 'Status'; geeft alleen het eerste gedeelte met de CPU, memory etc weer. De grafieken werken niet
- Datacenter: 'Options' is wel benaderbaar maar 'Status' geeft dan weer niets
- Containers/VM's: 'Options', 'Resource', 'Netwerk' etc is wel beschikbaar. Consol of Summary (communication failure (0)) dan weer niet.

Iemand een idee?

systemctl restart pvestatd (lijkt mij de oplossing).


Dat is de service die de status voedt en wat velen handmatig zelf uitschakelen om energie te besparen. Lijkt mij nu dat het niet (meer) draait en je het opnieuw moet starten. Waarom het niet draait - dat is ander uitzoekwerk.

[bdu]

Mirabis schreef op donderdag 2 november 2023 @ 14:42:
[...]


systemctl restart pvestatd (lijkt mij de oplossing).


Dat is de service die de status voedt en wat velen handmatig zelf uitschakelen om energie te besparen. Lijkt mij nu dat het niet (meer) draait en je het opnieuw moet starten. Waarom het niet draait - dat is ander uitzoekwerk.

En toch lijkt dit te draaien:

code:

root@pve-ryzen:/# systemctl status pvestatd
● pvestatd.service - PVE Status Daemon
     Loaded: loaded (/lib/systemd/system/pvestatd.service; enabled; preset: enabled)
     Active: active (running) since Thu 2023-11-02 12:35:07 CET; 2h 8min ago
    Process: 3733697 ExecStart=/usr/bin/pvestatd start (code=exited, status=0/SUCCESS)
   Main PID: 3733728 (pvestatd)
      Tasks: 2 (limit: 72085)
     Memory: 90.6M
        CPU: 1.125s
     CGroup: /system.slice/pvestatd.service
             ├─3733728 pvestatd
             └─3736154 lxc-info -n 112 -p

Nov 02 12:35:07 pve-ryzen systemd[1]: Starting pvestatd.service - PVE Status Daemon...
Nov 02 12:35:07 pve-ryzen pvestatd[3733728]: starting server
Nov 02 12:35:07 pve-ryzen systemd[1]: Started pvestatd.service - PVE Status Daemon.
Nov 02 12:35:54 pve-ryzen pvestatd[3733728]: command 'lxc-info -n 112 -p' failed: got signal 9
Nov 02 12:35:54 pve-ryzen pvestatd[3733728]: modified cpu set for lxc/112: 7-8,10,13
Nov 02 12:35:54 pve-ryzen pvestatd[3733728]: modified cpu set for lxc/113: 0,6
Nov 02 12:35:54 pve-ryzen pvestatd[3733728]: modified cpu set for lxc/114: 11,15

[EDIT] Toch maar uitgevoerd

Al lijkt een restart wel iets te doen.

Kan nu niet meer inloggen?

code:

Login failed. Please try again

[EDIT 2]

Nu lijken de VM's weer actief te rapporteren.

LXC's en storage (nog) niet.

[EDIT 3]

Heb middels kill -9 het proces, verantwoordelijke hiervoor afgesloten.

code:

root       24892  0.0  0.0   5024  3200 ?        Ss   Oct31   0:03 /usr/bin/lxc-start -F -n 112

Nu is uiteraard de vraag. Hoe gaan we voorkomen dat dit weer gebeurd.

[ Voor 12% gewijzigd door bdu op 02-11-2023 16:05 ]

[DevaZ]

bdu schreef op donderdag 2 november 2023 @ 12:15:
Ik hoop dat jullie kunnen helpen.

Ik heb al een jaar of 2 een NUC draaien met enkele containers en VM's. Nu heb ik recent een upgrade gedaan naar een AMD systeem. Ik heb daar Proxmox en een enkele VM op gezet en dit draaide naar behoren.

Nu ben ik van de week begonnen met het verhuizen van de containers en VM's van de NUC naar het nieuwe systeem (middels backup en restore). Dit draaide (ogenschijnlijk) allemaal goed.

Totdat ik vanmorgen zag dat de UI van Proxmox bij alle containers, VM en storage een 'Status: unknown' geeft:
[Afbeelding]

Bijna alles draait zonder problemen; wil zeggen dat de UI bereikbaar is, via SSH inloggen mogelijk is etc. Op 1 container na, deze is onbereikbaar via ui of ssh, krijg ik niet gestopt of gereboot. Geeft geen status. Als ik deze wil starten krijg ik de volgende melding:

code:

root@pve-ryzen:/# pct start 112
CT 112 already running

De back-up is vannacht bij deze container vastgelopen:

code:

INFO: Starting Backup of VM 112 (lxc)
INFO: Backup started at 2023-11-02 02:18:16
INFO: status = running
INFO: CT Name: docker-backup
INFO: including mount point rootfs ('/') in backup
INFO: backup mode: snapshot
INFO: ionice priority: 7
INFO: create storage snapshot 'vzdump'

Kan dit met elkaar te maken hebben? Enig idee wat ik zou kunnen proberen om dit weer aan de praat te krijgen (zonder reboot).

Zaken die wel werken via UI:
- Node: 'Status'; geeft alleen het eerste gedeelte met de CPU, memory etc weer. De grafieken werken niet
- Datacenter: 'Options' is wel benaderbaar maar 'Status' geeft dan weer niets
- Containers/VM's: 'Options', 'Resource', 'Netwerk' etc is wel beschikbaar. Consol of Summary (communication failure (0)) dan weer niet.

Iemand een idee?

Ik zou toch de schijven ff controleren op fouten.

[nero355]

bdu schreef op donderdag 2 november 2023 @ 14:28:
Wat de reden hiervan is, die heb ik niet direct.

Containers zijn 'lichter' dan VM's.
Docker maakt het beheer uiteraard makkelijker.

Ja, maar zoals ik het begrijp heb je nu dus :
- LXC #1 met daarin Docker + Één of meerdere Containers
- LXC #2 met daarin Docker + Één of meerdere Containers

Waarom dan niet gewoon :
- LXC met daarin Docker + Alle Containers die je nodig hebt.
of
- VM met daarin Docker + Alle Containers die je nodig hebt.
of
- Meerdere LXC's met daarin elke keer de software die je normaal gesproken in een Docker Container draait.

Ik denk dat het op die manier wat overzichtelijker wordt


Daarnaast zit ik me eigenlijk ook wel af te vragen of je de boel überhaupt zou moeten backuppen :
- Alle daadwerkelijke Data sla je toch ergens anders op.
- Het enige wat je eventueel wilt bewaren zijn de Config Files en die veranderen niet vaak over het algemeen...


Dus denk daar eens over na

[zeroday]

ugh .. gisteren een NUC met Proxmox die het niet fijn vond dat een switch een firmware update kreeg. Je vraagt je af waardoor dat gebeurd, maar goed..

Een soort van Kernel Panic op de netwerk poorten. Hierdoor was een node geheel onbereikbaar.
Enige manier om iets te doen was alles uitzetten omdat de panic maar over het scherm bleef gaan ..

Nie handig nie.

[nero355]

zeroday schreef op woensdag 15 november 2023 @ 07:51:
ugh .. gisteren een NUC met Proxmox die het niet fijn vond dat een switch een firmware update kreeg. Je vraagt je af waardoor dat gebeurd, maar goed..

Ik vind het ook raar dat bijvoorbeeld Windows langzamer opstart als de LAN effe niet beschikbaar is en onlangs had ik het idee dat KDE daar ook een handje van heeft, maar helemaal zeker weet ik het nog niet

Zo kan je ook rare toestanden krijgen als je PC toevallig een DVB-S/S2 kaart erin heeft zitten en er is wat raars aan de hand met de ontvangst!

En de meeste telefoons kunnen er ook wel wat van op het moment dat je wordt gebeld : Hele GUI die niet reageert en alleen opnemen/ophangen op dat moment echt goed op de input reageert of dat eigenlijk zou moeten, maar stiekem ook niet echt doet!


Echt zo tof allemaal...

[ Voor 3% gewijzigd door nero355 op 15-11-2023 23:53 ]

[dcm360]

Zojuist is Proxmox 8.1 uitgekomen. Kernel 6.5 vind ik een welkome upgrade (zou op AMD-systemen flink beter moeten werken met power-management), en ook de laatste ZFS-release bevat leuke nieuwigheden.

[RobertMe]

dcm360 schreef op donderdag 23 november 2023 @ 16:26:
Zojuist is Proxmox 8.1 uitgekomen. Kernel 6.5 vind ik een welkome upgrade (zou op AMD-systemen flink beter moeten werken met power-management), en ook de laatste ZFS-release bevat leuke nieuwigheden.

ZFS 2.2? Nice!

Nu moet die nog in Debian zelf komen. Maar dat zal wel alleen via backports gaan. Maar daar zit die zelfs nog niet in sid.

[Airw0lf]

dcm360 schreef op donderdag 23 november 2023 @ 16:26:
Zojuist is Proxmox 8.1 uitgekomen. Kernel 6.5 vind ik een welkome upgrade (zou op AMD-systemen flink beter moeten werken met power-management), en ook de laatste ZFS-release bevat leuke nieuwigheden.

Lijkt inderdaad te kloppen - minder opstart problemen en iets betere prestaties.
Maar afgaande op deze resultaten wordt het stroomverbruik hierdoor wel iets hoger...
Wellicht een WIP-status..

[dcm360]

@Airw0lf Belangrijke noot daarbij is dan wel weer dat het stroomverbruik onder load betreft, en de servers waar ik op het stroomverbruik wil letten zijn vooral idle. Als eerste indruk is het verbruik op mijn router marginaal hoger, maar dat moet nog even kunnen stabiliseren voordat ik er echt wat over kan zeggen.

[GoBieN-Be]

Those using OpenZFS 2.2 will want to update to OpenZFS 2.2.1 right away. A block cloning bug was uncovered that is causing data corruption issues for users.

[UTMachine]

GoBieN-Be schreef op donderdag 23 november 2023 @ 23:49:
[...]

Proxmox releasenotes:
latest versions of QEMU 8.1.2 and ZFS 2.2.0 including the most important bugfixes from 2.2.1 already

[lolgast]

Ik heb net bijgewerkt naar 8.1 maar mijn machine komt niet meer voorbij het laden van de nieuwe kernel (proxmox-kernel-6.5.11-4-pve-signed). Recovery mode doet vooralsnog ook niet heel veel..

Edit: Boot met de oude kernel, proxmox-kernel-6.2.16-19-pve, gedaan en nu draait alles weer.. Eens zien wat er aan de hand

[ Voor 35% gewijzigd door lolgast op 24-11-2023 09:55 ]

[dcm360]

BIj een niet-werkende kernel is mijn ervaring dat de recovery starten vanaf het installatie-medium vrij goed werkt (en vooral ook gewoon het geïnstalleerde systeem start). Ik zou gokken dat er iets misgegaan is met het installeren van de kernel en dat je daar in de logs of output wel wat van zou moeten kunnen zien, maar daar heb je op zich niet veel aan totdat het systeem weer gestart is (maar weet je wel wat het achterliggende probleem is).

[lolgast]

Ik heb even snel gekeken en de kernel is inderdaad niet goed geïnstalleerd. Lijkt iets te maken te hebben met mijn Realtek NIC. Nog geen tijd gehad om echt goed te troubleshooten, uiteraard update ik vlak voordat mijn vrouw Teams vergaderingen had dus ik was allang blij dat het relatief eenvoudig te verhelpen was. Oa mijn DNS servers draaien namelijk op Proxmox. Home Assistant trouwens ook, dus mijn hele huis stopte met functioneren

[Zwelgje]

vanavond maar even de nodes in het cluster herinstalleren, direct SecureBoot weer aan in de bios en gaan!

(ja het kan ook zonder reinstall, maar ik heb toch een cluster, haal de nodes 1 voor 1 offline en doe een fresh Install)

[zeroday]

Mooi hoor die 8.1.3 ..
notificatie systeem ben ik wel blij mee want nu krijg ik weer mailtjes binnen

Op de een of andere manier was dat helemaal gestopt.Was even zoeken om het goed voor de backups te krijgen want de notification matchers moest ik ook nog aanpassen ..

[ronjon]

bij het updaten van 8.1 werd ook de nieuwe kernel 6.5.11-4 geinstalleerd, maar mijn systeem boot alleen maar van kernel 6.2.16-3 (dit is zelfs de enige kernel die zichtbaar is in het boot scherm, terwijl ik meerdere kernels heb geinstalleerd)

code:

nfs-kernel-server/stable,now 1:2.6.2-4 amd64 [installed]
proxmox-default-kernel/stable,now 1.0.1 all [installed,automatic]
proxmox-kernel-6.2.16-18-pve/stable,now 6.2.16-18 amd64 [installed]
proxmox-kernel-6.2.16-19-pve/stable,now 6.2.16-19 amd64 [installed,automatic]
proxmox-kernel-6.2/stable,now 6.2.16-19 all [installed,automatic]
proxmox-kernel-6.5.11-4-pve-signed/stable,now 6.5.11-4 amd64 [installed,automatic]
proxmox-kernel-6.5/stable,now 6.5.11-4 all [installed,automatic]
proxmox-kernel-helper/stable,now 8.0.9 all [installed]
pve-kernel-6.2.16-3-pve/stable,now 6.2.16-3 amd64 [installed]
pve-kernel-6.2/stable,now 8.0.5 all [installed]

de standaard kernel verwijst in brub.cfg naar 6.5.11-4

code:

menuentry 'Proxmox VE GNU/Linux' --class proxmox --class gnu-linux --class gnu --class os $menuentry_id_option 'gnulinux-simple-44a79db9-256c-4ddd-a237-0ec22d1eb400' {
    load_video
    insmod gzio
    if [ x$grub_platform = xxen ]; then insmod xzio; insmod lzopio; fi
    insmod part_gpt
    insmod lvm
    insmod ext2
    set root='lvmid/NLUfF0-BHTM-Ulb8-CkI1-TVyC-eiyP-hHxSHv/HqtWP7-mKl0-uc9o-fCc9-R6NC-FQyD-wH1rfo'
    if [ x$feature_platform_search_hint = xy ]; then
      search --no-floppy --fs-uuid --set=root --hint='lvmid/NLUfF0-BHTM-Ulb8-CkI1-TVyC-eiyP-hHxSHv/HqtWP7-mKl0-uc9o-fCc9-R6NC-FQyD-wH1rfo'  44a79db9-256c-4ddd-a237-0ec22d1eb400
    else
      search --no-floppy --fs-uuid --set=root 44a79db9-256c-4ddd-a237-0ec22d1eb400
    fi
    echo    'Loading Linux 6.5.11-4-pve ...'
    linux    /boot/vmlinuz-6.5.11-4-pve root=/dev/mapper/pve-root ro  quiet intel_iommu=off intremap=off
    echo    'Loading initial ramdisk ...'
    initrd    /boot/initrd.img-6.5.11-4-pve

de boot partitie is /dev/sdd

code:

root@kellingin:/boot# fdisk -l /dev/sdd
Disk /dev/sdd: 29.3 GiB, 31457280000 bytes, 61440000 sectors
Disk model: PHILIPS         
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: dos
Disk identifier: 0xea908e52

Device     Boot Start    End Sectors  Size Id Type
/dev/sdd1  *     2048 264191  262144  128M 83 Linux

tijdens het installeren van een nieuwe kernel, zag ik notificaties dat ESP sync werd geskipped.

code:

root@kellingin:/boot# apt install proxmox-kernel-6.5.11-3-pve
Reading package lists... Done
Building dependency tree... Done
Reading state information... Done
The following NEW packages will be installed:
  proxmox-kernel-6.5.11-3-pve
0 upgraded, 1 newly installed, 0 to remove and 0 not upgraded.
Need to get 99.6 MB of archives.
After this operation, 558 MB of additional disk space will be used.
Get:1 http://download.proxmox.com/debian/pve bookworm/pve-no-subscription amd64 proxmox-kernel-6.5.11-3-pve amd64 6.5.11-3 [99.6 MB]
Fetched 99.6 MB in 4s (26.2 MB/s)                       
Selecting previously unselected package proxmox-kernel-6.5.11-3-pve.
(Reading database ... 71336 files and directories currently installed.)
Preparing to unpack .../proxmox-kernel-6.5.11-3-pve_6.5.11-3_amd64.deb ...
Unpacking proxmox-kernel-6.5.11-3-pve (6.5.11-3) ...
Setting up proxmox-kernel-6.5.11-3-pve (6.5.11-3) ...
Examining /etc/kernel/postinst.d.
run-parts: executing /etc/kernel/postinst.d/initramfs-tools 6.5.11-3-pve /boot/vmlinuz-6.5.11-3-pve
update-initramfs: Generating /boot/initrd.img-6.5.11-3-pve
Running hook script 'zz-proxmox-boot'..
Re-executing '/etc/kernel/postinst.d/zz-proxmox-boot' in new private mount namespace..
No /etc/kernel/proxmox-boot-uuids found, skipping ESP sync.
Couldn't find EFI system partition. It is recommended to mount it to /boot or /efi.
Alternatively, use --esp-path= to specify path to mount point.
run-parts: executing /etc/kernel/postinst.d/proxmox-auto-removal 6.5.11-3-pve /boot/vmlinuz-6.5.11-3-pve
run-parts: executing /etc/kernel/postinst.d/zz-proxmox-boot 6.5.11-3-pve /boot/vmlinuz-6.5.11-3-pve
Re-executing '/etc/kernel/postinst.d/zz-proxmox-boot' in new private mount namespace..
No /etc/kernel/proxmox-boot-uuids found, skipping ESP sync.
run-parts: executing /etc/kernel/postinst.d/zz-systemd-boot 6.5.11-3-pve /boot/vmlinuz-6.5.11-3-pve
Couldn't find EFI system partition. It is recommended to mount it to /boot or /efi.
Alternatively, use --esp-path= to specify path to mount point.
run-parts: executing /etc/kernel/postinst.d/zz-update-grub 6.5.11-3-pve /boot/vmlinuz-6.5.11-3-pve
Generating grub configuration file ...
Found linux image: /boot/vmlinuz-6.5.11-4-pve
Found initrd image: /boot/initrd.img-6.5.11-4-pve
Found linux image: /boot/vmlinuz-6.5.11-3-pve
Found initrd image: /boot/initrd.img-6.5.11-3-pve
Found linux image: /boot/vmlinuz-6.2.16-19-pve
Found initrd image: /boot/initrd.img-6.2.16-19-pve
Found linux image: /boot/vmlinuz-6.2.16-18-pve
Found initrd image: /boot/initrd.img-6.2.16-18-pve
Found linux image: /boot/vmlinuz-6.2.16-3-pve
Found initrd image: /boot/initrd.img-6.2.16-3-pve
Found memtest86+x64 image: /boot/memtest86+x64.bin
done

wat kan de reden zijn dat het systeem alleen maar kernel 6.2.16-3 ziet ?

[dcm360]

Wat jij denkt dat /boot is, is denk ik niet /boot. Je hebt 5 kernels geïnstalleerd, en dat zou naar mijn inschatting ongeveer 350 a 400MB opslagruimte innemen. De partitie die jij aangeeft is daar te klein voor.

Waarschijnlijk is het mounten van /boot ooit niet gelukt, en heb je nu op /boot een map met daarin data waardoor de schijf er sowieso niet gemount kan worden. Maar hoe dan ook heb je wel een grotere partitie voor /boot nodig dan 128MB, want daar past tegenwoordig niet meer dan 1 kernel in (en dat is toch wel een beetje spannend met upgraden).

De meldingen over de ESP sync en de EFI-partitie kan je verder negeren als je gebruikmaakt van GRUB.

[ Voor 53% gewijzigd door dcm360 op 26-11-2023 12:32 ]

[ronjon]

ik heb 2 HP microservers, beiden op dezelfde wijze ingericht ( https://jarrodla.blogspot...8-boot-from-5th-sata.html

1 van deze 2 heeft het "probleem" dat de nieuwste kernel niet wordt geladen.
beide systemen booten vanaf een sdd, waarbij grub geinstalleerd staat op een permanente USB (/dev/sdd)

systeem1 - laad niet de nieuwste kernel

code:

Disk /dev/sdd: 29.3 GiB, 31457280000 bytes, 61440000 sectors
Disk model: PHILIPS         
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: dos
Disk identifier: 0xea908e52

Device     Boot Start    End Sectors  Size Id Type
/dev/sdd1  *     2048 264191  262144  128M 83 Linux

code:

Disk /dev/sdf: 232.89 GiB, 250059350016 bytes, 488397168 sectors
Disk model: Seagate BarraCud
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: gpt
Disk identifier: AC7B7B54-9EDD-4169-9F57-22666269155E

Device       Start       End   Sectors   Size Type
/dev/sdf1       34      2047      2014  1007K BIOS boot
/dev/sdf2     2048   2099199   2097152     1G EFI System
/dev/sdf3  2099200 488397134 486297935 231.9G Linux LVM

systeem2 - laad de nieuwste kernel

code:

Disk /dev/sdd: 14.54 GiB, 15610576896 bytes, 30489408 sectors
Disk model: DataTraveler 2.0
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: gpt
Disk identifier: 98E8F751-4F90-477C-854C-8EF59A9EAE56

Device     Start    End Sectors  Size Type
/dev/sdd1   2048 249855  247808  121M BIOS boot

code:

Disk /dev/sde: 232.89 GiB, 250059350016 bytes, 488397168 sectors
Disk model: CT250BX100SSD1  
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: gpt
Disk identifier: 8F2A8AB0-62D1-4451-8977-357AB858CF1B

Device       Start       End   Sectors   Size Type
/dev/sde1       34      2047      2014  1007K BIOS boot
/dev/sde2     2048   1050623   1048576   512M EFI System
/dev/sde3  1050624 488397134 487346511 232.4G Linux LVM

het lijkt erop dat systeem1, de grub-installatie Disktype DOS heeft, terwijl dat bij systeem 2 GPT is ?

[ Voor 36% gewijzigd door ronjon op 28-11-2023 20:39 . Reden: informatie toegevoegd ]

[nero355]

ronjon schreef op dinsdag 28 november 2023 @ 20:09:
ik heb 2 HP microservers, beiden op dezelfde wijze ingericht ( https://jarrodla.blogspot...8-boot-from-5th-sata.html

Maar begrijp je ook wat je hebt gedaan ?!

Dit is het hele probleem met klakkeloos dergelijke tutorials volgen : Er gaat iets stuks en dan weten de meesten niet meer wat ze moeten doen om de boel werkend te krijgen!

het lijkt erop dat systeem1, de grub-installatie Disktype DOS heeft, terwijl dat bij systeem 2 GPT is ?

MBR vs. GPT is alleen boeiend bij HDD's en tegenwoordig ook SSD's die groter zijn dan 2 TB

Tegenwoordig zou ik de /boot minimaal 1 GB groot maken om zo lang mogelijk uit de problemen te blijven : https://chrispinnock.com/...ing-boot-on-raspberry-pi/
Zoals je daar kan zien werd dus zelfs voor een Raspberry Pi en hun eigen RaspBian/Raspberry Pi OS aangeraden in 2020 om die partitie 256 MB groot te maken en is sinds een tijdje alweer naar 512 MB verhoogd dus waarom die vent uit jouw link voor een 128 MB partitie ging is mij echt een raadsel

Mijn advies :
- Mount de boel offline.
- Sloop je /boot
- Maak een nieuwe MBR /boot parittie van minimaal 1 GB groot !!
- Installeer de Kernel en alles daarop en boot daarna je Proxmox Server zoals je dat altijd doet!

[ronjon]

nero355 schreef op dinsdag 28 november 2023 @ 21:58:
[...]

Maar begrijp je ook wat je hebt gedaan ?!

zeker

nero355 schreef op dinsdag 28 november 2023 @ 21:58:
[...]
MBR vs. GPT is alleen boeiend bij HDD's en tegenwoordig ook SSD's die groter zijn dan 2 TB

Tegenwoordig zou ik de /boot minimaal 1 GB groot maken om zo lang mogelijk uit de problemen te blijven : https://chrispinnock.com/...ing-boot-on-raspberry-pi/
Zoals je daar kan zien werd dus zelfs voor een Raspberry Pi en hun eigen RaspBian/Raspberry Pi OS aangeraden in 2020 om die partitie 256 MB groot te maken en is sinds een tijdje alweer naar 512 MB verhoogd dus waarom die vent uit jouw link voor een 128 MB partitie ging is mij echt een raadsel

Mijn advies :
- Mount de boel offline.
- Sloop je /boot
- Maak een nieuwe MBR /boot parittie van minimaal 1 GB groot !!
- Installeer de Kernel en alles daarop en boot daarna je Proxmox Server zoals je dat altijd doet!

ik dacht dat het probleem kwam door MBR vs. GPT.
Ik heb het aantal kernels teruggebracht naar 2, en bij het opstarten werd nu wel de laatste kernel geselecteerd.

duidelijk dus dat het probleem niet aan MBT vs GPT lag, maar kennelijk (zoals je al eerder aangaf) de grootte van de /boot partitie.

systeem geladen met een rescue disk, via parted de /boot partitie vergroot naar 1 GB en nu werkt alles weer naar behoren

thx

[Krilo_89]

Vanmorgen werd ik wakker zonder dat ik de warmtepomp voelde draaien (geen warme voetjes ) en dus even op onderzoek uit.
In de logs van Proxmox zelf zie ik iets met updates, maar via de terminal kwam ik uit op het volgende:

code:

Nov 29 04:29:16 nuc smartd[735]: Device: /dev/sda [SAT], SMART Usage Attribute: 190 Airflow_Temperature_Cel changed from 58 to 56
Nov 29 04:59:16 nuc smartd[735]: Device: /dev/sda [SAT], SMART Usage Attribute: 190 Airflow_Temperature_Cel changed from 56 to 57
-- Boot b4435251ff6e4bb4b29c03049d40f26f --
Nov 29 08:53:35 nuc kernel: Linux version 5.15.39-1-pve (build@proxmox) (gcc (Debian 10.2.1-6) 10.2.1 20210110, GNU ld (GNU Binutils for Debian) 2.35.2) #1 SMP PVE 5.15.39-1 (Wed, 22 Jun 2022 17:22:00 >

Op 21 november had ik ook zoiets, maar toen was ik niet thuis. Uiteindelijk heeft iemand de stekker uit de NUC gehaald en weer ingeplugd, waarna alles weer online kwam. Toen heb ik bij de 'Tasks' gekeken en zag daar een update staan in de nacht, dus ging ervan uit dat die niet lekker was afgerond oid. Maar doordat ik het nu weer had, dus wat beter gaan kijken.
Rond 21 november kwam ik ook deze logs tegen:

code:

Nov 20 14:08:38 nuc smartd[741]: Device: /dev/sda [SAT], SMART Usage Attribute: 190 Airflow_Temperature_Cel changed from 56 to 59
Nov 20 14:17:01 nuc CRON[2030411]: pam_unix(cron:session): session opened for user root(uid=0) by (uid=0)
Nov 20 14:17:01 nuc CRON[2030412]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)
Nov 20 14:17:01 nuc CRON[2030411]: pam_unix(cron:session): session closed for user root
Nov 20 14:38:38 nuc smartd[741]: Device: /dev/sda [SAT], SMART Usage Attribute: 190 Airflow_Temperature_Cel changed from 59 to 56
Nov 20 15:08:38 nuc smartd[741]: Device: /dev/sda [SAT], SMART Usage Attribute: 190 Airflow_Temperature_Cel changed from 56 to 55

Ik heb een NUC 11th Gen Core i3 die in de meterkast staat. Daar is het wel warm, maar niet '50' graden+ warm. De NUC zelf heeft geen fans, maar ik zie wel wat stof aan de zijkant zitten. Zijn er andere manieren om de temps te kunnen monitoren?

Er zit een 1TB SSD (Samsunig EVO 860) in waar naar verwezen wordt in de logs en als ik die schijf open in Proxmox, zie ik de Airflow_temperature staan op 38 graden nu. Dus ik ben wel benieuwd wat ervoor kan zorgen dat die temps zo hoog worden (of dat echt door updates komt bijv.).

[Cardinal]

Krilo_89 schreef op woensdag 29 november 2023 @ 10:56:
Ik heb een NUC 11th Gen Core i3 die in de meterkast staat. Daar is het wel warm, maar niet '50' graden+ warm. De NUC zelf heeft geen fans, maar ik zie wel wat stof aan de zijkant zitten.

Jawel Zelfs mijn Nuc11ATKC2 heeft fans, dus een i3 zal zeker fans hebben. Tijd om het fan profiel in de bios aan te passen.

[ Voor 15% gewijzigd door Cardinal op 29-11-2023 11:58 ]

[Krilo_89]

Cardinal schreef op woensdag 29 november 2023 @ 11:30:
[...]

Jawel Zelfs mijn Nuc11ATKC2 heeft fans, dus een i3 zal zeker fans hebben. Tijd om het fan profiel in de bios aan te passen.

, ik ben er blind vanuit gegaan dat een NUC geen fans had. Ik weet eigenlijk niet eens waarom (ik heb hem nota bene open gehaald om een SSD te plaatsen en wat RAM .
Ik ga hem even schoonmaken en zal eens gaan spieken in de bios.

[Cardinal]

@Krilo_89 de fan zit aan de achterkant van het moederbord, maar die zie je niet bij het openmaken, gezien die "er onder verstopt zit".

[powerboat]

Krilo_89 schreef op woensdag 29 november 2023 @ 12:22:
[...]

, ik ben er blind vanuit gegaan dat een NUC geen fans had. Ik weet eigenlijk niet eens waarom (ik heb hem nota bene open gehaald om een SSD te plaatsen en wat RAM .
Ik ga hem even schoonmaken en zal eens gaan spieken in de bios.

een nuc(kige) Onlyfan(s)

[commentator]

er is vandaag al weer een nieuwe kernel vanuit proxmox.

FYI: There's an updated kernel, proxmox-kernel-6.5.11-6-pve (and its signed variant), that includes a targeted fix for the longer-standing dnode ZFS issue. This fix, having been accepted upstream, has been backported and is already released, even as upstream continues working on their 2.2.2 release.

With this update, we could not reproduce the issue using the reproducer script, which is designed to specifically trigger the edge case where this problem could occur.

Please note that while we have updated both the kernel for the module and the user space packages to avoid potential confusion about mismatching versions (as reported by, for example, zfs -V), the actual fix is specific to the kernel module and thus requires a reboot to be applied.

The kernel is available on pvetest and pve-no-subscription. As we've only made the minimal changes required to fix the issue, this dramatically reduces the potential for regressions. Therefore, it should become available on pve-enterprise soon (in a few days at most), assuming no issues arise. After that, we will proceed to rebuild the ISO. Additionally, we're working on a backport for older but still supported kernel releases and their ZFS versions.

[ Voor 88% gewijzigd door commentator op 29-11-2023 21:30 ]

[zeroday]

commentator schreef op woensdag 29 november 2023 @ 21:15:
er is vandaag al weer een nieuwe kernel vanuit proxmox.


[...]

Tsja.. soms zeggen bepaalde fixes me compleet niets ..
iets als longstanding betekent dat in af-en-toe situaties iets wellicht zou kunnen gebeuren ..

moet ik dan stel op sprong mijn systeem weer rebooten? .. uhm..