Het grote Proxmox VE topic

[MakhouT]

Ok duidelijk! Ik probeer het dan via ethernet.
Ik zal ook eens kijken hoe ik mijn proxmox een static IP kan geven.

[smeerbartje]

Ik heb een probleem met mijn proxmox home servertje. Hierop draaien een drie-tal VMs. Allemaal prima; Ubuntu erop en een aantal docker containers in die VMs.

Alleen nu wil ik een LXC container in het leven roepen; ik heb daarvoor het standaard Ubuntu 22.04 template gebruikt. Maar wat ik ook doe, ik krijg het NIET voor elkaar om de LXC container een verbinding te laten maken met de buitenwereld. De LXC kan wél pingen met de host, met mijn gateway en met andere devices in het netwerk. Echter "naar buiten toe" lukt me simpelweg niet.

Ik heb hiervoor ook een topic aangemaakt in het Proxmox forum zelf, maar daar is weinig response. Ik dacht ik probeer het hier ook even; want ikzelf ben eigenlijk out-of-debug opties .

[ronjon]

hoe heb je je dns ingesteld? in je CT of gebruik je degene die in proxmox kunnen worden ingesteld ?
mijn resolv.conf van de CT verwijst naar eigen (pihole) DNS servers. ik zie in jou config als 1e het adres 127.0.0.53.

er lijkt een VPN (server of client? tailscale ) te draaien. zet deze eens uit en docker ook en probeer dan nog eens

[orvintax]

smeerbartje schreef op woensdag 1 februari 2023 @ 18:42:
Ik heb een probleem met mijn proxmox home servertje. Hierop draaien een drie-tal VMs. Allemaal prima; Ubuntu erop en een aantal docker containers in die VMs.

Alleen nu wil ik een LXC container in het leven roepen; ik heb daarvoor het standaard Ubuntu 22.04 template gebruikt. Maar wat ik ook doe, ik krijg het NIET voor elkaar om de LXC container een verbinding te laten maken met de buitenwereld. De LXC kan wél pingen met de host, met mijn gateway en met andere devices in het netwerk. Echter "naar buiten toe" lukt me simpelweg niet.

Ik heb hiervoor ook een topic aangemaakt in het Proxmox forum zelf, maar daar is weinig response. Ik dacht ik probeer het hier ook even; want ikzelf ben eigenlijk out-of-debug opties .

Ik heb de forumpost ook nagelezen, maar wat voor DNS servers heb je ingesteld? Want ik zie daar niks van terug in jouw pct output:

code:

root@pve:~# pct config 113
arch: amd64
cores: 1
features: nesting=1
hostname: unifi
memory: 512
net0: name=eth0,bridge=vmbr0,firewall=1,gw=192.168.1.1,hwaddr=0E:34:6B:07:FF:90,ip=192.168.1.13/24,type=veth
ostype: ubuntu
rootfs: local-lvm:vm-113-disk-0,size=8G
swap: 512
unprivileged: 1

[MakhouT]

Ik heb net terug een nieuwe installatie gedaan van proxmox omdat ik het de laatste keer heb gedaan zonder ethernet.

Maar ik zit met het volgende:

Ik ben een course aan het volgen op youtube en op 17:12 heeft die persoon een bepaalde ip adres dat precies beschikbaar is van buitenaf? Terwijl ik enkel een lokaal ip adres toegewezen krijg dat begint met 192.168...

Ik heb een foto getrokken van mijn settings.
Doe ik hier nog iets verkeerd dan?



En bovendien bij management interface, ik veronderstel dat ik eno1 moet kiezen voor ethernet ipv wlp0s20f3

[rachez]

@MakhouT , hij installeert het op een linode cloud server, vandaar dat hij benaderbaar is vanaf het inet. Jij moet gewoon een lan adress opgeven als je proxmox op een pc in je lan installeert.

en ja daar moet je eno1 kiezen en niet je wifi netwerk.

[MakhouT]

rachez schreef op vrijdag 3 februari 2023 @ 17:03:
@MakhouT , hij installeert het op een linode cloud server, vandaar dat hij benaderbaar is vanaf het inet. Jij moet gewoon een lan adress opgeven als je proxmox op een pc in je lan installeert.

en ja daar moet je eno1 kiezen en niet je wifi netwerk.

Ik ben het op een NUC aan het installeren met een ethernet kabel. Wilt dit dan zeggen dat ik hem niet ga kunnen bereiken via het internet als ik bv mijn plex server wil aanroepen ergens anders dan thuis?

[rachez]

Als je plex wilt installeren doe je dat bijvoorbeeld op een vm op je proxmox server (er zijn meerdere opties). Plex draait dan op die vm op een bepaalde poort.

Die poort op die specifieke vm kan je dan dmv port forwarding in je router openstellen voor het internet, waardoor je er bijkunt. Wel zaak dat je dan goed alles patched.

[Anoniemand]

MakhouT schreef op vrijdag 3 februari 2023 @ 17:07:
[...]


Ik ben het op een NUC aan het installeren met een ethernet kabel. Wilt dit dan zeggen dat ik hem niet ga kunnen bereiken via het internet als ik bv mijn plex server wil aanroepen ergens anders dan thuis?

Er zijn meerdere manieren om dat mogelijk te maken, maar bij deze installatiestap moet je gewoon het lokale lan ip opgeven.

[powerboat]

MakhouT schreef op vrijdag 3 februari 2023 @ 16:51:
Ik heb net terug een nieuwe installatie gedaan van proxmox omdat ik het de laatste keer heb gedaan zonder ethernet.

Maar ik zit met het volgende:

Ik ben een course aan het volgen op youtube en op 17:12 heeft die persoon een bepaalde ip adres dat precies beschikbaar is van buitenaf? Terwijl ik enkel een lokaal ip adres toegewezen krijg dat begint met 192.168...

Ik heb een foto getrokken van mijn settings.
Doe ik hier nog iets verkeerd dan?

[Afbeelding]

En bovendien bij management interface, ik veronderstel dat ik eno1 moet kiezen voor ethernet ipv wlp0s20f3

Als je hem perse van buitenaf beschikbaar wilt maken zou je dat het beste middels vpn kunnen doen.

Natten kan ook maar ik raad dat eigenlijke wel af, zet er dan minimaal 2FA op.

[htca]

Anoniemand schreef op vrijdag 3 februari 2023 @ 17:15:
[...]


Er zijn meerdere manieren om dat mogelijk te maken, maar bij deze installatiestap moet je gewoon het lokale lan ip opgeven.

Over het algemeen wil je de proxmox server zeg niet over internet exposen. Als je dat echt wilt, kun je beter een vpn gebruiken. Daarmee kun je ook evt vm en lxc benaderen.
Andere optie is om een proxy manager op te zetten en alleen bepaalde poorten open te zetten (80/443)

[Anoniemand]

htca schreef op vrijdag 3 februari 2023 @ 21:32:
[...]

Over het algemeen wil je de proxmox server zeg niet over internet exposen. Als je dat echt wilt, kun je beter een vpn gebruiken. Daarmee kun je ook evt vm en lxc benaderen.
Andere optie is om een proxy manager op te zetten en alleen bepaalde poorten open te zetten (80/443)

Eens. Wilde daar alleen nu nog niet te ver op in gaan, gezien het nog om de installatie van Proxmox ging. Maar VPN zou ook mijn voorkeursmogelijkheid zijn om toegang daartoe te verschaffen en Plex idd via een reverse proxy.

[ZatarraNL]

Ik heb zelfs een Proxmox cluster over vpn draaien. Dat gaat prima.
Maar het triggert me wel even: mijn Proxmox is alleen via lan bereikbaar, maar gevoelsmatig is inloggen met alleen naam en wachtwoord beperkt veilig. Is er iemand die 2fa gebruikt? Bijvoorbeeld met een yubikey? Ik heb het nog niet aangedurfd.

[MakhouT]

De installatie dus afgerond en nu even verder kijken met die tutorial wat ik moet kiezen voor een container of een VM
Wat ik me wel afvraag als ik plex wil installeren met bv radarr, sonar, medusa etc moet ik dan elke applicatie op zijn eigen vm/container draaien of draai ik alles rondom plex op een eigen container/vm?

*Ik zeg nog "container/vm" omdat ik nog niet weet de welke dat ik ga kiezen, daarvoor ga ik de tutorial video's dit weekend even verder bekijken, dat is les 4

[RobertMe]

MakhouT schreef op zaterdag 4 februari 2023 @ 13:12:
De installatie dus afgerond en nu even verder kijken met die tutorial wat ik moet kiezen voor een container of een VM
Wat ik me wel afvraag als ik plex wil installeren met bv radarr, sonar, medusa etc moet ik dan elke applicatie op zijn eigen vm/container draaien of draai ik alles rondom plex op een eigen container/vm?

*Ik zeg nog "container/vm" omdat ik nog niet weet de welke dat ik ga kiezen, daarvoor ga ik de tutorial video's dit weekend even verder bekijken, dat is les 4

Daar kunnen wij geen eenduidig antwoord op geven. Maar... als je geen Proxmox zou gebruiken, zou je dan meerdere servers kopen om op 1 server Plex te zetten, en een volgende server voor Radarr, en nog een server voor Sonarr, en een vierde server voor...? Of zou je dan alles op 1 server zetten? Of zou je bv voor 2 servers gaan waarbij eentje dienst doet als Plex server en eentje als "download server"? Immers moet je een LXC / VM zien als een losse server. Zou je zonder "virtuele server" (middels LXC of VM) ook ervoor kiezen om voor aparte fysieke servers te gaan?

[MakhouT]

RobertMe schreef op zaterdag 4 februari 2023 @ 14:37:
[...]

Daar kunnen wij geen eenduidig antwoord op geven. Maar... als je geen Proxmox zou gebruiken, zou je dan meerdere servers kopen om op 1 server Plex te zetten, en een volgende server voor Radarr, en nog een server voor Sonarr, en een vierde server voor...? Of zou je dan alles op 1 server zetten? Of zou je bv voor 2 servers gaan waarbij eentje dienst doet als Plex server en eentje als "download server"? Immers moet je een LXC / VM zien als een losse server. Zou je zonder "virtuele server" (middels LXC of VM) ook ervoor kiezen om voor aparte fysieke servers te gaan?

Nee ik zou 1 server kopen en daar alles op draaien. Maar dat doe ik nu toch ook al? Ik heb 1 NUC gekocht om alles daarop te draaien.
Of ben ik het hier nog verkeerd aan het vergelijken

EDIT: Of moet ik elke VM/container als de server bekijken en niet de NUC?
EDIT2: Ik had je 2 laatste zinnen te snel gelezen, dus je hebt het eigenlijk al beantwoord . Dus een VM/container is een (virtuele) server

Hoe ik misschien in de war ben gekomen is, ik had in het verleden een account bij bytesized hosting, waarbij ik een server had maar elke applicatie 'aparte' draaide en zou bv sonarr eruit liggen, dan kon ik die gewoon herstarten zonder dat plex daar enige hinder van ondervond.

[ Voor 22% gewijzigd door MakhouT op 04-02-2023 14:43 ]

[nero355]

MakhouT schreef op zaterdag 4 februari 2023 @ 13:12:
De installatie dus afgerond en nu even verder kijken met die tutorial wat ik moet kiezen voor een container of een VM
Wat ik me wel afvraag als ik plex wil installeren met bv radarr, sonar, medusa etc moet ik dan elke applicatie op zijn eigen vm/container draaien of draai ik alles rondom plex op een eigen container/vm?

*Ik zeg nog "container/vm" omdat ik nog niet weet de welke dat ik ga kiezen, daarvoor ga ik de tutorial video's dit weekend even verder bekijken, dat is les 4

Ik heb voor de grap een tijdje het volgende gedaan :

- VM aangemaakt met Kubuntu Desktop die te bereiken is met SPICE als Remote Desktop Tool om onderstaande zooi te beheren en bekijken.
- VM's aangemaakt met daarin Ubuntu Server geïnstalleerd.
- Elke VM had vervolgens Radarr/Sonarr/sabNZBd/enz. erin draaien.
- Dit gehele interne netwerkje had voor de grap een pfSense VM als Router

Reden : Puur als een experiment en een beetje rondkijken wat al die meuk nou precies doet en of ik het nog voor elkaar krijg om sabNZBd werkend te krijgen samen met effe de laatste/hedendaagse versie van pfSense te bekijken!

Als je daar nou nog een DIY NAS aan toevoegt die via SMB/NFS bereikbaar is dan kom je een heel eind denk ik zo

_{LXC's doe ik niks mee net als Docker Containers dus bovenstaande was voor mij sneller en makkelijker}

[orvintax]

ZatarraNL schreef op zaterdag 4 februari 2023 @ 09:17:
Ik heb zelfs een Proxmox cluster over vpn draaien. Dat gaat prima.
Maar het triggert me wel even: mijn Proxmox is alleen via lan bereikbaar, maar gevoelsmatig is inloggen met alleen naam en wachtwoord beperkt veilig. Is er iemand die 2fa gebruikt? Bijvoorbeeld met een yubikey? Ik heb het nog niet aangedurfd.

Gebruik zelf de TOTP functionaliteit ism mijn passwordmanager (Bitwarden).

[RobertMe]

orvintax schreef op zaterdag 4 februari 2023 @ 15:42:
[...]

Gebruik zelf de TOTP functionaliteit ism mijn passwordmanager (Bitwarden).

offtopic:
Als de Proxmox credentials ook in Bitwarden staan maakt dat het natuurlijk geen 2FA. Iedereen met toegang tot de vault kan dan immers inloggen. En met een sterk wachtwoord (& unieke gebruikersnaam? Of in ieder geval niet "root") vang je ook al 99% van de scenarios af. Blijft dus over "toegang tot de password vault", en als daar de 2FA sectet in staat / TOTP gegenereerd wordt dan beschermd dat niet meer (extra).

[htca]

RobertMe schreef op zaterdag 4 februari 2023 @ 14:37:
[...]

Daar kunnen wij geen eenduidig antwoord op geven. Maar... als je geen Proxmox zou gebruiken, zou je dan meerdere servers kopen om op 1 server Plex te zetten, en een volgende server voor Radarr, en nog een server voor Sonarr, en een vierde server voor...? Of zou je dan alles op 1 server zetten? Of zou je bv voor 2 servers gaan waarbij eentje dienst doet als Plex server en eentje als "download server"? Immers moet je een LXC / VM zien als een losse server. Zou je zonder "virtuele server" (middels LXC of VM) ook ervoor kiezen om voor aparte fysieke servers te gaan?

Er is geen goed of fout, of eigenlijk het is alleen fout als het niet (lekker) werkt voor jou.... Ik zou vooral een poosje spelen en kijken wat voor jou werkt.

Ik heb een aantal dingen juist in LXC (bijv adguard/Nginx/webcrawler) staan en een aantal bewust als VM staan (bijv. Home assistant/nextcloud).

[MakhouT]

htca schreef op zaterdag 4 februari 2023 @ 17:50:
[...]

Er is geen goed of fout, of eigenlijk het is alleen fout als het niet (lekker) werkt voor jou.... Ik zou vooral een poosje spelen en kijken wat voor jou werkt.

Ik heb een aantal dingen juist in LXC (bijv adguard/Nginx/webcrawler) staan en een aantal bewust als VM staan (bijv. Home assistant/nextcloud).

Waarom heb je die bewuste splitsing gemaakt?

[RobertMe]

MakhouT schreef op zaterdag 4 februari 2023 @ 18:11:
[...]

Waarom heb je die bewuste splitsing gemaakt?

Bij Home Assistant kan ik mij indenken dat @htca HAOS draait. Dat is gewoon een kant en klaar OS met Home Assistant en verschillende "addons" die je eenvoudig kunt installeren.

Zelf gebruik ik overal LXC voor. Enige waarvoor ik VM heb gebruikt is een "router" voor VPN. Deze VPN was gateway adres voor een volledig VLAN en stuurde het verkeer naar een VPN provider. Dat gaf mij een iets veiliger gevoel v.w.b. scheiding. Maar intussen draait dat op de router waardoor die VPN nu alleen nog PiHole en Dante (socks proxy) draait en eigenlijk gewoon een LXC kan worden.

[powerboat]

ZatarraNL schreef op zaterdag 4 februari 2023 @ 09:17:
Ik heb zelfs een Proxmox cluster over vpn draaien. Dat gaat prima.
Maar het triggert me wel even: mijn Proxmox is alleen via lan bereikbaar, maar gevoelsmatig is inloggen met alleen naam en wachtwoord beperkt veilig. Is er iemand die 2fa gebruikt? Bijvoorbeeld met een yubikey? Ik heb het nog niet aangedurfd.

Ja hoor werkt prima, mocht je overhoop er problemen mee hebben. Dan kun je dit ongedaan maken via cli als je achter de machine zit of via ilo of zoiets.

[htca]

MakhouT schreef op zaterdag 4 februari 2023 @ 18:11:
[...]

Waarom heb je die bewuste splitsing gemaakt?

Eigenlijk vanuit de filosofie, het liefst in een LXC als het kan, VM als het moet. Maar voor nextcloud (wilde vanuit een schoon besturingsysteem op zetten en draait nog als proef, had ook al nextcloudpi geprobeerd) en Homeassistant (supervisor) wilde ik wat meer controle wat ik niet of minder in LXC voor elkaar kreeg. Alternatief was geweest om nginx bijv binnen HA te draaien. Zelf nog wel eens bedacht om zigbee2mqtt en mqtt buiten HA te zetten zodat als HA een keer plat ligt de boel middels bindings wel door werkt (is beter voor de WAF)....

Maar goed een LXC of een VM opzetten is niet zoveel werk als je het eenmaal onder de knie hebt...

[ZatarraNL]

powerboat schreef op zaterdag 4 februari 2023 @ 19:20:
[...]


Ja hoor werkt prima, mocht je overhoop er problemen mee hebben. Dan kun je dit ongedaan maken via cli als je achter de machine zit of via ilo of zoiets.

Goeie. En dan eigenlijk ook nog cli ssh login met 2fa... Schijnt ook mogelijk te zijn.

[ZatarraNL]

orvintax schreef op zaterdag 4 februari 2023 @ 15:42:
[...]

Gebruik zelf de TOTP functionaliteit ism mijn passwordmanager (Bitwarden).

Moet volgens mij ook kunnen met een yubikey. Toch maar eens een keer uitzoeken.

[smeerbartje]

orvintax schreef op woensdag 1 februari 2023 @ 22:22:
[...]


Ik heb de forumpost ook nagelezen, maar wat voor DNS servers heb je ingesteld? Want ik zie daar niks van terug in jouw pct output:

code:

root@pve:~# pct config 113
arch: amd64
cores: 1
features: nesting=1
hostname: unifi
memory: 512
net0: name=eth0,bridge=vmbr0,firewall=1,gw=192.168.1.1,hwaddr=0E:34:6B:07:FF:90,ip=192.168.1.13/24,type=veth
ostype: ubuntu
rootfs: local-lvm:vm-113-disk-0,size=8G
swap: 512
unprivileged: 1

@orvintax and @ronjon , ik ben een sukkel.
Niet goed gekeken, ik heb dus het ip adres van m'n DNS server ingevuld op de locatie waar ze de hostname eigenlijk verwachten. haha... man man man.. dank voor het meedenken!

[RobertMe]

htca schreef op zaterdag 4 februari 2023 @ 19:22:
Zelf nog wel eens bedacht om zigbee2mqtt en mqtt buiten HA te zetten zodat als HA een keer plat ligt de boel middels bindings wel door werkt (is beter voor de WAF).....

offtopic:
Zigbee bindings hebben juist niks met de software te maken maar alles met Zigbee zelf / het protocol. Ook zonder Zigbee2mqtt, en zelfs zonder coördinator stick, werken Zigbee bindings. I.p.v. dat de coördinator (vanuit de software) een berichtje stuurt van "eey lamp 5, ga eens aan" is het met bindings de drukknop / schakelaar die dat berichtje stuurt. En MQTT (neem aan dat je Mosquito bedoeld) heeft weer vrij weinig te maken met Zigbee2mqt en de betrouwbaarheid daar van. Nu met de webinterface van Zigbee2mqtt kun je verlichting etc ook nog schakelen als de MQTT broker onbereikbaar is. Maar uiteraard mis je dan wel de koppeling met het/een domotica platform (Home Assistant dus in dit geval).

[Funga]

Mag ik vragen waarom jullie Proxmox gebruiken en niet aan de slag gaan met QEMU of diens frontends?

[RobertMe]

Funga schreef op zaterdag 4 februari 2023 @ 20:21:
Mag ik vragen waarom jullie Proxmox gebruiken en niet aan de slag gaan met QEMU of diens frontends?

QEMU is sowieso VM oplossing toch? Wat dus meteen flink wat overhead geeft ten opzichte van lean & mean LXC waarbij je niet een volledig OS extra draait (maar alleen de software, zonder extra kernel). Uit oogpunt van zuinigheid dus wel een fijne meevaller. En het is meteen een kant en klare Linux distro met first class ZFS support (zonder DKMS vereisten etc om de module te compilen, meteen ondersteund van uit de installer, ...). Iets dat ik zelf ook wel prettig vind dat ik daar zelf niet mee hoef te knutselen.

[Funga]

Oke goede argumenten - ik ben ook vóór ZFS.

Maar Proxmox is toch ook VM? Heb ik iets verkeerd begrepen? Ik ken het principe tussen type1 en type2 hypervisor, ik denk dat je daar op doelt? Maar je kunt QEMU ook command line only draaien en dus een mini-Linux distributie tijdens de boot de VM laten starten die je GPU via PCI passthrough naar de VM stuurt en dat je dan op je monitor het beeld krijgt van de VM die je GPU via zijn eigen drivers aanstuurt en dus als snel/native performance aanvoelt.

Proxmox is dus meer gemak ten opzichte van QEMU maar geen echte voordelen?

[RobertMe]

Funga schreef op zaterdag 4 februari 2023 @ 20:49:
Oke goede argumenten - ik ben ook vóór ZFS.

Maar Proxmox is toch ook VM? Heb ik iets verkeerd begrepen? Ik ken het principe tussen type1 en type2 hypervisor, ik denk dat je daar op doelt? Maar je kunt QEMU ook command line only draaien en dus een mini-Linux distributie tijdens de boot de VM laten starten die je GPU via PCI passthrough naar de VM stuurt en dat je dan op je monitor het beeld krijgt van de VM die je GPU via zijn eigen drivers aanstuurt en dus als snel/native performance aanvoelt.

Proxmox is dus meer gemak ten opzichte van QEMU maar geen echte voordelen?

Proxmox kan zowel een volledig containerized OS draaien, middels LXC, als VMs, ik meen zelfs via QEMU. Je hebt dus de keuze tussen twee oplossingen waarbij eentje per definitie alleen Linux "guests" kan draaien en veel minder resources vereist. En de ander dus elk OS dat je maar wilt kunt draaien. Waarbij voor thuisgebruik neem ik persoonlijk aan LXC de voorkeur geniet doordat het meer lichtgewicht is (goedkopere CPU is voldoende, net zoals minder RAM etc).
Daarnaast geeft het wat cluster (& high availability) mogelijkheden, maar dat is voor thuisgebruik waarschijnlijk minder interessant. En dat allemaal te installeren vanaf een ISO i.p.v. "zelf bij elkaar zoeken", wat waarschijnlijk wel aan de orde is bij wat jij omschrijft. Dus (gebruiks & beheer) gemak zal er ook een grote rol in spelen.

[MakhouT]

nero355 schreef op zaterdag 4 februari 2023 @ 15:04:
[...]

Ik heb voor de grap een tijdje het volgende gedaan :

- VM aangemaakt met Kubuntu Desktop die te bereiken is met SPICE als Remote Desktop Tool om onderstaande zooi te beheren en bekijken.
- VM's aangemaakt met daarin Ubuntu Server geïnstalleerd.
- Elke VM had vervolgens Radarr/Sonarr/sabNZBd/enz. erin draaien.
- Dit gehele interne netwerkje had voor de grap een pfSense VM als Router

Reden : Puur als een experiment en een beetje rondkijken wat al die meuk nou precies doet en of ik het nog voor elkaar krijg om sabNZBd werkend te krijgen samen met effe de laatste/hedendaagse versie van pfSense te bekijken!

Als je daar nou nog een DIY NAS aan toevoegt die via SMB/NFS bereikbaar is dan kom je een heel eind denk ik zo

_{LXC's doe ik niks mee net als Docker Containers dus bovenstaande was voor mij sneller en makkelijker}

Nice, ik moet zelfs geen NAS hebben in mijn geval mijn NUC heeft 2 schijven, 1 van 256BG waar ik proxmox op heb geinstalleerd en dan heb ik nog een SSD SATA erin steken van 2TB. Denk dat het genoeg zal zijn coro nu

[dcm360]

Funga schreef op zaterdag 4 februari 2023 @ 20:49:
Oke goede argumenten - ik ben ook vóór ZFS.

Maar Proxmox is toch ook VM? Heb ik iets verkeerd begrepen? Ik ken het principe tussen type1 en type2 hypervisor, ik denk dat je daar op doelt? Maar je kunt QEMU ook command line only draaien en dus een mini-Linux distributie tijdens de boot de VM laten starten die je GPU via PCI passthrough naar de VM stuurt en dat je dan op je monitor het beeld krijgt van de VM die je GPU via zijn eigen drivers aanstuurt en dus als snel/native performance aanvoelt.

Proxmox is dus meer gemak ten opzichte van QEMU maar geen echte voordelen?

Wat betreft VM's is Proxmox gebouwd op QEMU, dus de afweging is niet Proxmox versus QEMU, maar QEMU zonder extra tooling en functionaliteit versus QEMU met alle features van Proxmox

[htca]

RobertMe schreef op zaterdag 4 februari 2023 @ 19:37:
[...]

offtopic:
Zigbee bindings hebben juist niks met de software te maken maar alles met Zigbee zelf / het protocol. Ook zonder Zigbee2mqtt, en zelfs zonder coördinator stick, werken Zigbee bindings. I.p.v. dat de coördinator (vanuit de software) een berichtje stuurt van "eey lamp 5, ga eens aan" is het met bindings de drukknop / schakelaar die dat berichtje stuurt. En MQTT (neem aan dat je Mosquito bedoeld) heeft weer vrij weinig te maken met Zigbee2mqt en de betrouwbaarheid daar van. Nu met de webinterface van Zigbee2mqtt kun je verlichting etc ook nog schakelen als de MQTT broker onbereikbaar is. Maar uiteraard mis je dan wel de koppeling met het/een domotica platform (Home Assistant dus in dit geval).

I know (vergiste me), maar ik probeer ook zaken met mqtt buiten HA om vanuit python. Maar ik kan misschien beter een extra mosquitto aanmaken daarvoor... maar het is meer voor als ik weer wat tijd krijg...

[powerboat]

Funga schreef op zaterdag 4 februari 2023 @ 20:49:
Oke goede argumenten - ik ben ook vóór ZFS.

Maar Proxmox is toch ook VM? Heb ik iets verkeerd begrepen? Ik ken het principe tussen type1 en type2 hypervisor, ik denk dat je daar op doelt? Maar je kunt QEMU ook command line only draaien en dus een mini-Linux distributie tijdens de boot de VM laten starten die je GPU via PCI passthrough naar de VM stuurt en dat je dan op je monitor het beeld krijgt van de VM die je GPU via zijn eigen drivers aanstuurt en dus als snel/native performance aanvoelt.

Proxmox is dus meer gemak ten opzichte van QEMU maar geen echte voordelen?

Qemu is een hypervisor type 2 en KVM is een hypervisor type 1.

Proxmox is om KVM gebouwd, vroegah was kvm een fork van qemu maar nu zit het verweven in de kernel. Vandaar ook qemu-kvm.

[dcm360]

powerboat schreef op zondag 5 februari 2023 @ 00:24:
[...]


Qemu is een hypervisor type 2 en KVM is een hypervisor type 1.

Proxmox is om KVM gebouwd, vroegah was kvm een fork van qemu maar nu zit het verweven in de kernel. Vandaar ook qemu-kvm.

KVM bungelt eigenlijk ergens tussen type 1 en type 2 in: KVM zonder de rest van een Linux-systeem erbij zou in theorie wel kunnen, maar is in de praktijk erg ongebruikelijk. QEMU en KVM zijn nog steeds relatief losstaand: je ziet ze vaak gecombineerd met elkaar, maar KVM kan ook wel zonder QEMU (er bestaan wel alternatieven), en QEMU kan ook wel zonder KVM (maar is dan nogal traag). Ze doen ook niet hetzelfde, QEMU is een hardware-emulator en KVM is een abstractielaag voor het gebruiken van de virtualisatiemogelijkheden van de hardware. Proxmox gebruikt specifiek de combinatie QEMU/KVM, een 'bekende' andere combinatie is Firecracker/KVM.

[ Voor 5% gewijzigd door dcm360 op 05-02-2023 12:17 ]

[MakhouT]

Huh ik heb iets vreemd aan de hand. Ik geraak niet meer op de webinterface van proxmox?
Na even te zoeken bleek dat mijn NUC in sleep mode is gegaan (of is uitgegaan)? Ik zou verwachten nu dat proxmox geinstalleerd is dat deze blijft 24/7 blijft aanstaan?

Kan het zijn dat die uit is gevallen omdat ik die aangesloten heb aan mijn TV met de HDMI kabel en als ik de TV uitzet dat de NUC ook uitgaat door HDMI CEC?
Dat zou wel jammer zijn, want ideaal gezien had ik mijn NUC ook nog gebruikt als Plex client (ik weet wel nog niet of het mogelijk is)

[rachez]

Nuc gewoon headless ergens neerzetten en alleen aansluiten op je netwerk.
Proxmox bedien je dan via de gui of eventueel dmv ssh inloggen.

In proxmox draai je de plex server op een vm + docker container of op een vm / lxc of hoe je maar wilt.
Er zijn veel mogelijkheden daarvoor. Zelf gebruik ik een linux vm met docker-compose en https://hub.docker.com/r/linuxserver/plex
Maar je kunt ook een windows/linux vm aanmaken en daarop direct de plex server draaien.

Op je tv sluit je een plex client aan dmv bv google chromecast of een app op je TV, afhankelijk wat je tv ondersteunt.

[Deshmir]

MakhouT schreef op zondag 5 februari 2023 @ 14:37:
Huh ik heb iets vreemd aan de hand. Ik geraak niet meer op de webinterface van proxmox?
Na even te zoeken bleek dat mijn NUC in sleep mode is gegaan (of is uitgegaan)? Ik zou verwachten nu dat proxmox geinstalleerd is dat deze blijft 24/7 blijft aanstaan?

Kan het zijn dat die uit is gevallen omdat ik die aangesloten heb aan mijn TV met de HDMI kabel en als ik de TV uitzet dat de NUC ook uitgaat door HDMI CEC?
Dat zou wel jammer zijn, want ideaal gezien had ik mijn NUC ook nog gebruikt als Plex client (ik weet wel nog niet of het mogelijk is)

Kijk even in je bios van je nuc, daar kan je het uitzetten.
Als CEC idd het probleem is/was

[Koepert]

Even een controlevraag hier..


Ik heb 3 nodes in een cluster:

HAserver (starter van cluster, minipc met een HDD en mijn main VM/Containers Home Assistant, Traefik & Pihole )
proxmox2 (joiner, minipc met een SSD met 1 container atm (AdGuard om te testen)
proxmox3 (joiner, laptop met SSD. Geen containers, puur voor quorum)


Mede gezien de leeftijd wil ik HAserver eigenlijk voorzien van een SSD ipv de HDD. Lexar SSD is onderweg met 512GB. Hoe kan ik nu het beste dit aanpakken? Ook omdat de P1kabel, bluetoothdongel en Sonoff Zigbee stick fysiek in HAserver zitten. Downtime is niet zo erg hoor, maar k ben liever geen data kwijt.

Ik dacht:

- Alles migreren naar proxmox2
- Kabels kunnen eruit
- Power Down HAServer
- Node removen van cluster: https://pve.proxmox.com/w...er#_remove_a_cluster_node
- Herinstallatie Proxmox op SSD in minipc
- Joinen cluster
- Kabels aansluiten
- Terugmigreren VM en CTs


Mis ik iets? Reden dat ik twijfel is omdat ik het cluster gestart ben op deze pc..

Oh : aanvullend: De proxmox2 krijgt ook een nieuwe SSD ipv de huidige (ben wat met storage aan het rommelen) Kan ik dan wellicht beter het hele cluster ontbinden daarna weer opbouwen? OMdat je dan (zij het tijdelijk) naar 2 actieve/aanwezige hosts gaat..

[ Voor 11% gewijzigd door Koepert op 06-02-2023 14:41 ]

[orvintax]

RobertMe schreef op zaterdag 4 februari 2023 @ 15:50:
[...]

offtopic:
Als de Proxmox credentials ook in Bitwarden staan maakt dat het natuurlijk geen 2FA. Iedereen met toegang tot de vault kan dan immers inloggen. En met een sterk wachtwoord (& unieke gebruikersnaam? Of in ieder geval niet "root") vang je ook al 99% van de scenarios af. Blijft dus over "toegang tot de password vault", en als daar de 2FA sectet in staat / TOTP gegenereerd wordt dan beschermd dat niet meer (extra).

offtopic:
Euhh 2FA gaat toch totaal niet over de locatie van die twee factoren? Het gaat er om dat je twee manieren van authenticatie hebt. Dat je een single point of failure hebt is wat anders.

[RobertMe]

orvintax schreef op maandag 6 februari 2023 @ 13:17:
[...]

offtopic:
Euhh 2FA gaat toch totaal niet over de locatie van die twee factoren? Het gaat er om dat je twee manieren van authenticatie hebt. Dat je een single point of failure hebt is wat anders.

offtopic:
Tsja, maar wat is de factor bij TOTP überhaupt? Eigenlijk gewoon kennis, en niet bezit. Het is of kennis van de nu geldige TOTP, of kennis van de secret die gebruikt wordt om de TOTP te genereren. Als je dit stukje kennis (de secret) vervolgens zet op dezelfde plek als waar je ook al iets anders dat onder diezelfde factor valt opslaat... Is het er niet echt veiliger op geworden.

[orvintax]

RobertMe schreef op maandag 6 februari 2023 @ 13:28:
[...]

offtopic:
Tsja, maar wat is de factor bij TOTP überhaupt? Eigenlijk gewoon kennis, en niet bezit. Het is of kennis van de nu geldige TOTP, of kennis van de secret die gebruikt wordt om de TOTP te genereren. Als je dit stukje kennis (de secret) vervolgens zet op dezelfde plek als waar je ook al iets anders dat onder diezelfde factor valt opslaat... Is het er niet echt veiliger op geworden.

offtopic:
Dat kun je zeggen voor elke vorm van authenticatie. Als mijn wachtwoord nu wordt gelekt kunnen ze er nog altijd niet in. Dat is dus wel degelijk veiliger.

[Airw0lf]

RobertMe schreef op maandag 6 februari 2023 @ 13:28:
[...]

offtopic:
Tsja, maar wat is de factor bij TOTP überhaupt? Eigenlijk gewoon kennis, en niet bezit. Het is of kennis van de nu geldige TOTP, of kennis van de secret die gebruikt wordt om de TOTP te genereren. Als je dit stukje kennis (de secret) vervolgens zet op dezelfde plek als waar je ook al iets anders dat onder diezelfde factor valt opslaat... Is het er niet echt veiliger op geworden.

Misschien voor de meesten een open deur - maar toch:
TOTP is een op tijd gebaseerd one-time code die elke 60 seconden veranderd.
Dat gebeurd met zoiets als een Google/Microsoft authenticator. Ook Bitwarden kan TOTP codes genereren.

Degene die misbruik wil maken van jou TOTP generator heeft in ieder geval je foon nodig.
Het is dus echt wel bezit - en geen kennis. En dat maakt het veel veiliger dan alleen een wachtwoord.

[ Voor 8% gewijzigd door Airw0lf op 06-02-2023 14:58 ]

[RobertMe]

Airw0lf schreef op maandag 6 februari 2023 @ 14:43:
Degene die misbruik wil maken van jou TOTP generator heeft in ieder geval je foon nodig.
Het is dus echt wel bezit - en geen kennis. En dat maakt het veel veiliger dan alleen een wachtwoord.

Laatste comment van mij erover. Maar ik kan toch mijn login gegevens aan iemand anders geven (/"account delen") en als die ander er om vraagt een code sturen. Dan gaat het toch om kennis van de code en niet bezit van de telefoon. En hetzelfde maakt dit TOTP dus ook onveilig(er) voor phishing. Een code die jij als slachtoffer invult op een phishing site werkt op dat moment ook op de legitieme site. Dus met de kennis van de tijdelijke code kun je inloggen. Zonder dat je fysiek toegang moet hebben tot een apparaat.
Een Yubikey of andere Fido based oplossing controleert echt of het apparaat fysiek aanwezig is (in de USB poort zit, via NFC wordt uitgelezen, of via Bluetooth communiceert), dat is in bezit zijn. Een account gedeeld met iemand anders werkt alleen als die ander ook (tijdelijk) toegang heeft tot het apparaat en kan aansluiten op / koppelen met het apparaat waarmee die wilt inloggen.

En daarnaast wordt een TOTP code gebaseerd op een combinatie van een secret (door de server gegenereerd en bv in de QR code verwerkt / gedeeld) en de tijd. Als je dus de kennis hebt van de secret kun je op elk gewenst moment een geldige code genereren, zonder bezit van het apparaat.

Maakt dat TOTP een schijn maatregel? Nee, niet direct. Maar het is niet zo dat TOTP super veilig is. En w.m.b. hoort het niet eens 2FA te heten. Want het is effectief nog steeds de factor kennis (van de nu geldige TOTP of van de "altijd geldige" secret).

[schumi2004]

Wie o wie kan me op verder op weg helpen.
Ik heb hier een OptiPlex 3050 i3-6500t waarvan ik de GPU in mijn LXC container wil hebben maar ik kom geen stap verder.

Heb al verschillende guides gevolgd.
BIOS aangepast waar nodig
vfio.conf config toegepast
grub aangepast

code:

root@proxmox:/dev# dmesg | grep -e DMAR -e IOMMU
[    0.009270] ACPI: DMAR 0x00000000DAE58118 0000A8 (v01 INTEL  SKL      00000001 INTL 00000001)
[    0.009302] ACPI: Reserving DMAR table memory at [mem 0xdae58118-0xdae581bf]
[    0.021702] DMAR: IOMMU enabled
[    0.075034] DMAR: Host address width 39
[    0.075035] DMAR: DRHD base: 0x000000fed90000 flags: 0x0
[    0.075039] DMAR: dmar0: reg_base_addr fed90000 ver 1:0 cap 1c0000c40660462 ecap 7e3ff0505e
[    0.075042] DMAR: DRHD base: 0x000000fed91000 flags: 0x1
[    0.075045] DMAR: dmar1: reg_base_addr fed91000 ver 1:0 cap d2008c40660462 ecap f050da
[    0.075046] DMAR: RMRR base: 0x000000dac6b000 end: 0x000000dac8afff
[    0.075048] DMAR: RMRR base: 0x000000dd800000 end: 0x000000dfffffff
[    0.075050] DMAR-IR: IOAPIC id 2 under DRHD base  0xfed91000 IOMMU 1
[    0.075051] DMAR-IR: HPET id 0 under DRHD base 0xfed91000
[    0.075052] DMAR-IR: Queued invalidation will be enabled to support x2apic and Intr-remapping.
[    0.076605] DMAR-IR: Enabled IRQ remapping in x2apic mode
[    0.308217] DMAR: No ATSR found
[    0.308217] DMAR: No SATC found
[    0.308219] DMAR: IOMMU feature fl1gp_support inconsistent
[    0.308220] DMAR: IOMMU feature pgsel_inv inconsistent
[    0.308221] DMAR: IOMMU feature nwfs inconsistent
[    0.308221] DMAR: IOMMU feature eafs inconsistent
[    0.308222] DMAR: IOMMU feature prs inconsistent
[    0.308223] DMAR: IOMMU feature nest inconsistent
[    0.308223] DMAR: IOMMU feature mts inconsistent
[    0.308224] DMAR: IOMMU feature sc_support inconsistent
[    0.308225] DMAR: IOMMU feature dev_iotlb_support inconsistent
[    0.308226] DMAR: dmar0: Using Queued invalidation
[    0.308229] DMAR: dmar1: Using Queued invalidation
[    0.309430] DMAR: Intel(R) Virtualization Technology for Directed I/O
root@proxmox:/dev# lspci -nnk | grep "VGA\|Audio"
00:02.0 VGA compatible controller [0300]: Intel Corporation HD Graphics 530 [8086:1912] (rev 06)
00:1f.3 Audio device [0403]: Intel Corporation 200 Series PCH HD Audio [8086:a2f0]
        Subsystem: Dell 200 Series PCH HD Audio [1028:07a3]
root@proxmox:/dev#

Nu moet ik dus mijn LXC config aanpassen en de devices toevoegen maar die zijn er helemaal niet.

ls -l /dev/dri
ls: cannot access '/dev/dri': No such file or directory

[dcm360]

Waarschijnlijk heb je aanpassingen gedaan die er voor zorgen dat de host de GPU niet meer ziet, zodat die aan een VM te koppelen is. Je wil de GPU echter aan een container koppelen, en dan moet de host de GPU nog wel zien, met de correcte drivers.

[schumi2004]

dcm360 schreef op maandag 6 februari 2023 @ 16:02:
Waarschijnlijk heb je aanpassingen gedaan die er voor zorgen dat de host de GPU niet meer ziet, zodat die aan een VM te koppelen is. Je wil de GPU echter aan een container koppelen, en dan moet de host de GPU nog wel zien, met de correcte drivers.

Je heb gelijk maar wat, geen idee

root@proxmox:/dev/dri# ls
by-path card0 renderD128

Ik had deze stappen gevolgd (en nu dus weer terug gedraaid) https://lunar.computer/posts/gpu-passthrough-proxmox-60/

Vanavond maar weer eens proberen.

[ Voor 4% gewijzigd door schumi2004 op 06-02-2023 16:43 ]

[nero355]

schumi2004 schreef op maandag 6 februari 2023 @ 15:34:
Wie o wie kan me op verder op weg helpen.
Ik heb hier een OptiPlex 3050 i3-6500t waarvan ik de GPU in mijn LXC container wil hebben maar ik kom geen stap verder.

Ter aanvulling van @dcm360 =>

In het verleden zijn er een heleboel discussies geweest over wat er nou wel of niet mogelijk is i.c.m. een Intel iGPU en de conclusie was eigenlijk dat het verre van vlekkeloos werkt...

Dus je beste optie is om nog een losse videokaart erbij te proppen indien dat mogelijk is en dan het liefst een AMD model geloof ik, want anders moet je aan de Nvidia Quadro modellen of hoe dat tegenwoordig ook heet!

Wil je toch met die iGPU verder prutsen dan zal je echt een heleboel uitzoekwerk moeten doen en misschien uiteindelijk erachter komen dat het niet eens mogelijk is...

[dcm360]

schumi2004 schreef op maandag 6 februari 2023 @ 16:42:
[...]

Je heb gelijk maar wat, geen idee

root@proxmox:/dev/dri# ls
by-path card0 renderD128

Ik had deze stappen gevolgd (en nu dus weer terug gedraaid) https://lunar.computer/posts/gpu-passthrough-proxmox-60/

Vanavond maar weer eens proberen.

Jup, dit zijn inderdaad stappen om een GPU aan een VM te koppelen (en dus niet aan een container). Ze terugdraaien zou mijn eerste stap op de weg terug naar waar je eigenlijk wil beginnen zijn, dus dat is alvast mooi. In theorie zou je /dev/dri er ook weer mee moeten terugkrijgen op de host, en wordt het dus ook mogelijk om deze aan een container te koppelen. Hoe dat ook alweer precies werkt weet ik zo snel even niet meer, maar het is mogelijk (zoiets heb ik met een capture-card gedaan).

[RobertMe]

nero355 schreef op maandag 6 februari 2023 @ 16:45:
[...]

Ter aanvulling van @dcm360 =>

In het verleden zijn er een heleboel discussies geweest over wat er nou wel of niet mogelijk is i.c.m. een Intel iGPU en de conclusie was eigenlijk dat het verre van vlekkeloos werkt...

Dus je beste optie is om nog een losse videokaart erbij te proppen indien dat mogelijk is en dan het liefst een AMD model geloof ik, want anders moet je aan de Nvidia Quadro modellen of hoe dat tegenwoordig ook heet!

Wil je toch met die iGPU verder prutsen dan zal je echt een heleboel uitzoekwerk moeten doen en misschien uiteindelijk erachter komen dat het niet eens mogelijk is...

De suggestie m.b.t. "dedicated GPU" en Nvidia Quadro doet mij eerlijk gezegd voornamelijk denken dat je dezelfde fout maakt? Dat lijkt mij juist ook weer iets dat bij het VM verhaal hoort en dus virtualisatie etc.
Bij LXC draait alles juist gewoon op de Proxmox kernel. Enige "ding" is dat LXC natuurlijk gebruik maakt van namespaces waardoor bv ook de standaard devices (/ "/dev/") niet beschikbaar is in de namespace van de LXC. Maar de devices moet je wel beschikbaar kunnen maken naar de container. En de hardware ziet daar niks van. Het is gewoon standaard communicatie tussen het native OS en de hardware. Totaal anders dus dan virtualisatie waarbij zaken als PCI passthrough, VT-x, VT-d etc om de hoek komen kijken.

[nero355]

RobertMe schreef op maandag 6 februari 2023 @ 16:56:
De suggestie m.b.t. "dedicated GPU" en Nvidia Quadro doet mij eerlijk gezegd voornamelijk denken dat je dezelfde fout maakt?

Ongetwijfeld, want ik denk inderdaad vanuit een VM invalshoek en weet al die fijne details van vroeger niet meer helaas dus er zal wel iets niet kloppen op wat voor manier dan ook

Dat lijkt mij juist ook weer iets dat bij het VM verhaal hoort en dus virtualisatie etc.
Bij LXC draait alles juist gewoon op de Proxmox kernel. Enige "ding" is dat LXC natuurlijk gebruik maakt van namespaces waardoor bv ook de standaard devices (/ "/dev/") niet beschikbaar is in de namespace van de LXC. Maar de devices moet je wel beschikbaar kunnen maken naar de container. En de hardware ziet daar niks van. Het is gewoon standaard communicatie tussen het native OS en de hardware.

Totaal anders dus dan virtualisatie waarbij zaken als PCI passthrough, VT-x, VT-d etc om de hoek komen kijken.

Als je het zo stelt dan zouden inderdaad al die oude ellendige regeltjes omtrent de Intel iGPU's misschien niet eens meer van toepassing hoeven te zijn!

[schumi2004]

nero355 schreef op maandag 6 februari 2023 @ 16:45:
[...]

Ter aanvulling van @dcm360 =>

In het verleden zijn er een heleboel discussies geweest over wat er nou wel of niet mogelijk is i.c.m. een Intel iGPU en de conclusie was eigenlijk dat het verre van vlekkeloos werkt...

Dus je beste optie is om nog een losse videokaart erbij te proppen indien dat mogelijk is en dan het liefst een AMD model geloof ik, want anders moet je aan de Nvidia Quadro modellen of hoe dat tegenwoordig ook heet!

Wil je toch met die iGPU verder prutsen dan zal je echt een heleboel uitzoekwerk moeten doen en misschien uiteindelijk erachter komen dat het niet eens mogelijk is...

Ik had dat ook gelezen dat het met AMD allemaal wat eenvoudiger gaat maar het gaat me nu meer gevalletje omdat het kan. Echt nodig heb ik het niet maar als het werkt
Ik heb dat ding nu een paar weken draaien hier en voo rhet eerst met Proxmox aan de gang.
Opzicht doet het al wat ik wil en mocht dit straks ook gaan werken dan is het een win/win, werkt het niet dan jammer

[orvintax]

schumi2004 schreef op maandag 6 februari 2023 @ 16:42:
[...]

Je heb gelijk maar wat, geen idee

root@proxmox:/dev/dri# ls
by-path card0 renderD128

Ik had deze stappen gevolgd (en nu dus weer terug gedraaid) https://lunar.computer/posts/gpu-passthrough-proxmox-60/

Vanavond maar weer eens proberen.

Gebruik je ZFS voor je boot media/Proxmox install zelf? Zo ja dan moet je niet in GRUB zijn maar in systemd. Dat is iets wat vaak over het hoofd word gezien

[schumi2004]

orvintax schreef op maandag 6 februari 2023 @ 17:57:
[...]

Gebruik je ZFS voor je boot media/Proxmox install zelf? Zo ja dan moet je niet in GRUB zijn maar in systemd. Dat is iets wat vaak over het hoofd word gezien

Gebruik geen ZFS en heb het zojuist nog eens geprobeerd werkend te krijgen maar links of rechts om verlies ik elke keer mijn video en render in /dev/dri

Ik heb mijn lxc conf (uid en gid conf) al klaar staan, moet alleen me nog wat verder verdiepen in idmap's want ik heb er al wat en wil die ook niet stuk maken.

Echter zover kom ik eigenlijk niet want zonder video en render valt er niets meer te doen.

De guides die ik gelezen heb komen wel allemaal een beetje op zelfde neer.

GRUB aanpassen drivers blacklisten (of niet want dat maakte vorige poging ook geen verschil) en updaten.
VFIO module toevoegen en updatte initramfs
Reboot en door maar na de reboot gaat het mis.

Zal eens wat verder geen lezen

[dcm360]

Als ik het zo lees ben je nog steeds guides voor het koppelen van de GPU aan een VM aan het uitvoeren met de verwachting dat het ook voor een container gaat werken. Drivers blacklisten moet je nadrukkelijk niet doen als je een apparaat aan een container wil koppelen, want de container heeft geen eigen kernel om de drivers mee in te kunnen laden, het is de kernel van de host die dat moet doen.

[schumi2004]

dcm360 schreef op dinsdag 7 februari 2023 @ 23:45:
Als ik het zo lees ben je nog steeds guides voor het koppelen van de GPU aan een VM aan het uitvoeren met de verwachting dat het ook voor een container gaat werken. Drivers blacklisten moet je nadrukkelijk niet doen als je een apparaat aan een container wil koppelen, want de container heeft geen eigen kernel om de drivers mee in te kunnen laden, het is de kernel van de host die dat moet doen.

Toch heb ik specifiek gezocht op guides die spreken over het koppelen aan LXC.

Achja, morgen weer een dag en anders maar niet

/edit:
Schijnbaar heb ik nu iets voor elkaar gekregen, nu even checken of het ook daadwerkelijk werkt.

[ Voor 7% gewijzigd door schumi2004 op 09-02-2023 17:26 ]

[UTMachine]

Koepert schreef op maandag 6 februari 2023 @ 11:42:
Even een controlevraag hier..


Ik heb 3 nodes in een cluster:

HAserver (starter van cluster, minipc met een HDD en mijn main VM/Containers Home Assistant, Traefik & Pihole )
proxmox2 (joiner, minipc met een SSD met 1 container atm (AdGuard om te testen)
proxmox3 (joiner, laptop met SSD. Geen containers, puur voor quorum)


Mede gezien de leeftijd wil ik HAserver eigenlijk voorzien van een SSD ipv de HDD. Lexar SSD is onderweg met 512GB. Hoe kan ik nu het beste dit aanpakken? Ook omdat de P1kabel, bluetoothdongel en Sonoff Zigbee stick fysiek in HAserver zitten. Downtime is niet zo erg hoor, maar k ben liever geen data kwijt.

Ik dacht:

- Alles migreren naar proxmox2
- Kabels kunnen eruit
- Power Down HAServer
- Node removen van cluster: https://pve.proxmox.com/w...er#_remove_a_cluster_node
- Herinstallatie Proxmox op SSD in minipc
- Joinen cluster
- Kabels aansluiten
- Terugmigreren VM en CTs


Mis ik iets? Reden dat ik twijfel is omdat ik het cluster gestart ben op deze pc..

Oh : aanvullend: De proxmox2 krijgt ook een nieuwe SSD ipv de huidige (ben wat met storage aan het rommelen) Kan ik dan wellicht beter het hele cluster ontbinden daarna weer opbouwen? OMdat je dan (zij het tijdelijk) naar 2 actieve/aanwezige hosts gaat..

Heb je ook shared/cluster storage?

Anders zou ik voor een standalone proxmox node gaan (met een stand-by proxmox node) en de CT/VM verplaatsen via backup en restore. De usb devices moet je om pluggen, dus die applicaties moet je handmatig omgooien.

[Koepert]

UTMachine schreef op woensdag 8 februari 2023 @ 07:30:
[...]


Heb je ook shared/cluster storage?

Anders zou ik voor een standalone proxmox node gaan (met een stand-by proxmox node) en de CT/VM verplaatsen via backup en restore. De usb devices moet je om pluggen, dus die applicaties moet je handmatig omgooien.

Nou ja.. Fake shared Storage Elke node heeft een local-lvm storage, dus migrate van VM/CT werkt gewoon. Maar feitelijk is dat natuurlijk 'nep' omdat het een disk in de node is (single disk nodes)

Hierdoor heb ik proxmox2 2x moeten installeren, omdat ik eerst met zfs had geïnstalleerd (en local-zfs), maar toen terug naar ext4 (local-lvm) was gegaan. Niet realiserende dat ik waarschijnlijk local-zfs had kunnen hernoemen naar local-lvm en dan klaar was.


Maar dan denk ik dat back-up/restore idd maar the way to go gaat zijn. Ook met de baas thuis even n dag downtime incalculeren (niet dat t zoveel tijd kost, maar haat het om om 00:15u nog iets te troubleshooten dat goed had MOETEN gaan, maar t niet ging)

[UTMachine]

Koepert schreef op woensdag 8 februari 2023 @ 12:22:
[...]


Nou ja.. Fake shared Storage Elke node heeft een local-lvm storage, dus migrate van VM/CT werkt gewoon. Maar feitelijk is dat natuurlijk 'nep' omdat het een disk in de node is (single disk nodes)

Hierdoor heb ik proxmox2 2x moeten installeren, omdat ik eerst met zfs had geïnstalleerd (en local-zfs), maar toen terug naar ext4 (local-lvm) was gegaan. Niet realiserende dat ik waarschijnlijk local-zfs had kunnen hernoemen naar local-lvm en dan klaar was.


Maar dan denk ik dat back-up/restore idd maar the way to go gaat zijn. Ook met de baas thuis even n dag downtime incalculeren (niet dat t zoveel tijd kost, maar haat het om om 00:15u nog iets te troubleshooten dat goed had MOETEN gaan, maar t niet ging)

Ok, dan is een stand-alone Proxmox node het simpelste, scheelt je ook gezeik met quorums (en bij upgrades). Zeker omdat je bij problemen de usb sticks moet ompluggen. Ik hou mijn stand-by Proxmox gewoon up-to-date, dus als het misgaat hier - is het gewoon backup restoren en gaan met die banaan.
Ik heb wel op mijn Proxmox node (Intel NUC) het OS + VMs op de 1ste disk staan en op de 2e disk alle backups. Dus als ik moet herinstalleren (dan blaas ik gewoon alles weg), zijn de backups er nog steeds ...

Ik zou wel een 2e simpele node hebben, die 2e instance van AdGuard kan draaien. Dan heb je in ieder geval geen outage als je Proxmox problemen geeft. Hier draait het op een Pi Zero2.

[Koepert]

UTMachine schreef op woensdag 8 februari 2023 @ 12:26:
[...]


Ok, dan is een stand-alone Proxmox node het simpelste, scheelt je ook gezeik met quorums (en bij upgrades). Zeker omdat je bij problemen de usb sticks moet ompluggen. Ik hou mijn stand-by Proxmox gewoon up-to-date, dus als het misgaat hier - is het gewoon backup restoren en gaan met die banaan.
Ik heb wel op mijn Proxmox node (Intel NUC) het OS + VMs op de 1ste disk staan en op de 2e disk alle backups. Dus als ik moet herinstalleren (dan blaas ik gewoon alles weg), zijn de backups er nog steeds ...

Ik zou wel een 2e simpele node hebben, die 2e instance van AdGuard kan draaien. Dan heb je in ieder geval geen outage als je Proxmox problemen geeft. Hier draait het op een Pi Zero2.

\

Mja mijn 3 nodes zijn 2 mini-pcs en 1 laptop Waarbij op 2 nodes zowel pihole als adGuard staan (2 ervan staan uit), dus dat moet qua failover goedkomen. op 1 of andere manier krijg ik een m.2 NVME niet aan de praat op proxmox2, dus die heeft 1 512GB SSD. Punt.
Voor HAserver wil ik kijken dat ik die WEL op 1 NVME + SSD krijg maar anders is dat ook 1x 512GB SSD (nu 1x 500GB HDD) en de laptop (proxmox3) is nu dus puur voor quorum, want daar zit 1x een 128GB SSD in, past niet eens een CT op (qua migratie dan, nieuwe opbouw kan vast)..

[DaRoot]

Ik ben ondertussen al geruime tijd met Proxmox, door wat schade en schande wijs geworden ook.

Ik had ooit eens een Core i3 met Ubuntu als server, daarop diverse applicaties en diensten.
Later heb ik hardware gekocht om een Proxmox machine te bouwen, waaronder 2x Intel 180GB SSD en 3x Seagate Ironwolf 8TB schijf.
Destijds draaide dat op een Asrock board met een i5, en 20GB RAM (2x 8, 2x 2).
De Ironwolfs in een RAID-Z1 pool.
Ik kreeg na verloop van tijd data-errors op de ZFS pool.. als eerste de voeding vervangen, later de schijven individueel getest, geen fouten gevonden, nog steeds issues.
Memtest86 voor het RAM: niets gevonden.
Op enig moment kreeg ik ook data fouten op de Intel SSD's (in RAID-0) en zelfs op de boot-SSD (losse 60GB).
conclusie: het moet wel aan het board liggen.

Uiteindelijk board, cpu en RAM vervangen door een Asus board, Intel Core i3-9100 en 2x 16GB RAM.
ZFS pool opnieuw opgebouwd (had nog backups op een oude server), alle VM's ook opnieuw aangemaakt en ingericht (gelukkig draaide er nog niet zoveel op).
We zijn nu paar maand met die setup onderweg, en nog steeds 0 data fouten.

Later heb ik het oude Asrock board en het geheugen nogmaals met Memtest86 laten draaien: na 6 uur testen eindelijk een rotte bit gevonden..

Gelukkig draait e.e.a. nu goed.

Ik had nog 2x 3TB WD RED schijven liggen en een oude SSD: daarop heb ik nu een Proxmox Backupserver draaien, die elke zondagochtend een backup van de VM's maakt. Dit werkt ook erg mooi.

Nu wilde ik in het kader van de energierekening die backupserver alleen dan laten draaien wanneer de backups gemaakt worden. Ik heb het nu met Wake-on-lan en een vzdump-hook-script voor elkaar gekregen dat zodra de Proxmox host een backup wil gaan maken, er een magic packet naar de backupserver gaat, die dan aan gaat, de backup aanneemt, en als de backup klaar is, een commando van de proxmox host ontvangt om uit te schakelen.
Details: https://forum.proxmox.com...ook-script-option.105493/

[koelkast]

Ik heb een tijdje geleden een 2e nuc aangeschaft met het idee om langzaam maar zeker naar een nieuwe homeserver over te stappen. Dat is wel nodig ook;
Momenteel gebruik ik een nuc met Ubuntu v16, met een heel aantal docker containers, die op zich prima draaien. Zaken zoals Nextcloud voor bestandsdeling, een traefik installatie, radarr, plex en caldav, maar ook home assistant core met alle bijbehorende dingen, zoals esphome, zigbee2mqtt en diverse andere grote en kleine dingen. Spul wordt automatisch geupdate met watchtower en het 'beheer' met portainer is goed te doen.

Maar ... de boel is verouderd, qua hardware maar zeker qua software. Ik wil de boel eens goed opnieuw inrichten. Daarbij zat ik aan Proxmox te denken, ik heb dat er inmiddels opgezet, maar ik vraag me af wat een handige inrichting is. Met ook de scripts van tteckster in mijn achterhoofd, zit ik nu te denken aan:

- home assistant (vm)
- unifi controller (lxc)
- plex (lxc)
- adguard (lxc)
- influxdb (lxc)
- grafana (lxc)
- radarr, sonarr (lxc)
- docker (lxc) met daarop diverse docker containers, zoals zigbee2mqtt,

Docker ken ik inmiddels redelijk, en ik heb me redelijk ingelezen in proxmox met lxc en vm, maar waarom zou ik eigenlijk voor lxc containers gaan, in plaats van docker containers? Vanwege de mogelijkheid om een eenvoudige backup te draaien? Vanwege het eenvoudig kunnen doen van updates? Of is het eenvoudiger te beheren? Ik merk wel dat voor véél, maar niet álle gewenste diensten zo'n handig tteckster script beschikbaar is. Daarvoor zou ik dan een docker-container kunnen gebruiken. Of is dat niet handig?

Misschien hebben jullie hier ideeën over? Ik zoek even wat houvast

[nero355]

koelkast schreef op woensdag 8 februari 2023 @ 14:06:
Ik heb een tijdje geleden een 2e nuc aangeschaft met het idee om langzaam maar zeker naar een nieuwe homeserver over te stappen. Dat is wel nodig ook;
Momenteel gebruik ik een nuc met Ubuntu v16, met een heel aantal docker containers, die op zich prima draaien.

De boel is verouderd, qua hardware maar zeker qua software. Ik wil de boel eens goed opnieuw inrichten. Daarbij zat ik aan Proxmox te denken, ik heb dat er inmiddels opgezet, maar ik vraag me af wat een handige inrichting is.

Ubuntu 16.x.x had je ondertussen gewoon een paar keer moeten upgraden, maar dat die NUC te oud is kan ik me eigenlijk bijna niet voorstellen dus ik ben wel benieuwd om welke modellen het gaat en wat de precieze reden is ??

Waarom zou ik eigenlijk voor lxc containers gaan, in plaats van docker containers?

IMHO iets dat je zelf moet overwegen en bepalen wat je handiger vindt werken

Er zijn genoeg voorbeelden te vinden van Proxmox + een enkele VM die voor Docker Containers wordt gebruikt!

Of is het eenvoudiger te beheren?

Ik denk dat LXC Containers makkelijker te beheren zijn dan Docker Containers dankzij de Proxmox webGUI die handiger werkt dan al die webGUI opties voor Docker die zelf ook weer in een Container moeten draaien...

[koelkast]

nero355 schreef op woensdag 8 februari 2023 @ 14:17:
[...]

Ubuntu 16.x.x had je ondertussen gewoon een paar keer moeten upgraden, maar dat die NUC te oud is kan ik me eigenlijk bijna niet voorstellen dus ik ben wel benieuwd om welke modellen het gaat en wat de precieze reden is ??


[...]

IMHO iets dat je zelf moet overwegen en bepalen wat je handiger vindt werken

Er zijn genoeg voorbeelden te vinden van Proxmox + een enkele VM die voor Docker Containers wordt gebruikt!


[...]

Ik denk dat LXC Containers makkelijker te beheren zijn dan Docker Containers dankzij de Proxmox webGUI die handiger werkt dan al die webGUI opties voor Docker die zelf ook weer in een Container moeten draaien...

Qua updates heb je gelijk. Ik had m wel een beetje bijgehouden in de 16.x versie.
Het betreft een nuc 6 met een traag hdd schijfje. DIng is uitgerust met 4gb geheugen. Terwijl ik nu een nuc8 heb gekocht met een ssd en 32 gb geheugen. Dan snap je het wel denk ik

Maar inderdaad, voor portainer heb je ook weer ... een container nodig.

[RobertMe]

koelkast schreef op woensdag 8 februari 2023 @ 14:06:
Docker ken ik inmiddels redelijk, en ik heb me redelijk ingelezen in proxmox met lxc en vm, maar waarom zou ik eigenlijk voor lxc containers gaan, in plaats van docker containers? Vanwege de mogelijkheid om een eenvoudige backup te draaien? Vanwege het eenvoudig kunnen doen van updates? Of is het eenvoudiger te beheren? Ik merk wel dat voor véél, maar niet álle gewenste diensten zo'n handig tteckster script beschikbaar is. Daarvoor zou ik dan een docker-container kunnen gebruiken. Of is dat niet handig?

LXC en Docker zijn echt verschillende zaken. LXC is een manier om een volledig OS te draaien, als zijnde een soort van VM. Docker is een manier om één applicatie / executable te verspreiden en in isolatie uit te voeren. Het is dus ook niet "moet ik LXC óf Docker" gebruiken. Maar "moet ik LXC gebruiken" én "moet ik Docker gebruiken".

V.w.b. Docker. Als je Proxmox gebruikt hoor je Docker niet rechtstreeks te gebruiken. Immers is Proxmox een hypervisor die je in staat stelt meerdere virtuele (machines / besturingssystemen) te draaien op één fysieke machine. En als je bv ESXi of HyperV gebruikt kun je Docker daar ook niet rechtstreeks op installeren maar moet je ook een VM daarvoor gebruiken. Alleen kun je op Proxmox dan LXC gebruiken als "lightweight VM" i.p.v. een volledig besturingssysteem. Voordeel van LXC is dan ook dat het veel minder resources gebruikt en (o.a. daardoor) energiezuiniger is dan volledige VMs.
Vervolgens kun je dan in de VM of LXC weer er weer kiezen om applicaties via Docker te draaien, of ze native te installeren. En ja, doordat Proxmox gebaseerd is op Debian en dus Linux is kun je Docker ook op Proxmox installeren. Maar dat is dus niet de bedoeling / hoe het hoort. En als je Proxmox alleen zou gebruiken om Docker te draaien kun je net zo goed Debian of elke andere Linux distro gebruiken.

[nero355]

koelkast schreef op woensdag 8 februari 2023 @ 14:51:
Qua updates heb je gelijk. Ik had m wel een beetje bijgehouden in de 16.x versie.
Het betreft een nuc 6 met een traag hdd schijfje. DIng is uitgerust met 4gb geheugen. Terwijl ik nu een nuc8 heb gekocht met een ssd en 32 gb geheugen. Dan snap je het wel denk ik

Eigenlijk niet maar ik ben dan ook zo'n rare vent die vindt dat een heleboel systemen van de laatste 10 jaar of zo nog prima voor van alles te gebruiken zijn en eigenlijk geen upgrade nodig hebben, tenzij het inderdaad om HDD naar SSD of 4 GB RAM naar 8/16 GB of meer upgrades gaat, maar dat is nog steeds geen reden om het systeem zelf te vervangen!

Maar inderdaad, voor portainer heb je ook weer ... een container nodig.

En als er wat verkeerd gaat je dan met een Kip & Ei probleem zit...

RobertMe schreef op woensdag 8 februari 2023 @ 15:15:
Alleen kun je op Proxmox dan LXC gebruiken als "lightweight VM" i.p.v. een volledig besturingssysteem.

Zat je dan niet met het hele cgroups verhaal of ging dat ergens anders over

[Koepert]

nero355 schreef op woensdag 8 februari 2023 @ 18:06:
[...]

Eigenlijk niet maar ik ben dan ook zo'n rare vent die vindt dat een heleboel systemen van de laatste 10 jaar of zo nog prima voor van alles te gebruiken zijn en eigenlijk geen upgrade nodig hebben, tenzij het inderdaad om HDD naar SSD of 4 GB RAM naar 8/16 GB of meer upgrades gaat, maar dat is nog steeds geen reden om het systeem zelf te vervangen!


[...]

En als er wat verkeerd gaat je dan met een Kip & Ei probleem zit...


[...]

Zat je dan niet met het hele cgroups verhaal of ging dat ergens anders over

Mijn hele huis (qua IT dan dus, niet mn bank) bestaat uit refurbished hardware. Zolang een T of U processor nog functioneert is er weinig reden tot vervanging..

[RobertMe]

nero355 schreef op woensdag 8 februari 2023 @ 18:06:
[...]

Eigenlijk niet maar ik ben dan ook zo'n rare vent die vindt dat een heleboel systemen van de laatste 10 jaar of zo nog prima voor van alles te gebruiken zijn en eigenlijk geen upgrade nodig hebben, tenzij het inderdaad om HDD naar SSD of 4 GB RAM naar 8/16 GB of meer upgrades gaat, maar dat is nog steeds geen reden om het systeem zelf te vervangen!

Energieverbruik kan natuurlijk alsnog een goede reden zijn om te vervangen. Ik heb nu (nog niet in gebruik) een Chinees systeempje met Intel N5105 en 8GB RAM. Net zo krachtig als mijn 8 jaar oude PC of zo, maar zal een fractie van de energie verbruiken. Bedoeling is dat deze als server gaat draaien. En mijn "zuinige" zelfbouw server (uit 2020 ) met 3x 3,5" HDD (dag zuinigheid) nog alleen on-demand of overdag aan gaat.

[...]

En als er wat verkeerd gaat je dan met een Kip & Ei probleem zit...

Neen. Portainer helpt je alleen met het draaien / beheren van Docker containers. Als kip Docker kapot is had je dus sowieso al niks aan ei Portainer. Dus dat je bij kapotte Docker niet aan Portainer kunt maakt niet uit.

[...]

Zat je dan niet met het hele cgroups verhaal of ging dat ergens anders over

Vast. But it just works. Er wordt nog wel meer mind blowing stuff gebruikt door LXC & Docker waarvan ik heel blij ben dat ik er niks mee te maken heb. Network namespaces waardoor je ethernet interfaces hebt "die je niet ziet" maar dus gebruikt worden binnen de containers. Alle ethernet interfaces die Docker aanmaakt, of specifiek de veth* devices, is maar één kant can een virtuele interface waarbij de andere kant in een "onzichtbare" network namespace bestaat. De Docker container draait vervolgens met die "onzichtbare" network namespace als dus ee network namespace waardoor de processen in die container alleen die interface(s) zien. Waarbij elke namespace automatisch uit de kernel al een eigen loopback interface krijgt. En zo zijn er ook nog allemaal van die "aparte" dingen om dus de proces isolatie te doen zodat de container alleen zijn eigen processen ziet en niet het hele systeem. Met dus een eigen nummering van process ids en dus ook een pid 1 terwijl het "host" systeem natuurlijk ook een pid 1 heeft etc.

[nero355]

RobertMe schreef op woensdag 8 februari 2023 @ 18:18:
Energieverbruik kan natuurlijk alsnog een goede reden zijn om te vervangen. Ik heb nu (nog niet in gebruik) een Chinees systeempje met Intel N5105 en 8GB RAM. Net zo krachtig als mijn 8 jaar oude PC of zo, maar zal een fractie van de energie verbruiken. Bedoeling is dat deze als server gaat draaien. En mijn "zuinige" zelfbouw server (uit 2020 ) met 3x 3,5" HDD (dag zuinigheid) nog alleen on-demand of overdag aan gaat.

Intel NUC #1 = Laptop model CPU/APU
Intel NUC #2 = Laptop model CPU/APU

IMHO dus potato patato

Neen. Portainer helpt je alleen met het draaien / beheren van Docker containers. Als kip Docker kapot is had je dus sowieso al niks aan ei Portainer. Dus dat je bij kapotte Docker niet aan Portainer kunt maakt niet uit.

Alleen weet 95% van de Docker gebruikers op GoT eigenlijk niet waar ze mee bezig zijn, want die webGUI op hun kant en klaar NASje zag er zo goed uit dus krijgen ze wel degelijk met een probleem te maken als die Portainer Container stuk is opeens!

Vast. But it just works. Er wordt nog wel meer mind blowing stuff gebruikt door LXC & Docker waarvan ik heel blij ben dat ik er niks mee te maken heb.

Ik ook!

Network namespaces waardoor je ethernet interfaces hebt "die je niet ziet" maar dus gebruikt worden binnen de containers. Alle ethernet interfaces die Docker aanmaakt, of specifiek de veth* devices, is maar één kant can een virtuele interface waarbij de andere kant in een "onzichtbare" network namespace bestaat. De Docker container draait vervolgens met die "onzichtbare" network namespace als dus ee network namespace waardoor de processen in die container alleen die interface(s) zien. Waarbij elke namespace automatisch uit de kernel al een eigen loopback interface krijgt. En zo zijn er ook nog allemaal van die "aparte" dingen om dus de proces isolatie te doen zodat de container alleen zijn eigen processen ziet en niet het hele systeem. Met dus een eigen nummering van process ids en dus ook een pid 1 terwijl het "host" systeem natuurlijk ook een pid 1 heeft etc.

Daarom zou ik die ellende in een VM proppen als je echt niet zonder kan!

[RobertMe]

nero355 schreef op woensdag 8 februari 2023 @ 18:22:
[...]

Alleen weet 95% van de Docker gebruikers op GoT eigenlijk niet waar ze mee bezig zijn, want die webGUI op hun kant en klaar NASje zag er zo goed uit dus krijgen ze wel degelijk met een probleem te maken als die Portainer Container stuk is opeens!

Die kant en klare NASjes gebruiken vast geen Portainer. En al helemaal niet meer nu er een betaalde versie van Portainer is die vast en zeker gebruikt zou moeten worden door die kant en klare NASje bouwers.

[...]

Ik ook!

Wat is het probleem dan? Ik ben heel blij met Docker (/OCI verhaal). En "het werkt gewoon". Dat daarvoor allemaal Linux kernel stuff voor gebruikt wordt waar ik geen kaas van gegeten heb kan ik niet wakker can liggen.
Jij vind dat wellicht verschrikkelijk. Maar ik ben benieuwd of je dan ook in detail wilt weten hoe een proccess wordt uitgevoerd, hoe het dynamisch linken van libraries (so / dll) werkt, hoe time sharing werkt (wat?! 100 processen en maar 4 cores?!). Want ook dat zijn zaken die gewoon "automatisch" goed gaan en je met de handen in het haar zit als het niet werkt.

[...]

Daarom zou ik die ellende in een VM proppen als je echt niet zonder kan!

YO DAWG. Als je dus Proxmox met LXC gebruikt dan zou je Proxmox dus als VM installeren (in Proxmox?)? Want v.w.b. die technieken zijn Docker & LXC gewoon uitwisselbaar. Zowel Docker als LXC gebruiken exact dezelfde door de kernel aangeleverde isolatie technieken. Alleen is het doel van Docker en LXC anders (geïsoleerd proces vs geïsoleerd OS). Maar beiden maken gebruik van cgroups, network namespaces, user namespaces, ... om dit te bereiken.

[Airw0lf]

koelkast schreef op woensdag 8 februari 2023 @ 14:06:

[...]

Docker ken ik inmiddels redelijk, en ik heb me redelijk ingelezen in proxmox met lxc en vm, maar waarom zou ik eigenlijk voor lxc containers gaan, in plaats van docker containers? Vanwege de mogelijkheid om een eenvoudige backup te draaien? Vanwege het eenvoudig kunnen doen van updates? Of is het eenvoudiger te beheren? Ik merk wel dat voor véél, maar niet álle gewenste diensten zo'n handig tteckster script beschikbaar is. Daarvoor zou ik dan een docker-container kunnen gebruiken. Of is dat niet handig?

Misschien hebben jullie hier ideeën over? Ik zoek even wat houvast

Mijn 0,100 Euro:
De inzet van VM's en LXC containers maken dat je per VM en container over de volledige netwerk stack beschikt; waaronder vlans, TCP, en UDP poorten.
Bij Docker containers is dat alleen het geval als je ze opstart tegen de host adapters. Maar hier zit dan weer het risico van overlappende TCP poorten.

Nadeel bij VM's en LXC containers is dat apps niet in een geïsoleerde omgeving kunnen draaien waardoor je mogelijk conflicten krijgt met code bibliotheken - iets wat bij Docker containers niet het geval is.

Met die context:
Ik steek liefst zoveel mogelijk apps in Docker containers; bij voorkeur via een Linux OS op bare-metal. De belangrijkste reden is optimaal gebruik van de beschikbare verwerkingscapaciteit en de ratjatoe aan versies van code-bibliotheken zoals te doen gebruikelijk in applicaties.

Mochten applicaties veel overlappende TCP poorten hebben, dan ga ik aan de slag met Proxmox en LXC containers. Binnen die LXC containers maak ik dan weer gebruik van Docker containers.

VM's gebruik ik alleen als het echt niet anders kan. Bijvoorbeeld omdat een bepaalde applicatie niet gebruikt kan/mag worden in een of meer containers. Of omdat het een applicatie is met een rijke historie (lees: een samenraapsel van ouwe meuk). Waardoor het een te groot risico is om de zaak over te hevelen naar containers.

[Airw0lf]

RobertMe schreef op woensdag 8 februari 2023 @ 18:41:
[...]

Die kant en klare NASjes gebruiken vast geen Portainer. En al helemaal niet meer nu er een betaalde versie van Portainer is die vast en zeker gebruikt zou moeten worden door die kant en klare NASje bouwers.

[...]

Bij mijn weten is Portainer altijd gratis tot 5 Docker hosts - dus ook voor de NASje bouwers(?):
https://www.portainer.io/take-5

[ZatarraNL]

Vraagje, ik heb al een tijdje een 3node cluster met ceph draaien. Maar de backbone ging altijd over dezelfde 1Gb nic als alle andere data.

Ik probeer nu de backbone via separate 10gbit nics te laten lopen. Zonder switch. Ik heb deze handleiding gebruikt:
https://pve.proxmox.com/w...h_Network_for_Ceph_Server

Voor ceph zal het mooi werken, maar ik wil nu een nieuwe cluster aanmaken, maar dat gaat nog niet helemaal goed met de beschreven opties. Iemand hier ervaring mee?

Zo ja, welke van de 4 opties gebruik je dan? Route simpele, route with fallback, RSTP of broadcast?

Het probleem: met het aanmaken van een cluster in de gui moet je de nic kiezen, maar bij route simpel heb je twee nics met hetzelfde ip-address. Bij route met fallback ziet Proxmox helemaal geen nic in de gui. De andere twee heb ik nog niet geprobeerd, maar hebben niet de voorkeur.

[ Voor 19% gewijzigd door ZatarraNL op 08-02-2023 22:35 ]

[nero355]

Airw0lf schreef op woensdag 8 februari 2023 @ 20:04:
Bij Docker containers is dat alleen het geval als je ze opstart tegen de host adapters. Maar hier zit dan weer het risico van overlappende TCP poorten.

Nadeel bij VM's en LXC containers is dat apps applicaties niet in een geïsoleerde omgeving kunnen draaien waardoor je mogelijk conflicten krijgt met code bibliotheken - iets wat bij Docker containers niet het geval is.

Mochten applicaties veel overlappende TCP poorten hebben, dan ga ik aan de slag met Proxmox en LXC containers. Binnen die LXC containers maak ik dan weer gebruik van Docker containers.

Je kan elke Docker Container eigen poorten geven door MAC VLAN te gebruiken en daarbij heeft dus elke Container ook zijn eigen IP adres

RobertMe schreef op woensdag 8 februari 2023 @ 18:41:
Die kant en klare NASjes gebruiken vast geen Portainer. En al helemaal niet meer nu er een betaalde versie van Portainer is die vast en zeker gebruikt zou moeten worden door die kant en klare NASje bouwers.

Als dat zo is dan noem ik dat vooruitgang!

Wat is het probleem dan? Ik ben heel blij met Docker (/OCI verhaal). En "het werkt gewoon". Dat daarvoor allemaal Linux kernel stuff voor gebruikt wordt waar ik geen kaas van gegeten heb kan ik niet wakker can liggen.

Ik vind het hele systeem gewoon niks voor mij en de manier waarop men het meestal gebruikt niet in de geest van Docker überhaupt!

Jij vind dat wellicht verschrikkelijk. Maar ik ben benieuwd of je dan ook in detail wilt weten hoe een proccess wordt uitgevoerd, hoe het dynamisch linken van libraries (so / dll) werkt, hoe time sharing werkt (wat?! 100 processen en maar 4 cores?!). Want ook dat zijn zaken die gewoon "automatisch" goed gaan en je met de handen in het haar zit als het niet werkt.

Ik ben geen developer dus ik hoef ook niet alles te weten!

YO DAWG.

LOL! Dat is lang geleden!

Als je dus Proxmox met LXC gebruikt dan zou je Proxmox dus als VM installeren (in Proxmox?)?

Nee, dat zou ik alleen doen om een extra Proxmox Server te faken in een Cluster als Lab Experiment

Want v.w.b. die technieken zijn Docker & LXC gewoon uitwisselbaar. Zowel Docker als LXC gebruiken exact dezelfde door de kernel aangeleverde isolatie technieken. Alleen is het doel van Docker en LXC anders (geïsoleerd proces vs geïsoleerd OS). Maar beiden maken gebruik van cgroups, network namespaces, user namespaces, ... om dit te bereiken.

En daarom lijkt mij Docker i.c.m. een LXC Container niet handig als ik de verhalen in dit topic mag geloven!

[RobertMe]

nero355 schreef op woensdag 8 februari 2023 @ 23:54:
[...]

Ik ben geen developer dus ik hoef ook niet alles te weten!

Dat was niet mijn punt. Je gaf aan dat "onderwater gebeuren" een goede reden is om het niet te gebruiken. Maar je hebt altijd onderwater gebeuren waar je geen weet / kennis van (kunt) hebben. En als datgene een keer niet werkt dat je dus met handen in het haar zit. Dat ik een beetje weet hoe Docker & LXC werken (v.w.b. namespaces op verschillende vlakken) heeft ook niks te maken met het feit dat ik developer ben. Maar met wat ik hobbymatig heb uitgezocht in de "systeem beheer" hoek.

[...]

En daarom lijkt mij Docker i.c.m. een LXC Container niet handig als ik de verhalen in dit topic mag geloven!

Werkt prima. Alleen moet het, IIRC, een unprivileged LXC container zijn en moet nesting aan staan. Zijn gewoon vinkjes in de Proxmox web UI.

[Airw0lf]

nero355 schreef op woensdag 8 februari 2023 @ 23:54:
[...]

Je kan elke Docker Container eigen poorten geven door MAC VLAN te gebruiken en daarbij heeft dus elke Container ook zijn eigen IP adres

Klopt - met die kanttekening dat een Docker container met een mac-vlan maar in één vlan kan meedoen.

[ Voor 27% gewijzigd door Airw0lf op 09-02-2023 07:55 ]

[RobertMe]

Airw0lf schreef op donderdag 9 februari 2023 @ 07:51:
[...]


Klopt - met die kanttekening dat een Docker container met een mac-vlan maar in één vlan kan meedoen.

Maar... je kunt weer wel meerdere macvlan interfaces gebruiken/toevoegen in dezelfde container. En zonder Docker moet je ook voor elk (extra) VLAN een extra interface aanmaken. Dus in zoverre potato potahta. Voor de applicatie maakt het, met of zonder Docker, ook niet uit. Die luistert op alle netwerk interfaces (in de network namespace waar de applicatie in draait).

[Airw0lf]

RobertMe schreef op donderdag 9 februari 2023 @ 08:51:
[...]

Maar... je kunt weer wel meerdere macvlan interfaces gebruiken/toevoegen in dezelfde container. En zonder Docker moet je ook voor elk (extra) VLAN een extra interface aanmaken. Dus in zoverre potato potahta. Voor de applicatie maakt het, met of zonder Docker, ook niet uit. Die luistert op alle netwerk interfaces (in de network namespace waar de applicatie in draait).

Dat je in een Docker container kunt werken met meerdere interfaces wist ik niet - nooit geprobeerd. Bij één mac-vlan kreeg ik DNS en DHCP niet goed aan de praat - ook niet met de NET_ADMIN optie.
Daarnaast nam de hoeveelheid administratie van een systeem behoorlijk toe omdat je moet gaan bijhouden welke IP-reeks(en) het mac-vlan gebruikt binnen een bepaald vlan.

Dat bij elkaar heeft mij doen besluiten om alle Docker containers via het host netwerk te gaan gebruiken. Zodat applicaties met overlappende en/of verouderde bibliotheken kunnen blijven werken (daar was het me ooit om begonnen).

Mochten er dan alsnog problemen ontstaan, dan worden die Docker containers overgeheveld naar twee of meer LXC container. En als het echt moet eventueel VM's. Maar tegen die tijd heb ik al een paar keer bij de fabrikant van die applicatie aangeklopt om het "ding" eens te moderniseren zodat ie ook in containers kan draaien.

[Airw0lf]

ZatarraNL schreef op woensdag 8 februari 2023 @ 22:29:
Vraagje, ik heb al een tijdje een 3node cluster met ceph draaien. Maar de backbone ging altijd over dezelfde 1Gb nic als alle andere data.

Ik probeer nu de backbone via separate 10gbit nics te laten lopen. Zonder switch. Ik heb deze handleiding gebruikt:
https://pve.proxmox.com/w...h_Network_for_Ceph_Server

Voor ceph zal het mooi werken, maar ik wil nu een nieuwe cluster aanmaken, maar dat gaat nog niet helemaal goed met de beschreven opties. Iemand hier ervaring mee?

Zo ja, welke van de 4 opties gebruik je dan? Route simpele, route with fallback, RSTP of broadcast?

Het probleem: met het aanmaken van een cluster in de gui moet je de nic kiezen, maar bij route simpel heb je twee nics met hetzelfde ip-address. Bij route met fallback ziet Proxmox helemaal geen nic in de gui. De andere twee heb ik nog niet geprobeerd, maar hebben niet de voorkeur.

Welk achterliggend probleem wil je eigenlijk oplossen?

Rationale achter de vraag:

Als het puur de leerervaring is lijkt me een tweede 1-Gbps NIC (in elke server) verreweg het meest praktische. Die sluit je aan op de bestaande switch, geeft hem een IP adres en je kunt aan de slag. Eventueel steek je die switch-poorten nog in een geïsoleerd vlan.

Dit is in ieder geval een pad waarmee je zou kunnen beginnen. Al was het maar om te kijken hoe het geheel ingesteld moet worden. En hoe het zich gaat gedragen.

Mocht je een capaciteitsvraagstuk hebben wat je met 10-Gbps wil oplossen, dan voorzie ik dat je er uiteindelijk niet onderuit komt om gebruik te maken van een 10-Gbps switch.

Dit omdat zonder die switch, de uitval van een 10-Gbps NIC erin resulteert dat er een server gaat zijn die al het verkeer tussen zijn twee buurtjes door zijn bus gaat moeten trekken. Wat dan weer resulteert in stevig wat IO-vertraging. En daar kunnen gebruikers dan weer last van hebben omdat de disk-IO hier ook onder te leiden heeft.

Wil je dit ook weer op een nette manier HA maken, dan heb je eigenlijk twee 10-Gbps switches nodig...

[orvintax]

Airw0lf schreef op donderdag 9 februari 2023 @ 10:51:
[...]


Welk achterliggend probleem wil je eigenlijk oplossen?

Rationale achter de vraag:

Als het puur de leerervaring is lijkt me een tweede 1-Gbps NIC (in elke server) verreweg het meest praktische. Die sluit je aan op de bestaande switch, geeft hem een IP adres en je kunt aan de slag. Eventueel steek je die switch-poorten nog in een geïsoleerd vlan.

Dit is in ieder geval een pad waarmee je zou kunnen beginnen. Al was het maar om te kijken hoe het geheel ingesteld moet worden. En hoe het zich gaat gedragen.

Mocht je een capaciteitsvraagstuk hebben wat je met 10-Gbps wil oplossen, dan voorzie ik dat je er uiteindelijk niet onderuit komt om gebruik te maken van een 10-Gbps switch.

Dit omdat zonder die switch, de uitval van een 10-Gbps NIC erin resulteert dat er een server gaat zijn die al het verkeer tussen zijn twee buurtjes door zijn bus gaat moeten trekken. Wat dan weer resulteert in stevig wat IO-vertraging. En daar kunnen gebruikers dan weer last van hebben omdat de disk-IO hier ook onder te leiden heeft.

Wil je dit ook weer op een nette manier HA maken, dan heb je eigenlijk twee 10-Gbps switches nodig...

OP kan hier het beste op antwoorden. Maar ik heb zo een gevoel dat hij geen 10gbps switch heeft Daarom dat hij het direct via de NICs wilt laten lopen.

[ZatarraNL]

Airw0lf schreef op donderdag 9 februari 2023 @ 10:51:
[...]


Welk achterliggend probleem wil je eigenlijk oplossen?

Rationale achter de vraag:

Als het puur de leerervaring is lijkt me een tweede 1-Gbps NIC (in elke server) verreweg het meest praktische. Die sluit je aan op de bestaande switch, geeft hem een IP adres en je kunt aan de slag. Eventueel steek je die switch-poorten nog in een geïsoleerd vlan.

Dit is in ieder geval een pad waarmee je zou kunnen beginnen. Al was het maar om te kijken hoe het geheel ingesteld moet worden. En hoe het zich gaat gedragen.

Mocht je een capaciteitsvraagstuk hebben wat je met 10-Gbps wil oplossen, dan voorzie ik dat je er uiteindelijk niet onderuit komt om gebruik te maken van een 10-Gbps switch.

Dit omdat zonder die switch, de uitval van een 10-Gbps NIC erin resulteert dat er een server gaat zijn die al het verkeer tussen zijn twee buurtjes door zijn bus gaat moeten trekken. Wat dan weer resulteert in stevig wat IO-vertraging. En daar kunnen gebruikers dan weer last van hebben omdat de disk-IO hier ook onder te leiden heeft.

Wil je dit ook weer op een nette manier HA maken, dan heb je eigenlijk twee 10-Gbps switches nodig...

Het probleem is dat ik met ceph een doorvoer van 1gb wil halen. En dat lukt niet omdat de backbone van ceph ook bandbreedte nodig heeft. Omdat ik 10gb kaarten heb liggen wilde ik die voor de backbone gebruiken, met de hoop meer bandbreedte voor de ceph cluster te hebben.
Ik heb geen 10gb switch, want die zijn nogal prijzig. Natuurlijk kan ik die ook aansluiten op mijn switch, maar het moet ook direct kunnen. En als ik die backbone toch heb liggen, dan moet de pve backbone daar ook over kunne functioneren met als fallback de reguliere 1gb nic.
Maar het lijkt erop dat de directe aansluiting wel lukt met ceph, maar de pve cluster werkt net even anders.

En ja, uitval van een NIC zal inderdaad de belasting van één node flink laten toenemen. Maar als één nic uitvalt, dan waarschijnlijk de ander ook, en is een node gewoon offline. En als het inderdaad maar één nic is, dan begrijp ik dat het ondanks de hogere IO wel zou moeten lukken.

Even voor de duidelijkheid:
Node 1:
- 1Gb nic verbonden met switch
- 10Gb nic verbonden met node 2
- 10Gb nic verbonden met node 3
Node 2:
- 1Gb nic verbonden met switch
- 10Gb nic verbonden met node 1
- 10Gb nic verbonden met node 3
Node3:
- 1Gb nic verbonden met switch
- 10Gb nic verbonden met node 1
- 10Gb nic verbonden met node 2

De beide 10Gb nic van elke node moeten dus op één of andere manier samen als één nic fungeren met één IP-adres. Dat zou samen een mesh maken. PvE kan geen twee nics met hetzelfde ip-adres selecteren voor een cluster (optie 1: routed simple) . Anderzijds herkent pve helemaal geen 10Gb nics als ik hiervoor frr gebruik (optie2: routed with fallback).

Optie 3 en 4 heb ik nog niet geprobeerd. Optie 4 (broadcast) is wellicht nog een optie omdat de beide 10Gb nics dan bonded zijn. Het nadeel is de relatief hoge bandbreedte omdat data dubbel wordt verstuurd.

Ik was vooral nieuwsgierig of er mensen ervaring hebben, voordat ik allemaal nieuwe dingen ga uitproberen.

[ Voor 24% gewijzigd door ZatarraNL op 09-02-2023 15:52 ]

[nero355]

RobertMe schreef op donderdag 9 februari 2023 @ 06:35:
Dat was niet mijn punt.

Maar wel die van mij!

Je gaf aan dat "onderwater gebeuren" een goede reden is om het niet te gebruiken. Maar je hebt altijd onderwater gebeuren waar je geen weet / kennis van (kunt) hebben. En als datgene een keer niet werkt dat je dus met handen in het haar zit.

Alleen zijn dat niet de dingen die ik bedoelde

Ik vind meer het geheel rondom Docker Containers gewoon niet fijn werken en meer iets voor developers die precies weten wat hun software doet/nodig heeft en een manier om hun werkstation schoon te houden van allerlei rommel die dus binnen de Container(s) blijft op die manier als ze weer eens versie x.y.z moeten testen.

Dat ik een beetje weet hoe Docker & LXC werken (v.w.b. namespaces op verschillende vlakken) heeft ook niks te maken met het feit dat ik developer ben. Maar met wat ik hobbymatig heb uitgezocht in de "systeem beheer" hoek.

Daar ging het mij dan ook niet om

Werkt prima. Alleen moet het, IIRC, een unprivileged LXC container zijn en moet nesting aan staan. Zijn gewoon vinkjes in de Proxmox web UI.

Hmm... OK... laten we dan effe aannemen dat het makkelijker is geworden dan in het verleden

[dcm360]

Docker in LXC werkt inderdaad wel. De opties nesting, keyctl en Fuse heb ik daar voor aangezet. Die laatste is nodig voor fuse-overlayfs, dat bleek toch wel betere prestaties te bieden dan vfs (eigenlijk is dit een flink understatement. Sommige applicaties waren met vfs onwerkbaar traag).

[RobertMe]

dcm360 schreef op donderdag 9 februari 2023 @ 15:41:
Docker in LXC werkt inderdaad wel. De opties nesting, keyctl en Fuse heb ik daar voor aangezet. Die laatste is nodig voor fuse-overlayfs, dat bleek toch wel betere prestaties te bieden dan vfs (eigenlijk is dit een flink understatement. Sommige applicaties waren met vfs onwerkbaar traag).

Heeft dat niet ook te maken met het onderliggende filesystem? Docker heeft ondersteuning voor ZFS voor de storage, en in de LXC is het ZFS device in /dev/ zichtbaar. Alleen werk dat by default niet (sowieso zullen in de LXC container de juiste libraries en/of CLI tools missen). Ik heb daarom (in Proxmox) een zvol aangemaakt die ik met ext4 geformatteerd heb. Vervolgens heb ik het zvol direct aan de LXC gehangen / gemount op /var/lib/docker en dat werkt prima. LXC ziet dat het een block device is dus mount hem automatisch. En Docker ziet dat de storage directory op een ext4 filesystem staat en gebruikt daardoor overlay2 als storage driver (i.p.v. ZFS). Ik gebruik in ieder geval dus weer geen fuse.

Zag overigens wel dat Podman (OCI compatible container runtime, aka "Docker alternatief dat ook Docker images kan draaien") als je ZFS als filesystem gebruikt en vervolgens voor rootless Podman gaat (een van de redenen om Podman te gebruik, hoeft niet als root) dat die dan ook fuse gebruikt en meen ds ook fuse-overlay.

[MakhouT]

1. Kies ik LVM of ZFS? En waarom?
A. En als ik bv op LVM zit kan ik nog switchen naar ZFS? Of moet ik terug de installatie doen?
B. Ik lees online overal dat ZFS beter is dan LVM maar ik begrijp niet waarom

2. Ik heb in mijn NUC 2 SSD schijven, maar als ik een nieuwe VM/container wil maken dan zie ik maar enkel de schijf waarop proxmox heb geinstalleerd. Nochtans als ik naar 'disks' ga zie ik beide schijven. Hoe kan ik de andere schijf dan toch zien te kunnen gebruiken als ik een container maak?
Of kan ik bv een container maken voor plex maar al media bestanden laten komen van mijn 2de schijf?

[nero355]

MakhouT schreef op donderdag 9 februari 2023 @ 23:17:
Ik lees online overal dat ZFS beter is dan LVM maar ik begrijp niet waarom

LVM is een manier om Storage flexibel te gebruiken, maar is geen File System of Software RAID systeem!
Je hebt dan nog EXT4 of XFS nodig samen met MDADM bijvoorbeeld.

OpenZFS kan dat echter allemaal in één keer

Ik heb in mijn NUC 2 SSD schijven, maar als ik een nieuwe VM/container wil maken dan zie ik maar enkel de schijf waarop proxmox heb geinstalleerd. Nochtans als ik naar 'disks' ga zie ik beide schijven. Hoe kan ik de andere schijf dan toch zien te kunnen gebruiken als ik een container maak?
Of kan ik bv een container maken voor plex maar al media bestanden laten komen van mijn 2de schijf?

Volgens mij heb je dan nog geen Storage voor Containers of VM's assigned

[MakhouT]

Ik vind niet hoe ik het moet assignen?

[Airw0lf]

MakhouT schreef op donderdag 9 februari 2023 @ 23:17:
1. Kies ik LVM of ZFS? En waarom?
A. En als ik bv op LVM zit kan ik nog switchen naar ZFS? Of moet ik terug de installatie doen?
B. Ik lees online overal dat ZFS beter is dan LVM maar ik begrijp niet waarom

2. Ik heb in mijn NUC 2 SSD schijven, maar als ik een nieuwe VM/container wil maken dan zie ik maar enkel de schijf waarop proxmox heb geinstalleerd. Nochtans als ik naar 'disks' ga zie ik beide schijven. Hoe kan ik de andere schijf dan toch zien te kunnen gebruiken als ik een container maak?
Of kan ik bv een container maken voor plex maar al media bestanden laten komen van mijn 2de schijf?

In essentie:
Met LVM kan je on the fly volumes uitbreiden door een disk aan een bestaand volume te knopen. ZFS heeft meer herstel mogelijkheden bij problemen met een disk.
Tis maar net wat je belangrijk vindt...

Het handigste is om een kleine disk (USB stick?) te gebruiken om Debian te installeren.
Daar voeg je dan Proxmox aan toe. En vervolgens disken om VM's en containers op te installeren.
Daarvoor neem je die disken op in een volume, formatteer je dat volume en mount je dat volume zodanig dat het na een reboot weer beschikbaar is.
Via het config-bestandje /etc/pve/storage.cfg kun je die toevoegen en "assign"-baar maken voor VM's en LXC containers.

Een voorbeeld voor de setup zoals ik hem gebruik:

code:

# / was on /dev/sda1 during installation
UUID=7f1091ee-7de3-4683-adfe-f6e68ec35809 / ext4 errors=remount-ro 0 1

# Swap was on /dev/sda5 during installation
UUID=e01f2775-750e-4d4f-87b3-160bb8bbc5bb none swap sw 0 0

# PVE data
/dev/raid/PVEdata /mnt/pve/mainData ext4 defaults 0 2
/dev/ssd/PVEdata /mnt/pve/ssdData ext4 defaults 0 2

Dit is het mount bestand genaamd /etc/fstab. Hierin is sda1 het volume en de disk om te booten. En staan onder het kopje PVE data de volumes met de VM en LXC bestanden:

• Een raid volume met traditionele disken voor grotere data volumes.
• En een ssd volume voor applicaties die de extra snelheid van een ssd nodig hebben.

Het Proxmox storage.cfg-bestand ziet er alsvolgt uit:

code:

cifs: vm-images
        path /mnt/pve/vm-images
        server morpheus.itv.lan
        share vm-images
        content images,backup,vztmpl,iso
        nodes switch
        username will

dir: mainData
        path /mnt/pve/mainData
        content rootdir,iso,vztmpl,images,snippets
        nodes switch
        preallocation full
        shared 0

dir: ssdData
        path /mnt/pve/ssdData
        content images,rootdir
        nodes switch
        shared 0

cifs: backup-only
        path /mnt/pve/backup-only
        server mouse.itv.lan
        share Backup
        content images,backup
        nodes switch
        prune-backups keep-all=1
        username will

De cifs aanduidingen verwijzen naar samba shares op resp. het Ubuntu systeem morpheus en de Synology NAS mouse. De twee anderen worden gebruikt om VM- en LXC-disken aan te kunnen "assignen".

Iets makkelijker gaat het via het starten met een Debian-USB-stick en beide disken in een volume te steken. Dan afsluiten, opstarten met een Proxmox USB-stick en Proxmox installeren op het net aangemaakte volume.
Deze route is iets minder flexibel/handig in de omgang met opslag omdat alles op dat ene volume staat.

Voor beiden hebben Debian en Proxmox goede handleidingen.
En de reacties op het Proxmox forum zijn goed (d.w.z. redelijk snel en to-the-point).

Tot slot (misschien een open deur - maar toch):
Proxmox is niet iets van klik-klak-klaar - je moet er echt wel wat tijd in steken om er wat moois van te kunnen maken.
Ook zou het zomaar kunnen dat je ergens een keer tegen een muur aan loopt . En dan helemaal opnieuw mag (moet?) beginnen... . Dus een backup van de qcow en/of raw bestanden naar een NAS of externe disk lijkt me meer dan handig... in ieder geval als een soort van bare-minimum...

[ Voor 38% gewijzigd door Airw0lf op 11-02-2023 11:26 ]

[dcm360]

Ik zou gewoon de Proxmox installer aanraden, installeren met ZFS en vooral niet op een USB stick. Wil je meer storage? Gebruik de webGUI om een of meerder schijven te formatteren met ZFS, en voeg ze toe aan de storage-configuratie met de webGUI. Het kan allemaal veel complexer dan dit, maar dat is helemaal niet leuk als je kennis aan het maken bent met Proxmox.

[Airw0lf]

dcm360 schreef op zaterdag 11 februari 2023 @ 11:58:
Ik zou gewoon de Proxmox installer aanraden, installeren met ZFS en vooral niet op een USB stick. Wil je meer storage? Gebruik de webGUI om een of meerder schijven te formatteren met ZFS, en voeg ze toe aan de storage-configuratie met de webGUI. Het kan allemaal veel complexer dan dit, maar dat is helemaal niet leuk als je kennis aan het maken bent met Proxmox.

Kan ook - iedereen heeft zo zijn voorkeuren - toch?

Ik ben ook ooit via de Proxmox installer begonnen. Maar liep al snel tegen wat beperkingen aan in de manier waarop ik om wilde gaan met disken en volumes. Waardoor ik opnieuw moest beginnen. En daar is uiteindelijk de eerder beschreven config uit gerold.

[dcm360]

Zeker waar In het verleden heb ik zelf ook wel dergelijke setups gemaakt, maar onderhand hebben ze bij Proxmox niet stilgezeten en kan de installer samen met de webGUI eigenlijk voldoende om in te stellen wat ik wil, met hier en daar nog maar een klein beetje op de CLI. De beperking dat de installer een gehele schijf neemt is er niet meer, en dat was voor mij eigenlijk de voornaamste reden om het allemaal zelf te willen doen.

[nero355]

MakhouT schreef op zaterdag 11 februari 2023 @ 07:10:
Ik vind niet hoe ik het moet assignen?

Speel gewoon met de webGUI en je hebt uiteindelijk wel het trucje door!

Ik moest ook effe prutsen totdat ik het door had...

Pak ook af en toe de documentatie erbij als je er niet uitkomt :
- https://pve.proxmox.com/pve-docs/
- https://pve.proxmox.com/p...common_storage_properties

[MakhouT]

Ja het is geïnstalleerd geweest via de proxmox installer bij mij.
Ik heb vanavond nog wat tijd om er mee te spelen en nog nieuwe zaken te ontdekken

[Airw0lf]

ZatarraNL schreef op donderdag 9 februari 2023 @ 13:46:
[...]

De beide 10Gb nic van elke node moeten dus op één of andere manier samen als één nic fungeren met één IP-adres. Dat zou samen een mesh maken. PvE kan geen twee nics met hetzelfde ip-adres selecteren voor een cluster (optie 1: routed simple) . Anderzijds herkent pve helemaal geen 10Gb nics als ik hiervoor frr gebruik (optie2: routed with fallback).

Optie 3 en 4 heb ik nog niet geprobeerd. Optie 4 (broadcast) is wellicht nog een optie omdat de beide 10Gb nics dan bonded zijn. Het nadeel is de relatief hoge bandbreedte omdat data dubbel wordt verstuurd.

Ik was vooral nieuwsgierig of er mensen ervaring hebben, voordat ik allemaal nieuwe dingen ga uitproberen.

Als je insteekt met routing zou je de twee 10-Gbps NIC's van twee aan elkaar geknoopte servers op kunnen nemen in een 2 bits subnet. Waardoor elke server 2 subnets heeft. Dan met static routes aangeven welke paden er zijn naar een bepaalde host.

Het meest eenvoudige is de beide NIC's in een bridge steken en dan die bridge interface eventueel een IP adres geven. Bij elkaar heb je dan eigenlijk een soort van "switch" gemaakt.

Of een bond type 5 of 6 aanmaken - maar of dit gaat werken in deze setup weet ik niet - nooit gedaan.
Netwerktechnisch zou je een subnet kunnen maken voor alle 10-Gbps poorten van alle servers. Waarbij elke poort een eigen IP adres krijgt. En elke server 4 static routes naar de andere twee. Maar ook hier - nooit gedaan.

[ComTech]

Ik heb de laatste tijd vaak dit in een HomeAssistant VM staan.
Meestal heb ik dan net een update van HA gedaan, duurt meestal wel lang maar hij voltooid hem wel.
Verder draait hij prima proxmox geeft geen smart errors op de disk.
Moet ik me zorgen maken of is dit gewoon vals alarm?

[Feni]

ComTech schreef op maandag 13 februari 2023 @ 12:11:
Moet ik me zorgen maken of is dit gewoon vals alarm?

Kan je de output hiervan posten? smartctl -a /dev/sda

[dcm360]

Het lijkt op dit issue. Is Proxmox helemaal geupdated?

[ComTech]

Ondertussen is het probleem nog groter geworden.
Heb HA verplaatst naar een andere proxmox server heeft de rest van de dag (gisteren) goed gedraaid.
Vannacht is hij ergens uit gegaan, de vm is uit zie nergens iets in de logs.
Als ik hem weer herstart dan is hij binnen 10 minuten weer uit zonder foutmelding.