Het grote Proxmox VE topic

[Loekie]

RubenDJ schreef op maandag 4 oktober 2021 @ 09:50:
[...]

Wel, vrij simpel. Ik heb alleen een Experiabox v10a, die ook dhcp doet. Voor de rest alleen een paar unmanaged switches. Op proxmox draai ik zaken als home assistant, nginx proxy manager en adguard.

Ik denk echt dat het probleem ergens in Proxmox zit, aangezien er aan het netwerk verder ook niets is veranderd. Aan de nuc heb ik dus alleen een schijf toegevoegd en is dus het ding herstart voor het eerst in iets van 150 dagen. En temeer omdat ik dus de requests gewoon zie binnenkomen via

code:

tcpdump -i vmbr0 port 8006
tcpdump -i vmbr0 port 22

Wat je kan doen als je lokale access hebt(scherm en keyboard) kijken of je dan wel bij de webinterface kan komen op het publieke netwerk(je output hierboven lijkt dat overigens al aan te geven).
Is dat het geval, dan lijkt het mij een DHCP-reservering die niet goed staat/verlopen is. Proxmox stelt deze vast in, maar de Experiabox kan deze zo weer opnieuw uitdelen als er geen reservering is.

[RubenDJ]

Loekie schreef op maandag 4 oktober 2021 @ 10:05:
[...]

Wat je kan doen als je lokale access hebt(scherm en keyboard) kijken of je dan wel bij de webinterface kan komen op het publieke netwerk(je output hierboven lijkt dat overigens al aan te geven).
Is dat het geval, dan lijkt het mij een DHCP-reservering die niet goed staat/verlopen is. Proxmox stelt deze vast in, maar de Experiabox kan deze zo weer opnieuw uitdelen als er geen reservering is.

Daar had ik ook al een vermoeden van, maar het aanpassen van het IP adres biedt dus ook geen soelaas. Na een aantal herstarts lijkt het nu wel iets beter te gaan, ik monitor nu de server via een ping -t en dan zie ik sporadisch wel een timeout voorkomen. Ik ben er ook achter dat een ifconfig op de server aangeeft dat zowat de helft van de RX packets gedropped worden op vmbr0. Zou dat aan ipv6 kunnen liggen? Dat heeft KPN er namelijk doorheen gedrukt deze zomer maar de ondersteuning lijkt brak te zijn.

[orvintax]

RubenDJ schreef op maandag 4 oktober 2021 @ 10:13:
[...]

Daar had ik ook al een vermoeden van, maar het aanpassen van het IP adres biedt dus ook geen soelaas. Na een aantal herstarts lijkt het nu wel iets beter te gaan, ik monitor nu de server via een ping -t en dan zie ik sporadisch wel een timeout voorkomen. Ik ben er ook achter dat een ifconfig op de server aangeeft dat zowat de helft van de RX packets gedropped worden op vmbr0. Zou dat aan ipv6 kunnen liggen? Dat heeft KPN er namelijk doorheen gedrukt deze zomer maar de ondersteuning lijkt brak te zijn.

Welke DHCP range gebruikt jouw experiabox?

[RubenDJ]

orvintax schreef op maandag 4 oktober 2021 @ 10:52:
[...]

Welke DHCP range gebruikt jouw experiabox?

192.168.2.1..99, daarboven gebruik ik voor statische ip adressen.

[orvintax]

RubenDJ schreef op maandag 4 oktober 2021 @ 10:57:
[...]

192.168.2.1..99, daarboven gebruik ik voor statische ip adressen.

Oke, maar gebruikt de Experiabox dan 192.168.1.1 - 192.168.1.99 ?

[ Voor 24% gewijzigd door orvintax op 04-10-2021 11:02 ]

[RubenDJ]

orvintax schreef op maandag 4 oktober 2021 @ 11:01:
[...]

Oke, maar gebruikt de Experiabox dan 192.168.1.1 - 192.168.1.99 ?

Goed punt, dat stamt nog uit de tijd dat ik DHCP Reservation gebruikte.

orvintax schreef op maandag 4 oktober 2021 @ 11:01:
[...]

Oke, maar gebruikt de Experiabox dan 192.168.1.1 - 192.168.1.99 ?

Excuus, ik zie net dat het op 192.168.1.1...200 staat. De experiabox heeft nieuwe firmware gekregen deze zomer dus ik denk dat dat default is. Voorheen gebruikte ik DHCP Reservation maar inderdaad, mijn vaste ip adressen zitten ook in die range. Echter gaat het op alle devices/vm's/lxc goed behalve op vmbr0 van proxmox.

Zojuist de server even op 192.168.1.250 gezet. Bij een ping -t nog steeds af en toe een timeout en 50% RX packets dropped.

[Loekie]

Hoe vervelend ook, zou voor de server ook een reservering aanzetten. De EB zal als de route via dat ding loopt de route niet weten. Dan heeft die even nodig om te achterhalen waar het verkeer naar toe moet. Je weet verder zeker dat je niet ergens een loop hebt?

[RubenDJ]

Loekie schreef op maandag 4 oktober 2021 @ 11:38:
Hoe vervelend ook, zou voor de server ook een reservering aanzetten. De EB zal als de route via dat ding loopt de route niet weten. Dan heeft die even nodig om te achterhalen waar het verkeer naar toe moet.

Gedaan, maakt geen verschil.

Je weet verder zeker dat je niet ergens een loop hebt?

Ik zou niet weten hoe je een loop maakt, hoe zou ik dat kunnen zien?

[RubenDJ]

Ben weer iets verder: zolang ik een ping -t laat lopen naar de server blijft de server bereikbaar met af en toe een timeout. Stop ik met de ping en probeer ik het een paar minuten weer, dan blijft de server onbereikbaar, alles geeft timeout.
Totdat ik een

code:

ifdown vmbr0
ifup vmbr0

geef, dan komt ie weer up. Volgens mij betekent dit toch echt weer iets wazigs in de krakkemikkerige/fragiele Linux netwerk stack en niet zozeer mijn netwerkomgeving. Ben bang dat ik maar weer opnieuw moet gaan installeren.. Zoals altijd met Linux, net zodra het lekker draait mag je om de meest vage redenen weer opnieuw gaan installeren

[powerboat]

RubenDJ schreef op maandag 4 oktober 2021 @ 16:49:
Ben weer iets verder: zolang ik een ping -t laat lopen naar de server blijft de server bereikbaar met af en toe een timeout. Stop ik met de ping en probeer ik het een paar minuten weer, dan blijft de server onbereikbaar, alles geeft timeout.
Totdat ik een

code:

ifdown vmbr0
ifup vmbr0

geef, dan komt ie weer up. Volgens mij betekent dit toch echt weer iets wazigs in de krakkemikkerige/fragiele Linux netwerk stack en niet zozeer mijn netwerkomgeving. Ben bang dat ik maar weer opnieuw moet gaan installeren.. Zoals altijd met Linux, net zodra het lekker draait mag je om de meest vage redenen weer opnieuw gaan installeren

Lijkt toch eerder op een hardware issue of incompatibiliteit.

[RubenDJ]

powerboat schreef op maandag 4 oktober 2021 @ 17:31:
[...]


Lijkt toch eerder op een hardware issue of incompatibiliteit.

Het draait al anderhalf jaar zonder problemen. En nu na 1 herstart werkt 1 softwarematig onderdeel niet meer goed terwijl alle andere softwarematige onderdelen als vm's en containers (die kan ik gewoon nog blijven pingen zonder enige timeout) wel nog goed werken. Dus

ping -t 192.168.2.250 # proxmox vmbr0 --> Request timed out
ping -t 192.168.2.100 # home assistant VM --> Gaat goed zonder enige timeout

Dat lijkt mij dan geen hardware issue of incompatibiliteit.

[orvintax]

Is je Proxmox installatie volledig up to date?

[RubenDJ]

orvintax schreef op maandag 4 oktober 2021 @ 17:42:
Is je Proxmox installatie volledig up to date?

Ik zit op 6.4-13.

[orvintax]

Oke, wat is je netwerk config in Proxmox?

[RubenDJ]

orvintax schreef op maandag 4 oktober 2021 @ 22:29:
Oke, wat is je netwerk config in Proxmox?

Ben niet helemaal zeker hoe ik dat het best kan beantwoorden, maar bij deze een poging:
/etc/hosts:

code:

127.0.0.1 localhost.localdomain localhost
192.168.2.250 pve.home pve

# The following lines are desirable for IPv6 capable hosts

::1     ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
ff02::3 ip6-allhosts

/etc/network/interfaces:

code:

auto lo
iface lo inet loopback

iface eno1 inet manual

auto vmbr0
iface vmbr0 inet static
        address 192.168.2.250/32
        gateway 192.168.2.254
        bridge-ports eno1
        bridge-stp off
        bridge-fd 0

Mocht er nog meer nodig zijn, shout Ik ben inmiddels een beetje door de opties heen.

[orvintax]

Het is laat in de avond, dus vergeef eventuele fouten. Maar zie ik daar nu een /32 subnetmasker? Dat wilt zeggen dat je Proxmox in een subnet stopt met alleen zijn eigen, want /32 of te wel 255.255.255.255 staat maar een enkel adres toe.

Aangezien de "vreemde" IP ranges en configs die ik hier voorbij heb zien komen lijkt me eerder dat het probleem daar ergens ligt, in plaats van de "krakkemikkerige/fragiele Linux netwerk stack" Loop alles eens helemaal na

[RubenDJ]

orvintax schreef op dinsdag 5 oktober 2021 @ 00:14:
Het is laat in de avond, dus vergeef eventuele fouten. Maar zie ik daar nu een /32 subnetmasker? Dat wilt zeggen dat je Proxmox in een subnet stopt met alleen zijn eigen, want /32 of te wel 255.255.255.255 staat maar een enkel adres toe.

Aangezien de "vreemde" IP ranges en configs die ik hier voorbij heb zien komen lijkt me eerder dat het probleem daar ergens ligt, in plaats van de "krakkemikkerige/fragiele Linux netwerk stack" Loop alles eens helemaal na

Vergeef mij dan die uiting van frustratie, het is ook zo'n zoektocht in alle hoeken en krochten van het Linux OS, er zit voor mij totaal geen logica in. Ben al uren aan het struinen op internet en kom op de ene na de andere wazige site die net weer een ander probleem hebben met net weer een andere oplossing, maar nog vaker helemaal geen oplossing. Het hangt van zoveel losse componentjes die allemaal weer wat anders doen aan elkaar en overal kan wat misgaan op de meest rare momenten. Ik probeer al jaren Linux professioneel een kans te geven maar op de desktop is het gewoon te onbetrouwbaar allemaal en moet dan weer terugvallen op Windows. Ik kan me niet veroorloven om uren te gaan troubleshooten als er weer iets omvalt na een simpele herstart. Dat is me al zo vaak overkomen en dan denk ik thuis een stabiel servertje te hebben wat me dan ook weer ineens in de steek laat.

/rant

Maar inderdaad, het subnet masker aanpassen naar /24 heeft zo te zien de issues met de bereikbaarheid opgelost! Super bedankt! Ik zal het vast ergens te snel hebben getyped in 1 van de vele pogingen het probleem te isoleren.

Ik zie ook dat ik hier en daar 192.168.1.x en 192.168.2.x door elkaar haal, dat heb ik hier verkeerd getypt, waarvoor ook excuus. Dat helpt natuurlijk niet. Ik gebruik alleen 192.168.2.x.

Als je verder nog "vreemde" dingen ziet, ben benieuwd want is het is verder allemaal de standaard configuratie

De ~50% RX packet drop blijft echter, maar ik weet dus niet of dat altijd al zo is geweest. Met zo'n hoge drop op vmbr0 lijk ik de enige ter wereld te zijn. Meestal komt het voor op eno1. Maar een bridge kun je volgens mij niets meer uithalen met bijv ethtool. Dus als je daar nog tips voor hebt?

[Harmen]

Iemand ervaringen met wol en proxmox. Heel lastig zal het niet zijn. Krijg het helaas niet werkend. Nouja, 1x na het commando ethtool -s enp2so wol g .

Na elke reboot staat de wake on lan op d ipv g.

Volgende link heb ik geprobeerd (interfaces regel toevoegen, service aanmaken)
https://forum.proxmox.com...x-host-not-working.62016/

Jullie nog tips?

Heb het al werkend gekregen, even een regel toegevoegd aan crontab van root (crontab -e).
Elke 59 min het ethtool commando.

[ Voor 14% gewijzigd door Harmen op 06-10-2021 10:11 ]

[Kek]

Harmen schreef op dinsdag 5 oktober 2021 @ 22:38:
Iemand ervaringen met wol en proxmox. Heel lastig zal het niet zijn. Krijg het helaas niet werkend. Nouja, 1x na het commando ethtool -s enp2so wol g .

Na elke reboot staat de wake on lan op d ipv g.

Volgende link heb ik geprobeerd (interfaces regel toevoegen, service aanmaken)
https://forum.proxmox.com...x-host-not-working.62016/

Jullie nog tips?

tip; je proxmox servers niet laten slapen (als dat is wat je wilt) denk dat je daarmee veel rare dingen op de hals neemt..

Als je intentie wat anders is zie ik graag wat je precies wil bereiken..

[Harmen]

@Kek Heb mijn Proxmox 'server' (dell minipc) deels uitgefaseerd, adblockers etc gebruik ik niet meer. Ding wordt af en toe gebruikt voor wat testwerk en plex. Vandaar dat ie niet altijd hoeft aan te staan.

Heb sinds een week een Sophos SG115 met Opnsense in gebruik genomen. (Adblock, DoT etc)

[nero355]

orvintax schreef op zondag 3 oktober 2021 @ 23:23:
Maar wat is het voordeel om alles onder te brengen in aparte partities wanneer het ook gewoon op eentje kan?

Als ik naast dit :

CurlyMo schreef op maandag 4 oktober 2021 @ 09:54:
Ik heb hier ook twee partities. Eentje voor de Proxmox installatie en eentje voor de VM's en LXC containers. Dat maakt de failure recovery een stuk makkelijker. Bij herinstallatie geen gedoe hebben met je data en makkelijker snapshots kunnen maken en terugzetten.

een gokje mag doen :

Voorkomen dat de root van je OS vol komt te zitten met allerlei dingen die je daar niet wil hebben!

Nou heeft elk filesystem daar allerlei beveiligingen tegen en zo, maar toch...

[orvintax]

nero355 schreef op donderdag 7 oktober 2021 @ 00:21:
[...]

Als ik naast dit :

[...]

een gokje mag doen :

Voorkomen dat de root van je OS vol komt te zitten met allerlei dingen die je daar niet wil hebben!

Nou heeft elk filesystem daar allerlei beveiligingen tegen en zo, maar toch...

Ik betwijfel of het uberhaupt enig voordeel heeft van beveiliging. Het is nog altijd beschikbaar voor Proxmox, het is gewoon logischer wijs anders ingedeeld.

[Zorian]

Zojuist een update voor Proxmox binnen gehengeld welke TPM 1.2 en 2.0 toevoegt, Windows 11 gelijk getest en zolang je UEFI en q35 gebruikt + TPM 2.0 enrolled kan je hem feilloos installeren zonder trucjes of omwegen.

[nero355]

@Zorian
Op wat voor een systeem draai je Proxmox en heeft deze zelf dat TPM geneuzel ??

Het lijkt me namelijk wel humor als je Proxmox op een systeem kan installeren dat niet meedoet aan het hele TCPA/Palladium verhaal, maar dus virtueel wel Windows 11 kan draaien!

[Zorian]

nero355 schreef op vrijdag 8 oktober 2021 @ 23:40:
@Zorian
Op wat voor een systeem draai je Proxmox en heeft deze zelf dat TPM geneuzel ??

Het lijkt me namelijk wel humor als je Proxmox op een systeem kan installeren dat niet meedoet aan het hele TCPA/Palladium verhaal, maar dus virtueel wel Windows 11 kan draaien!

Een HP DL380p Gen8 met TPM ingeschakeld in de BIOS. Werkt perfect. Proxmox doet een software TPM though.

[nero355]

Zorian schreef op vrijdag 8 oktober 2021 @ 23:44:
Een HP Dl380p Gen8 met TPM ingeschakeld in de BIOS. Werkt perfect.

Daar zitten Xeon processoren uit de Socket 2011 en 2011v2 serie dus daar zit geen TPM 2.0 in voor zover ik weet, want hetzelfde als mijn X79 Socket 2011 en 2011v2 systeem dat door Microsoft ook als outdated wordt gezien!

Dus ik denk dat dit :

Proxmox doet een software TPM though.

Al het werk doet

[Zorian]

nero355 schreef op vrijdag 8 oktober 2021 @ 23:54:
[...]

Daar zitten Xeon processoren uit de Socket 2011 en 2011v2 serie dus daar zit geen TPM 2.0 in voor zover ik weet, want hetzelfde als mijn X79 Socket 2011 en 2011v2 systeem dat door Microsoft ook als outdated wordt gezien!

Dus ik denk dat dit :

[...]

Al het werk doet

Oh ik kon het wel aan zetten in de BIOS en de error die ik voorheen altijd had bij het opstarten van Proxmox (error communicating with TPM chip) was daarna weg dus het zal wel. Het werkt.

[zeroday]

Zorian schreef op vrijdag 8 oktober 2021 @ 21:14:
Zojuist een update voor Proxmox binnen gehengeld welke TPM 1.2 en 2.0 toevoegt, Windows 11 gelijk getest en zolang je UEFI en q35 gebruikt + TPM 2.0 enrolled kan je hem feilloos installeren zonder trucjes of omwegen.

ah goed dat je het zegt . .ik had een node geupdated en een win11 machine was gestopt, die beta draaide dus gewoon ..
dus voor de zekerheid dan maar TPM 2.0 maar toegevoegd

[htca]

Ik kom niet meer in mijn webgui (ip:8006). Ik kan de server wel via ssh bereiken en ook de vm en ct draaien. Iemand een hint?

[nero355]

htca schreef op zaterdag 9 oktober 2021 @ 22:21:
Ik kom niet meer in mijn webgui (ip:8006). Ik kan de server wel via ssh bereiken en ook de vm en ct draaien.

Iemand een hint?

Dit al gelezen : oltk in "Het grote Proxmox VE topic"

[roeleboel]

Ik ben relatief nieuw in het hele proxmox gebeuren (draai het wel al een tijdje maar niet zo veel ervaring mee), kan iemand mij vertellen waar mijn storage naar toe is?

Het gaat over de root-disk, /

du geeft aan 7GB in gebruik,
df geeft aan dat er 76GB in gebruik is...
Hoe zit het nu? waar vind ik al die storage terug?

- de input/output error op de cgroup dir lijkt volgens google niks abnormaals te zijn.
- in /mnt staan mijn externe disks gemount

samengevatte output:

code:

root@flock01:/# du -sh --exclude mnt /
7.0G    /
root@flock01:/# df -h
/dev/mapper/pve-root   94G   76G   14G  85% /

volledige output:

code:

root@flock01:/# du -sh --exclude mnt /
du: cannot access './proc/61307/task/61307/fd/3': No such file or directory
du: cannot access './proc/61307/task/61307/fdinfo/3': No such file or directory
du: cannot access './proc/61307/fd/4': No such file or directory
du: cannot access './proc/61307/fdinfo/4': No such file or directory
du: cannot access './var/lib/lxcfs/cgroup': Input/output error
7.0G    /
root@flock01:/# df -h
Filesystem            Size  Used Avail Use% Mounted on
udev                   32G     0   32G   0% /dev
tmpfs                 6.3G  1.7M  6.3G   1% /run
/dev/mapper/pve-root   94G   76G   14G  85% /
tmpfs                  32G   43M   32G   1% /dev/shm
tmpfs                 5.0M     0  5.0M   0% /run/lock
/dev/nvme0n1p2        511M  312K  511M   1% /boot/efi
/dev/fuse             128M   32K  128M   1% /etc/pve
/dev/sda1             916G  392G  478G  46% /mnt/prox_ssd_1t
/dev/sdb1             3.5T  2.2T  1.2T  66% /mnt/backups_01
tmpfs                 6.3G     0  6.3G   0% /run/user/1000
root@flock01:/#

[nero355]

roeleboel schreef op donderdag 14 oktober 2021 @ 15:11:
Ik ben relatief nieuw in het hele proxmox gebeuren (draai het wel al een tijdje maar niet zo veel ervaring mee)

Dat is aan je partities goed te zien : Die vreten namelijk onnodig veel ruimte op!

Kan iemand mij vertellen waar mijn storage naar toe is?

Tel ze maar eens bij elkaar op :

code:

root@flock01:/# df -h
Filesystem            Size  Used Avail Use% Mounted on
/dev/mapper/pve-root   94G   76G   14G  85% /

udev                   32G     0   32G   0% /dev
tmpfs                  32G   43M   32G   1% /dev/shm
tmpfs                 6.3G  1.7M  6.3G   1% /run
tmpfs                 6.3G     0  6.3G   0% /run/user/1000

tmpfs                 5.0M     0  5.0M   0% /run/lock
/dev/nvme0n1p2        511M  312K  511M   1% /boot/efi
/dev/fuse             128M   32K  128M   1% /etc/pve

Zo duidelijker ??

[roeleboel]

nero355 schreef op donderdag 14 oktober 2021 @ 15:31:
[...]

Dat is aan je partities goed te zien : Die vreten namelijk onnodig veel ruimte op!


[...]

Tel ze maar eens bij elkaar op :

code:

root@flock01:/# df -h
Filesystem            Size  Used Avail Use% Mounted on
/dev/mapper/pve-root   94G   76G   14G  85% /

udev                   32G     0   32G   0% /dev
tmpfs                  32G   43M   32G   1% /dev/shm
tmpfs                 6.3G  1.7M  6.3G   1% /run
tmpfs                 6.3G     0  6.3G   0% /run/user/1000

tmpfs                 5.0M     0  5.0M   0% /run/lock
/dev/nvme0n1p2        511M  312K  511M   1% /boot/efi
/dev/fuse             128M   32K  128M   1% /etc/pve

Zo duidelijker ??

Woeps, nooit geweten dat die opgeteld werden, dat verklaart idd een hoop. (bij de meeste van mijn systemen zijn die cijfers spreekwoordelijk geneuzel na de komma, dus dat is mij nooit opgevallen)
en nu besef ik dus ook dat ik best df -h /dev/sdX<nr> kan doen om te weten hoe het precies met de schijf partitie zit

[ Voor 0% gewijzigd door roeleboel op 14-10-2021 16:07 . Reden: dom foutje ]

[nero355]

roeleboel schreef op donderdag 14 oktober 2021 @ 16:04:
Nu besef ik dus ook dat ik best df -h /dev/sdX<nr> kan doen om te weten hoe het precies met de schijf partitie zit

Ik zou eens zoiets proberen : https://forum.proxmox.com...y-full.12512/#post-101783

Verder ben ik altijd een groot fan van Midnight Commander op de CLI geweest en de verschillende Views van je Root die je daarmee kan krijgen

[smesjz]

smesjz schreef op woensdag 21 oktober 2020 @ 20:45:
[...]


Na wat beter Googlen (zonder 20.10) vond ik /usr/share/perl5/PVE/LXC/Setup/Ubuntu.pm met een whitelist van versies.
Container start nu wel na het toevoegen van 20.10, maar online heb ik het (nog) niet gevonden. Andere distros hebben ook versie checks ingebouwd dus het zal wel met een reden zijn.

En bijna een jaar later weer dit nodig gehad voor 21.10 in LXC. Vervelende is gewoon dat je je container niet kan starten met iets als pct start 104 --unsupported als je een versie hebt die (nog niet) gewhitelist is. Want tot op heden geen probleem gehad met zelf iets toevoegen.

[ronjon]

roeleboel schreef op donderdag 14 oktober 2021 @ 16:04:
[...]


Woeps, nooit geweten dat die opgeteld werden, dat verklaart idd een hoop. (bij de meeste van mijn systemen zijn die cijfers spreekwoordelijk geneuzel na de komma, dus dat is mij nooit opgevallen)
en nu besef ik dus ook dat ik best df -h /dev/sdX<nr> kan doen om te weten hoe het precies met de schijf partitie zit

code:

du --max-depth 1 -h

Hiermee krijg je nog beter inzicht in de grootte van je files / directories

[Theone098]

Zojuist gemigreerd van 6.4-13 naar 7.0-13. Upgrade verliep probleemloos (2 nodes) en alles staat weer tevreden te snorren. Mooi spul!

Edit: die 3D selectievakjes had van mij niet gehoeven. Het lijkt nergens op en voegt ook geen functionaliteit toe.

[ Voor 31% gewijzigd door Theone098 op 16-10-2021 11:30 ]

[_JGC_]

Zojuist de SSD uit een HP Microserver Gen8 getrokken en in een Lenovo M900 Tiny gezet. Legacy boot ingeschakeld en gaan. Daarna netwerkconfig aangepast met VLANs ipv 2 poorten en draaien als een tierelier.

Sneller (E3-1220L naar i5 T6500)
Stiller (van actieve fan naar alleen wanneer nodig)
Kleiner (deze past 15x opgestapeld in een microserver)
Zuiniger

Daar doen we het voor. Proxmox protesteerde ook totaal niet, werkte meteen.

[Zorian]

Kan iemand me vertellen wat ik fout doe?

Gewenste situatie: Ik wil elke VM in zijn eigen VLAN duwen zodat ze niet onderling kunnen babbelen.

Achterliggende reden is dat er een extreme hoeveelheid multicast/broadcast verkeer present is op de Proxmox machine. Dit wil ik reduceren. Ik gebruik geen Corosync/cluster.

Situatie: De server hangt in een datacenter. Elke VM heeft een eigen publieke IP, er is geen gebruik van lokale IP adressen. De machine heeft een Linux bond genaamd Bond0 met als fysieke uplinks eno1 en eno2, bonded met LACP.

Veel inlezen en proberen later ben ik er nog niet achter hoe ik het werkend krijg.

Ik heb geprobeerd om de VMBR0 VLAN Aware te maken (+ reboot van Proxmox), dit is klaar.
Hierna heb ik bij een VM een VLAN nummer ingevuld (laten we zeggen 30), hierop verliest de VM zijn internet.

Toen dit niet werkte zag ik elders dat het ook kon door middel van een extra bridge te maken en hierbij het IP 0.0.0.0/24 te gebruiken op die bridge en dan als uplink poort Bond0.30 te gebruiken. Dit werkt ook niet, geen internet op de VM als ik deze bridge aan de VM toewijs. Zowel met als zonder VLAN 30 in te vullen bij de VM.

Zie ik iets over het hoofd hier?

[ Voor 12% gewijzigd door Zorian op 17-10-2021 16:43 ]

[Theone098]

@Zorian Ik neem aan dat je geen invloed hebt op de switch in het datacenter? Anders zou je daar de vlans op moeten configureren.
Nu zul je in proxmox een virtuele switch moeten aanmaken/gebruiken en de vm’s per stuk in een vlan moeten configureren (met vlan tag dus)
Dus de vm is vlan aware, proxmox switch ook, op de switch poort in proxmox naar de switch of router van het DC untag je het verkeer.

Vm tagged naar virtuele switch -> switch tagged naar exit poort -> exit poort untagged naar DC Infrastructuur.

[ Voor 17% gewijzigd door Theone098 op 17-10-2021 20:35 ]

[Zorian]

Theone098 schreef op zondag 17 oktober 2021 @ 20:32:
@Zorian Ik neem aan dat je geen invloed hebt op de switch in het datacenter? Anders zou je daar de vlans op moeten configureren.
Nu zul je in proxmox een virtuele switch moeten aanmaken/gebruiken en de vm’s per stuk in een vlan moeten configureren (met vlan tag dus)
Dus de vm is vlan aware, proxmox switch ook, op de switch poort in proxmox naar de switch of router van het DC untag je het verkeer.

Vm tagged naar virtuele switch -> switch tagged naar exit poort -> exit poort untagged naar DC Infrastructuur.

Ik heb root access tot de switch aldaar, maar ik durf er niet aan te zitten voor het geval ik de boel sloop.
Verder is dat als het goed is hoe ik het ook had staan, maar dat werkte niet.

[orvintax]

Ik heb nog nooit met de Proxmox Firewall gewerkt, maar van wat ik heb gelezen kun je daar exact mee bereiken wat je wilt. En ik denk ook dat het een gepastere oplossing is.

Als ik me niet vergis is het simpelweg aanzetten hiervan al genoeg voor VM isolation. Wel niet vergeten om rules op te zetten zodat je er zelf nog in kan

[rippiedoos]

nero355 schreef op donderdag 14 oktober 2021 @ 15:31:
[...]

Dat is aan je partities goed te zien : Die vreten namelijk onnodig veel ruimte op!


[...]

Tel ze maar eens bij elkaar op :

code:

root@flock01:/# df -h
Filesystem            Size  Used Avail Use% Mounted on
/dev/mapper/pve-root   94G   76G   14G  85% /

udev                   32G     0   32G   0% /dev
tmpfs                  32G   43M   32G   1% /dev/shm
tmpfs                 6.3G  1.7M  6.3G   1% /run
tmpfs                 6.3G     0  6.3G   0% /run/user/1000

tmpfs                 5.0M     0  5.0M   0% /run/lock
/dev/nvme0n1p2        511M  312K  511M   1% /boot/efi
/dev/fuse             128M   32K  128M   1% /etc/pve

Zo duidelijker ??

Dat mag je niet zo stellen. /dev/shm is een representatie van je geheugen en is standaard de helft van je geheugen, is een beetje afhankelijk per distro. De proxmox-bak zal wel 64G geheugen hebben. Ook udev is een virtueel filesystem wat ergens in geheugen leeft en niet op disk. /run en /run/user/1000 zijn bindmounts naar hetzelfde virtuele temp-filesystem, wat ook in geheugen leeft en niet op disk. Grote ruimtevreters zouden kunnen zijn:
- swap-file
- logging in /var/log.

Nu heb ik zelf 0 ervaring wat betreft proxmox maar het is toch gewoon Debian wat eronder zit, wat volgens dezelfde regels leeft.

[nero355]

rippiedoos schreef op maandag 18 oktober 2021 @ 06:26:
Dat mag je niet zo stellen. /dev/shm is een representatie van je geheugen en is standaard de helft van je geheugen, is een beetje afhankelijk per distro. De proxmox-bak zal wel 64G geheugen hebben. Ook udev is een virtueel filesystem wat ergens in geheugen leeft en niet op disk. /run en /run/user/1000 zijn bindmounts naar hetzelfde virtuele temp-filesystem, wat ook in geheugen leeft en niet op disk. Grote ruimtevreters zouden kunnen zijn:
- swap-file
- logging in /var/log.

Nu heb ik zelf 0 ervaring wat betreft proxmox maar het is toch gewoon Debian wat eronder zit, wat volgens dezelfde regels leeft.

Ik zal eens het een en ander nakijken dan, want ik zou kunnen zweren dat ik het anders heb gepartitioneerd op mijn Proxmox VM bakkie waarmee ik af en toe wat test!

Dingen als de Swap file en /var/log zou je IMHO heel makkelijk moeten kunnen zien dus misschien moet @roeleboel ons nou eens effe vertellen hoe het verder is verlopen en wat nou de oorzaak was van het geheel ??

[Scally]

Net een paar uurtjes verkwist met het opzetten van een nieuw systeem. Installeren gaat prima maar de storage.. erg verwarrend en teveel opties.
Ik heb een 120 Gb SSD en een 1 TB NVME SSD. Nu kan ik Proxmox makkelijk installeren op de 120 Gb, zodat ik de 1 TB over heb voor VM's, ISO's e.d.
Maar Proxmox heeft lang geen 120 Gb nodig. Dus ik zou de overige ruimte ook beschikbaar willen maken voor opslag.
Iemand hier ervaring mee? Ik had een 20 Gb partitie gemaakt voor Proxmox (bij de installatie aangegeven) en dan wil ik de overgebleven ruimte ook gebruiken.

[CurlyMo]

Scally schreef op maandag 18 oktober 2021 @ 21:46:
Iemand hier ervaring mee? Ik had een 20 Gb partitie gemaakt voor Proxmox (bij de installatie aangegeven) en dan wil ik de overgebleven ruimte ook gebruiken.

Zoals je dat altijd doet, de rest van de ruimte ook partitioneren naar eigen inzicht. Bijv. mijn bootdisk:

/dev/sdd1         34      2047      2014  1007K BIOS boot
/dev/sdd2       2048   1050623   1048576   512M EFI System
/dev/sdd3    1050624  33554432  32503809  15.5G Solaris /usr & Apple ZFS
/dev/sdd4   33556480 495953919 462397440 220.5G Solaris /usr & Apple ZFS
/dev/sdd5  495953920 937703054 441749135 210.7G Solaris /usr & Apple ZFS

Partitie 3 = Boot
Partitie 4 = Data (o.a. VM's, ESXi en snel veranderde data)
Partitie 5 = Allerhande downloads

[ Voor 43% gewijzigd door CurlyMo op 18-10-2021 22:46 ]

[Scally]

CurlyMo schreef op maandag 18 oktober 2021 @ 22:43:
[...]

Zoals je dat altijd doet, de rest van de ruimte ook partitioneren naar eigen inzicht. Bijv. mijn bootdisk:

/dev/sdd1         34      2047      2014  1007K BIOS boot
/dev/sdd2       2048   1050623   1048576   512M EFI System
/dev/sdd3    1050624  33554432  32503809  15.5G Solaris /usr & Apple ZFS
/dev/sdd4   33556480 495953919 462397440 220.5G Solaris /usr & Apple ZFS
/dev/sdd5  495953920 937703054 441749135 210.7G Solaris /usr & Apple ZFS

Partitie 3 = Boot
Partitie 4 = Data (o.a. VM's, ESXi en snel veranderde data)
Partitie 5 = Allerhande downloads

Bedankt, ik ga morgen wel weer es kijken hoe ik dat gemount krijg als directory of LVM.

[roeleboel]

nero355 schreef op maandag 18 oktober 2021 @ 15:33:
[...]

Ik zal eens het een en ander nakijken dan, want ik zou kunnen zweren dat ik het anders heb gepartitioneerd op mijn Proxmox VM bakkie waarmee ik af en toe wat test!

Dingen als de Swap file en /var/log zou je IMHO heel makkelijk moeten kunnen zien dus misschien moet @roeleboel ons nou eens effe vertellen hoe het verder is verlopen en wat nou de oorzaak was van het geheel ??

Ik zit nu niet aan de machine (die idd 64GB ram heeft), dus geen exacte cijfers, maar wat ik mij grofweg herinner:

/dev/sda1 (partitie met / ) is +- 100GB groot, du /dev/sda1 geeft aan +-27GB in gebruik.
df gaf echter aan dat er nog een paar GB vrij was op /

Ik heb dan geprobeerd om de isos op een andere partitie te zetten, maar bij het uploaden daarvan blokkeerde het systeem want, jawel, df geeft 100% usage op / aan, die +-73GB ruimte is dus niet bruikbaar.
Daarna de temp-files een uitgemest, en de mislukte iso-uploads, zodat ik terug aan 14GB ruimte kwam, en daarna kon ik de isos dus wel uploaden naar een andere partitie. (ergens op de / wordt temp-ruimte gebruikt voor die uploads)
Momenteel kan ik verder met die 14GB dus ik ga er nu geen tijd in steken, maar die getallen worden dus wel degelijk opgeteld voor wat betreft bruikbare ruimte.

@rippiedoos: het lijkt er op dat @nero355 gelijk heeft.

[UTMachine]

Als iemand tegen USB device issues aanloopt met een Proxmox VM:

Ik ben ook recentelijk gemigreerd van bare-metal (docker) naar Promox VM en ik gebruik Aeon Z-Wave Gen5, Conbee2 en nog een paar andere USB devices. Deze had ik eerst via (passthrough) Hardware -> USB device doorgegeven aan de VM. Alleen kreeg ik veel errors met mijn Aeon Z-Wave Gen5 stick (30+ devices, dus veel verkeer bij opstarten van Open-ZWave).
De oplossing was om "usbip" (https://wiki.archlinux.org/title/USB/IP) te gebruiken. De "usbip" zit nu standaard in Debian 11, dus je hoeft niet meer te prutsen. Dan gebruik je geen passthrough van de USB, maar dan connect je vanuit de VM naar een IP adres (in mijn geval de Proxmox host zelf). Dit werkt nu al meerdere weken super stabiel.

[d-vine]

UTMachine schreef op zaterdag 30 oktober 2021 @ 18:45:
Als iemand tegen USB device issues aanloopt met een Proxmox VM:

Ik ben ook recentelijk gemigreerd van bare-metal (docker) naar Promox VM en ik gebruik Aeon Z-Wave Gen5, Conbee2 en nog een paar andere USB devices. Deze had ik eerst via (passthrough) Hardware -> USB device doorgegeven aan de VM. Alleen kreeg ik veel errors met mijn Aeon Z-Wave Gen5 stick (30+ devices, dus veel verkeer bij opstarten van Open-ZWave).
De oplossing was om "usbip" (https://wiki.archlinux.org/title/USB/IP) te gebruiken. De "usbip" zit nu standaard in Debian 11, dus je hoeft niet meer te prutsen. Dan gebruik je geen passthrough van de USB, maar dan connect je vanuit de VM naar een IP adres (in mijn geval de Proxmox host zelf). Dit werkt nu al meerdere weken super stabiel.

Bedankt voor de tip. Ik wil zodra de z-stick 7 uit (of ik deze weer kan bestellen) is al mijn z-wave devices die nu nog op fibaro zitten gaan migreren op HA en dan is een stabiele z-wave USB controller wel handig.
Scheelt straks hoop ergernissen

[UTMachine]

d-vine schreef op zaterdag 30 oktober 2021 @ 19:17:
[...]


Bedankt voor de tip. Ik wil zodra de z-stick 7 uit (of ik deze weer kan bestellen) is al mijn z-wave devices die nu nog op fibaro zitten gaan migreren op HA en dan is een stabiele z-wave USB controller wel handig.
Scheelt straks hoop ergernissen

Klopt Alleen als je direct zwavejs2mqtt had gebruikt, dan had je mogelijk het probleem niet gezien. zwavejs2mqtt doet weinig verkeer genereren bij opstarten (open-zwave haalt alle waardes op bij opstart).

[d-vine]

UTMachine schreef op zondag 31 oktober 2021 @ 09:39:
[...]


Klopt Alleen als je direct zwavejs2mqtt had gebruikt, dan had je mogelijk het probleem niet gezien. zwavejs2mqtt doet weinig verkeer genereren bij opstarten (open-zwave haalt alle waardes op bij opstart).

Ik heb op dit moment geen enkel probleem omdat mijn Fibaro werkt als de z-wave controller die een directe koppeling heeft op HA. Dus hoef ik niets met z-wave2mqtt te gebruiken of andere USB koppelingen nog
Ik wil straks met een USB Z-stick 7 die met deze tip goed gekoppeld kan worden in proxmox een enkele Z-wave JS integratie maken. Geen fibaro of mqtt nodig dan.

[UTMachine]

d-vine schreef op zondag 31 oktober 2021 @ 10:22:
[...]


Ik heb op dit moment geen enkel probleem omdat mijn Fibaro werkt als de z-wave controller die een directe koppeling heeft op HA. Dus hoef ik niets met z-wave2mqtt te gebruiken of andere USB koppelingen nog
Ik wil straks met een USB Z-stick 7 die met deze tip goed gekoppeld kan worden in proxmox een enkele Z-wave JS integratie maken. Geen fibaro of mqtt nodig dan.

zwavejs2mqtt betekent niet automatisch dat het MQTT is De zwavejs2mqtt heeft ook de HA zwavejs server included, waar Home Assistant aan kan connecten. De zwavejs2mqtt GUI geeft je al de mogelijkheden om je netwerk en devices te bekijken/configureren, want sommige dingen zijn nog niet mogelijk via HA zelf.

[Flappie]

Ik heb inmiddels mijn Proxmox 7 server up and running met 4 Linux VM's en 1 Windows Server 2019 VM.
Nu zit ik even met de backup van de VM's. Ik wil graag een backup maken van de boot disk van alle VM's.
Ik heb nog een Intel NUC 2820 met 120 GB SSD voor boot OS en een 1 TB USB HDD.

Nu zat ik te denken
- Installeren Proxmox Backup Server en de USB disk gebruiken als storage
- Installeren Debian en de USB disk beschikbaar maken via NFS storage

Wat adviseren jullie?
Ik houd er van om dingen simpel en begrijpelijk te houden

[orvintax]

Nu is een USB stick niet bepaald het meest betrouwbare medium, maar ik zou in elk geval (dit lijkt me het beste en het simpelste) gewoon de USB stick in je NUC steken, en vervolgens mounten als disk binnen in Proxmox. Daarna gewoon een backup job opzetten die de backups dus opslaat naar de USB stick.

[Flappie]

orvintax schreef op donderdag 4 november 2021 @ 22:31:
Nu is een USB stick niet bepaald het meest betrouwbare medium, maar ik zou in elk geval (dit lijkt me het beste en het simpelste) gewoon de USB stick in je NUC steken, en vervolgens mounten als disk binnen in Proxmox. Daarna gewoon een backup job opzetten die de backups dus opslaat naar de USB stick.

Geen USB stick, maar een USB disk

[orvintax]

Aaah whoops, verkeerd gelezen. Buiten het medium stukje blijft mijn advies hetzelfde.

[Flappie]

Iemand een advies voor het volgende probleem?

Nieuwe server met H510 chipset, core i3 10100 met Intel netwerkkaart.
Laatste versie van Proxmox met daarin een VM met Debian 11.1 met daarin Tvheadend.

Sinds ik dit op Proxmox draai (draaide altijd zonder issues op een Intel NUC 2820) constant issues met streamen van Live TV en opnames. Stotterend beeld, niet kunnen spoelen in opnames, vastlopend beeld enz.

OS van de VM staat op een NVME SSD, data op een dl1 TB datastore. Deze 1TB datastore is de HDD die altijd in de NUC zat.

Als ik alleen op een opname afspeel lijkt het wel goed te gaan. Als er echter een opname loopt lijkt het probleem zich voor te doen. In Tvheadend zie ik dan ook "continuity errors".

[orvintax]

Ben niet bekend met tvheadend maar is dit lijkt op een performance issue. Als in dat je gewoon niet genoeg horse power hebt? Wat zie je qua usage in je VM?

[Babirusa]

Vraag: loopt de opslag van bestanden naar een storage-pool via rpool?

Setup van mijn Proxmox server:

• Een mirrored ZFS pool ‘rpool’ op 2 SSD’s met daarop het PVE-OS en containers/VM’s. Hierop draait o.a. een Nextcloud container.
• Een mirrored ZFS pool ‘storage’ op 2 HDD’s, Nexcloud slaat hierin bestanden op.

Als ik nu een groot bestand X naar Nextcloud kopieer, zie ik de Usage van ‘rpool’ eerst flink toenemen en dan weer ‘leeglopen’, de Usage van ‘storage’ neemt vervolgens (uiteraard) permanent toe met de grootte van bestand X.

Betekent dit dat bestanden eerst naar de ‘rpool’ SSD’s gekopieerd worden of heeft dit iets met caching oid te maken?

En de belangrijkste vraag: kan ik dit voorkomen; het liefst zou ik bestanden direct naar de ‘storage’HDD’s laten kopieren ivm SSD slijtage en verplichte bufferruimte op de SSD voor grote kopieeracties....

Dank alvast voor jullie ideeën!

[orvintax]

Hoe krijgt Nextcloud toegang tot deze mirror? Passthrough?Block Storage?Mount Point?

Dat is voor ons essentiële informatie

[RobertMe]

Babirusa schreef op maandag 8 november 2021 @ 17:20:
Vraag: loopt de opslag van bestanden naar een storage-pool via rpool?

Setup van mijn Proxmox server:

• Een mirrored ZFS pool ‘rpool’ op 2 SSD’s met daarop het PVE-OS en containers/VM’s. Hierop draait o.a. een Nextcloud container.
• Een mirrored ZFS pool ‘storage’ op 2 HDD’s, Nexcloud slaat hierin bestanden op.

Als ik nu een groot bestand X naar Nextcloud kopieer, zie ik de Usage van ‘rpool’ eerst flink toenemen en dan weer ‘leeglopen’, de Usage van ‘storage’ neemt vervolgens (uiteraard) permanent toe met de grootte van bestand X.

Betekent dit dat bestanden eerst naar de ‘rpool’ SSD’s gekopieerd worden of heeft dit iets met caching oid te maken?

En de belangrijkste vraag: kan ik dit voorkomen; het liefst zou ik bestanden direct naar de ‘storage’HDD’s laten kopieren ivm SSD slijtage en verplichte bufferruimte op de SSD voor grote kopieeracties....

Dank alvast voor jullie ideeën!

Lijkt mij dat de file eerst op een temp locatie wordt opgeslagen en pas aan het einde van de overdracht wordt verplaatst naar de bestemming. Volgens mij is Nextcloud ook in PHP geschreven? En tijdens de file transfer wordt het bestand dan sowieso al op een tijdelijke locatie geplaatst (heel toevallig /tmp, die of in ram zal leven of waarschijnlijk / normaliter op je rpool), en pas daarna kan het PHP script iets met het bestand doen, zoals dus moven naar de uiteindelijke bestemming.

[Babirusa]

@orvintax : Nextcloud heeft via een mount point toegang tot de zfs pool 'storage'.

@RobertMe : Als het bestand in een temp locatie opgeslagen wordt, is het dan mogelijk om de default locatie van die temp directory aan te passen naar een plek op de zfs pool 'storage'?

[orvintax]

Babirusa schreef op maandag 8 november 2021 @ 19:31:
@orvintax : Nextcloud heeft via een mount point toegang tot de zfs pool 'storage'.

@RobertMe : Als het bestand in een temp locatie opgeslagen wordt, is het dan mogelijk om de default locatie van die temp directory aan te passen naar een plek op de zfs pool 'storage'?

Ik ben eventjes gaan zoeken en kwam dit tegen in de Nextcloud docs: link

Kijk even onder het kopje "Configuring PHP", want daar staat namelijk dit:

Tell PHP which temp directory you want it to use:

code:

upload_tmp_dir = /var/big_temp_file/

[Flappie]

orvintax schreef op zaterdag 6 november 2021 @ 22:40:
Ben niet bekend met tvheadend maar is dit lijkt op een performance issue. Als in dat je gewoon niet genoeg horse power hebt? Wat zie je qua usage in je VM?

CPU usage is +/- 2%.
Je kunt Tvheadend op een Raspberry PI draaien, dus een Core i3 zou dit makkelijk moeten kunnen.

Maar ik heb inmiddels e.e.a. aangepast, o.a. de netwerkkaart van VirtIO omgezet naar E1000 en voor nu lijkt het probleem hiermee opgelost

[Babirusa]

orvintax schreef op maandag 8 november 2021 @ 21:18:
[...]

Ik ben eventjes gaan zoeken en kwam dit tegen in de Nextcloud docs: link

Kijk even onder het kopje "Configuring PHP", want daar staat namelijk dit:

[...]

Hartelijk dank voor het nazoeken!

Ik heb upload_tmp_dir in php.ini actief gemaakt en de locatie aangepast naar een directory op ‘storage’ met als owner www-data, maar dit had geen effect. Het lijkt er sowieso op dat de phph settings overruled worden door Nextcloud, want in php.ini zie ik ook staan: "upload_max_filesize =8M", terwijl ik grotere bestanden kan uploaden.

De Nextcloud documentatie noemt een alternatief voor de php.ini aanpassing, namelijk aanpassen van config.php van Nextcloud. Ik heb daarin 'tempdirectory' => '/tmp/nextcloudtemp'toegevoegd, maar dat werkt ook niet.

Heeft iemand nog een idee hoe de temp locatie van Nextcloud te verplaatsen is naar de ‘storage’ zpool?

[orvintax]

Flappie schreef op dinsdag 9 november 2021 @ 14:52:
[...]


CPU usage is +/- 2%.
Je kunt Tvheadend op een Raspberry PI draaien, dus een Core i3 zou dit makkelijk moeten kunnen.

Maar ik heb inmiddels e.e.a. aangepast, o.a. de netwerkkaart van VirtIO omgezet naar E1000 en voor nu lijkt het probleem hiermee opgelost

Hmmm intressant, aangezien virtio je de beste performance zou moeten geven.

[zeroday]

iemand een idee,

ik heb een HA gedefinieerd in mijn 3 node proxmox, maar ik zie nu dat mijn 3 nodes op 1 switch zitten
dat is geen enkel probleem (normaliter) maar met HA is dat natuurlijk wel een probleem vooral als ik een firmware update doe op de switch

De switch disconnect de LAN verbinding en de HA gaat dan aan het werk en zorgt ervoor dat de machine die moet blijven draaien bijv. gefenced wordt en de machine wordt gereboot.

Niet leuk want dat helpt niet want niets is online

Ik zie niet 1-2-3 hoe ik dat op kan lossen anders dan geen HA gebruiken op dezelfde switch, maar wellicht mis ik wat .. iemand een hint als die er is?

[powerboat]

zeroday schreef op vrijdag 12 november 2021 @ 19:40:
iemand een idee,

ik heb een HA gedefinieerd in mijn 3 node proxmox, maar ik zie nu dat mijn 3 nodes op 1 switch zitten
dat is geen enkel probleem (normaliter) maar met HA is dat natuurlijk wel een probleem vooral als ik een firmware update doe op de switch

De switch disconnect de LAN verbinding en de HA gaat dan aan het werk en zorgt ervoor dat de machine die moet blijven draaien bijv. gefenced wordt en de machine wordt gereboot.

Niet leuk want dat helpt niet want niets is online

Ik zie niet 1-2-3 hoe ik dat op kan lossen anders dan geen HA gebruiken op dezelfde switch, maar wellicht mis ik wat .. iemand een hint als die er is?

Ik heb in mijn 3 node cluster 2 switches zitten die ook failover doen zodat ik de switches los kan van elkaar kan updaten.

Andere mogelijkheid is alles naar een host migreren.

Of de switch er tussenuit halen en dan een mesh netwerk opzetten, nadeel is dat je dan niet kan schalen.

[zeroday]

powerboat schreef op vrijdag 12 november 2021 @ 19:49:
[...]


Ik heb in mijn 3 node cluster 2 switches zitten die ook failover doen zodat ik de switches los kan van elkaar kan updaten.

Andere mogelijkheid is alles naar een host migreren.

Of de switch er tussenuit halen en dan een mesh netwerk opzetten, nadeel is dat je dan niet kan schalen.

Tot zover mijn hobby zou een beetje onzinnig zijn om in een thuis situatie 2 switches naast elkaar neer te zetten ik sloop die HA er wel uit, dan even nog kijken of die replicate zin heeft.
of nog even verder zoeken door aan te geven dat een lan disconnect geen issue is.
(wat feitelijk normaliter niet zo is) .. damn .

[smeerbartje]

UTMachine schreef op zaterdag 30 oktober 2021 @ 18:45:
Als iemand tegen USB device issues aanloopt met een Proxmox VM:

Ik ben ook recentelijk gemigreerd van bare-metal (docker) naar Promox VM en ik gebruik Aeon Z-Wave Gen5, Conbee2 en nog een paar andere USB devices. Deze had ik eerst via (passthrough) Hardware -> USB device doorgegeven aan de VM. Alleen kreeg ik veel errors met mijn Aeon Z-Wave Gen5 stick (30+ devices, dus veel verkeer bij opstarten van Open-ZWave).
De oplossing was om "usbip" (https://wiki.archlinux.org/title/USB/IP) te gebruiken. De "usbip" zit nu standaard in Debian 11, dus je hoeft niet meer te prutsen. Dan gebruik je geen passthrough van de USB, maar dan connect je vanuit de VM naar een IP adres (in mijn geval de Proxmox host zelf). Dit werkt nu al meerdere weken super stabiel.

Goeie tip! Hoe connect ik dan (via usbip) naar de P1-USB poort van de proxmox host? Nu doe ik dat in DSMR-reader door de volgende string: "/dev/ttyUSB0".

[ Voor 3% gewijzigd door smeerbartje op 13-11-2021 13:39 ]

[powerboat]

zeroday schreef op zaterdag 13 november 2021 @ 08:50:
[...]


Tot zover mijn hobby zou een beetje onzinnig zijn om in een thuis situatie 2 switches naast elkaar neer te zetten ik sloop die HA er wel uit, dan even nog kijken of die replicate zin heeft.
of nog even verder zoeken door aan te geven dat een lan disconnect geen issue is.
(wat feitelijk normaliter niet zo is) .. damn .

Ik weet niet hoe je jouw netwerk opgezet maar je kan twee netwerken opzetten. Een voor storage (mesh) en een voor distributie (beter is nog een extra netwerk voor storage monitoring).

Die distributie gebruik je dus enkel voor om je hypervisor en vm's te benaderen. De storage gebruik je dus voor live migration.

[orvintax]

powerboat schreef op zaterdag 13 november 2021 @ 20:11:
[...]


Ik weet niet hoe je jouw netwerk opgezet maar je kan twee netwerken opzetten. Een voor storage (mesh) en een voor distributie (beter is nog een extra netwerk voor storage monitoring).

Die distributie gebruik je dus enkel voor om je hypervisor en vm's te benaderen. De storage gebruik je dus voor live migration.

Zover ik het begrijp is dit irrelevant. Het issue dat @zeroday heeft is dat wanneer hij zijn switch upgraded (en de verbinding tussen de nodes in de cluster dus wegvalt) HA gaat fencen en dingen in de soep beginnen te lopen.

[zeroday]

orvintax schreef op zaterdag 13 november 2021 @ 20:26:
[...]

Zover ik het begrijp is dit irrelevant. Het issue dat @zeroday heeft is dat wanneer hij zijn switch upgraded (en de verbinding tussen de nodes in de cluster dus wegvalt) HA gaat fencen en dingen in de soep beginnen te lopen.

correct en niet meer dan logisch maar had gehoopt dat je iets daarop kon verzinnen dat je iets kon uitsluiten binnen de HA config.

[powerboat]

orvintax schreef op zaterdag 13 november 2021 @ 20:26:
[...]

Zover ik het begrijp is dit irrelevant. Het issue dat @zeroday heeft is dat wanneer hij zijn switch upgraded (en de verbinding tussen de nodes in de cluster dus wegvalt) HA gaat fencen en dingen in de soep beginnen te lopen.

Volgens mij valt dan de HA niet weg, omdat het cluster onderling nog wel kan communiceren.

[orvintax]

powerboat schreef op zondag 14 november 2021 @ 00:00:
[...]


Volgens mij valt dan de HA niet weg, omdat het cluster onderling nog wel kan communiceren.

Zonder actieve netwerkverbinding gaat hem dat niet worden

[zeroday]

orvintax schreef op zondag 14 november 2021 @ 01:02:
[...]

Zonder actieve netwerkverbinding gaat hem dat niet worden

dan zou ik de 2e lan op de HP microserver gen8 moeten gaan gebruiken met een 2e switch, maar in het kader van: thuis, hobby, stroom, wat dus onnodig is. Heb helaas gevonden dat er niet echt een oplossing is anders dan wat services uit zetten wat je niet wil

[dcm360]

Vandaag is Proxmox VE 7.1 uitgebracht. Wederom met een nieuwere (niet-LTS) kernel, namelijk 5.13. Ik ben wel benieuwd, als deze release het beter doet op mijn testmachine dan dat 7.0 deed, wordt het misschien eens tijd om de machines met 6.4 een upgrade te geven.

[A1AD]

dcm360 schreef op woensdag 17 november 2021 @ 20:52:
Vandaag is Proxmox VE 7.1 uitgebracht. Wederom met een nieuwere (niet-LTS) kernel, namelijk 5.13. Ik ben wel benieuwd, als deze release het beter doet op mijn testmachine dan dat 7.0 deed, wordt het misschien eens tijd om de machines met 6.4 een upgrade te geven.

Wat waren je problemen?

[dcm360]

Op vrij willekeurige momenten vastlopen. Dat heeft die machine nu ook weten te presteren tijdens de upgrade, dus ik zie morgen wel weer verder (ik moet even fysiek bij de machine langs om m een schop te verkopen).

[TweakMDS]

Ik heb met 7.0 nog geen enkel probleem gehad, maar zie wel een paar interessante verbeteringen.
Onder andere: "Allow re-assigning a disk to another VM.". Dat komt met mijn K8s nodes toch nog wel eens voor als praktisch voordeel, en is anders een heel gedoe.
En de verbeteringen op backups zijn toch ook wel fijn.

Ondertussen voelt het ook aan als tijd voor een derde hypervisor. Ik zit nu qua RAM met 16GB op de ene en 32GB op de andere toch vaak een beetje tegen de limieten aan als ik veel database werk doe.

[orvintax]

Net geupdate naar 7.1, net zoals bij 7.0 heb ik geen problemen. Ik heb 10 LXC containers lopen en een TrueNAS VM

[A1AD]

Hetzelfde hier. Geen problemen met 7.0 of 7.1. 10-tal LXCs incl. een paar unpriv. met Docker in. De MacOS12 VM bleef ook vrolijk werken

[Polyphemus]

Ik krijg mijn Home Assistant VM niet meer gestart na de upgrade naar 7.1

code:

Nov 18 13:41:08 pve pvestatd[1139]: VM 117 qmp command failed - VM 117 qmp command 'query-proxmox-support' failed - unable to connect to VM 117 qmp socket - timeout after 31 retries

[_JGC_]

dcm360 schreef op woensdag 17 november 2021 @ 23:14:
Op vrij willekeurige momenten vastlopen. Dat heeft die machine nu ook weten te presteren tijdens de upgrade, dus ik zie morgen wel weer verder (ik moet even fysiek bij de machine langs om m een schop te verkopen).

Zal vast aan de fysieke machine liggen. Heb hier diverse systemen met Proxmox draaien, allemaal 7.0 en geen van allen heeft problemen.

7.1 upgrade nog niet gedaan overigens.

[dcm360]

_JGC_ schreef op donderdag 18 november 2021 @ 15:20:
[...]

Zal vast aan de fysieke machine liggen. Heb hier diverse systemen met Proxmox draaien, allemaal 7.0 en geen van allen heeft problemen.

7.1 upgrade nog niet gedaan overigens.

Tja, kan wel zo wezen, maar met de kernel van Proxmox 6.4 zijn de problemen er niet (en de laatste update van 7.0 die ik had deed het op zich ook wel aardig, tot gisteravond dan). Op zich zou ik nog wel kunnen proberen of een moederbord- en cpu-swap helpt, maar dan vermoed ik eigenlijk dat het er meer aan ligt dat mijn testmachine te oude hardware heeft waarop niet meer genoeg wordt getest (er zit nu een Opteron 3365 in, en in de kast ligt nog een Opteron 3380).

Los daarvan was ik zeker niet de enige met stabiliteitsproblemen

[Polyphemus]

Polyphemus schreef op donderdag 18 november 2021 @ 13:48:
Ik krijg mijn Home Assistant VM niet meer gestart na de upgrade naar 7.1

code:

Nov 18 13:41:08 pve pvestatd[1139]: VM 117 qmp command failed - VM 117 qmp command 'query-proxmox-support' failed - unable to connect to VM 117 qmp socket - timeout after 31 retries

Om mezelf maar even te quoten; ik heb nu van 3 vCPU's er eentje gemaakt, en nu blijft de VM wel draaien. Maak ik er weer meer dan één van, dan stopt ie er weer mee

[UTMachine]

Polyphemus schreef op donderdag 18 november 2021 @ 16:15:
[...]

Om mezelf maar even te quoten; ik heb nu van 3 vCPU's er eentje gemaakt, en nu blijft de VM wel draaien. Maak ik er weer meer dan één van, dan stopt ie er weer mee

Heb je dit ook al gemeld op het Proxmox forum? Maar gezien jij deze problemen hebt, blijf ik wel even op 7.0 hangen.

[Polyphemus]

UTMachine schreef op donderdag 18 november 2021 @ 17:09:
[...]


Heb je dit ook al gemeld op het Proxmox forum? Maar gezien jij deze problemen hebt, blijf ik wel even op 7.0 hangen.

Ik heb het gemeld, maar niemand reageert

[UTMachine]

Polyphemus schreef op donderdag 18 november 2021 @ 18:25:
[...]

Ik heb het gemeld, maar niemand reageert

Ik zie genoeg mensen met problemen met de 5.13 kernel, misschien kan je ook de oude is proberen en kijken of dat het oplost?

[Polyphemus]

UTMachine schreef op donderdag 18 november 2021 @ 19:02:
[...]


Ik zie genoeg mensen met problemen met de 5.13 kernel, misschien kan je ook de oude is proberen en kijken of dat het oplost?

Ik weet alleen niet of ik zomaar alleen de kernel kan downgraden? Zo bedreven ben ik meer in Linux

[Freeaqingme]

Polyphemus schreef op donderdag 18 november 2021 @ 19:19:
[...]

Ik weet alleen niet of ik zomaar alleen de kernel kan downgraden? Zo bedreven ben ik meer in Linux

Waarschijnlijk kan je bij een reboot gewoon zorgen dat je in Grub uitkomt en daar een oudere kernelversie selecteren. Dat is dan de versie waar je verder mee boot.

In theorie kan 't natuurlijk zijn dat Proxmox iets gebruikt wat specifiek in een nieuwe kernel zit, maar dat is niet heel waarschijnlijk (en meeste software gaat er wel goed mee om als een kernel iets niet heeft).

[Polyphemus]

Freeaqingme schreef op donderdag 18 november 2021 @ 19:30:
[...]


Waarschijnlijk kan je bij een reboot gewoon zorgen dat je in Grub uitkomt en daar een oudere kernelversie selecteren. Dat is dan de versie waar je verder mee boot.

In theorie kan 't natuurlijk zijn dat Proxmox iets gebruikt wat specifiek in een nieuwe kernel zit, maar dat is niet heel waarschijnlijk (en meeste software gaat er wel goed mee om als een kernel iets niet heeft).

Als ik morgen op locatie ben, zal ik het eens proberen; ik draai hem namelijk headless en kan weinig zien van de console

[nero355]

Polyphemus schreef op donderdag 18 november 2021 @ 19:46:
Als ik morgen op locatie ben, zal ik het eens proberen; ik draai hem namelijk headless en kan weinig zien van de console

Geen IPMI/iDRAC/iLO optie aanwezig

[Polyphemus]

nero355 schreef op donderdag 18 november 2021 @ 21:51:
[...]

Geen IPMI/iDRAC/iLO optie aanwezig

Nee joh. Zuinig thuisservertje. Ben alleen niet thuis

[nero355]

Polyphemus schreef op donderdag 18 november 2021 @ 22:30:
Nee joh. Zuinig thuisservertje. Ben alleen niet thuis

Klonk alsof je naar je werk of een datacenter of zo moest... my bad!

[orvintax]

nero355 schreef op vrijdag 19 november 2021 @ 15:18:
[...]

Klonk alsof je naar je werk of een datacenter of zo moest... my bad!

Hhahaha ik dacht hetzelfde

[Polyphemus]

nero355 schreef op vrijdag 19 november 2021 @ 15:18:
[...]

Klonk alsof je naar je werk of een datacenter of zo moest... my bad!

Het voelt wel als werken aan een datacenter soms

[_JGC_]

Ik vind de keuze voor 5.13 overigens maar raar. Aan de ene kant is het logisch: Ubuntu 21.10 komt met 5.13, maar 5.13 is in september EOL verklaard en krijgt na 5.13.19 geen updates meer. Daarmee is Proxmox 100% afhankelijk van Ubuntu 21.10 voor de kernel.

Maargoed, de 5.11 kernel die ze hiervoor gebruikten was ook al lang EOL, dus ze moesten iets. Snap alleen niet waarom ze niet de 5.10 kernel van Debian 11 hebben gekozen, dat is een LTS release met tig jaar support.

Krijg een beetje het idee alsof ze wat aan het rushen zijn. 7.0 was gebaseerd op een Debian release die nog niet uit was, en de kernel hebben ze geleend van een Ubuntu versie die toen ook nog niet uit was. Inmiddels is die Ubuntu release uitgekomen en is die overgestapt op 5.13.

[orvintax]

_JGC_ schreef op vrijdag 19 november 2021 @ 20:38:
Ik vind de keuze voor 5.13 overigens maar raar. Aan de ene kant is het logisch: Ubuntu 21.10 komt met 5.13, maar 5.13 is in september EOL verklaard en krijgt na 5.13.19 geen updates meer. Daarmee is Proxmox 100% afhankelijk van Ubuntu 21.10 voor de kernel.

Maargoed, de 5.11 kernel die ze hiervoor gebruikten was ook al lang EOL, dus ze moesten iets. Snap alleen niet waarom ze niet de 5.10 kernel van Debian 11 hebben gekozen, dat is een LTS release met tig jaar support.

Krijg een beetje het idee alsof ze wat aan het rushen zijn. 7.0 was gebaseerd op een Debian release die nog niet uit was, en de kernel hebben ze geleend van een Ubuntu versie die toen ook nog niet uit was. Inmiddels is die Ubuntu release uitgekomen en is die overgestapt op 5.13.

Weet jij (of iemand anders) waarom Proxmox dit doet? Ik ben even aan het zoeken geweest maar kon hier niks over vinden.