Het grote Proxmox VE topic

[RobertMe]

zeroday schreef op donderdag 30 november 2023 @ 08:59:
[...]


Tsja.. soms zeggen bepaalde fixes me compleet niets ..
iets als longstanding betekent dat in af-en-toe situaties iets wellicht zou kunnen gebeuren ..

moet ik dan stel op sprong mijn systeem weer rebooten? .. uhm..

Het gaat om een ZFS issue dat files "corrupt" weg schrijft (hele reeksen aan NULL bytes). Dus als betrouwbare opslag van nieuwe data je lief is zou ik daar wel de voorkeur aan geven.

Echter... schijnt de bug in de code er al sinds 0.6 in te zitten?! Maar pas sinds recent, met coreutils 9, schijnt deze zich meer te manifesteren. Dus eigenlijk is er al jarenlang een (klein?) risico geweest op deze data corruptie, maar is dt recentelijk pas substantieel groter geworden. En het feit dat ProxMox nu zo snel weer met een update komt, én dit met een enkele patch is (en ze niet wachten op een stable release van OpenZFS) maakt IMO ook wel enigszins de ernst van de situatie duidelijk.

En v.w.b. de corruptie: deze treed op vooraf aan het schrijven. De checksum wordt daarbij ook berekend over de corrupte data. Dit heeft dit ook als gevolg dat alle "zekerheden" die ZFS geeft (tegen bitrot etc, allemaal op basis van de checksum) totaal waardeloos zijn en deze corruptie niet ziet. Dus een "ik heb gescrubbed en geen errors" geeft absoluut geen garantie (/inzicht) in of je slachtoffer bent van deze bug.

[Mozart]

Combi vraagje. Ik heb OPNSense draaien met daarop een wildcard certificaat voor mijn domain welke via de acme client iedere x dagen wordt geüpdatet. Nu wil ik graag dat wildcard certificaat op mijn Proxmox server hebben zodat ik de Proxmox gui kan openen met een geldig certificaat. Opnsense + acme client hebben hier een automation voor. Je moet een api token aanmaken en de juiste info invullen in je automation in de acme client op opnsense.

Deze heb ik ingesteld en daarna laten draaien maar het certificaat komt er niet op.
De logging laat alleen zien dat de automation gestart is, niet dat het lukt of dat het niet lukt.

Heeft iemand dit actief en een idee hoe dit werkend te krijgen?

[zeroday]

RobertMe schreef op donderdag 30 november 2023 @ 09:24:
[...]

Het gaat om een ZFS issue dat files "corrupt" weg schrijft (hele reeksen aan NULL bytes). Dus als betrouwbare opslag van nieuwe data je lief is zou ik daar wel de voorkeur aan geven.

Echter... schijnt de bug in de code er al sinds 0.6 in te zitten?! Maar pas sinds recent, met coreutils 9, schijnt deze zich meer te manifesteren. Dus eigenlijk is er al jarenlang een (klein?) risico geweest op deze data corruptie, maar is dt recentelijk pas substantieel groter geworden. En het feit dat ProxMox nu zo snel weer met een update komt, én dit met een enkele patch is (en ze niet wachten op een stable release van OpenZFS) maakt IMO ook wel enigszins de ernst van de situatie duidelijk.

En v.w.b. de corruptie: deze treed op vooraf aan het schrijven. De checksum wordt daarbij ook berekend over de corrupte data. Dit heeft dit ook als gevolg dat alle "zekerheden" die ZFS geeft (tegen bitrot etc, allemaal op basis van de checksum) totaal waardeloos zijn en deze corruptie niet ziet. Dus een "ik heb gescrubbed en geen errors" geeft absoluut geen garantie (/inzicht) in of je slachtoffer bent van deze bug.

Duidelijk verhaal. PBS en de 2 proxmox nodes weer bijgewerkt en gerestart

[John245]

zeroday schreef op donderdag 30 november 2023 @ 21:20:
[...]


Duidelijk verhaal. PBS en de 2 proxmox nodes weer bijgewerkt en gerestart

Nu ook beschikbaar voor enterprise.

Morgen maar eens updaten tezamen met Supermicro BMS en BIOS (scheelt toch weer een herstart).

Proxmox is HA dus gelukkig gaan er geen kritische dingen plat.

[ Voor 4% gewijzigd door John245 op 30-11-2023 21:34 ]

[zeroday]

John245 schreef op donderdag 30 november 2023 @ 21:34:
[...]

Nu ook beschikbaar voor enterprise.

Morgen maar eens updaten tezamen met Supermicro BMS en BIOS (scheelt toch weer een herstart).

Proxmox is HA dus gelukkig gaan er geen kritische dingen plat.

snap dat HA nog niet altijd helemaal ..
op basis van een shared storage wel, maar niet als je dat niet hebt.
en het verwacht eigenlijk ook 2 switches omdat als je 1 switch offline gooit waar je beide nodes op hebt zitten dan gaan ook wat dingen mis

Maar eigenlijk heb ik het hier alleen een beetje fatsoenlijk zien werken als ik een shared storage had maar dan vond ik de performance van de vm of lxc niet echt meer je van het.

Waar zit mijn denkfout?

[Airw0lf]

zeroday schreef op donderdag 30 november 2023 @ 22:25:
[...]


snap dat HA nog niet altijd helemaal ..
op basis van een shared storage wel, maar niet als je dat niet hebt.
en het verwacht eigenlijk ook 2 switches omdat als je 1 switch offline gooit waar je beide nodes op hebt zitten dan gaan ook wat dingen mis

Maar eigenlijk heb ik het hier alleen een beetje fatsoenlijk zien werken als ik een shared storage had maar dan vond ik de performance van de vm of lxc niet echt meer je van het.

Waar zit mijn denkfout?

Hoe stak die shared storage doos in elkaar?
En langs welk medium en snelheid was die aangesloten op de Proxmox servers?

[John245]

zeroday schreef op donderdag 30 november 2023 @ 22:25:
[...]


snap dat HA nog niet altijd helemaal ..
op basis van een shared storage wel, maar niet als je dat niet hebt.
en het verwacht eigenlijk ook 2 switches omdat als je 1 switch offline gooit waar je beide nodes op hebt zitten dan gaan ook wat dingen mis

Maar eigenlijk heb ik het hier alleen een beetje fatsoenlijk zien werken als ik een shared storage had maar dan vond ik de performance van de vm of lxc niet echt meer je van het.

Waar zit mijn denkfout?

Ik heb hier ook 2 Sophos FW's (HA) en het hele netwerk is redundant. Zonder dubbele switches nog wel voordeel bij upgrades. Maar je heb inderdaad ook een HA infrastructuur nodig om volledig HA e werken.

[zeroday]

Airw0lf schreef op donderdag 30 november 2023 @ 22:52:
[...]

Hoe stak die shared storage doos in elkaar?
En langs welk medium en snelheid was die aangesloten op de Proxmox servers?

Gewoon een zielig SMB / NFS NAS geval die tot 60MB-80MB/s data kon trekken.

[zeroday]

Verrassend. Ik kwam er net achter dat mijn Backup PBS geen mails meer verzond naar mijn mail account.

Ik zag wel errors maar kon het niet 1-2-3 herleiden totdat ik wat verder zocht .. Blijkt dat ik toch een tijdje via Ziggo gewoon via port 25 mails heb kunnen versturen, maar dat dat op de een of andere manier toch wel weer geblokt is.

Dat had ik ook bij Proxmox zelf, maar daar hebben ze nu in de nieuwe versie de mogelijkheid om dat in de frontend aan te passen zodat je het kan afleveren op port 587 naar je mailserver.

Helaas nog niet in PBS, dus daar maar via een tutorial een paar kleine postfix aanpassingen gemaakt...

Toen kwam de queue los

[Gogol]

Mozart schreef op donderdag 30 november 2023 @ 13:56:
Combi vraagje. Ik heb OPNSense draaien met daarop een wildcard certificaat voor mijn domain welke via de acme client iedere x dagen wordt geüpdatet. Nu wil ik graag dat wildcard certificaat op mijn Proxmox server hebben zodat ik de Proxmox gui kan openen met een geldig certificaat. Opnsense + acme client hebben hier een automation voor. Je moet een api token aanmaken en de juiste info invullen in je automation in de acme client op opnsense.

...

Deze heb ik ingesteld en daarna laten draaien maar het certificaat komt er niet op.
De logging laat alleen zien dat de automation gestart is, niet dat het lukt of dat het niet lukt.

Heeft iemand dit actief en een idee hoe dit werkend te krijgen?

Bij mij werkt het ook niet en ik doe het handmatig met "scp" command. Dus ook een remote command via SSH werkt niet. Dat komt omdat OPNsense het "authorized_keys" bestand wist na een update.

[Koepert]

Heb n vraagje die eigenlijk een beetje generieker is dan alleen AdGuard maar heb m in dat topic ook gesteld..

Als ik in mn netwerk een Fritzbox heb (.1 adres, DNS = .112 Adguard LXC Proxmox Container)en een Proxmox server (in totaal 3) met op 1 van die hosts dus een LXC met Adguard..

Kan ik dan t DNS van de proxmox host beter op t IP van Adguard direct zetten (= Proxmox LXC container IP .112) of op .1 van de fritzbox? Ik kan me voorstellen dat de eerste sneller is, maar de 2e minder issues bij wijzigingen op gaat leveren?

Die Fritzbox heeft DNS voor IPv4 (Dus de IPv4 Network Settings) via .112 en voor "Internet DNS Server" Use DNSv4 servers assigned by the internet service provider (recommended) aangevinkt heeft?

Idem voor de andere Proxmoxhosts trouwens: alles naar .1 of alles naar .112?

[Loekie]

Disclaimer: ben geen fan van gevirtualiseerde netwerk devices.
Ik zou DNS van de hypervisor lekker op de upstream laten staan die de Fritzbox is, bij herstart van hypervisor of container zit je zonder resolving. Wil je toch perse alles op je Adguard laten binnenkomen zou ik persoonlijk kijken naar een 2e container op een andere hypervisor en dan in geval van updates etc niet de 2 hypervisors tegelijk herstarten.

[Koepert]

Loekie schreef op donderdag 7 december 2023 @ 09:40:
Disclaimer: ben geen fan van gevirtualiseerde netwerk devices.
Ik zou DNS van de hypervisor lekker op de upstream laten staan die de Fritzbox is, bij herstart van hypervisor of container zit je zonder resolving. Wil je toch perse alles op je Adguard laten binnenkomen zou ik persoonlijk kijken naar een 2e container op een andere hypervisor en dan in geval van updates etc niet de 2 hypervisors tegelijk herstarten.

Die 2 containers heb ik al was bij Pi-hole zo, is bij AdGuard zo, 2 hosts hebben een adblock container zogezegd. Maar t ging mij puur om de DNS-servers/settings van de host. Of dat beter/slechter is om op .112 ipv .1 te hebben staan.

[Loekie]

Dan zou ik 2* een IP verwachten dat je als DNS instelt, voor elke Adguard container 1.
In een dergelijk geval lijkt het me weinig kwaad kunnen, vraag me wel af wat de waarde is naast inzichtelijkheid van requests van de hypervisors?

[Koepert]

Loekie schreef op donderdag 7 december 2023 @ 09:51:
Dan zou ik 2* een IP verwachten dat je als DNS instelt, voor elke Adguard container 1.
In een dergelijk geval lijkt het me weinig kwaad kunnen, vraag me wel af wat de waarde is naast inzichtelijkheid van requests van de hypervisors?

Bij IP4 settings van het netwerk (in de Fritzbox dus) kan ik maar 1 lokale DNSserver opgeven.
Bij de proxmox host kan ik er natuurlijk meer opgeven.
Bij UPSTREAM van de Fritzbox kan ik er ook meer opgeven, maar die heb ik juist op de KPN DNSservers laten staan.

Inzicht in requests van de HOSTS vind ik niet zo interessant, van de containers en VMs wel. Maar op dit moment is het dus zo ingericht:


Fritzbox Upstream DNS = KPN
Fritzbox IPv4 Network DNS (aan clients op het netwerk doorgegeven dus) = .112
Proxmox HOST DNS = .112 & Adguard #2 .113
Proxmox VM/LXC = Use Host settings.
Adguard Fallback = Adguard #2.
Maar ja: als Host 1 down gaat, heeft mn netwerk tijdelijk geen DNS, maar dat is IPv4 omzetten naar .113. Daar heb ik nog geen betere oplossing voor omdat die Fritzbox dus bij IP4 alleen maar 1 DNS server ondersteund.

En ik vraag me dus af of ik beter de HOST op .1 kan zetten en dan elke client naar .112 en .113 kan omzetten, of beter iets anders kan doen.

[Loekie]

Je zou dat kunnen ondervangen door de upstream NS-servers in te stellen op de IPs van je containers en dan cached de fritztbox je DNS intern(het interne IP is dan gelijk aan IP van je Fritzbox).

Adguard zul je dan dus wel instellen dat deze 'om' de fritzboxg heen gaat zodat je geen negative cache hits krijgt(een NXdomain die voor een periode gecached is doordat DNS niet te bereiken is).

Aanname is hier, als je fritzbox down is, is je internet ook down, dus DNS is dan minste zorg. Voordeel is dat als je container(s) down is/zijn er nog een stukje caching in de fritzbox zit die DNS-requests laat functioneren.

[Koepert]

Loekie schreef op donderdag 7 december 2023 @ 10:42:
Je zou dat kunnen ondervangen door de upstream NS-servers in te stellen op de IPs van je containers en dan cached de fritztbox je DNS intern(het interne IP is dan gelijk aan IP van je Fritzbox).

Adguard zul je dan dus wel instellen dat deze 'om' de fritzboxg heen gaat zodat je geen negative cache hits krijgt(een NXdomain die voor een periode gecached is doordat DNS niet te bereiken is).

Aanname is hier, als je fritzbox down is, is je internet ook down, dus DNS is dan minste zorg. Voordeel is dat als je container(s) down is/zijn er nog een stukje caching in de fritzbox zit die DNS-requests laat functioneren.

Ik ga er even induiken. maar je bedoelt dus bij IPv4 Network settings GEEN lokaal DNS zetten, maar alleen bij Internet-settings in de Fritzbox zogezegd. Ik ga ff stoeien. Er was een reden dat ik dat NIET had dacht ik. En k zal de Hosts dan iig op de Fritzbox zetten als DNS server.

[RobertMe]

Koepert schreef op donderdag 7 december 2023 @ 11:06:
[...]


Ik ga er even induiken. maar je bedoelt dus bij IPv4 Network settings GEEN lokaal DNS zetten, maar alleen bij Internet-settings in de Fritzbox zogezegd. Ik ga ff stoeien. Er was een reden dat ik dat NIET had dacht ik. En k zal de Hosts dan iig op de Fritzbox zetten als DNS server.

Als je dat doet ziet jouw DNS server (ADG dus) altijd / alleen verkeer vanaf de Fritz. Als je dan dus client statistieken wilt bekijken zie je maar één IP adres. En als je specifieke filters per client wilt toepassen (bv apparaten van kinderen een strictere list) werkt dat ook niet.

[Koepert]

RobertMe schreef op donderdag 7 december 2023 @ 12:44:
[...]

Als je dat doet ziet jouw DNS server (ADG dus) altijd / alleen verkeer vanaf de Fritz. Als je dan dus client statistieken wilt bekijken zie je maar één IP adres. En als je specifieke filters per client wilt toepassen (bv apparaten van kinderen een strictere list) werkt dat ook niet.

Goed punt.. dat wilde ik juist wel

[Zwelgje]

Loekie schreef op donderdag 7 december 2023 @ 09:40:
Disclaimer: ben geen fan van gevirtualiseerde netwerk devices.
Ik zou DNS van de hypervisor lekker op de upstream laten staan die de Fritzbox is, bij herstart van hypervisor of container zit je zonder resolving. Wil je toch perse alles op je Adguard laten binnenkomen zou ik persoonlijk kijken naar een 2e container op een andere hypervisor en dan in geval van updates etc niet de 2 hypervisors tegelijk herstarten.

Firewall hier op proxmox, nooit geen issues met roboot van de hypervisor of wat dan ook.

NTP checks of what have you doet ie dan lekker een paar minuten later wel als de VM met opnsense weer in de lucht is. kan ik niet wakker van liggen

[Loekie]

It's a free world
Thuis heb ik met kids en partner maar een beperkte ruimte voor een dergelijke setup.
Op werk werken we met std modellen firewall redundant uitgevoerd met reserves op de plank.
Maar ik snap de aantrekkingskracht van alles op 1 apparaat en zo efficient gebruik maken van de apparatuur.

[Zenix]

Zwelgje schreef op donderdag 7 december 2023 @ 15:46:
[...]


Firewall hier op proxmox, nooit geen issues met roboot van de hypervisor of wat dan ook.

NTP checks of what have you doet ie dan lekker een paar minuten later wel als de VM met opnsense weer in de lucht is. kan ik niet wakker van liggen

Het werkt bij mij ook al jaren perfect. Ik heb een HPE Microserver Gen10 plus, met een aantal gameservers en gaat genoeg verkeer doorheen, afgelopen maand zo'n 4TB. Elke 2 maanden reboot ik hem even voor updates en dat gebeurt dan 5 uur in de nacht. Voordat ik updates doe van Proxmox kijk ik wel of er problemen zijn op reddit. Tot nu toe werd ik altijd wakker en was ik meestal vergeten dat ik een reboot had gedaan, omdat alles gewoon werkte.

Ik had hiervoor ESXi en die updates/upgrades kosten meer tijd en had meer problemen. Een groot voordeel is dat ik makkelijk extra virtuele netwerken kan maken, die nooit buiten de host komen. Daarnaast is de snelheid van het virtuele netwerk ook hoger dan een fysiek 1Gb netwerk. Daarom is het voor mij ook geen noodzaak om de netwerk apparatuur te gaan upgraden, het meeste verkeer blijft toch op de host.

[stormfly]

Zenix schreef op donderdag 7 december 2023 @ 16:47:
[...]


Het werkt bij mij ook al jaren perfect. Ik heb een HPE Microserver Gen10 plus, met een aantal gameservers en gaat genoeg verkeer doorheen, afgelopen maand zo'n 4TB. Elke 2 maanden reboot ik hem even voor updates en dat gebeurt dan 5 uur in de nacht. Voordat ik updates doe van Proxmox kijk ik wel of er problemen zijn op reddit. Tot nu toe werd ik altijd wakker en was ik meestal vergeten dat ik een reboot had gedaan, omdat alles gewoon werkte.

Ik had hiervoor ESXi en die updates/upgrades kosten meer tijd en had meer problemen. Een groot voordeel is dat ik makkelijk extra virtuele netwerken kan maken, die nooit buiten de host komen. Daarnaast is de snelheid van het virtuele netwerk ook hoger dan een fysiek 1Gb netwerk. Daarom is het voor mij ook geen noodzaak om de netwerk apparatuur te gaan upgraden, het meeste verkeer blijft toch op de host.

Hoe schedule jij de reboot?

[Zenix]

stormfly schreef op donderdag 7 december 2023 @ 17:05:
[...]


Hoe schedule jij de reboot?

shutdown -r 5:00

[Airw0lf]

Zenix schreef op donderdag 7 december 2023 @ 17:59:
[...]

shutdown -r 5:00

En dan in een cronjob - neem ik aan...

[Zenix]

Airw0lf schreef op donderdag 7 december 2023 @ 18:46:
[...]


En dan in een cronjob - neem ik aan...

Doe het meestal wel handmatig, want ga niet elke twee maanden rebooten zonder reden

[Airw0lf]

Zenix schreef op donderdag 7 december 2023 @ 18:49:
[...]

Doe het meestal wel handmatig, want ga niet elke twee maanden rebooten zonder reden

Ik doe wekelijks een automatische reboot - voorafgegaan door:

code:

sudo apt update
sudo apt upgrade
sudo apt dist-upgrade
sudo apt autoremove

Dit loopt dan in de nacht van vrijdag op zaterdag om 2:30 voor de proxmox servers.
En om 3:30 voor de VM's en LXC's.

[orvintax]

Koepert schreef op donderdag 7 december 2023 @ 09:33:
Heb n vraagje die eigenlijk een beetje generieker is dan alleen AdGuard maar heb m in dat topic ook gesteld..

Als ik in mn netwerk een Fritzbox heb (.1 adres, DNS = .112 Adguard LXC Proxmox Container)en een Proxmox server (in totaal 3) met op 1 van die hosts dus een LXC met Adguard..

Kan ik dan t DNS van de proxmox host beter op t IP van Adguard direct zetten (= Proxmox LXC container IP .112) of op .1 van de fritzbox? Ik kan me voorstellen dat de eerste sneller is, maar de 2e minder issues bij wijzigingen op gaat leveren?

Die Fritzbox heeft DNS voor IPv4 (Dus de IPv4 Network Settings) via .112 en voor "Internet DNS Server" Use DNSv4 servers assigned by the internet service provider (recommended) aangevinkt heeft?

Idem voor de andere Proxmoxhosts trouwens: alles naar .1 of alles naar .112?

Ik zou dit allemaal via DHCP regelen. Wat beter is ligt er maar net aan je wensen en eisen. In princiepe is het ene niet beter dan het andere.

[nero355]

Zwelgje schreef op donderdag 7 december 2023 @ 15:46:
Firewall hier op proxmox, nooit geen issues met roboot van de hypervisor of wat dan ook.

Nooit geen = Dus altijd

[Zwelgje]

nero355 schreef op donderdag 7 december 2023 @ 19:51:
[...]

Nooit geen = Dus altijd

hahaha, excuus. ik bedoel natuurlijk geen problemen.

[Zwelgje]

Airw0lf schreef op donderdag 7 december 2023 @ 19:09:
[...]

Ik doe wekelijks een automatische reboot - voorafgegaan door:

code:

sudo apt update
sudo apt upgrade
sudo apt dist-upgrade
sudo apt autoremove

Dit loopt dan in de nacht van vrijdag op zaterdag om 2:30 voor de proxmox servers.
En om 3:30 voor de VM's en LXC's.

pveupdate en pveupgrade gebruiken

dat zijn de officiële commando's

[Airw0lf]

Zwelgje schreef op donderdag 7 december 2023 @ 20:19:
[...]


pveupdate en pveupgrade gebruiken

dat zijn de officiële commando's

Wel bijzonder dat die niet door Proxmox zelf genoemd worden...
https://pve.proxmox.com/wiki/Upgrade_from_7_to_8
https://pve.proxmox.com/p...ter_system_administration
https://pve.proxmox.com/p...l#_command_line_interface

Of kijk ik er gewoon overheen...

[Zenix]

Airw0lf schreef op donderdag 7 december 2023 @ 19:09:
[...]

Ik doe wekelijks een automatische reboot - voorafgegaan door:

code:

sudo apt update
sudo apt upgrade
sudo apt dist-upgrade
sudo apt autoremove

Dit loopt dan in de nacht van vrijdag op zaterdag om 2:30 voor de proxmox servers.
En om 3:30 voor de VM's en LXC's.

Heb jij de enterprise repo? Af en toe geeft een bepaalde kernel weleens problemen, daarom doe ik het liever niet.

[Airw0lf]

Zenix schreef op donderdag 7 december 2023 @ 22:04:
[...]


Heb jij de enterprise repo? Af en toe geeft een bepaalde kernel weleens problemen, daarom doe ik het liever niet.

Nee - ik heb geen enterprise repo.

Ik gebruik Proxmox sinds een jaar of 2-3. Ben begonnen met Proxmox 7 (komende van ESX).
Destijds proxmox geïnstalleerd op een kleine ssd - de VM's en LXC's op een aparte, met LVM aangemaakt volume.

Alle minor updates/upgrades zijn op deze manier gedaan.
De upgrade van 7 naar 8 heb ik handmatig gedaan - gaat volgens mij ook niet anders.

Al die keren nooit een probleem gehad met deze manier van werken.

[ Voor 14% gewijzigd door Airw0lf op 07-12-2023 22:55 ]

[stormfly]

Airw0lf schreef op donderdag 7 december 2023 @ 19:09:
[...]

Ik doe wekelijks een automatische reboot - voorafgegaan door:

code:

sudo apt update
sudo apt upgrade
sudo apt dist-upgrade
sudo apt autoremove

Dit loopt dan in de nacht van vrijdag op zaterdag om 2:30 voor de proxmox servers.
En om 3:30 voor de VM's en LXC's.

Airw0lf schreef op donderdag 7 december 2023 @ 22:49:
[...]


Nee - ik heb geen enterprise repo.

Ik gebruik Proxmox sinds een jaar of 2-3. Ben begonnen met Proxmox 7 (komende van ESX).
Destijds proxmox geïnstalleerd op een kleine ssd - de VM's en LXC's op een aparte, met LVM aangemaakt volume.

Alle minor updates/upgrades zijn op deze manier gedaan.
De upgrade van 7 naar 8 heb ik handmatig gedaan - gaat volgens mij ook niet anders.

Al die keren nooit een probleem gehad met deze manier van werken.

Best gedurfd, als het goed gaat gaat het goed. Wat is je backup plan als het onverhoopt toch in de soep draait?

Ik heb een 2eNVMe die elke nacht om 04:00 een backup maakt, en eens per maand gaan ze extern na de NAS toe.

[Airw0lf]

stormfly schreef op vrijdag 8 december 2023 @ 10:09:
[...]

Best gedurfd, als het goed gaat gaat het goed. Wat is je backup plan als het onverhoopt toch in de soep draait?

Ik heb een 2eNVMe die elke nacht om 04:00 een backup maakt, en eens per maand gaan ze extern na de NAS toe.

Klopt - en tuurlijk gaan er wel eens wat dingen mis.
Maar das dan meestal doordat ik het zelf ergens verkloot heb!

Mijn redding tot nu toe was steeds een backup van /etc/pve.
En de qcow-bestanden die elke 3 maanden naar een NAS toe gaan.
De retentieperiode van deze bestanden is langer dan een jaar.

Dat is dit jaar op meerdere fronten uitgebreid/aangevuld.
Allereerst twee backup jobs voor elke host. Een job werkt met een dagelijkse snapshot naar een lokale spindle disk. Dit gebeurd rond lunch-tijd.
De tweede job draait mee in het weekend update mechanisme. Dit wil zeggen dat er in de nacht van zaterdag op zondag een stop-backup wordt gedraaid naar een NAS.
De retentieperiode van deze twee jobs is beperkt tot de laatste 5 versies.

Parellel hieraan wordt van veel bestanden ook nog eens een backup gemaakt naar een externe USB disk (aangesloten op de NAS). En daar loopt dagelijks rond lunchtijd een backup job die een aantal folders naar die externe disk kopieert. Hier zitten dan ook bestanden van gebruikers (lees: vrienden, vrouw en kinders) bij. Dit heeft een retentieperiode van 3 maanden.

Van diezelfde bestanden wordt wekelijks een subset naar WASABI immutable cloud storage gekopieerd. Ook dit heeft een retentieperiode van 3 maanden.

Ik kan hiermee max 3 maanden terug via de qcow bestanden, de bestanden op de externe disk en de bestanden bij WASABI. De tijd zal moeten uitwijzen of dit voldoende is... maar na die 3 maanden ga ik hoe dan ook gegevens kwijt zijn...

Tot slot (niet direct Proxmox gerelateerd - maar toch): elke zondagochtend wordt er ook een kwetsbaarheden scan gedaan om zeker te stellen dat de updates geen ongewenste site-effects geven in de vorm van nieuwe open TCP/UDP-poortjes of andere risico's.
Bij deze scan maak ik deels gebruik van de Nessus scanner - de gratis versie voor maximaal 15 IP's); deels van nmap. De Nessus scanner gebruik ik voor alles met een publiek IP-adres. En nmap gebruik ik om alle subnetten van alle vlans af te scannen op nieuwe "diensten".

Tot zover mijn persoonlijke best-practices...

[stormfly]

Airw0lf schreef op vrijdag 8 december 2023 @ 11:08:
[...]


Klopt - en tuurlijk gaan er wel eens wat dingen mis.
Maar das dan meestal doordat ik het zelf ergens verkloot heb!

Mijn redding tot nu toe was steeds een backup van /etc/pve.
En de qcow-bestanden die elke 3 maanden naar een NAS toe gaan.
De retentieperiode van deze bestanden is langer dan een jaar.

Dat is dit jaar op meerdere fronten uitgebreid/aangevuld.
Allereerst twee backup jobs voor elke host. Een job werkt met een dagelijkse snapshot naar een lokale spindle disk. Dit gebeurd rond lunch-tijd.
De tweede job draait mee in het weekend update mechanisme. Dit wil zeggen dat er in de nacht van zaterdag op zondag een stop-backup wordt gedraaid naar een NAS.
De retentieperiode van deze twee jobs is beperkt tot de laatste 5 versies.

Parellel hieraan wordt van veel bestanden ook nog eens een backup gemaakt naar een externe USB disk (aangesloten op de NAS). En daar loopt dagelijks rond lunchtijd een backup job die een aantal folders naar die externe disk kopieert. Hier zitten dan ook bestanden van gebruikers (lees: vrienden, vrouw en kinders) bij. Dit heeft een retentieperiode van 3 maanden.

Van diezelfde bestanden wordt wekelijks een subset naar WASABI immutable cloud storage gekopieerd. Ook dit heeft een retentieperiode van 3 maanden.

Ik kan hiermee max 3 maanden terug via de qcow bestanden, de bestanden op de externe disk en de bestanden bij WASABI. De tijd zal moeten uitwijzen of dit voldoende is... maar na die 3 maanden ga ik hoe dan ook gegevens kwijt zijn...

Tot slot (niet direct Proxmox gerelateerd - maar toch): elke zondagochtend wordt er ook een kwetsbaarheden scan gedaan om zeker te stellen dat de updates geen ongewenste site-effects geven in de vorm van nieuwe open TCP/UDP-poortjes of andere risico's.
Bij deze scan maak ik deels gebruik van de Nessus scanner - de gratis versie voor maximaal 15 IP's); deels van nmap. De Nessus scanner gebruik ik voor alles met een publiek IP-adres. En nmap gebruik ik om alle subnetten van alle vlans af te scannen op nieuwe "diensten".

Tot zover mijn persoonlijke best-practices...

Goed verhaal en goed ontwerp lijkt het Heb je nog tips voor de gratis tooltjes die je mogelijk gebruikt? Ik zie bij de security Nessus scanner geen gratis variant alleen een tryout?

[powerboat]

stormfly schreef op vrijdag 8 december 2023 @ 16:05:
[...]


Goed verhaal en goed ontwerp lijkt het Heb je nog tips voor de gratis tooltjes die je mogelijk gebruikt? Ik zie bij de security Nessus scanner geen gratis variant alleen een tryout?

Wazuh (https://wazuh.com/)

[Airw0lf]

stormfly schreef op vrijdag 8 december 2023 @ 16:05:
[...]

Goed verhaal en goed ontwerp lijkt het Heb je nog tips voor de gratis tooltjes die je mogelijk gebruikt? Ik zie bij de security Nessus scanner geen gratis variant alleen een tryout?

We gaan nu enigszins off-topic... maar vooruit...

Andere tooltjes? Nee - niet echt - tenminste niet voor backup achtige dingetjes.
Ik blijf binnen de standaard OS en Synology functies.

Wat wil zeggen dat ik op Proxmox niks gebruik wat niet binnen de GUI werkt.
Binnen Linux heb ik alle backup functies via een copy-cronjob naar een SMB share lopen.
Vandaar wordt het weer opgepakt met de Synology backup applicaties.

De Nessus scanner ontpopt zich na de tryout als een "gratis" versie en heet dan "spontaan" Nessus Essentials.

In de Essentials/gratis editie zijn niet alle functies beschikbaar. Dus ik ben meteen gestart met de Essentials versie. Enerzijds om te voorkomen dat ik na de trial alles moet gaan nalopen. Anderzijds om te kijken hoever ik met die gratis versie kan komen...

Voor de logging maak ik gebruik van syslog (i.c.m. Splunk). Die laatste zou ik op enig moment willen vervangen door Wazuh. Maar ik ben hier wat huiverig voor - tis eigenlijk een verbouwde ELK-stack. En die stack heb ik nooit werkend gekregen - maar eens zien wat dat gaat worden.

Pihole heb ik draaien als adblocker annex DNS/DHCP server voor alle vlans.
En voor zover ik webapps via Internet wil gebruiken zet ik een reverse proxy in genaamd SWAG. Alle niet-web dingetjes lopen via een VPN naar de Omada router.

Dat is het wel zo een beetje...

Toch nog meer vragen?
Dan graag via een PB - want ik gok dat we dan nog verder af gaan dwalen.

[ Voor 31% gewijzigd door Airw0lf op 08-12-2023 20:00 ]

[Airw0lf]

stormfly schreef op vrijdag 8 december 2023 @ 16:05:
[...]


Goed verhaal en goed ontwerp lijkt het

Wij danken u!

[ Voor 26% gewijzigd door Airw0lf op 08-12-2023 17:44 ]

[commentator]

Airw0lf schreef op vrijdag 8 december 2023 @ 17:04:
[...]
Pihole heb ik draaien als adblocker annex DNS/DHCP server voor alle vlans.

Heb je Pihole enkel of dubbel uitgevoerd en of in HA modus?

[Airw0lf]

commentator schreef op vrijdag 8 december 2023 @ 17:47:
[...]

Heb je Pihole enkel of dubbel uitgevoerd en of in HA modus?

Geen van 3 (of zo je wil: een beetje van alle 3):
Pihole is een onderdeel van een LXC container.
De config bestanden zitten in de snapshot- en shutdown-backup van Proxmox.

Er is een tweede Proxmox server met toegang tot diezelfde backups.
Als de een stuk gaat zet ik die LXC backup terug op die tweede Proxmox server.
Vervolgens is een reboot genoeg om Pihole in zijn volle glorie terug te laten komen.

Ik zou beide Proxmox servers op kunnen nemen in een cluster.
Maar de verschillen qua inrichting en gebruik zijn te groot - dat gaat niet vliegen.
Of eigenlijk: dat wordt me te ingewikkeld om alles goed te krijgen - zo is de verwachting.

[Zenix]

Ik heb vandaag de ring buffers ook verhoogt van mijn i350-T4 op Proxmox, dat kan je als volgt doen:

code:

#controleren waar het nu op staat en wat maximaal mogelijk is

root@promox:~# ethtool -g eno4
Ring parameters for eno4:
Pre-set maximums:
RX:             4096
RX Mini:        n/a
RX Jumbo:       n/a
TX:             4096
Current hardware settings:
RX:             256
RX Mini:        n/a
RX Jumbo:       n/a
TX:             256
RX Buf Len:             n/a
CQE Size:               n/a
TX Push:        off
TCP data split: n/a

#Aanpassen naar de maximale buffer
ethtool -G eno4 tx 4096 rx 4096

#Op de CLI controleren of het goed werkt
root@promox:~# ethtool -g eno4
Ring parameters for eno4:
Pre-set maximums:
RX:             4096
RX Mini:        n/a
RX Jumbo:       n/a
TX:             4096
Current hardware settings:
RX:             4096
RX Mini:        n/a
RX Jumbo:       n/a
TX:             4096
RX Buf Len:             n/a
CQE Size:               n/a
TX Push:        off
TCP data split: n/a

#Permanent toepassen /etc/network/interfaces aanpassen
auto eno4
iface eno4 inet manual
        pre-up ethtool -G $IFACE tx 4096 rx 4096

#Reload van interface config
ifreload -a

@Airw0lf Ik laat shodan ook scannen, had bijvoorbeeld een verlopen cert, kreeg ik ook gelijk een melding afgelopen week.

[ Voor 4% gewijzigd door Zenix op 08-12-2023 20:40 ]

[stormfly]

commentator schreef op vrijdag 8 december 2023 @ 17:47:
[...]


Heb je Pihole enkel of dubbel uitgevoerd en of in HA modus?

Ik heb AdGuard home draaien op OPNsense, geen router = geen internet ;-) handig alles in 1 VM.

[stormfly]

Airw0lf schreef op vrijdag 8 december 2023 @ 17:04:
[...]


We gaan nu enigszins off-topic... maar vooruit...

Andere tooltjes? Nee - niet echt - tenminste niet voor backup achtige dingetjes.
Ik blijf binnen de standaard OS en Synology functies.

Wat wil zeggen dat ik op Proxmox niks gebruik wat niet binnen de GUI werkt.
Binnen Linux heb ik alle backup functies via een copy-cronjob naar een SMB share lopen.
Vandaar wordt het weer opgepakt met de Synology backup applicaties.

De Nessus scanner ontpopt zich na de tryout als een "gratis" versie en heet dan "spontaan" Nessus Essentials.

In de Essentials/gratis editie zijn niet alle functies beschikbaar. Dus ik ben meteen gestart met de Essentials versie. Enerzijds om te voorkomen dat ik na de trial alles moet gaan nalopen. Anderzijds om te kijken hoever ik met die gratis versie kan komen...

Voor de logging maak ik gebruik van syslog (i.c.m. Splunk). Die laatste zou ik op enig moment willen vervangen door Wazuh. Maar ik ben hier wat huiverig voor - tis eigenlijk een verbouwde ELK-stack. En die stack heb ik nooit werkend gekregen - maar eens zien wat dat gaat worden.

Pihole heb ik draaien als adblocker annex DNS/DHCP server voor alle vlans.
En voor zover ik webapps via Internet wil gebruiken zet ik een reverse proxy in genaamd SWAG. Alle niet-web dingetjes lopen via een VPN naar de Omada router.

Dat is het wel zo een beetje...

Toch nog meer vragen?
Dan graag via een PB - want ik gok dat we dan nog verder af gaan dwalen.

Dank! Voor mij is dit niet offtopic hoor, alles draait toch op de gemene deler van dit topic: Proxmox

[powerboat]

Airw0lf schreef op vrijdag 8 december 2023 @ 17:04:
[...]


Voor de logging maak ik gebruik van syslog (i.c.m. Splunk). Die laatste zou ik op enig moment willen vervangen door Wazuh. Maar ik ben hier wat huiverig voor - tis eigenlijk een verbouwde ELK-stack. En die stack heb ik nooit werkend gekregen - maar eens zien wat dat gaat worden.

Er is inmiddels een docker versie beschikbaar, zowel single als clustermode (ik heb hem in singlemode draaien). Deze is relatief eenvoudig te installeren, ben wel tegen een paar dingen aangelopen maar die heb ik inmiddels wel verholpen. Mocht je vragen hebben stuur me dan maar een dm .

OpenVAS is ook een security scanner die je zou kunnnen gebruiken Z:.

[ComTech]

Ik krijg mail notificaties in proxmox maar niet aan de gang.
De standaard sendmail doet het helemaal niet, probeer nu smtp aan de gang te krijgen maar krijg telkens de volgende error.



Dit is mijn configuratie



Iemand die me op weg kan helpen?
Ik gebruik de smpt server van m'n provider KPN.

[Mediacj]

ComTech schreef op zaterdag 9 december 2023 @ 22:12:
Ik krijg mail notificaties in proxmox maar niet aan de gang.
De standaard sendmail doet het helemaal niet, probeer nu smtp aan de gang te krijgen maar krijg telkens de volgende error.

[Afbeelding]

Dit is mijn configuratie

[Afbeelding]

Iemand die me op weg kan helpen?
Ik gebruik de smpt server van m'n provider KPN.

Ik heb het met deze instructie werkende gekregen.

[zeroday]

Mediacj schreef op zondag 10 december 2023 @ 09:27:
[...]

Ik heb het met deze instructie werkende gekregen.

Dat is voor PBS wel het geval, maar sinds de nieuwe versie kun je in proxmox dit ook doen
Alleen het configureren is niet voldoende.

Je moet ook binnen datacenter bij de notifications ervoor zorgen dat ook de juiste 'transport' mode gebruikt wordt.

dus enerzijds heb je de targets (wat je maildoos is) maar de matcher moet je ook gebruiken want je kunt dus per actie (welke dat dan ook mag zijn) bepalen welke target gebruikt mot worden.

Op deze manier ben je dus flexibel, maar je moet vooral die matcher niet vergeten (en dan vooral de targets to notify optie).

[GoBieN-Be]

Je From adres staat niet goed.

[htca]

ComTech schreef op zaterdag 9 december 2023 @ 22:12:
Ik krijg mail notificaties in proxmox maar niet aan de gang.
De standaard sendmail doet het helemaal niet, probeer nu smtp aan de gang te krijgen maar krijg telkens de volgende error.

[Afbeelding]

Dit is mijn configuratie

[Afbeelding]

Iemand die me op weg kan helpen?
Ik gebruik de smpt server van m'n provider KPN.

Waar zit dit menu?

[Cardinal]

@htca Notifications onder data center

[htca]

ComTech schreef op zaterdag 9 december 2023 @ 22:12:
Ik krijg mail notificaties in proxmox maar niet aan de gang.
De standaard sendmail doet het helemaal niet, probeer nu smtp aan de gang te krijgen maar krijg telkens de volgende error.

[Afbeelding]

Dit is mijn configuratie

[Afbeelding]

Iemand die me op weg kan helpen?
Ik gebruik de smpt server van m'n provider KPN.

Ik krijg dezelfde melding, ook bij het veranderen van het emailadres

[ComTech]

Ik heb het nu werkend gekregen met deze configuratie.
kpnmail hoeft geen authenticatie met smtp.

[John245]

Een van mijn Proxmox Nodes laat het volgende zien (Journal):



Wordt dit de NVMe vervangen of is dit nog op te lossen?

[stormfly]

John245 schreef op dinsdag 12 december 2023 @ 22:14:
Een van mijn Proxmox Nodes laat het volgende zien (Journal):

[Afbeelding]

Wordt dit de NVMe vervangen of is dit nog op te lossen?

Wat is het wear %getal in de GUI?

[John245]

stormfly schreef op woensdag 13 december 2023 @ 08:04:
[...]


Wat is het wear %getal in de GUI?

Wort een gevalletje garantie vermoed ik,

Commando: smartctl --all /dev/sdX

/dev/sdx is pad voor disk

[ Voor 5% gewijzigd door John245 op 13-12-2023 10:43 ]

[stormfly]

John245 schreef op woensdag 13 december 2023 @ 08:08:
[...]


Wort een gevalletje garantie vermoed ik,

[Afbeelding]

[Afbeelding]

Nou ja dat hangt er vanaf wat zijn de specs TBW van de disk? Je hebt er nu 180 geschreven dat is substantieel.

EDIT: 980 1TB = 600TB dus garantie

Kan er zelf altijd wel blij van worden als mensen de commandos delen die ze gebruiken om output te verzamelen kan je die nog ff in je post zetten? Vooral het eerste commando is heel helder.

[ Voor 13% gewijzigd door stormfly op 13-12-2023 08:52 ]

[UUDIBUUDI]

John245 schreef op woensdag 13 december 2023 @ 08:08:
[...]


Wort een gevalletje garantie vermoed ik,

[Afbeelding]

[Afbeelding]

Zo'n error moet door een hoop lagen met detectie/correctie/maskering van fouten heen voordat het OS er iets van meekrijgt. Als smartctl klaagt, dan is er wat loos. Als het OS klaagt, dan is er ook wat loos. Hier klagen beide tegelijk .

Met deze smartctl output kun je wel garantie claimen. Apparaat is niet meer betrouwbaar.

[John245]

stormfly schreef op woensdag 13 december 2023 @ 08:44:
[...]


Nou ja dat hangt er vanaf wat zijn de specs TBW van de disk? Je hebt er nu 180 geschreven dat is substantieel.

EDIT: 980 1TB = 600TB dus garantie

Kan er zelf altijd wel blij van worden als mensen de commandos delen die ze gebruiken om output te verzamelen kan je die nog ff in je post zetten? Vooral het eerste commando is heel helder.

Toegevoegd

[nero355]

John245 schreef op dinsdag 12 december 2023 @ 22:14:
Een van mijn Proxmox Nodes laat het volgende zien (Journal):

[Afbeelding]

Wordt dit de NVMe vervangen of is dit nog op te lossen?

Dat is een Consumer SSD of misschien zelfs beter gezegd "Gamer SSD" die je echt NIET voor Proxmox of OpenZFS toestanden moet gebruiken!

Intel Enterprise/Workstation SSD's zijn hier de juiste oplossing en als je echt heel graag Samsung wilt dan hebben die ook nog wel een paar modellen die goed genoeg zijn.

[John245]

UUDIBUUDI schreef op woensdag 13 december 2023 @ 09:08:
[...]


Zo'n error moet door een hoop lagen met detectie/correctie/maskering van fouten heen voordat het OS er iets van meekrijgt. Als smartctl klaagt, dan is er wat loos. Als het OS klaagt, dan is er ook wat loos. Hier klagen beide tegelijk .

Met deze smartctl output kun je wel garantie claimen. Apparaat is niet meer betrouwbaar.

Smartctl klaagde misschien wel eerder maar eigenlijk gebruik ik dat nooit op een Pro.

Maar als je de Node niet kan updaten dan ga je natuurlijk zoeken naar de oorzaak.

Is kijken hoe snel de garantieafhandeling is en de Node weer operationeel is.

[John245]

nero355 schreef op woensdag 13 december 2023 @ 20:09:
[...]

Dat is een Consumer SSD of misschien zelfs beter gezegd "Gamer SSD" die je echt NIET voor Proxmox of OpenZFS toestanden moet gebruiken!

Intel Enterprise/Workstation SSD's zijn hier de juiste oplossing en als je echt heel graag Samsung wilt dan hebben die ook nog wel een paar modellen die goed genoeg zijn.

Ik weet het. Maar dit is een intel Nuc die ik aan mijn cluster heb toegevoegd om HA te verkrjgen. En ik mag toch wel verwachten dat als alleen Proxmox er op staat dit met een Pro goed gaat.

Ter geruststelling in mijn SupermicroServer zitten datacenter SDD's.

Aangezien allles Samsung is wel een voorkeur daarvoor.

Heb je een sugestie voor een goede Samsung NVMe?

[nero355]

John245 schreef op woensdag 13 december 2023 @ 21:16:
Ik weet het. Maar dit is een intel Nuc die ik aan mijn cluster heb toegevoegd om HA te verkrjgen. En ik mag toch wel verwachten dat als alleen Proxmox er op staat dit met een Pro goed gaat.

Een ander nadeel is dat die ontzettend heet wordt en dat is ook niet echt handig in een NUC achtig kastje

Ter geruststelling in mijn SupermicroServer zitten datacenter SDD's.

Aangezien allles Samsung is wel een voorkeur daarvoor.

Heb je een sugestie voor een goede Samsung NVMe?

Je moet op zoek gaan naar dit soort modellen :
- uitvoering: Samsung PM983 M.2 960GB
- uitvoering: Samsung PM9A3 M.2 960GB

Je ziet daarbij duidelijk elke keer de chips erop zitten die ervoor zorgen dat de SSD fatsoenlijke beveiliging tegen stroomuitval heeft en niet op al die duffe "Gaming" modelletjes zitten !!

[John245]

nero355 schreef op vrijdag 15 december 2023 @ 13:51:
[...]

Een ander nadeel is dat die ontzettend heet wordt en dat is ook niet echt handig in een NUC achtig kastje


[...]

Gelukkig heeft deze Node bijna geen workload dus zo heet gaat het niet worden.

Eens kijken of ik van de garantie gebruik kan maken en tegelijk kan upgraden.

[ComTech]

Nadat ik mijn smtp mail instellingen eindelijk werkend heb krijg ik netjes mailtjes.
Maar geregeld krijg ik ook dit.

From: Mail Delivery System <[e-mail]>
Subject: Undelivered Mail Returned to Sender
Date: 17 December 2023 at 18:20:38 CET
To: [e-mail]

Ik heb het mailadres van user root ingesteld (dit is niet [e-mail]).
Staat er nog ergens anders dit mailadres? Of is er toch nog iets niet goed ingesteld?

[zeroday]

ComTech schreef op zondag 17 december 2023 @ 22:08:
Nadat ik mijn smtp mail instellingen eindelijk werkend heb krijg ik netjes mailtjes.
Maar geregeld krijg ik ook dit.


[...]


Ik heb het mailadres van user root ingesteld (dit is niet [e-mail]).
Staat er nog ergens anders dit mailadres? Of is er toch nog iets niet goed ingesteld?

kijk even of dit niet een oude mail is die nog in de queue zit en die hij continue probeert te verzenden.
Ik heb al mijn queue mail op de server verwijderd omdat het oude mail was die nog maar in de queue bleef hangen. (en ook ik kreeg zulke mailer daemon berichten)

Je moet even kijken in het bericht zelf of het inderdaad een oud bericht is van voor je aanpassingen. (of check the postfix queue op je node (in principe moet die leeg zijn)

[nero355]

ComTech schreef op zondag 17 december 2023 @ 22:08:
pve.nuc.local

.local kan je beter niet gebruiken, want dat conflicteert met mDNS toestanden waarvoor het is gereserveerd

Maak daar lekker .lan/.thuis.lan/.management.lan/.mgmt.lan/.pve.lan van of iets in die richting...

[XoReP]

nero355 schreef op maandag 18 december 2023 @ 18:22:
[...]

.local kan je beter niet gebruiken, want dat conflicteert met mDNS toestanden waarvoor het is gereserveerd

Maak daar lekker .lan/.thuis.lan/.management.lan/.mgmt.lan/.pve.lan van of iets in die richting...

Of een eigen domeinnaam registreren. Weet je zeker dat hij niet in gebruik is of later ingebruik wordt genomen door een ander.

[Airw0lf]

Ik zit hier te worstelen met een Ubuntu VM waarbij de vlan interface eth0.122 niet werkt.
De output van ip link geeft wel carrier en alles.
De output van ip a geeft wel een IP adres.
Maar pingen naar de default gateway van dat vlan werkt niet.

Via eth0 gaat wel alles goed.

De melding in /var/log/syslog die hiermee te maken heeft:

code:

Dec 19 09:03:52 proxcum128 systemd[1]: Started ifup for eth0.122.
Dec 19 09:03:52 proxcum128 sh[757]: ifup: waiting for lock on /run/network/ifstate.eth0
Dec 19 09:03:52 proxcum128 systemd-networkd[424]: eth0.122: Link UP
Dec 19 09:03:52 proxcum128 systemd-networkd[424]: eth0.122: Gained carrier
Dec 19 09:03:52 proxcum128 sh[761]: RTNETLINK answers: File exists
Dec 19 09:03:52 proxcum128 sh[718]: ifup: failed to bring up eth0.122
Dec 19 09:03:52 proxcum128 systemd[1]: [e-mail]: Main process exited, code=exited, status=1/FAILURE
Dec 19 09:03:52 proxcum128 systemd[1]: [e-mail]: Failed with result 'exit-code'.
Dec 19 09:03:52 proxcum128 snapd-apparmor[627]: main.go:124: Loading profiles [/var/lib/snapd/apparmor/profiles/snap-confine.snapd.18357 /var/lib/snapd/apparmor/profiles/snap-confine.snapd.>
Dec 19 09:03:52 proxcum128 ifup[772]: RTNETLINK answers: File exists
Dec 19 09:03:52 proxcum128 ifup[626]: ifup: failed to bring up eth0.122
Dec 19 09:03:52 proxcum128 sh[801]: RTNETLINK answers: File exists
Dec 19 09:03:52 proxcum128 sh[757]: ifup: failed to bring up eth0.122
Dec 19 09:03:52 proxcum128 systemd[1]: [e-mail]: Main process exited, code=exited, status=1/FAILURE
Dec 19 09:03:52 proxcum128 systemd[1]: [e-mail]: Failed with result 'exit-code'.
Dec 19 09:03:52 proxcum128 systemd[1]: networking.service: Main process exited, code=exited, status=1/FAILURE
Dec 19 09:03:52 proxcum128 systemd[1]: networking.service: Failed with result 'exit-code'.
Dec 19 09:03:52 proxcum128 systemd[1]: Failed to start Raise network interfaces.

Proxmox is up-to-date - Ubuntu niet - dat is 20.04.3-LTS.
Hoewel enigszins outdated is het formeel nog supported
Ik kan die nu ook niet updaten vanwege een applicatie die perse deze versie wil zien.

De qemu, vlan en 802.1q module is geinstalleerd en geactiveerd.
Die 802.1q zie je ook terug in de output van ip link.

Firewall staat uit - zowel in Proxmox als de VM.
En voor vmbr0 is vlan aware actief voor id 2-4094

Ik heb ook al de nodige zoektochten gedaan in de Debian en Ubuntu fora.
Helaas geen resultaat.

In eerste instantie liep alles via Netplan - die is verwijderd en vervangen door ifupdown.
Ook die vervanging heeft niet geholpen.

Iemand hier enige idee?

[ Voor 8% gewijzigd door Airw0lf op 20-12-2023 06:56 ]

[Deshmir]

@Airw0lf extensive logging aangezet?

code:

sudo ifup --verbose eth0.122

En anders kijken wat hier staat

code:

/etc/network/if-up.d

[MJV]

I.h.k.v. domme vragen bestaan niet...

Ik heb een Proxmox LXC container met Wireguard. Dan maak ik een profiel aan, krijg ik een *.conf bestandje .

Maar hoe krijg ik dat nu eenvoudig vanaf mijn proxmox-LXC op mijn laptop?
- SFTP (SSH) staat dicht
- Container is unprivlidged dus een nfs-share mounten lukt niet

Overtypen lijkt me tot nu toe nog het makkelijkste maar dat vertik ik...

Hoe doet men dit op een normale manier?

[powerboat]

MJV schreef op woensdag 20 december 2023 @ 21:48:
I.h.k.v. domme vragen bestaan niet...

Ik heb een Proxmox LXC container met Wireguard. Dan maak ik een profiel aan, krijg ik een *.conf bestandje .

Maar hoe krijg ik dat nu eenvoudig vanaf mijn proxmox-LXC op mijn laptop?
- SFTP (SSH) staat dicht
- Container is unprivlidged dus een nfs-share mounten lukt niet

Overtypen lijkt me tot nu toe nog het makkelijkste maar dat vertik ik...

Hoe doet men dit op een normale manier?

Rsync? Netcat?

https://github.com/schollz/croc
Die werkt ook

[ Voor 4% gewijzigd door powerboat op 20-12-2023 21:57 ]

[MJV]

Thanks @powerboat, niet goed opgelet en SFTP werkte wel uiteindelijk well . Maar croc ziet er interessant uit, die ga ik even bookmarken.

[nero355]

MJV schreef op woensdag 20 december 2023 @ 21:48:
I.h.k.v. domme vragen bestaan niet...

Nou...

Ik heb een Proxmox LXC container met Wireguard. Dan maak ik een profiel aan, krijg ik een *.conf bestandje .

Maar hoe krijg ik dat nu eenvoudig vanaf mijn proxmox-LXC op mijn laptop?

FTP of SSH vanaf die LXC naar je Laptop of een NAS op je LAN niet mogelijk

- SFTP (SSH) staat dicht

IMHO bedoel je dan SCP of SSH naar die LXC toe ?!

Hoe doet men dit op een normale manier?

Via een mooie webGUI waarvan er heel veel zijn dus zoek wat leuks uit

Airw0lf schreef op dinsdag 19 december 2023 @ 23:50:
Ik zit hier te worstelen met een Ubuntu VM waarbij de vlan interface eth0.122 niet werkt.
De output van ip link geeft wel carrier en alles.
De output van ip a geeft wel een IP adres.
Maar pingen naar de default gateway van dat vlan werkt niet.

Via eth0 gaat wel alles goed.

IMHO hoor je die VM dan ook een VLAN-loze verbinding te geven en dat elders te regelen, zoals je dat op een Switch zou doen voor een PC

De melding in /var/log/syslog die hiermee te maken heeft:

code:

Dec 19 09:03:52 proxcum128 systemd[1]: Started ifup for eth0.122.
Dec 19 09:03:52 proxcum128 sh[757]: ifup: waiting for lock on /run/network/ifstate.eth0
Dec 19 09:03:52 proxcum128 systemd-networkd[424]: eth0.122: Link UP
Dec 19 09:03:52 proxcum128 systemd-networkd[424]: eth0.122: Gained carrier
Dec 19 09:03:52 proxcum128 sh[761]: RTNETLINK answers: File exists
Dec 19 09:03:52 proxcum128 sh[718]: ifup: failed to bring up eth0.122
Dec 19 09:03:52 proxcum128 systemd[1]: [e-mail]: Main process exited, code=exited, status=1/FAILURE
Dec 19 09:03:52 proxcum128 systemd[1]: [e-mail]: Failed with result 'exit-code'.
Dec 19 09:03:52 proxcum128 snapd-apparmor[627]: main.go:124: Loading profiles [/var/lib/snapd/apparmor/profiles/snap-confine.snapd.18357 /var/lib/snapd/apparmor/profiles/snap-confine.snapd.>
Dec 19 09:03:52 proxcum128 ifup[772]: RTNETLINK answers: File exists
Dec 19 09:03:52 proxcum128 ifup[626]: ifup: failed to bring up eth0.122
Dec 19 09:03:52 proxcum128 sh[801]: RTNETLINK answers: File exists
Dec 19 09:03:52 proxcum128 sh[757]: ifup: failed to bring up eth0.122
Dec 19 09:03:52 proxcum128 systemd[1]: [e-mail]: Main process exited, code=exited, status=1/FAILURE
Dec 19 09:03:52 proxcum128 systemd[1]: [e-mail]: Failed with result 'exit-code'.
Dec 19 09:03:52 proxcum128 systemd[1]: networking.service: Main process exited, code=exited, status=1/FAILURE
Dec 19 09:03:52 proxcum128 systemd[1]: networking.service: Failed with result 'exit-code'.
Dec 19 09:03:52 proxcum128 systemd[1]: Failed to start Raise network interfaces.

IMHO duidelijk : Je hebt ergens een fout gemaakt in je configuratie, misschien zelfs op twee verschillende plekken...

Een andere optie is dat je de Interface niet DOWN hebt gehaald VOORDAT je wijzigingen hebt aangebracht en dan krijg je hetzelfde resultaat

De qemu, vlan en 802.1q module is geinstalleerd en geactiveerd.
Die 802.1q zie je ook terug in de output van ip link.

In theorie zou je tegenwoordig gewoon een VLAN Interface moeten kunnen aanmaken zonder extra modules te installeren of te activeren dus kijk daar eens naar

Firewall staat uit - zowel in Proxmox als de VM.

Het is Ubuntu en die wil nog weleens eigenwijs toch iets van een Firewall aanzetten dus check dat echt heeeel goed !!

/EDIT :

RobertMe schreef op donderdag 21 december 2023 @ 06:41:

offtopic:
scp is een antiek "protocol" over SSH om bestanden te kopiëren (?). Maar dat antieke protocol is al jaren opgevolgd door sftp. En scp het commando maakt ook al jaren gebruik van het sftp protocol. Dus SFTP was ook semi de juiste benaming. En bij FTP (bestaat dat nog? ) is het FTPS voor FTP over SSL / TLS.

Als dat echt serieus zo is dan is dat ronduit belachelijk gewoon, maar goed... qua termen gebruik wordt het sowieso steeds raarder in de IT/ICT dus dat kan er ook wel bij denk ik dan maar...

[ Voor 8% gewijzigd door nero355 op 21-12-2023 16:04 ]

[RobertMe]

nero355 schreef op donderdag 21 december 2023 @ 01:48:
[...]

FTP of SSH vanaf die LXC naar je Laptop of een NAS op je LAN niet mogelijk


[...]

IMHO bedoel je dan SCP of SSH naar die LXC toe ?!

offtopic:
scp is een antiek "protocol" over SSH om bestanden te kopiëren (?). Maar dat antieke protocol is al jaren opgevolgd door sftp. En scp het commando maakt ook al jaren gebruik van het sftp protocol. Dus SFTP was ook semi de juiste benaming. En bij FTP (bestaat dat nog? ) is het FTPS voor FTP over SSL / TLS.

[Airw0lf]

@nero355
Hoe regel je dat dan met een switch binnen een host en zijn VM's?
Ik kan natuurlijk de host op de switch aan één vlan knopen. Maar dan geldt dat voor alles wat er binnen host draait - toch?
Een andere route is de host toch vlan-aware geven? En maak je binnen de VM gebruik van vlans met 802.1q?
De laatste waar ik weet van heb is de VM meerdere "netwerkkaarten" geven - een per vlan.
Of zie ik hier iets over het hoofd?

Je hebt het over een fout op twee plekken. Welke twee plekken zouden dat kunnen zijn?

Je schrijft (min-of-meer) dat je tegenwoordig zonder het vlan package en de 802.1q mod toch vlans kunt aanmaken. Waar zit die functionaliteit dan in verpakt?

[ Voor 15% gewijzigd door Airw0lf op 21-12-2023 07:27 ]

[MJV]

nero355 schreef op donderdag 21 december 2023 @ 01:48:
[...]

Nou...

Vooruit .

Ik heb inderdaad elders een docker met wgeasy draaien, dat is nog een stukje makkelijker.

In dit geval was het toch een beetje dommigheid: een cat /root/configs/laptop.conf zorgt ervoor dat je vanuit de shell van de proxmox web-interface gewoon kunt kopiëren en plakken. Ik had dat eerder geprobeerd met nano en toen leek kopieren vanuit de browser uitgegrijsd; met de nadruk op leek.

[Zwelgje]

MJV schreef op donderdag 21 december 2023 @ 08:42:
[...]

Vooruit .

Ik heb inderdaad elders een docker met wgeasy draaien, dat is nog een stukje makkelijker.

In dit geval was het toch een beetje dommigheid: een cat /root/configs/laptop.conf zorgt ervoor dat je vanuit de shell van de proxmox web-interface gewoon kunt kopiëren en plakken. Ik had dat eerder geprobeerd met nano en toen leek kopieren vanuit de browser uitgegrijsd; met de nadruk op leek.

copy paste in de promox console shell (via de web int dus) is pas sinds de laatste versie mogelijk (8.1) wellicht is het je nu pas opgevallen dat het kan

[Cyphax]

Zwelgje schreef op donderdag 21 december 2023 @ 10:01:
[...]


copy paste in de promox console shell (via de web int dus) is pas sinds de laatste versie mogelijk (8.1) wellicht is het je nu pas opgevallen dat het kan

Dat lukt mij met Proxmox 7.4 anders prima, kopiëren en plakken in de terminal.

[nero355]

Airw0lf schreef op donderdag 21 december 2023 @ 07:03:
Hoe regel je dat dan met een switch binnen een host en zijn VM's?

Er zijn toch pakketten voor dergelijke functionaliteit beschikbaar

VMWare heeft vSwitch en onder Linux dan wel Proxmox heb je ook Open vSwitch onder andere.

Maar dat is niet waar ik het over had en dat lees je verderop

Ik kan natuurlijk de host op de switch aan één vlan knopen. Maar dan geldt dat voor alles wat er binnen host draait - toch?

Ja, dat is niet handig inderdaad, maar nogmaals : Niet boeiend

Een andere route is de host toch vlan-aware geven? En maak je binnen de VM gebruik van vlans met 802.1q?
De laatste waar ik weet van heb is de VM meerdere "netwerkkaarten" geven - een per vlan.
Of zie ik hier iets over het hoofd?

Ik geloof dat ik het destijds zo heb gedaan : https://engineerworkshop....ox-an-introductory-guide/
Niet via die HowTo maar wel op die manier als het goed is

Kan het niet meer checken, want ik heb al een tijdje mijn Proxmox bakkie gesloopt omdat ik hem voor wat anders nodig had

Je hebt het over een fout op twee plekken. Welke twee plekken zouden dat kunnen zijn?

Dat weet jij beter dan ik want jij kan op die bak kijken hoe alles is ingesteld

Mijn punt is dat dergelijke errors vaak door zulke handelingen komen dus loop dat na en in het ergste geval zou je een reboot kunnen proberen en dan maar hopen dat het wel goed gaat...

Je schrijft (min-of-meer) dat je tegenwoordig zonder het vlan package en de 802.1q mod toch vlans kunt aanmaken.
Waar zit die functionaliteit dan in verpakt?

Ik weet het verhaal niet meer precies, maar ik heb dus begrepen dat je alleen extra dot1q modules hoeft te installeren en modproben als je de host voor VLAN Switch wilt laten spelen of iets in die richting...

Dus het volgende zou sowieso moeten werken :
- Reguliere Interface, bijvoorbeeld eth0
- Sub-Interface dan wel VLAN Interface, bijvoorbeeld eth0.112 en onder sommige distro's ook wel als vlan0.112 vermeld.
- Alias Interface, bijvoorbeeld eth0:1 dat tegenwoordig ook onder sommige distro's anders wordt vermeld, geloof iets van alias0:1 of zoiets...

Zonder ook maar iets van extra modules in te laden!

[Zwelgje]

Cyphax schreef op donderdag 21 december 2023 @ 11:28:
[...]

Dat lukt mij met Proxmox 7.4 anders prima, kopiëren en plakken in de terminal.

ow excuus, ik was in de ware met copy/past op de console van de VM, dat is nieuw

[michaelw1998]

Momenteel heb ik een Intel NUC als media server (Plex, Sonarr, Radarr etc etc samen met Traefik om alles van buitenaf te bereiken) en een Raspberry Pi 4 met HomeAssistant OS.
De media server runt alles via Docker containers, waarbij er een container is die een VPN opzet waar dan een aantal download containers verplicht mee verbinden om zo via de VPN te routeren.

Nu wil ik binnenkort de NUC gaan vervangen door een nieuwer model en liefst alles van bovengenoemde op combineren. Kan ik Proxmox hier goed voor gebruiken om HA OS te draaien en daarnaast een rits aan media applicaties?
Of is dit wellicht een veel te moeilijke of zware setup voor de usecase?

[RobertMe]

michaelw1998 schreef op dinsdag 26 december 2023 @ 13:12:
Momenteel heb ik een Intel NUC als media server (Plex, Sonarr, Radarr etc etc samen met Traefik om alles van buitenaf te bereiken) en een Raspberry Pi 4 met HomeAssistant OS.
De media server runt alles via Docker containers, waarbij er een container is die een VPN opzet waar dan een aantal download containers verplicht mee verbinden om zo via de VPN te routeren.

Nu wil ik binnenkort de NUC gaan vervangen door een nieuwer model en liefst alles van bovengenoemde op combineren. Kan ik Proxmox hier goed voor gebruiken om HA OS te draaien en daarnaast een rits aan media applicaties?
Of is dit wellicht een veel te moeilijke of zware setup voor de usecase?

Je geeft niet aan wat dat "nieuwer model" is, dus dat maakt oordelen lastig
Maar volgens mij zijn er ook voldoende mede-Tweakers die Proxmox met een HA OS VM draaien op een N5105 systeem. En dat is nog minder dan een i3. En als je Plex gebruikt zonder transcoding dan zal media gebeuren ook vrijwel geen resources gebruiken.

[michaelw1998]

RobertMe schreef op dinsdag 26 december 2023 @ 13:19:
[...]

Je geeft niet aan wat dat "nieuwer model" is, dus dat maakt oordelen lastig
Maar volgens mij zijn er ook voldoende mede-Tweakers die Proxmox met een HA OS VM draaien op een N5105 systeem. En dat is nog minder dan een i3. En als je Plex gebruikt zonder transcoding dan zal media gebeuren ook vrijwel geen resources gebruiken.

Ik verwacht naar een NUC 12 Pro of 13 Pro met een van de volgende CPU's:
Intel Core i5-1340P
Intel Core i5-1250P
Intel Core i5-1240P
Intel Core i3-1315U

Liefst ook met hardware transcoding in Plex voor 4K films.

Ik lees her en der dat je Plex dan een eigen container geeft, en daarna verschilt het met 1 container met Docker voor alle *arr related applicaties of per applicatie weer een eigen container. Dit heeft zeker z'n eigen voor en nadelen denk ik zo?

[RobertMe]

michaelw1998 schreef op dinsdag 26 december 2023 @ 13:45:
Liefst ook met hardware transcoding in Plex voor 4K films.

Maar waarom? Dat is toch iets dat een fatsoenlijk playback device ook kan? Gisteren nog "getest". Een NVidia Shield met Kodi aan een oudere FHD TV. Die speelt een 4K HDR video prima af. Is geen transcoding voor nodig. De Shield doet prima de 4K downscalen en "HDR omzetten naar SDR". En ook op mijn antieke OnePlus 3 telefoon kan ik prima 4K afspelen.

[Slonzo]

RobertMe schreef op dinsdag 26 december 2023 @ 13:53:
Maar waarom?

Ik vermoed voor downscalen bij buitenshuis streamen.
Dan is bandbreedte wel een dingetje, realtime kijken zal er niet inzitten met 50 tot 100GB uploaden
Voor al de rest: eens met wat jjj aanhaalt.

[michaelw1998]

RobertMe schreef op dinsdag 26 december 2023 @ 13:53:
[...]

Maar waarom? Dat is toch iets dat een fatsoenlijk playback device ook kan? Gisteren nog "getest". Een NVidia Shield met Kodi aan een oudere FHD TV. Die speelt een 4K HDR video prima af. Is geen transcoding voor nodig. De Shield doet prima de 4K downscalen en "HDR omzetten naar SDR". En ook op mijn antieke OnePlus 3 telefoon kan ik prima 4K afspelen.

Merk dat geregeld als iemand buitenshuis kijkt de NUC staat te blazen om te transcoden (1080P), wellicht dan een download met baggere codec en ook zo nu en dan Audio die transcoded wordt.
Meeste wordt gekeken via Chromecast en/of Chrome browser op PC.

Als ik binnen huis kijk via de app van LG TV gaat het eigenlijk altijd wel goed.

[orvintax]

michaelw1998 schreef op dinsdag 26 december 2023 @ 14:01:
[...]

Merk dat geregeld als iemand buitenshuis kijkt de NUC staat te blazen om te transcoden (1080P), wellicht dan een download met baggere codec en ook zo nu en dan Audio die transcoded wordt.
Meeste wordt gekeken via Chromecast en/of Chrome browser op PC.

Als ik binnen huis kijk via de app van LG TV gaat het eigenlijk altijd wel goed.

Kan ook aan de default client Plex instellingen liggen. Als ik me niet vergis staat transcoden standaard aan voor buitenhuis streamen.

[RobertMe]

michaelw1998 schreef op dinsdag 26 december 2023 @ 14:01:
[...]

Merk dat geregeld als iemand buitenshuis kijkt de NUC staat te blazen om te transcoden (1080P), wellicht dan een download met baggere codec en ook zo nu en dan Audio die transcoded wordt.
Meeste wordt gekeken via Chromecast en/of Chrome browser op PC.

Ik zou HEVC geen bakkere codec noemen. Die is in ieder geval het meest efficiënt in bitrate en waar de meeste 4K rips in zijn (en ook de streaming diensten gebruiken) en ik toch zou prefereren over h264 voor kijken buitenshuis. Of VP9 bv efficiënter is weet ik niet, maar support daarvoor is ook lager.

Maar HEVC is uiteraard ook een zwaardere codec, zowel om te decoden als te encoden. Maar dat maakt het dus ook efficiënter. En mogelijk kun je aan de server kant ook tunen of wel of geen hardware encoding/decoding support gebruikt wordt. Een GPU kan dit normaliter beter dan een CPU in ieder geval. Encoding op GPU kan wel een slechtere kwaliteit geven dan op CPU. Doordat GPU encoding een fixed pipeline gebruikt.

[michaelw1998]

RobertMe schreef op dinsdag 26 december 2023 @ 14:13:
[...]

Ik zou HEVC geen bakkere codec noemen. Die is in ieder geval het meest efficiënt in bitrate en waar de meeste 4K rips in zijn (en ook de streaming diensten gebruiken) en ik toch zou prefereren over h264 voor kijken buitenshuis. Of VP9 bv efficiënter is weet ik niet, maar support daarvoor is ook lager.

Maar HEVC is uiteraard ook een zwaardere codec, zowel om te decoden als te encoden. Maar dat maakt het dus ook efficiënter. En mogelijk kun je aan de server kant ook tunen of wel of geen hardware encoding/decoding support gebruikt wordt. Een GPU kan dit normaliter beter dan een CPU in ieder geval. Encoding op GPU kan wel een slechtere kwaliteit geven dan op CPU. Doordat GPU encoding een fixed pipeline gebruikt.

HEVC is de enige die ik niet laat downloaden omdat ik daar voorheen zag dat deze altijd getranscode probeerde te worden, dat kan de huidige NUC niet aan (Intel Core i3-5010U)

[nero355]

RobertMe schreef op dinsdag 26 december 2023 @ 14:13:
Ik zou HEVC geen bakkere codec noemen.
Die is in ieder geval het meest efficiënt in bitrate en waar de meeste 4K rips in zijn (en ook de streaming diensten gebruiken) en ik toch zou prefereren over h264 voor kijken buitenshuis.

Maar HEVC is uiteraard ook een zwaardere codec, zowel om te decoden als te encoden.
Maar dat maakt het dus ook efficiënter.

Ik ken mijn Codecs/Containers en alles wat erbij komt kijken, maar ik begrijp effe niet wat je nou wilt zeggen : Heb je liever H.264 of H.265 en waarom dan

[RobertMe]

nero355 schreef op woensdag 27 december 2023 @ 01:10:
[...]

Ik ken mijn Codecs/Containers en alles wat erbij komt kijken, maar ik begrijp effe niet wat je nou wilt zeggen : Heb je liever H.264 of H.265 en waarom dan

H.265 / HEVC over H.264 staat er
HEVC gebruikt minder bits & bytes voor dezelfde of een betere kwaliteit. Dus waarom zou ik meer opslagruimte / bandbreedte gebruiken zonder zichtbaar voordeel?

[orvintax]

RobertMe schreef op woensdag 27 december 2023 @ 06:38:
[...]

H.265 / HEVC over H.264 staat er
HEVC gebruikt minder bits & bytes voor dezelfde of een betere kwaliteit. Dus waarom zou ik meer opslagruimte / bandbreedte gebruiken zonder zichtbaar voordeel?

Ondersteuning? Of niet genoeg reken kracht hebben om te transcoden.

[nero355]

orvintax schreef op woensdag 27 december 2023 @ 14:47:
Ondersteuning?

Een apparaat in de zin van een Tablet of Telefoon uit 2016 kan dat al of de eerder genoemde Nvidia Shield TV uit 2015 zelfs dus dat mag echt geen reden zijn om het niet te doen!

En wat betreft al die bandbreedte/datalimiet toestanden zou ik zeggen : Uit het raam staren i.p.v. naar je scherm staren is echt geen zonde hoor!

Als je echt zo'n verslaafde bent dan word je maar "één van de Unlimiteds"

/EDIT :

orvintax schreef op donderdag 28 december 2023 @ 01:38:
Maar de Chromecasts buiten de "nieuwe" met Google TV allemaal niet, buiten de ultra.
En die dingen zijn razend populair in mijn omgeving.

De volgende keer beter nadenken over een aankoop dan en die ouwe rommel gauw vervangen!

[ Voor 25% gewijzigd door nero355 op 29-12-2023 01:15 ]

[orvintax]

nero355 schreef op woensdag 27 december 2023 @ 15:29:
[...]

Een apparaat in de zin van een Tablet of Telefoon uit 2016 kan dat al of de eerder genoemde Nvidia Shield TV uit 2015 zelfs dus dat mag echt geen reden zijn om het niet te doen!

Maar de Chromecasts buiten de "nieuwe" met Google TV allemaal niet, buiten de ultra. En die dingen zijn razend populair in mijn omgeving.

[RobertMe]

Net een update van mijn Proxmox installatie gedaan, maar iets gaat niet helemaal lekker

Tijdens de update al was iets met /etc/network/interfaces, in de zin van dat de update daar "mooi" op bleef hangen en niks meer gebeurde. Nieuwe SSH sessie gestart en dat lukte gewoon, maar de bestaande (b)leek dood te zijn. Afgaande op /var/log/apt/term.log stond die op dat moment te wachten met een vraag / conflict op /etc/zfs/zed.d/zed.rc. Uiteindelijk maar het update proces gekilled en een dpkg --configure -a gedaan om de boel af te ronden. Vaagjes gaf die op dat moment ook al ergens aan dat er iets met ifupdown was.

Reboot gedaan, en... "same shit". Geen IPv6 connectivity en wat errors in de logs.
De logs:

Dec 30 21:39:26 nas networking[1252]: warning: vmbr0: pre-up cmd 'ip token set ::30 dev vmbr0' failed: returned 255 (Error: argument "vmbr0" is wrong: dev is invalid
Dec 30 21:39:26 nas networking[1252]: )
Dec 30 21:39:26 nas /usr/sbin/ifup[1252]: warning: vmbr0: pre-up cmd 'ip token set ::30 dev vmbr0' failed: returned 255 (Error: argument "vmbr0" is wrong: dev is invalid

)
Dec 30 21:39:26 nas networking[1252]: error: vmbr0: bridge port enp0s31f6 does not exist
Dec 30 21:39:26 nas /usr/sbin/ifup[1252]: error: vmbr0: bridge port enp0s31f6 does not exist
Dec 30 21:39:26 nas kernel: vmbr0: port 1(eno1) entered blocking state
Dec 30 21:39:26 nas kernel: vmbr0: port 1(eno1) entered disabled state
Dec 30 21:39:26 nas kernel: e1000e 0000:00:1f.6 eno1: entered allmulticast mode
Dec 30 21:39:26 nas networking[1252]: warning: vmbr0: apply bridge ports settings: bridge configuration failed (missing ports)
Dec 30 21:39:26 nas /usr/sbin/ifup[1252]: warning: vmbr0: apply bridge ports settings: bridge configuration failed (missing ports)

Toevoeging die ik zelf ooit in /etc/network/interfaces heb gedaan:

code:

iface vmbr0 inet6 auto
        pre-up ip token set ::30 dev vmbr0

Dus op basis van het log zijn er 2 dingen die mis gaan:

1. Er staat een poort in die helemaal niet bestaat?! Het systeem heeft 1 poort, en die heet eno1 (wat standaard is bij Debian IIRC?). Waar die enp0s31f6 vandaan komt? Ik heb geen idee. Ja, tegenwoordig doet Systemd / udev de netwerk device namen toekennen op basis van het adres. Maar ip link laat natuurlijk ook echt geen enp0s31f6 zien. Wat ik dan wel voor het eerst heb gecheckt: lspci geeft inderdaad aan dat de netwerkadapter op 0:1f:6 zit, wat uiteraard overeen komt met 0, 31 en 6)
2. Hoezo "Error: argument "vmbr0" is wrong: dev is invalid"?! Het staat in de pre-up van dit device / iface blok. Hoezo wordt deze pre-up dan uitgevoerd terwijl het device blijkbaar niet bestaat?!

Voer ik nu het commando uit gaat het nog steeds fout, maar met een andere error:

robert@nas:~$ sudo ip token set ::30 dev vmbr0
Error: ipv6: Router advertisement is disabled on device.

Dus voorheen was (op Proxmox 8 ) IPv6 beschikbaar incl. RA? En voorheen kon ik perfect een pre-up definieren voor IPv6 op de bridge? En nu (na een minor of patch update) is dit ineens allemaal niet meer mogelijk / rammelt het aan alle kanten?!

Edit:
To be clear: ik zat dus al op PVE 8, waarschijnlijk 8.0, en ben nu naar 8.1 gegaan. Maar deze config had ik al maanden, ook voordat ik naar 8 ben geupdate. Dus met een major update is het goed gegaan en nu is het ineens helemaal RIP na een minor update.

[ Voor 3% gewijzigd door RobertMe op 30-12-2023 22:25 ]

[Airw0lf]

@RobertMe - klinkt als er is iets veranderd in de hardware config?
Misschien een kaartje eruit gehaald of van plaats gewisseld? Een andere NVME disk? Een BIOS update?

[ Voor 7% gewijzigd door Airw0lf op 30-12-2023 23:16 ]

[RobertMe]

Airw0lf schreef op zaterdag 30 december 2023 @ 22:49:
@RobertMe - klinkt als er is iets veranderd in de hardware config?
Misschien een kaartje eruit gehaald of van plaats gewisselt? Een andere NVME disk? Een BIOS update?

Nope nope and nope. Ding werkte vandaag nog prima, en is vanzelf stuk gegaan met de update. Zowel tijdens de update als na reboot. Tijdens de update diezelfde error dat IPv6 RA disabled is (hetzelfde als post boot met handmatig uitvoeren) en bij reboot dan dikke failure op dat enerzijds die ens0p31f6 niet bestaat en anderzijds de hele bridge niet bestaat.
En eno0 werkt ook prima (is de fysieke interface) en de bridge vmbr0 wordt ook prima aangemaakt. Alleen heeft die nu mogelijk/waarschijnlijk die ens0p31f6 toegevoegd aan de bridge config? Terwijl dat ding helemaal niet zo heet.

Bij de release notes zag ik iets van een software defined networking ding dat bij 8.1 van experimental naar stable is gegaan. Dus zal vast daar mee te maken hebben...

Of wellicht iets met dat ik origineel meen ik nog van PVE 6 kom. Nee, de installatie is niet zó antiek. Is van begin-ish 2020 denk ik. Niet veel later kwam 7 uit. Dat mogelijk nog ergens udev rules zijn blijven steken v.w.b. de ethernet device naming en dat Proxmox nu zelf (foute) device namen verzonnen heeft of zo.

Zal morgen eens in de ZFS snapshots neuzen wat nu de file voor update was. Maar lijkt mij sterk dat daar die ens0p31f6 in stond (bovenop eno0). Alhoewel die dan waarschijnlijk alsnog prima zou booten.
Maar die 2 regels IPv6 werkte sowieso prima. Ook wel bewezen door het feit dat de SSH verbinding dood ging tijdens de update maar een nieuwe wel werkte (op hostname in DNS, met AAAA & A record, dus die nieuwe login was duidelijk (duur/traag) een IPv4 fallback omdat IPv6 unreachable was).

[marccom]

Geen config kopie in /var/log/ifupdown2/ ?
Wat voor nics heb je? Ik heb hier elke keer gedoe met updaten van proxmox sinds v8 icm Realtek interface, soortgelijke is problemen met devnames die spontaan wijzigen of verdwijnen.