Het grote Proxmox VE topic

[zeroday]

Cyphax schreef op dinsdag 18 april 2023 @ 08:26:
[...]

Wat hebben die nucs voor voordelen boven de microservers? Mijn Proxmox-host is toevallig ook zo'n gen8 met een quad core en 16GB geheugen, en hoewel ie nog voldoet zijn er wel harde grenzen aan, dus ben ik voortdurend nieuwsgierig naar wat alternatieven (en onvermijdelijk een opvolger voor de microserver) aan voordelen bieden.

euh .. nou .. ik heb zojuist 2 HP Gen8's uit mijn cluster gehaald (van 4) en heb gisteren alle VM's en LXC's eerst naar een gedeelde opslag gezet en daarna gemigreerd naar de NUC.

Voordeel voor mij:
minder HDD's, want de HDD's in die Gen8s zijn erg oud (8 jaar of ouder) ..
minder stroom als is dat niet eerder een argument geweest
gebruik van M2 SSD opslag
minder ruimte
Wel heb ik gekeken naar wat voor soort NUC wil ik hebben en dat was minimaal wel een i7 met 32GB
en een M2 erin. Nog op zoek naar 1 of 2
want ik wil eigenlijk mijn PBS ook wel naar een NUC en dan scheelt dat ook al heel veel.

En ik denk dat de i7 ook wel wat sneller is dan wat ik had met die 1265
https://cpu.userbenchmark...-i7-8559U/m20266vsm543591

En de CPU is wat nieuwer .. Het hoeft van mij allemaal niet splinternieuw als het maar werkt

[nero355]

powerboat schreef op dinsdag 18 april 2023 @ 09:14:
Ik denk ILO op de gen8, gen10 heeft dit niet meer (standaard).

Hij vroeg naar voordelen van de NUC niet naar nadelen van een nieuwere generatie!

Erg slecht van HPE trouwens!
De reden om Server grade spullen te kopen is onder andere juist de aanwezigheid van iets als iLO/iDRAC/IPMI voor beheer op afstand!

[zeroday]

nero355 schreef op dinsdag 18 april 2023 @ 13:51:
[...]

Hij vroeg naar voordelen van de NUC niet naar nadelen van een nieuwere generatie!

Erg slecht van HPE trouwens!
De reden om Server grade spullen te kopen is onder andere juist de aanwezigheid van iets als iLO/iDRAC/IPMI voor beheer op afstand!

tsja de enige keren dat ik ILO nodig had was omdat het systeem niet betrouwbaar genoeg was om door te starten vanaf USB / whatever hack het ook weer was. Dat ging met OpenMediavault niet lekker. En nog altijd ben ik een beetje bevreest om te rebooten met die dingen met een aparte HDD eraan.
maar goed dat is voor een ander gedeelte van het forum.

Proxmox draait hier inmiddels ok. wel wat geneuzel weer met wat ssh keys bij migratie van de ene naar de andere maar och

[Cyphax]

powerboat schreef op dinsdag 18 april 2023 @ 09:14:
[...]


Ik denk ILO op de gen8, gen10 heeft dit niet meer (standaard).

Ik heb de iLO van de Gen8 eigenlijk nog nooit gebruikt of nodig gehad (hoewel het vast handiger zal zijn geweest bij die keren dat ik die machine direct wilde bedienen dan er een monitor aan te koppelen).

zeroday schreef op dinsdag 18 april 2023 @ 10:05:
[...]


euh .. nou .. ik heb zojuist 2 HP Gen8's uit mijn cluster gehaald (van 4) en heb gisteren alle VM's en LXC's eerst naar een gedeelde opslag gezet en daarna gemigreerd naar de NUC.

Voordeel voor mij:
minder HDD's, want de HDD's in die Gen8s zijn erg oud (8 jaar of ouder) ..
minder stroom als is dat niet eerder een argument geweest
gebruik van M2 SSD opslag
minder ruimte
Wel heb ik gekeken naar wat voor soort NUC wil ik hebben en dat was minimaal wel een i7 met 32GB
en een M2 erin. Nog op zoek naar 1 of 2
want ik wil eigenlijk mijn PBS ook wel naar een NUC en dan scheelt dat ook al heel veel.

En ik denk dat de i7 ook wel wat sneller is dan wat ik had met die 1265
https://cpu.userbenchmark...-i7-8559U/m20266vsm543591

En de CPU is wat nieuwer .. Het hoeft van mij allemaal niet splinternieuw als het maar werkt

Minder stroom vind ik wel heel interessant. Ik heb qua cpu niet zo heel veel eisen (hoewel fatsoenlijk kunnen transcoden met Jellyfin misschien wel mooi zou kunnen zijn), het is meer dat 16GB geheugen een keer krap zal worden (ik heb nu 12GB in gebruik volgens Proxmox, maar alles draait redelijk idle het grootste deel van de tijd) en nieuwere hardware hopelijk wat minder verbruikt.

[Koepert]

zeroday schreef op maandag 17 april 2023 @ 22:06:
[...]


euh dat is nu het mooie van het hebben van een cluster, je kan hier gewoon rechtermuis doen en dan migrate (op de machine die je wilt migreren).. (moet je natuurlijk wel dezelfde soort storage hebben).

Ik heb vandaag een NUC in mijn cluster gehangen, van het weekend een NFS storage aangemaakt zodat ik de data van de hosts af kan krijgen en ik dan ook wat makkelijker HA kan opzetten.


Zometeen 2 HP gen 8 microservers uit en daarvoor een NUC in de plaats. Daarna nog een NUC zoeken en dan de laatste HP microserver ook uitfaseren ..

Ja idealiter wel, maar ik krijg timeouts op migratie-acties (of anything dat ik via webGUI wil doen).. en als ik n scherm aansluit (terwijl systeem aan blijft) krijgt die geen beeld.. niet via VGA, niet via DP.. dus voorlopig i'm stuck.. Dus wellicht dat ik de schijf er maar uit trek en extern probeer te klonen (geen scherm = geen controle over CloneZilla immers..)

[zeroday]

Koepert schreef op woensdag 19 april 2023 @ 11:20:
[...]


Ja idealiter wel, maar ik krijg timeouts op migratie-acties (of anything dat ik via webGUI wil doen).. en als ik n scherm aansluit (terwijl systeem aan blijft) krijgt die geen beeld.. niet via VGA, niet via DP.. dus voorlopig i'm stuck.. Dus wellicht dat ik de schijf er maar uit trek en extern probeer te klonen (geen scherm = geen controle over CloneZilla immers..)

Mja dat is vervelend die time-outs. dan ben ik er inderdaad bang voor en welich dat het klonen nog gaat helpen.

[Koepert]

OK.. I bit the bullet.. Ik had alles zoveel als mogelijk veilig gesteld en toen een F.I. gedaan.

Dus een Fuck It: reboot dat ding maar.. kijken wat er gebeuren gaat.. en zowaar hij komt weer up!! Het lijkt dat ie zich verslikt heeft in een uptime van.... Immens lang!

Dus nu ben ik bezig met alle CT's alsnog te migreren naar mn andere Host(s).. om asap die schijf te vervangen voor SSD

Maar heeft iemand ooit een migratie gedaan van een Home Assistant VM met 3 USB aansluitingen? Wat is de "netste" manier van migreren? Ik dacht zelf:

- VM shutdown
- remove USB "hardware"
- migrate VM
- Lang wachten ivm disk van 4mb en 32Gb
- USB aansluiten en passthrough op andere host
- VM up..

Enige is.. Ik wil deze host dus asap voorzien van SSD en dan eigenlijk terugmigreren van Home Assistant..
Dus wellicht ook gewoon bovenstaande stappen uitvoeren maar dan nog ff niet de USBs aansluiten en VM aanzetten?

[ Voor 6% gewijzigd door Koepert op 20-04-2023 11:47 ]

[nero355]

Koepert schreef op donderdag 20 april 2023 @ 11:46:
OK.. I bit the bullet.. Ik had alles zoveel als mogelijk veilig gesteld en toen een F.I. gedaan.

Dus een Fuck It: reboot dat ding maar.. kijken wat er gebeuren gaat.. en zowaar hij komt weer up!! Het lijkt dat ie zich verslikt heeft in een uptime van.... Immens lang!

"That is the way!"

Prima aanpak zo!

Maar heeft iemand ooit een migratie gedaan van een Home Assistant VM met 3 USB aansluitingen? Wat is de "netste" manier van migreren? Ik dacht zelf:

- VM shutdown
- remove USB "hardware"
- migrate VM
- Lang wachten ivm disk van 4mb en 32Gb
- USB aansluiten en passthrough op andere host
- VM up..

Lijkt mij een prima idee

Enige is.. Ik wil deze host dus asap voorzien van SSD en dan eigenlijk terugmigreren van Home Assistant..

Dus wellicht ook gewoon bovenstaande stappen uitvoeren maar dan nog ff niet de USBs aansluiten en VM aanzetten?

Wat voor SSD komt erin te zitten ?

- Als het een SATA ding is dan zou het eigenlijk geen probleem mogen zijn om alles meteen te doen.
- Als het een NVMe ding is dan heb je weleens kans dat het moederbord een beetje vreemd gaat doen en met wat adressen gaat zitten schuiven waardoor je Passthrough wordt aangetast, maar misschien ook niet...

Succes alvast in ieder geval!

[Koepert]

nero355 schreef op donderdag 20 april 2023 @ 14:55:
[...]

"That is the way!"

Prima aanpak zo!


[...]

Lijkt mij een prima idee


[...]

Wat voor SSD komt erin te zitten ?

- Als het een SATA ding is dan zou het eigenlijk geen probleem mogen zijn om alles meteen te doen.
- Als het een NVMe ding is dan heb je weleens kans dat het moederbord een beetje vreemd gaat doen en met wat adressen gaat zitten schuiven waardoor je Passthrough wordt aangetast, maar misschien ook niet...

Succes alvast in ieder geval!

Behalve dan dat ik er nu achterkom dat, zodra ik de VM wil migreren, het filesystem in read-only gaat. .. dus nu HDD eruit , SATA-SSD erin, en kijken of ik van die HDD nog data kan trekken..

[zeroday]

ook wel eens fijn, een proxmox host down gooien na een update en binnen 2 min alles afgesloten en weer opgestart..

[Koepert]

Hoi

Dat kan ik beamen Gisteren SSD geplaatst, Proxmox geïnstalleerd , toegevoegd aan cluster, Home assistant VM aangemaakt, back-up teruggezet (helaas van zaterdag) en met een herstart of 3 was ik weer up en running. En elke herstart was echt in notime gedaan. in GUI zelfs niet eens " merkbaar" zeg maar.

[Limbeckx]

Zaterdag Proxmox geinstalleerd door eerst debian bullseye te installeren en daarboven op proxmox. Nu wil ik een linux bridge aanmaken en probeer ik ipv4/cidr te begrijpen. Mijn eigen router begint op 192.168.1.1. Wat zou ik dan logischerswijs moeten invullen bij ipv4/cidr?

[zeroday]

Limbeckx schreef op maandag 24 april 2023 @ 10:05:
Zaterdag Proxmox geinstalleerd door eerst debian bullseye te installeren en daarboven op proxmox. Nu wil ik een linux bridge aanmaken en probeer ik ipv4/cidr te begrijpen. Mijn eigen router begint op 192.168.1.1. Wat zou ik dan logischerswijs moeten invullen bij ipv4/cidr?

192.168.1.x/24
waar x het IP is van je proxmox host

door die /24 kunnen de VM's etc. een eigen IP adres krijgen en praten met de rest van je netwerk.

[Limbeckx]

Werkt top! En in de gateway heb ik dan 192.168.1.1 gezet. Of moet dat het ip adres van de host zijn?

[zeroday]

Limbeckx schreef op maandag 24 april 2023 @ 13:55:
Werkt top! En in de gateway heb ik dan 192.168.1.1 gezet. Of moet dat het ip adres van de host zijn?

Gateway is veelal je router adres.

[MakhouT]

Kan iemand mij even helpen? Wat is de recommended way to go?
Scenario 1:
VM aanmaken en daarop docker draaien

Scenario 2:
Container aanmaken en de apps direct daarop draaien zonder docker (want docker draaien op een LXC werkt blijkbaar niet)

Apps dat ik zou willen draaien zijn plex, radarr, sonarr, etc

[RobertMe]

MakhouT schreef op dinsdag 25 april 2023 @ 09:18:
Kan iemand mij even helpen? Wat is de recommended way to go?
Scenario 1:
VM aanmaken en daarop docker draaien

Scenario 2:
Container aanmaken en de apps direct daarop draaien zonder docker (want docker draaien op een LXC werkt blijkbaar niet)

Apps dat ik zou willen draaien zijn plex, radarr, sonarr, etc

Scenario 3: Docker in LXC draaien, wat wel werkt en ik al 3 jaar doe

[MakhouT]

RobertMe schreef op dinsdag 25 april 2023 @ 09:21:
[...]

Scenario 3: Docker in LXC draaien, wat wel werkt en ik al 3 jaar doe

Ow?
Heb je die draaien als een privileged of unprivileged container?

[RobertMe]

MakhouT schreef op dinsdag 25 april 2023 @ 09:25:
[...]


Ow?
Heb je die draaien als een privileged of unprivileged container?

Ja

Afgaande op wat ik in de config file zie gaat het IIRC op keyctl aan zetten en nesting aan zetten (beide zijn IIRC vinkjes in de web UI). Waarna het werkt als unprivileged container.

[MakhouT]

RobertMe schreef op dinsdag 25 april 2023 @ 09:34:
[...]

Ja

Afgaande op wat ik in de config file zie gaat het IIRC op keyctl aan zetten en nesting aan zetten (beide zijn IIRC vinkjes in de web UI). Waarna het werkt als unprivileged container.

Ok challenge accepted! Direct eens proberen

[zeroday]

RobertMe schreef op dinsdag 25 april 2023 @ 09:21:
[...]

Scenario 3: Docker in LXC draaien, wat wel werkt en ik al 3 jaar doe

Scenario 4: gewoon geen docker gebruiken en bijv. losse LXC's maken.

Enige wat niet automatisch bij mij kan updaten zonder abonnement volgens mij is Plex maar de rest gaat gewoon automatisch en ik heb er geen omkijken naar.

[orvintax]

zeroday schreef op dinsdag 25 april 2023 @ 11:08:
[...]


Scenario 4: gewoon geen docker gebruiken en bijv. losse LXC's maken.

Enige wat niet automatisch bij mij kan updaten zonder abonnement volgens mij is Plex maar de rest gaat gewoon automatisch en ik heb er geen omkijken naar.

Ik ga hier ook mee in. Ik blijf dit herhalen, maar Proxmox is gemaakt voor VMs en LXC containers. In sommige usecases loont het om Docker te draaien binnenin een VM. Maar als je toch van plan bent alles in Docker te draaien (geen idee of OP dat ook wilt) dan kun je die extra virtualisatie laag net zo goed overslaan.

Ondanks dat het kan in Proxmox met unprivileged containers, raad Proxmox dit zelf ook af vanuit een security perspectief. Bron

[RobertMe]

orvintax schreef op dinsdag 25 april 2023 @ 14:05:
[...]

Ik ga hier ook mee in. Ik blijf dit herhalen, maar Proxmox is gemaakt voor VMs en LXC containers. In sommige usecases loont het om Docker te draaien binnenin een VM. Maar als je toch van plan bent alles in Docker te draaien (geen idee of OP dat ook wilt) dan kun je die extra virtualisatie laag net zo goed overslaan.

Ondanks dat het kan in Proxmox met unprivileged containers, raad Proxmox dit zelf ook af vanuit een security perspectief. Bron

Persoonlijk stap ik er momenteel dan ook vanaf. Het grote voordeel van Docker in LXC / VM op Proxmox was voor mij dat ik de boel kan segmenteren naar mijn netwerk. Dus alle Docker containers gerelateerd aan domotica draaien in een LXC die alleen een netwerk pootje heeft in het IoT VLAN, en bv de fileserver en backup/synchronisatie tools voor PCs/... in een LXC die weer alleen in het prive VLAN zit. Proxmox maakte het daabij makkelijk om in principe dus een Docker instance maar in één netwerk te hangen, zonder de overhead van VMs. En voor thuisgebruik zal het security aspect van onveiligheid van Docker in LXC waarschijnlijk minder spelen.

Intussen ben ik zaken wel over aan het zetten naar een PCtje met plain Debian en op basis van routing rules de Docker bridges andere routing tabellen te laten gebruiken zodat containers gerelateerd aan IoT dus niet alleen in hetzelfde Docker netwerk zitten maar de bridge van dat netwerk ook een routing tabel gebruikt die alleen binnen IoT kan routeren en het IoT VLAN dus ook de interface is, en de port forwards van de containers luisteren dan ook alleen op de specifieke adressen.

[MakhouT]

Ik heb een hele dag in meeting gezeten, dus nog niet kunnen uitproberen. Waarschijnlijk als de kindjes vanavond in bed liggen

zeroday schreef op dinsdag 25 april 2023 @ 11:08:
[...]


Scenario 4: gewoon geen docker gebruiken en bijv. losse LXC's maken.

Enige wat niet automatisch bij mij kan updaten zonder abonnement volgens mij is Plex maar de rest gaat gewoon automatisch en ik heb er geen omkijken naar.

Hmmm LXC 1 draait plex, LXC 2 draait radarr, LXC 3 draait medusa, etc
Is dat de bedoeling? Ik heb die vraag in het verleden gesteld en er werd mij verteld wat ik zou doen als ik de server moest huren, meerdere servers huren voor elke app dat ik wil of 1 server met meerdere apps daarin.

Ook als je meerdere LXC hebt, hoe werkt het dan met de filesysteem? Als LXC 3 een file binnenhaalt en plex draait op LXC 1, hoe geraken ze dan bij elkaar?

[MakhouT]

En qua security maak ik me niet veel zorgen. Het is gewoon allemaal puur voor thuis gebruik

[Sypher]

MakhouT schreef op dinsdag 25 april 2023 @ 14:56:
Ook als je meerdere LXC hebt, hoe werkt het dan met de filesysteem? Als LXC 3 een file binnenhaalt en plex draait op LXC 1, hoe geraken ze dan bij elkaar?

Om containers bij elkaars data te laten kan je daarvoor een mount-point aanmaken zodat ze allebei in een map op je host filesysteem kunnen. Daar geef je bijvoorbeeld op dat de map /data van je hostsysteem onder /media beschikbaar is in je containers.

Ze delen dan die map dus als container 1 er iets in zet, kan container 2 dat meteen zien en er iets mee doen.

[RobertMe]

Sypher schreef op dinsdag 25 april 2023 @ 15:18:
[...]


Om containers bij elkaars data te laten kan je daarvoor een mount-point aanmaken zodat ze allebei in een map op je host filesysteem kunnen. Daar geef je bijvoorbeeld op dat de map /data van je hostsysteem onder /media beschikbaar is in je containers.

Ze delen dan die map dus als container 1 er iets in zet, kan container 2 dat meteen zien en er iets mee doen.

Als je zaken hebt die aan elkaar gerelateerd zijn hoort het gewoon in 1 LXC. Een LXC moet je vergelijken met een fysieke server of VM, en je gaat ook niet tich servers optuigen om op 1 server Plex te draaien, op 1 Sonarr, op 1 Radarr, op 1 een torrent client, .... Dan horen die zaken gewoon bij elkaar en knal je ze op 1 server. Waarbij er dus ook geen behoefte is om het bij LXC ineens wel te splitsen.

Bij Docker is het dan wel awesome om alleen s in losse containers te doen (en LXC zijn natuurlijk ook containers, waardoor meer dan eens de vergelijking wordt gemaakt). Maar de filosofie van Docker & LXC staat haaks op elkaar. Docker is gericht op het isoleren van 1 proces / programma zodat je dit kunt draaien zonder je zorgen te maken over dependencies etc en updaten "gestandaardiseerd" is (pull & run nieuw image). LXC is echt een volledig Linux OS met een init systeem / service management, package manager, ..., een VM zonder de echte virtualisatie dus maar puur isolatie.

[Sypher]

RobertMe schreef op dinsdag 25 april 2023 @ 15:39:
[...]

Als je zaken hebt die aan elkaar gerelateerd zijn hoort het gewoon in 1 LXC. Een LXC moet je vergelijken met een fysieke server of VM, en je gaat ook niet tich servers optuigen om op 1 server Plex te draaien, op 1 Sonarr, op 1 Radarr, op 1 een torrent client, .... Dan horen die zaken gewoon bij elkaar en knal je ze op 1 server. Waarbij er dus ook geen behoefte is om het bij LXC ineens wel te splitsen.

Bij Docker is het dan wel awesome om alleen s in losse containers te doen (en LXC zijn natuurlijk ook containers, waardoor meer dan eens de vergelijking wordt gemaakt). Maar de filosofie van Docker & LXC staat haaks op elkaar. Docker is gericht op het isoleren van 1 proces / programma zodat je dit kunt draaien zonder je zorgen te maken over dependencies etc en updaten "gestandaardiseerd" is (pull & run nieuw image). LXC is echt een volledig Linux OS met een init systeem / service management, package manager, ..., een VM zonder de echte virtualisatie dus maar puur isolatie.

Of "het hoort" is maar net wat je voorkeur heeft

Ik behandel al mijn LXC's als containers waarbij elke service een eigen container heeft.

Daar zijn legio redenen voor te bedenken, maar de voornaamste die ik zie:

• Security-wise wel zo fijn om alles gescheiden te hebben dat een exploit in app A niet meteen al je data van B, C, D, E en F ook op straat gooit
• Je kan qua dependencies (Python, Node, PHP etc) per container kiezen wat je nodig hebt zonder kunstgrepen
• Je kan LXC containers individueel herstarten, eventueel verplaatsen naar andere nodes als je een cluster hebt
• Je kan beter de performance in de gaten houden vanuit Proxmox UI
• Het is makkelijker om te mixen-en-matchen qua base images. Waar mogelijk pak ik altijd Alpine, maar soms heb je toch een full-blown libc nodig en kom je dus bij Ubuntu/Debian uit
• Voor sommige apps heb je dependencies nodig die alleen in oudere of nieuwere versies van je OS zitten, dus het is fijner zodat je ze op deze wijze zelf kan scheiden en bepalen wat/hoe je update
• Backups zijn makkelijker (+kleiner) want je maakt een backup van een container en bij herstel vervang je alleen de data voor die service ipv je "mega container" met al je media tools
• Even een app testen kan zonder dat je rommel achter laat.

Maar goed, zoals ik al zei het is maar net wat je eigen voorkeur heeft. Als het voor jou beter werkt om alles op 1 LXC te knallen kan je dat doen.

[zeroday]

MakhouT schreef op dinsdag 25 april 2023 @ 14:56:
Ik heb een hele dag in meeting gezeten, dus nog niet kunnen uitproberen. Waarschijnlijk als de kindjes vanavond in bed liggen


[...]


Hmmm LXC 1 draait plex, LXC 2 draait radarr, LXC 3 draait medusa, etc
Is dat de bedoeling? Ik heb die vraag in het verleden gesteld en er werd mij verteld wat ik zou doen als ik de server moest huren, meerdere servers huren voor elke app dat ik wil of 1 server met meerdere apps daarin.

Ook als je meerdere LXC hebt, hoe werkt het dan met de filesysteem? Als LXC 3 een file binnenhaalt en plex draait op LXC 1, hoe geraken ze dan bij elkaar?

Tsja storage is alles via SMB of NFS dus zo komen ze bij elkaar. Ik ga niet lopen te knoeien met de storage van een LXC of een VM.

Zo vind ik het maar ingewikkeld om alles in een /home of /opt folder te flikkeren en dan maar te zoeken waar een bepaald pakket iets heeft neergedumpt.
Dan liever dat los van elkaar en via de NAS bezig gaan.
Shared storage is bijna nooit noodzakelijk.

Het is hetzelfde als vroeger de 'Mini-Set' (audio apparaat voor de oudgedienden onder ons)
Als iets kapot gaat is alles kapot en doet niets het niet meer .. Dus als mijn LXC met docker en alles erom heen kaduk gaat heb ik niets meer

Als ik een LXC verpruts dan is alleen die LXC offline en de rest pruttelt gewoon door.

[ Voor 12% gewijzigd door zeroday op 25-04-2023 16:18 ]

[RobertMe]

Sypher schreef op dinsdag 25 april 2023 @ 16:06:
[...]


Of "het hoort" is maar net wat je voorkeur heeft

Ik behandel al mijn LXC's als containers waarbij elke service een eigen container heeft.

Daar zijn legio redenen voor te bedenken, maar de voornaamste die ik zie:

• Security-wise wel zo fijn om alles gescheiden te hebben dat een exploit in app A niet meteen al je data van B, C, D, E en F ook op straat gooit
• Je kan qua dependencies (Python, Node, PHP etc) per container kiezen wat je nodig hebt zonder kunstgrepen
• Je kan LXC containers individueel herstarten, eventueel verplaatsen naar andere nodes als je een cluster hebt
• Je kan beter de performance in de gaten houden vanuit Proxmox UI
• Het is makkelijker om te mixen-en-matchen qua base images. Waar mogelijk pak ik altijd Alpine, maar soms heb je toch een full-blown libc nodig en kom je dus bij Ubuntu/Debian uit
• Voor sommige apps heb je dependencies nodig die alleen in oudere of nieuwere versies van je OS zitten, dus het is fijner zodat je ze op deze wijze zelf kan scheiden en bepalen wat/hoe je update
• Backups zijn makkelijker (+kleiner) want je maakt een backup van een container en bij herstel vervang je alleen de data voor die service ipv je "mega container" met al je media tools
• Even een app testen kan zonder dat je rommel achter laat.

Maar goed, zoals ik al zei het is maar net wat je eigen voorkeur heeft. Als het voor jou beter werkt om alles op 1 LXC te knallen kan je dat doen.

Die redenen klinken voornamelijk allemaal als redeneom Docker te gebruiken . Allemaal geïsoleerd dus geen / kleine kans op exploits onderling (vergeet niet dat LXC & Docker exact dezelfde Linux kernel features gebruikt en dus exact net zo (on)veilig is); Dependencies zitten uberhaupt al ingebakken in het image dus heb je zelf helemaal geen omkijken naar; Individueel (her) starten kan uiteraard en met Docker Swarm (clustering) kun je vast en zeker eenvoudig verplaatsen tussen nodes; (Performance) monitoring kan vast met bv Portainer, en anders kan het bv ook met Telegraf (+ InfluxDB en evt Grafana); Debian vs Alpine zijn vaak al opties bij de images (vaak, niet altijd), en je kunt altijd zelf nog een eigen image bakken; Apps met oude dependencies en daarsoor een oudere distro vereisen is een non-issue want dependencies zijn al niet jou probleem; Backups maken kan van de volumes, of je bind mount een directory die je backuped. En backups van de installatie zelf hoeft niet want de installatie is het image dat je (zeer waarschijnlijk) niet eens zelf maakt en anders gaat het maar om een pasr txt files; App testen zonder dat je rommel achterlaat kan bij Docker natuurlijk door bv even een image op te spinnen van Debian/Ubuntu/Alpine, doe het met docker run --rm ... en als je de shell exit is meteen alles foetsie.

Maargoed, ieder zijn ding

[RobertMe]

zeroday schreef op dinsdag 25 april 2023 @ 16:15:
Als iets kapot gaat is alles kapot en doet niets het niet meer .. Dus als mijn LXC met docker en alles erom heen kaduk gaat heb ik niets meer

Als ik een LXC verpruts dan is alleen die LXC offline en de rest pruttelt gewoon door.

Dat is natuurlijk een flauwe vergelijking. Niemand die je verplicht om maar één LXC op te zetten en daar Docker in te draaien met alles dat je draait. Terugkomende op mijn eerdere bericht met gebruik van LXC om te segmenteren naar netwerk/VLAN: ik heb nu ook meerdere LXCs die in hetzelfde netwerk hangen. De LXC die als "prive NAS" dienst doet draait Samba, Syncthing en Paperless, maar er is ook een LXC in hetzelfde VLAN hangt die wat tooltjes draait (zoals bv Mozilla Sync).

Daarnaast kan natuurlijk ook net zo goed ook de server of Proxmox installatie stuk gaan. In dat geval is nog steeds alles down, hoe veel LXCs je ook hebt.

Overigens wel eens dat (vele) LXCs aan elkaar knopen middels bind mounts / Proxmox shared folders ook geen goed idee is. En dat een NAS idee waarbij eentje echt meer eigenaar is en deze via NFS / SMB / ... beschikbaar stelt en (ook) de overige containers via die weg deze bestanden benaderen beter is. Ook daarbij weer: vergelijk het met meerdere fysieke servers (of VMs), ook dan kun je niet meerdere OSen/installaties een bind mount / path forward naar dezelfde map laten doen maar moet je met NFS / SMB / ... aan de slag.

[zeroday]

RobertMe schreef op dinsdag 25 april 2023 @ 16:34:
[...]

Dat is natuurlijk een flauwe vergelijking. Niemand die je verplicht om maar één LXC op te zetten en daar Docker in te draaien met alles dat je draait. Terugkomende op mijn eerdere bericht met gebruik van LXC om te segmenteren naar netwerk/VLAN: ik heb nu ook meerdere LXCs die in hetzelfde netwerk hangen. De LXC die als "prive NAS" dienst doet draait Samba, Syncthing en Paperless, maar er is ook een LXC in hetzelfde VLAN hangt die wat tooltjes draait (zoals bv Mozilla Sync).

Niet flauw bedoelt en iedereen moet doen wat hij of zij wil. Als je bedreven bent in Docker: ga je gang
ik kan er niet mee overweg en ja dat ligt aan mij.
En ja alles kan stuk en niemand verplicht je om het te draaien.

Doe wat je wil en als docker je gemak geeft mij best.

[cville]

MakhouT schreef op dinsdag 25 april 2023 @ 09:18:
Kan iemand mij even helpen? Wat is de recommended way to go?
Scenario 1:
VM aanmaken en daarop docker draaien

Scenario 2:
Container aanmaken en de apps direct daarop draaien zonder docker (want docker draaien op een LXC werkt blijkbaar niet)

Apps dat ik zou willen draaien zijn plex, radarr, sonarr, etc

Bij mij draait docker probleemloos op een LXC (privileged).

[MakhouT]

RobertMe schreef op dinsdag 25 april 2023 @ 09:34:
[...]

Ja

Afgaande op wat ik in de config file zie gaat het IIRC op keyctl aan zetten en nesting aan zetten (beide zijn IIRC vinkjes in de web UI). Waarna het werkt als unprivileged container.

Net de tijd gehad om het even te proberen en het is me inderdaad gelukt om docker binnen een LXC te draaien!
Thanks voor de tip. Ik heb bv. net portainer gedraaid en ik geraak er vanaf de host ook gewoon aan.

Voor de mensen die interesse hebben, ik heb deze guide even gevolgd
https://www.wundertech.ne...ox_Using_an_LXC_Container

[MakhouT]

Nog er wat mee zitten spelen en nu stoot ik op docker fouten op. Heeft dit met proxmox te maken of is het puur docker issue?

root@Plex:~# docker run hello-world
docker: Error response from daemon: OCI runtime create failed: container_linux.go:367: starting container process caused: process_linux.go:495: container init caused: process_linux.go:458: setting cgroup config for procHooks process caused: can't load program: operation not permitted: unknown.
ERRO[0000] error waiting for container: context canceled

[powerboat]

Het is maar hoe je het benadert, ik gebruik beide gecombineerd een vm i.c.m. docker. Zo heb ik de flexibiliteit van een hypervisor/vm maar de easy update/upgrade mogelijkheden van docker.

Denk dat ik hiermee het beste van 2 werelden combineer en dat dit heel goed hand in hand kan gaan.

Maak overigens zelf geen eigen docker images maar enkel om server applicaties uit te rollen.

[krijn1985]

MakhouT schreef op woensdag 26 april 2023 @ 00:56:
Nog er wat mee zitten spelen en nu stoot ik op docker fouten op. Heeft dit met proxmox te maken of is het puur docker issue?

root@Plex:~# docker run hello-world
docker: Error response from daemon: OCI runtime create failed: container_linux.go:367: starting container process caused: process_linux.go:495: container init caused: process_linux.go:458: setting cgroup config for procHooks process caused: can't load program: operation not permitted: unknown.
ERRO[0000] error waiting for container: context canceled

Ben er geen expert in maar leest als docker/proxmox combi probleem. Welke LXC heb je gepakt?
Ik heb ook wel eens problemen gehad om docker in LXC te draaien omdat ik de LXC geupdatete had naar bullseye terwijl proxmox nog op buster zat (volgens mij). Is je proxmox installatie ook up to date?

[orvintax]

MakhouT schreef op dinsdag 25 april 2023 @ 14:56:
Ik heb een hele dag in meeting gezeten, dus nog niet kunnen uitproberen. Waarschijnlijk als de kindjes vanavond in bed liggen


[...]


Hmmm LXC 1 draait plex, LXC 2 draait radarr, LXC 3 draait medusa, etc
Is dat de bedoeling? Ik heb die vraag in het verleden gesteld en er werd mij verteld wat ik zou doen als ik de server moest huren, meerdere servers huren voor elke app dat ik wil of 1 server met meerdere apps daarin.

Ik vind vraag nogal misleidend. Want thuis moet je niet betalen per VM.

Beide zijn overigens valide, ligt denk ik aan je preferentie en usecase.

Ook als je meerdere LXC hebt, hoe werkt het dan met de filesysteem? Als LXC 3 een file binnenhaalt en plex draait op LXC 1, hoe geraken ze dan bij elkaar?

Je zal dan moeten werken met een soort bindmount naar je Proxox host en je LXCs daar je bestanden opzetten en ophalen. Of iets van een NFS server opzetten waarvan de LXCs kunnen verbinden. Maar die eerste is makkelijker.

[CurlyMo]

Ik draai al sinds een hele tijd Mailcow binnen een LXC container. Dat zijn ook meerdere dockers bij elkaar.

Ik heb een VPS bij Contabo en daar heb ik gewoon Proxmox op gezet. Zolang je alles in LXC blijft doen draait Proxmox binnen Proxmox (ja, contabo draait op Promox) prima.

[MakhouT]

krijn1985 schreef op woensdag 26 april 2023 @ 08:08:
[...]


Ben er geen expert in maar leest als docker/proxmox combi probleem. Welke LXC heb je gepakt?
Ik heb ook wel eens problemen gehad om docker in LXC te draaien omdat ik de LXC geupdatete had naar bullseye terwijl proxmox nog op buster zat (volgens mij). Is je proxmox installatie ook up to date?

Ik zit op volgende zaken:

root@pve:~# pveversion
pve-manager/7.3-3/c3928077 (running kernel: 5.15.74-1-pve)


root@Plex:~# hostnamectl
Static hostname: Plex
Icon name: computer-container
Chassis: container
Virtualization: lxc
Operating System: Debian GNU/Linux 11 (bullseye)
Kernel: Linux 5.15.74-1-pve
Architecture: x86-64

Gecheckt of ik nog iets kon updaten en alles leek up-to-date te zijn.
Ik had portainer en hello-world gedraaid en die werkten. Nadien heb ik een docker-compose command gedraaid om enkele containers te draaien en sindsdien heb ik het.
Nu werkt hello-world en portainer ook niet.

EDIT: Ik heb een unprivileged container draaien met nesting en keyctl enabled

[ Voor 3% gewijzigd door MakhouT op 26-04-2023 09:39 ]

[dcm360]

Mijn gok is dat je de docker-versie uit de standaard sources van Debian gebruikt, en niet die van Docker? Tenminste, dat was het geval toen ik tegen die melding aan liep.

[RobertMe]

dcm360 schreef op woensdag 26 april 2023 @ 09:48:
Mijn gok is dat je de docker-versie uit de standaard sources van Debian gebruikt, en niet die van Docker? Tenminste, dat was het geval toen ik tegen die melding aan liep.

En dat zou dan weer kunnen door:

Nadien heb ik een docker-compose command gedraaid

Als dat vooraf is gegaan door een apt install kan het zomaar zijn dat die uit de Debian repo is gekomen met dependency op de Debian repo Docker, en die uit de Docker repo dus verwijderd / vervangen is.

[MakhouT]

dcm360 schreef op woensdag 26 april 2023 @ 09:48:
Mijn gok is dat je de docker-versie uit de standaard sources van Debian gebruikt, en niet die van Docker? Tenminste, dat was het geval toen ik tegen die melding aan liep.

Nee denk ik niet, ik heb deze command gebruikt

curl -sSL https://get.docker.com/ | sh

RobertMe schreef op woensdag 26 april 2023 @ 10:03:
[...]

En dat zou dan weer kunnen door:

[...]

Als dat vooraf is gegaan door een apt install kan het zomaar zijn dat die uit de Debian repo is gekomen met dependency op de Debian repo Docker, en die uit de Docker repo dus verwijderd / vervangen is.

[/quote]

Kan ik die dan nog terug vervangen om het terug goed te krijgen? Of ben ik screwed en moet ik de install van de LXC gewoon terug doen?

[krijn1985]

MakhouT schreef op woensdag 26 april 2023 @ 10:20:
[...]


Nee denk ik niet, ik heb deze command gebruikt

[...]


[...]


[/quote]

Kan ik die dan nog terug vervangen om het terug goed te krijgen? Of ben ik screwed en moet ik de install van de LXC gewoon terug doen?

Ik heb even in mijn aantekening gekeken en heb zelf via de repository stappen docker geïnstalleerd: https://docs.docker.com/engine/install/debian/, maar gok dat dit niet heel anders zou moeten zijn dan via het script. Je LXC al even een reboot gegeven?

[orvintax]

MakhouT schreef op woensdag 26 april 2023 @ 10:20:
[...]


Nee denk ik niet, ik heb deze command gebruikt

[...]


[...]


[/quote]

Kan ik die dan nog terug vervangen om het terug goed te krijgen? Of ben ik screwed en moet ik de install van de LXC gewoon terug doen?

Wat heb je gebruikt om Docker compose te installeren?

[dcm360]

De makkelijkste manier om te achterhalen of je de versie van Docker of de door Debian meegeleverde gebruikt is door 'docker version' uit te voeren. De Engine Version zou dan 23.0.4 moeten zijn (bij de versie van Docker die zou moeten werken).

[ Voor 11% gewijzigd door dcm360 op 26-04-2023 10:51 ]

[MakhouT]

krijn1985 schreef op woensdag 26 april 2023 @ 10:45:
[...]


Ik heb even in mijn aantekening gekeken en heb zelf via de repository stappen docker geïnstalleerd: https://docs.docker.com/engine/install/debian/, maar gok dat dit niet heel anders zou moeten zijn dan via het script. Je LXC al even een reboot gegeven?

Yes de LXC had ik al eens gereboot. Heeft niet geholpen. Ik heb ook docker manueel gestopt en terug opgestart, zonder succes.

orvintax schreef op woensdag 26 april 2023 @ 10:47:
[...]

Wat heb je gebruikt om Docker compose te installeren?

Net even in mijn history gekeken en ik heb de volgende commando gebruikt om docker compose te installeren

code:

apt install docker-compose

dcm360 schreef op woensdag 26 april 2023 @ 10:50:
De makkelijkste manier om te achterhalen of je de versie van Docker of de door Debian meegeleverde gebruikt is door 'docker version' uit te voeren. De Engine Version zou dan 23.0.4 moeten zijn (bij de versie van Docker die zou moeten werken).

Die zit bij mij dus niet op 23.0.4

root@Plex:~# docker version
Client:
Version: 20.10.5+dfsg1
API version: 1.41
Go version: go1.15.15
Git commit: 55c4c88
Built: Mon May 30 18:34:49 2022
OS/Arch: linux/amd64
Context: default
Experimental: true

Server:
Engine:
Version: 20.10.5+dfsg1
API version: 1.41 (minimum version 1.12)
Go version: go1.15.15
Git commit: 363e9a8
Built: Mon May 30 18:34:49 2022
OS/Arch: linux/amd64
Experimental: false
containerd:
Version: 1.4.13~ds1
GitCommit: 1.4.13~ds1-1~deb11u3
runc:
Version: 1.0.0~rc93+ds1
GitCommit: 1.0.0~rc93+ds1-5+deb11u2
docker-init:
Version: 0.19.0
GitCommit:

[dcm360]

MakhouT schreef op woensdag 26 april 2023 @ 11:26:
[...]

Yes de LXC had ik al eens gereboot. Heeft niet geholpen. Ik heb ook docker manueel gestopt en terug opgestart, zonder succes.


[...]

Net even in mijn history gekeken en ik heb de volgende commando gebruikt om docker compose te installeren

code:

apt install docker-compose

[...]


Die zit bij mij dus niet op 23.0.4

[...]

Ahja, als ik docker-compose wil installeren, dan wordt de Docker-versie van Docker weer verwijderd en de versie van Debian weer geïnstalleerd. Als ik het zo lees moet je niet docker-compose maar docker-compose-plugin hebben tegenwoordig.

[CurlyMo]

dcm360 schreef op woensdag 26 april 2023 @ 11:34:
[...]
Als ik het zo lees moet je niet docker-compose maar docker-compose-plugin hebben tegenwoordig.

Klopt, en dan een symlink naar een van je folders in PATH, want hij zal waarschijnlijk onder /root installeren.

[MakhouT]

dcm360 schreef op woensdag 26 april 2023 @ 11:34:
[...]

Ahja, als ik docker-compose wil installeren, dan wordt de Docker-versie van Docker weer verwijderd en de versie van Debian weer geïnstalleerd. Als ik het zo lees moet je niet docker-compose maar docker-compose-plugin hebben tegenwoordig.

Aha dus ik zou het kunnen fixen door docker-versie van docker weer te installeren en dan docker-compose-plugin gebruiken en dan zou het terug goed moeten zijn. Direct eens uitproberen

[RobertMe]

MakhouT schreef op woensdag 26 april 2023 @ 11:26:
[...]

Yes de LXC had ik al eens gereboot. Heeft niet geholpen. Ik heb ook docker manueel gestopt en terug opgestart, zonder succes.


[...]

Net even in mijn history gekeken en ik heb de volgende commando gebruikt om docker compose te installeren

code:

apt install docker-compose

[...]


Die zit bij mij dus niet op 23.0.4

[...]

docker-compose is de oude, Python based, versie, deze staat ook niet meer in de Docker repository. De opvolger is Docker Compose de plugin voor de Docker CLI uit te voeren via docker compose (sub commandos zoals up, down etc blijven hetzelfde). Wat je het beste kunt doen is even handmatig de installatie instructies van/bij Docker volgen. Daar staat ook bij hoe je de eventuele installatie uit Debian terugdraait. En de Docker Compose plugin installeren gaat denk ik automatisch. Dit is een recommended dependency van Docker en apt installeert, bij mij in ieder geval, automatisch recommended dependencies. En anders heet die volgens mij docker-plugin-compose.

[MakhouT]

Toch nog even snel een check gedaan

code:

root@Plex:~# dpkg -l | grep -i docker
ii  docker-buildx-plugin          0.10.4-1~debian.11~bullseye    amd64        Docker Buildx cli plugin.
rc  docker-ce                     5:23.0.4-1~debian.11~bullseye  amd64        Docker: the open-source application container engine
ii  docker-compose-plugin         2.17.2-1~debian.11~bullseye    amd64        Docker Compose (V2) plugin for the Docker CLI.
ii  docker.io                     20.10.5+dfsg1-1+deb11u2        amd64        Linux container runtime
ii  python3-docker                4.1.0-1.2                      all          Python 3 wrapper to access docker.io's control socket
ii  python3-dockerpty             0.4.1-2                        all          Pseudo-tty handler for docker Python client (Python 3.x)

[MakhouT]

RobertMe schreef op woensdag 26 april 2023 @ 11:38:
[...]

docker-compose is de oude, Python based, versie, deze staat ook niet meer in de Docker repository. De opvolger is Docker Compose de plugin voor de Docker CLI uit te voeren via docker compose (sub commandos zoals up, down etc blijven hetzelfde). Wat je het beste kunt doen is even handmatig de installatie instructies van/bij Docker volgen. Daar staat ook bij hoe je de eventuele installatie uit Debian terugdraait. En de Docker Compose plugin installeren gaat denk ik automatisch. Dit is een recommended dependency van Docker en apt installeert, bij mij in ieder geval, automatisch recommended dependencies. En anders heet die volgens mij docker-plugin-compose.

Dit heeft het inderdaad terug doen werken. Zo dadelijk ook nog eens proberen om al mijn containers up and running te krijgen.
Bedankt allemaal om mee te denken en te helpen!

[Limbeckx]

Iemand hier die nginx gebruikt?

Ik heb de lxc van tteck (https://tteck.github.io/Proxmox/) en die van ej52 (https://github.com/ej52/p...n/lxc/nginx-proxy-manager) gebruikt. Beide installeren en draaien ze prima totdat ik een certificaat wil aanmaken.

Mijn domein dns is gemanaged door cloudflare. Dat heeft via truenas scale gewerkt en cloudflare. Net nog gecheckt en de A record in cloudflare en mijn external ip komen overeen. Ik heb een cname die subdomein.domein.nl is. Als ik tTest Server Reachability klik krijg ik de volgende foutmelding: Communication with the API failed, is NPM running correctly?.

De poorten 80 en 443 voor de ip van de nginx machine zijn open gezet in mijn router.

Gezien beide scripts hetzelfde resultaat hebben, verwacht ik dat ik iets over het hoofd zie. Ik weet na een hele middag en avond puzzelen weet ik echter niet wat het is...

[MakhouT]

Ik heb gisteren alles aan de praat gekregen van mijn htpc. Enkel is er lag wanneer ik mijn media op Plex afspeel. Ik heb nochtans meer als genoeg resources toegekend aan mijn LXC, namelijk:

4 cores
8GB RAM
1.5TB storage

Dit draai ik dus op mijn NUC8i7BEH. Mijn LXC draait debian 11 bullseye.

Is er nog een setting van ProxMox dat ik moet nazien? Of moet ik best elders gaan kijken en is dit niet Proxmox gerelateerd?

EDIT: Ik speel alles af in original quality en er moet dus niet getranscode worden.

[ Voor 9% gewijzigd door MakhouT op 27-04-2023 10:04 ]

[orvintax]

MakhouT schreef op donderdag 27 april 2023 @ 10:01:
Ik heb gisteren alles aan de praat gekregen van mijn htpc. Enkel is er lag wanneer ik mijn media op Plex afspeel. Ik heb nochtans meer als genoeg resources toegekend aan mijn LXC, namelijk:

4 cores
8GB RAM
1.5TB storage

Dit draai ik dus op mijn NUC8i7BEH. Mijn LXC draait debian 11 bullseye.

Is er nog een setting van ProxMox dat ik moet nazien? Of moet ik best elders gaan kijken en is dit niet Proxmox gerelateerd?

EDIT: Ik speel alles af in original quality en er moet dus niet getranscode worden.

Als het verbruik van je RAM/CPU niet rond de 100% ligt denk ik niet dat dat het probleem is.

Verder, is dit vanuit binnenshuis (local streaming) of niet? En wat stream je? 4K content? Dat zijn belangrijke details

Het zou me in ieder geval verbazen als dit uiteindelijk aan Proxmox zou liggen.

[MakhouT]

orvintax schreef op vrijdag 28 april 2023 @ 21:05:
[...]

Als het verbruik van je RAM/CPU niet rond de 100% ligt denk ik niet dat dat het probleem is.

Verder, is dit vanuit binnenshuis (local streaming) of niet? En wat stream je? 4K content? Dat zijn belangrijke details

Het zou me in ieder geval verbazen als dit uiteindelijk aan Proxmox zou liggen.

Ja klopt gewoon binnenshuis, ik heb nog geen poort open gezet op mijn router om vanuit buiten mijn netwerk aan mij setup te komen.
Ik stream 1080p, bitrate van 30mbps.

Ik heb ook nog naar mijn BIOS settings gekeken en daar staat alles op max
Ook kunnen checken in mijn container met commando

cat /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor

En die staat gewoon op performance.

Ben wel benieuwd nu, wat het issue juist gaat zijn.

[powerboat]

Ja klopt gewoon binnenshuis, ik heb nog geen poort open gezet op mijn router om vanuit buiten mijn netwerk aan mij setup te komen.

[...]

Ik zou nooit een hypervisor rechtstreeks aan het internet hangen. Gebruik bij voorkeur een vpn

[orvintax]

MakhouT schreef op vrijdag 28 april 2023 @ 23:27:
[...]


Ja klopt gewoon binnenshuis, ik heb nog geen poort open gezet op mijn router om vanuit buiten mijn netwerk aan mij setup te komen.
Ik stream 1080p, bitrate van 30mbps.

Ik heb ook nog naar mijn BIOS settings gekeken en daar staat alles op max
Ook kunnen checken in mijn container met commando

[...]

En die staat gewoon op performance.

Ben wel benieuwd nu, wat het issue juist gaat zijn.

Kijk je via WiFi of kabel? En ik zou ook kijken naar je Plex logs. Misschien dat daar iets uit komt.

[MakhouT]

powerboat schreef op zaterdag 29 april 2023 @ 13:24:
[...]


Ik zou nooit een hypervisor rechtstreeks aan het internet hangen. Gebruik bij voorkeur een vpn

Dank je voor de tip! Ja zoals je leest, ben ik nog een leek in zulke zaken
Dus hier komen de leek vragen

Moet ik dan een VPN service aanschaffen zoals ProtonVPN of NordVPN?
Of moet ik een eigen VPN in een container draaien en het zelf hosten?
Hier ben ik nog wel totaal verdwaald.

orvintax schreef op zaterdag 29 april 2023 @ 14:08:
[...]

Kijk je via WiFi of kabel? En ik zou ook kijken naar je Plex logs. Misschien dat daar iets uit komt.

De NUC is verbonden met kabel aan het internet. De client (mijn laptop) is gewoon via wifi.
Ik heb al zitten zoeken in de logs, en ben er nog steeds door aan het gaan. Momenteel zie ik er nog niets geks in. Ik heb zitten zoeken in de documentatie van Plex van hoe ik het moet debuggen en momenteel, lijkt alles ok.

[DRaakje]

Ik zou een docker container met wg easy doen. Heeft een webgui en je kan er gewoon QR codes in generen die je met de android wireguard app kan inlezen. In wireguard is uitermate makkelijk om een split tunnel mee te maken. Dan gaat al je verekeer gewoon buiten de VPN om, maar kan je nog steeds op je interne netwerk komen.

[nero355]

MakhouT schreef op zaterdag 29 april 2023 @ 20:01:
Of moet ik een eigen VPN in een container draaien en het zelf hosten?
Hier ben ik nog wel totaal verdwaald.

Zoiets : https://pivpn.io/
In een LXC of VM en dan combineren met de webGUI van :

DRaakje schreef op zaterdag 29 april 2023 @ 21:26:
wg easy

Lijkt me verdomd ideaal!

Een andere makkelijke methode is WebMin installeren en dan de OpenVPN plug-in toevoegen en daarmee alles doen!

[RobertMe]

nero355 schreef op zaterdag 29 april 2023 @ 21:56:
[...]

Zoiets : https://pivpn.io/
In een LXC of VM en dan combineren met de webGUI van :

[...]

Lijkt me verdomd ideaal!

Een andere makkelijke methode is WebMin installeren en dan de OpenVPN plug-in toevoegen en daarmee alles doen!

offtopic:
Wireguard is een kernel module. Dus je hoeft niet en pivpn te gebruiken en wg easy. Eentje is wel voldoende. Of je gebruikt de ene tool om de kernel stuff te configureren of de ander, niet beide.

En persoonlijk krijg ik sowieso de kriebels elke keer als ik Wireguard + Docker lees. Dat voelt echt zo compleet niet "Docker". Dan heb je dus een network namespace, en dan ga je daarin vervolgens een nieuwe network interface aanmaken (ip link add type wireguard) wat dan weer niet bereikbaar is vanaf de host (want andere network namespace). Brrr. Of dan de Docker container draaien met network_mode: host zodat het uberhaupt niet in een network namespace zit. Maarja, waarom dan nog Docker gebruiken?

Terwijl je met network namespaces zoveel andere coole dingen kunt doen. Heb bij familie een Orange Pi liggen die ZFS snapshots van mijn Proxmox (+ andere ZFS systemen) backupped / send/received. Maar 1. ik wil geen poorten meer open zetten "thuis", laat staan 3x SSH. 2. ik zit met conflicterende subnets (192.168.1.0/24 aan beide kanten). Oplossing? Wireguard tunnel om de verbinding op te zetten. Vervolgens zelf in een script een extra network namespace aanmaken, de Wireguard tunnel naar die namespace verplaatsen, en dan het backup script (middels systemd) draaien in die network namespace. Dus het script ziet uberhaupt maar 1 interface en dat is de Wireguard interface. En de Wireguard interface stuurt zijn verkeer dan wel via de default namespace naar de buitenwereld. Wat dan is geinspireerd op: https://www.wireguard.com/netns/.

[powerboat]

MakhouT schreef op zaterdag 29 april 2023 @ 20:01:
[...]


Dank je voor de tip! Ja zoals je leest, ben ik nog een leek in zulke zaken
Dus hier komen de leek vragen

Moet ik dan een VPN service aanschaffen zoals ProtonVPN of NordVPN?
Of moet ik een eigen VPN in een container draaien en het zelf hosten?
Hier ben ik nog wel totaal verdwaald.


[...]

De NUC is verbonden met kabel aan het internet. De client (mijn laptop) is gewoon via wifi.
Ik heb al zitten zoeken in de logs, en ben er nog steeds door aan het gaan. Momenteel zie ik er nog niets geks in. Ik heb zitten zoeken in de documentatie van Plex van hoe ik het moet debuggen en momenteel, lijkt alles ok.

Nee eigen vpn server opzetten in een vm of container

[orvintax]

MakhouT schreef op zaterdag 29 april 2023 @ 20:01:
[...]


Dank je voor de tip! Ja zoals je leest, ben ik nog een leek in zulke zaken
Dus hier komen de leek vragen

Moet ik dan een VPN service aanschaffen zoals ProtonVPN of NordVPN?
Of moet ik een eigen VPN in een container draaien en het zelf hosten?
Hier ben ik nog wel totaal verdwaald.


[...]

De NUC is verbonden met kabel aan het internet. De client (mijn laptop) is gewoon via wifi.
Ik heb al zitten zoeken in de logs, en ben er nog steeds door aan het gaan. Momenteel zie ik er nog niets geks in. Ik heb zitten zoeken in de documentatie van Plex van hoe ik het moet debuggen en momenteel, lijkt alles ok.

Zou je eens willen proberen via de kabel. Dat werkt weer wat variabelen weg

[MakhouT]

Ok ik heb de plex lagging issue gefixt en het lag inderdaad niet aan proxmox!!
Het ligt aan de client, lagging gebeurde enkel in google chrome op mijn laptop.
Maar als ik de plex app gebruik op mijn macbook pro, op mijn iphone of op mijn lg tv dan werkt het wel allemaal goed!
Vreemd, heb nochtans chrome en de laptop volledig heropgestart maar daar blijft het probleem zich wel voordoen.

Next step is om plex remote te kunnen accessen en dus moet ik me even verdiepen in alle info over de vpn dat hier laatst gepost is.

Dank jullie wel om mee te denken en vooral te helpen
Stap per stap kom ik dichter aan het resultaat dat ik graag wil en leer ik veel bij!

[nero355]

RobertMe schreef op zaterdag 29 april 2023 @ 22:24:

offtopic:
Wireguard is een kernel module.

offtopic:
I know!

offtopic:
Dus je hoeft niet en pivpn te gebruiken en wg easy. Eentje is wel voldoende.
Of je gebruikt de ene tool om de kernel stuff te configureren of de ander, niet beide.

offtopic:
Ik heb ooit gezien dat je de webGUI ook los kan gebruiken en daarnaast doet PiVPN dan effe relax al die Certificates zooi regelen dus dat was mijn idee dan

offtopic:
En persoonlijk krijg ik sowieso de kriebels elke keer als ik Wireguard + Docker lees.

offtopic:
Ik krijg sowieso de kriebels van al dat geDocker en mensen die totaal niet weten waar ze mee bezig zijn...

offtopic:
Dat voelt echt zo compleet niet "Docker". Dan heb je dus een network namespace, en dan ga je daarin vervolgens een nieuwe network interface aanmaken (ip link add type wireguard) wat dan weer niet bereikbaar is vanaf de host (want andere network namespace). Brrr. Of dan de Docker container draaien met network_mode: host zodat het uberhaupt niet in een network namespace zit. Maarja, waarom dan nog Docker gebruiken?

offtopic:
Volgens mij heb je een heleboel rare verschijnselen/bijwerkingen als je Docker Containers gebruikt en de Host van het een en ander gebruik wilt laten maken dus dat is sowieso een puinhoop!

offtopic:
Terwijl je met network namespaces zoveel andere coole dingen kunt doen.

Heb bij familie een Orange Pi liggen die ZFS snapshots van mijn Proxmox (+ andere ZFS systemen) backupped / send/received. Maar 1. ik wil geen poorten meer open zetten "thuis", laat staan 3x SSH. 2. ik zit met conflicterende subnets (192.168.1.0/24 aan beide kanten). Oplossing? Wireguard tunnel om de verbinding op te zetten. Vervolgens zelf in een script een extra network namespace aanmaken, de Wireguard tunnel naar die namespace verplaatsen, en dan het backup script (middels systemd) draaien in die network namespace. Dus het script ziet uberhaupt maar 1 interface en dat is de Wireguard interface. En de Wireguard interface stuurt zijn verkeer dan wel via de default namespace naar de buitenwereld.
Wat dan is geinspireerd op: https://www.wireguard.com/netns/.

offtopic:
Ik heb daar nog nooit wat mee gedaan, maar wat je omschrijft klinkt echt verdomd handig inderdaad!

[RobertMe]

nero355 schreef op zondag 30 april 2023 @ 20:32:
[...]

offtopic:
Ik heb ooit gezien dat je de webGUI ook los kan gebruiken en daarnaast doet PiVPN dan effe relax al die Certificates zooi regelen dus dat was mijn idee dan

offtopic:
Punt was meer: het is onzinnig om meerdere "frontends" voor hetzelfde "backend" te gebruiken. Of je nu wg (+ evt waar nodig ip) of PiVPN of wg easy gebruikt. Het zijn allemaal frontends die met dezelfde kernel interface babbelen. Dus waarom meerdere gebruiken als eentje voldoende is?
And besides: Wireguard gebruikt geen certificaten (maar public/private key pairs, al dan niet aangevuld met een preshared key). En dat is zo makkelijk als wg genkey om een private key te genereren, en evt wg genpsk voor de preshared key. Als je vervolgens de interface "hebt" kun je met wg show de status van alle interfaces zien (of je zet de interface naam er nog achter) en staat daar ook meteen de public key (of je stuurt de private key naar wg pubkey). En nadeel van alles op de server doen is natuurlijk ook nog eens dat de server alle private keys kent (al dan niet tijdelijk). Daar waar bij OpenVPN weer wordt aanbevolen om de certs op een airgapped machine te genereren. Wireguard heeft dat nadeel niet, omdat elke "client" zelf een public/private keypair kan genereren en je dan nog maar de public key hoeft over te nemen naar de "server" (/andere "client" ). En zoals de naam al aangeeft: die's public, dus mag "lekken".

[ComTech]

Ik heb tot voor kort altijd via een Samba share op mijn nas backups gedraaid dit werkt prima.
Nu heb ik het via NFS opgezet en dan krijg ik bij het backuppen van containers elke keer een error.
Waarom lukt dit wel via Samba en niet via NFS.
Backup van een VM gaat wel gewoon via dezelfde NFS share.

code:

INFO: CT Name: netserver
INFO: including mount point rootfs ('/') in backup
INFO: backup mode: snapshot
INFO: ionice priority: 7
INFO: create storage snapshot 'vzdump'
INFO: creating vzdump archive '/mnt/pve/Syno_NFS/dump/vzdump-lxc-101-2023_04_30-21_10_42.tar.zst'
INFO: tar: /mnt/pve/Syno_NFS/dump/vzdump-lxc-101-2023_04_30-21_10_42.tmp: Cannot open: Permission denied
INFO: tar: Error is not recoverable: exiting now
INFO: cleanup temporary 'vzdump' snapshot
ERROR: Backup of VM 101 failed - command 'set -o pipefail && lxc-usernsexec -m u:0:100000:65536 -m g:0:100000:65536 -- tar cpf - --totals --one-file-system -p --sparse --numeric-owner --acls --xattrs '--xattrs-include=user.*' '--xattrs-include=security.capability' '--warning=no-file-ignored' '--warning=no-xattr-write' --one-file-system '--warning=no-file-ignored' '--directory=/mnt/pve/Syno_NFS/dump/vzdump-lxc-101-2023_04_30-21_10_42.tmp' ./etc/vzdump/pct.conf ./etc/vzdump/pct.fw '--directory=/mnt/vzsnap0' --no-anchored '--exclude=lost+found' --anchored '--exclude=./tmp/?*' '--exclude=./var/tmp/?*' '--exclude=./var/run/?*.pid' ./ | zstd --rsyncable '--threads=1' >/mnt/pve/Syno_NFS/dump/vzdump-lxc-101-2023_04_30-21_10_42.tar.dat' failed: exit code 2

[powerboat]

ComTech schreef op zondag 30 april 2023 @ 21:15:
Ik heb tot voor kort altijd via een Samba share op mijn nas backups gedraaid dit werkt prima.
Nu heb ik het via NFS opgezet en dan krijg ik bij het backuppen van containers elke keer een error.
Waarom lukt dit wel via Samba en niet via NFS.
Backup van een VM gaat wel gewoon via dezelfde NFS share.

code:

INFO: CT Name: netserver
INFO: including mount point rootfs ('/') in backup
INFO: backup mode: snapshot
INFO: ionice priority: 7
INFO: create storage snapshot 'vzdump'
INFO: creating vzdump archive '/mnt/pve/Syno_NFS/dump/vzdump-lxc-101-2023_04_30-21_10_42.tar.zst'
INFO: tar: /mnt/pve/Syno_NFS/dump/vzdump-lxc-101-2023_04_30-21_10_42.tmp: Cannot open: Permission denied
INFO: tar: Error is not recoverable: exiting now
INFO: cleanup temporary 'vzdump' snapshot
ERROR: Backup of VM 101 failed - command 'set -o pipefail && lxc-usernsexec -m u:0:100000:65536 -m g:0:100000:65536 -- tar cpf - --totals --one-file-system -p --sparse --numeric-owner --acls --xattrs '--xattrs-include=user.*' '--xattrs-include=security.capability' '--warning=no-file-ignored' '--warning=no-xattr-write' --one-file-system '--warning=no-file-ignored' '--directory=/mnt/pve/Syno_NFS/dump/vzdump-lxc-101-2023_04_30-21_10_42.tmp' ./etc/vzdump/pct.conf ./etc/vzdump/pct.fw '--directory=/mnt/vzsnap0' --no-anchored '--exclude=lost+found' --anchored '--exclude=./tmp/?*' '--exclude=./var/tmp/?*' '--exclude=./var/run/?*.pid' ./ | zstd --rsyncable '--threads=1' >/mnt/pve/Syno_NFS/dump/vzdump-lxc-101-2023_04_30-21_10_42.tar.dat' failed: exit code 2

In line 7 staat het "permission denied", je hebt niet de juiste rechten.

Welke nas gebruik je?

** Never mind ** niet goed gelezen, maar als een vm wel lukt zou een container ook moeten lukken.

[ComTech]

powerboat schreef op zondag 30 april 2023 @ 22:38:
[...]


In line 7 staat het "permission denied", je hebt niet de juiste rechten.

Welke nas gebruik je?

** Never mind ** niet goed gelezen, maar als een vm wel lukt zou een container ook moeten lukken.

Het is wel iets met rechten. In de Synology bij de gedeelde map NFS Permissions - Squash en dan de optie "map all users to admin" lost het probleem op. (sorry heb DSM in het engels staan).
Wel raar dat containers dan niet willen en VM's wel.

[Cardinal]

Wil het niet jinxen, maar sinds de problemen met HAOS heb ik de kernel naar 6.2 geholpen en de geupgrade naar 7.4 Op dit moment draait Home Assistent al een maand stabiel.

ook gij @stormfly ?

[stormfly]

Cardinal schreef op maandag 1 mei 2023 @ 10:30:
Wil het niet jinxen, maar sinds de problemen met HAOS heb ik de kernel naar 6.2 geholpen en de geupgrade naar 7.4 Op dit moment draait Home Assistent al een maand stabiel.

ook gij @stormfly ?

Nee ik ben naar baremetal verschoven, het is nu slechts een router met pfSense native geïnstalleerd. Ik heb ook gelezen dat sinds microcode #24 e.a. in de CPU code is aangepast door Intel. Zie eerdere proxmox topics uit mijn posts.

[MakhouT]

powerboat schreef op zaterdag 29 april 2023 @ 23:02:
[...]

Nee eigen vpn server opzetten in een vm of container

nero355 schreef op zaterdag 29 april 2023 @ 21:56:
[...]

Zoiets : https://pivpn.io/
In een LXC of VM en dan combineren met de webGUI van :

[...]

Lijkt me verdomd ideaal!

Een andere makkelijke methode is WebMin installeren en dan de OpenVPN plug-in toevoegen en daarmee alles doen!

DRaakje schreef op zaterdag 29 april 2023 @ 21:26:
Ik zou een docker container met wg easy doen. Heeft een webgui en je kan er gewoon QR codes in generen die je met de android wireguard app kan inlezen. In wireguard is uitermate makkelijk om een split tunnel mee te maken. Dan gaat al je verekeer gewoon buiten de VPN om, maar kan je nog steeds op je interne netwerk komen.

Ik heb nog beetje research gedaan en jullie raden mij aan om het zelf te hosten in een container. Maar als ik het anders bekijk lijkt het me precies 'beter' om een betalende VPN service provider te gebruiken toch zoals een ProtonVPN? Toch?
Mijn redenen zijn dan:
1. Meer privacy
2. Verschillende locaties/regios (Library van Netflix Amerika bekijken bijvoorbeeld)

Mis ik dan iets waarom ik het eerder zelf zou hosten?

powerboat schreef op zaterdag 29 april 2023 @ 13:24:
[...]


Ik zou nooit een hypervisor rechtstreeks aan het internet hangen. Gebruik bij voorkeur een vpn

Jij hebt het dan toch specifiek voor de hypervisor, toch? Want als ik mijn plex setup wil van buiten af wil bereiken en tegelijkertijd wil laten gebruiken die niet in mijn huishouden zitten, dan moet er toch nog steeds een poort open gezet worden in mijn worden. Of vergis ik me hier radicaal in?

nero355 schreef op zondag 30 april 2023 @ 20:32:
[...]

offtopic:
Ik krijg sowieso de kriebels van al dat geDocker en mensen die totaal niet weten waar ze mee bezig zijn...

Woops, sorry not Sorry Nog vanalles aan het bijleren

Weer een productieve dag, want ik heb weer van alles bijgeleerd

[RobertMe]

MakhouT schreef op maandag 1 mei 2023 @ 18:47:
[...]


[...]


[...]


Ik heb nog beetje research gedaan en jullie raden mij aan om het zelf te hosten in een container. Maar als ik het anders bekijk lijkt het me precies 'beter' om een betalende VPN service provider te gebruiken toch zoals een ProtonVPN? Toch?
Mijn redenen zijn dan:
1. Meer privacy
2. Verschillende locaties/regios (Library van Netflix Amerika bekijken bijvoorbeeld)

Mis ik dan iets waarom ik het eerder zelf zou hosten?

Ja. Je mist het feit dat als je een abo op bv ProtonVPN neemt je buiten de deur nog steeds niet naar binnen kunt connecten met je eigen services. En volgens mij begon de vraag daar mee?

[MakhouT]

RobertMe schreef op maandag 1 mei 2023 @ 18:50:
[...]

Ja. Je mist het feit dat als je een abo op bv ProtonVPN neemt je buiten de deur nog steeds niet naar binnen kunt connecten met je eigen services. En volgens mij begon de vraag daar mee?

Ow ik was in de veronderstelling dat ik dit uiteraard ook kon doen met portforwarding

[stormfly]

@RobertMe
and others. ik heb nu mijn Docker containers naar een LXC container met Ubuntu verplaatst.

Eigenlijk veel simpler dan ik had gedacht. Heb jij nog specifiek tips of guides die je hebt gevolgd?

Je merkt in de apt update scroll snelheid dat wel winst hebt door het verwijderen van de VM laag.

Goede tip dank!

[nero355]

stormfly schreef op dinsdag 2 mei 2023 @ 13:24:
Ik heb nu mijn Docker containers naar een LXC container met Ubuntu verplaatst.

Je merkt in de apt update scroll snelheid dat wel winst hebt door het verwijderen van de VM laag.

Die vat ik effe niet helemaal :
- Of het nou een VM of LXC is : Je kan altijd alles via SSH doen dus maakt het verder niet uit in welke omgeving je zit
- Of doe je alles via de webGUI Console ?!

Kortom : In welk scenario vergelijk je de VM met de LXC precies ??

[RobertMe]

stormfly schreef op dinsdag 2 mei 2023 @ 13:24:
@RobertMe
and others. ik heb nu mijn Docker containers naar een LXC container met Ubuntu verplaatst.

Eigenlijk veel simpler dan ik had gedacht. Heb jij nog specifiek tips of guides die je hebt gevolgd?

Je merkt in de apt update scroll snelheid dat wel winst hebt door het verwijderen van de VM laag.

Goede tip dank!

Te late tip, maar ik zou wel Debian gebruiken, en dan ook dezelfde versie als waar Proxmox op gebaseerd is. Met Buster => Bullseye / Proxmox 6 => 7 was er een soecifiek upgrade path waarbij je eerst de een en daarna de ander moest updaten en anders werkte het niet meer. Door Ubuntu te gebruiken vraag je naar mijm idee dus bijna om problemen doordat je in LXC een een OS hebt met een compleet andere release cyclus etc.
Reden dat het toen niet werkte had IIRC te maken met cgroups. Binnen de LXC werd (door Docker) een poging gedaan om cgroups te gebruiken die niet bekend waren binnen de kernel/LXC. En dat is ook de reden waarom bv Alpine als LXC helemaal niet werkt om Docker te draaien. Omdat Alpine echt altijd andere cgroups heeft.

[stormfly]

nero355 schreef op dinsdag 2 mei 2023 @ 13:39:
[...]

Die vat ik effe niet helemaal :
- Of het nou een VM of LXC is : Je kan altijd alles via SSH doen dus maakt het verder niet uit in welke omgeving je zit
- Of doe je alles via de webGUI Console ?!

Kortom : In welk scenario vergelijk je de VM met de LXC precies ??

Snelheid. Het lijkt sneller terwijl het op dezelfde fysieke host draait. Gemeten met: gevoel

[stormfly]

RobertMe schreef op dinsdag 2 mei 2023 @ 14:07:
[...]

Te late tip, maar ik zou wel Debian gebruiken, en dan ook dezelfde versie als waar Proxmox op gebaseerd is. Met Buster => Bullseye / Proxmox 6 => 7 was er een soecifiek upgrade path waarbij je eerst de een en daarna de ander moest updaten en anders werkte het niet meer. Door Ubuntu te gebruiken vraag je naar mijm idee dus bijna om problemen doordat je in LXC een een OS hebt met een compleet andere release cyclus etc.
Reden dat het toen niet werkte had IIRC te maken met cgroups. Binnen de LXC werd (door Docker) een poging gedaan om cgroups te gebruiken die niet bekend waren binnen de kernel/LXC. En dat is ook de reden waarom bv Alpine als LXC helemaal niet werkt om Docker te draaien. Omdat Alpine echt altijd andere cgroups heeft.

Dat is wel een hele goede tip moet ik zeggen. Dan laat je het nog beter op elkaar aansluiten.

Binnenkort even ombouwen. Het viel mij alles mee hoe snel je met SCP zo’n docker-compose omgeving weer live hebt. Met behoud van data.

Bij unpriv container zet jij dan ja of nee?

[ Voor 6% gewijzigd door stormfly op 02-05-2023 14:14 ]

[joppybt]

Een unprivileged LXCs mag geen CIFS shares mounten (iets met de SMB client die in de kernel draait naar ik begrijp).
Maar ik kan wel in een unprivileged container gewoon een Samba server installeren. Dat werkt prima en trekt netjes mijn gigabit lijn vol. Waarom is een client 'onveilig' en een server niet?

[zeroday]

operatie migratie 3 Proxmox nodes vervangen voor 2 Intel NUC's en de VM met PBS naar een 3e NUC zodat deze niet meer een storende factor kan zijn ..

Ik had een paar VM's met veel HDD space en dan is het even puzzelen hoe je het beste eea kan overzetten.
Ik heb toen maar een shared NFS storage aangemaakt en vandaar uit voor een paar dagen wat virtuele machines gedaan. Door shared storage te gebruiken is een migratie binnen een paar seconden gedaan.

Enige probleem is dat de shared storage nu nog niet echt snel is want de bottleneck is in dit geval de netwerk verbinding. Dus eigenlijk zou ik er nog een klein SSD nasje bij moeten hangen zodat daar de VM's en/of LXC's vanaf kan draaien (update: mja .. enige voordeel is dan SSD ipv een HDD . want die gigabit verbinding blijft) .. ;-)

in de NUC wat NVME m2 storage gestopt en gewoon 2,5" SSD . daarna weer migreren. Geen centje pijn.
Uiteindelijk nodes toevoegen en verwijderen uit het clustertje.. Helaas verwijderd proxmox nog niet alles zelf dus hier en daar nog een dirretje vanuit de shell verwijderen.

PBS ook opgezet nu op een eigen NUC, met SSD storage zodat de backups snel kunnen verlopen.
met daarbij een SMB storage voor de sync naar de NAS zodat van de backup een backup aanwezig is.

Al met al voor weinig de HP gen8's uitgefaseerd (nog wel 2 stuks voor NAS doeleinden) maar 3 stuks kunnen door een liefhebber voor weinig opgehaald worden

lekker bezig zo

[ Voor 3% gewijzigd door zeroday op 03-05-2023 07:55 ]

[MakhouT]

DRaakje schreef op zaterdag 29 april 2023 @ 21:26:
Ik zou een docker container met wg easy doen. Heeft een webgui en je kan er gewoon QR codes in generen die je met de android wireguard app kan inlezen. In wireguard is uitermate makkelijk om een split tunnel mee te maken. Dan gaat al je verekeer gewoon buiten de VPN om, maar kan je nog steeds op je interne netwerk komen.

Ik ben voor deze oplossing gegaan. Want de UI van wg-easy ziet er slick uit. Enkel krijg ik het dus niet aan de praat

Mijn stappen:
- In Proxmox een nieuwe LXC aangemaakt met een static ip (192.168.1.122)
- wg-easy geinstalleerd met volgende commando

code:

docker run -d \
  --name=wg-easy \
  -e WG_HOST=🚨YOUR_SERVER_IP \ # mijn wan ip adres gebruikt
  -e PASSWORD=🚨YOUR_ADMIN_PASSWORD \
  -v ~/.wg-easy:/etc/wireguard \
  -p 51820:51820/udp \
  -p 51821:51821/tcp \
  --cap-add=NET_ADMIN \
  --cap-add=SYS_MODULE \
  --sysctl="net.ipv4.conf.all.src_valid_mark=1" \
  --sysctl="net.ipv4.ip_forward=1" \
  --restart unless-stopped \
  weejewel/wg-easy

En nu kan ik de webui ervan bekijken op 192.168.1.122:51821 en daar heb ik een nieuwe client aamgemaakt.
-QR code gescand met de wireguard app en certificaat toegestaan en ik heb dus verbinding.

Maar geen internet en ik geraak dus niet op mijn lokaal netwerk. Moet ik nog iets configureren hiervoor?

EDIT: Ik weet niet of het gerelateerd is, maar ik heb nog een andere LXC waarop PiHole draait.

[ Voor 3% gewijzigd door MakhouT op 03-05-2023 17:16 ]

[Deshmir]

MakhouT schreef op woensdag 3 mei 2023 @ 17:10:
[...]


Ik ben voor deze oplossing gegaan. Want de UI van wg-easy ziet er slick uit. Enkel krijg ik het dus niet aan de praat

Mijn stappen:
- In Proxmox een nieuwe LXC aangemaakt met een static ip (192.168.1.122)
- wg-easy geinstalleerd met volgende commando

code:

docker run -d \
  --name=wg-easy \
  -e WG_HOST=🚨YOUR_SERVER_IP \ # mijn wan ip adres gebruikt
  -e PASSWORD=🚨YOUR_ADMIN_PASSWORD \
  -v ~/.wg-easy:/etc/wireguard \
  -p 51820:51820/udp \
  -p 51821:51821/tcp \
  --cap-add=NET_ADMIN \
  --cap-add=SYS_MODULE \
  --sysctl="net.ipv4.conf.all.src_valid_mark=1" \
  --sysctl="net.ipv4.ip_forward=1" \
  --restart unless-stopped \
  weejewel/wg-easy

En nu kan ik de webui ervan bekijken op 192.168.1.122:51821 en daar heb ik een nieuwe client aamgemaakt.
-QR code gescand met de wireguard app en certificaat toegestaan en ik heb dus verbinding.

Maar geen internet en ik geraak dus niet op mijn lokaal netwerk. Moet ik nog iets configureren hiervoor?

EDIT: Ik weet niet of het gerelateerd is, maar ik heb nog een andere LXC waarop PiHole draait.

Heb je ergens een optie om “Allowed IP’s” aan te passen?
Of zit dat ingebakken in de config van die container?

[Limbeckx]

Ben weer eens aan het einde van mijn latijn. Proxmox en openmediavault via nginx open naar het internet. ssl certificaat werkt voor beide subdomeinen (wildcard). Voor home assistant werkt het niet terwijl ik de cloudflare the cname bevat, configuration.yaml die ip van nginx zit in de trusted proxies. En toch krijg ik van cloudflare een 504 terug. Dit is de laatste stap die ik nodig heb om bij proxmox te blijven. Ik wil zo graag dat het werkt

Zie ik iets over het hoofd? Ik weet het ff niet. Heeft iemand anders de combi van nginx. home assistant en proxmox?

[BeefHazard]

@Limbeckx hoe is je nginx config? TLS/SSL uitgezet in Home Assistant en in nginx proxy_pass naar http://homeassistant:8123?

Also: weet je zeker dat je een CNAME nodig hebt? Ik zou een A/AAAA aanmaken en naar je nginx IP wijzen

[ Voor 29% gewijzigd door BeefHazard op 03-05-2023 20:02 ]

[Limbeckx]

nginx:

home-assistant.domein.tld naar https://internip:8123 (als ik direct naar die combi ga, is home assistant bereikbaar)

ik ha volgende toegevoegd aan configuration.yaml

http:
ssl_certificate: /ssl/fullchain1.pem
ssl_key: /ssl/privkey1.pem
use_x_forwarded_for: true
trusted_proxies:
- 192.168.1.19 #interne ip van home assistant
- 192.168.1.43 #interne ip van nginx
- xx.xx.xxx.xxx #externe ip just in case
- 127.0.0.0/24 # geen idee waarom. Voor het geval home assistant zijn eigen ip range gebruikt nog ergens
- 255.255.255.0/24 #subnet als test er ook maar ingezet.

reagerend op de edit: A kan niet want die is gereserveerd voor het ip adres dat ik naar buiten toe heb. AAA zou ik niet weten maar proxmox en openmediavault doen het prima Cname en toen ik nog TrueNAS scale gebruikte ging alles via CName dus ik denk dat dat wel klopt eigenlijk.

[ Voor 18% gewijzigd door Limbeckx op 03-05-2023 20:22 ]

[BeefHazard]

Limbeckx schreef op woensdag 3 mei 2023 @ 20:15:
nginx:

home-assistant.domein.tld naar https://internip:8123 (als ik direct naar die combi ga, is home assistant bereikbaar)

Daar ga je. Intern gewoon http gebruiken, niet https. Haal die s eens weg en kijk wat er gebeurt

edit: en haal die ssl dingen uit je HA config. HA regelt je TLS/SSL niet, daar gebruik je nginx al voor.

Mijn HA config ter referentie:

code:

http:
  use_x_forwarded_for: true
  trusted_proxies:
    - 192.168.178.6 # nginx IP
    - ::1

[ Voor 26% gewijzigd door BeefHazard op 03-05-2023 20:55 ]

[Limbeckx]

BeefHazard schreef op woensdag 3 mei 2023 @ 20:52:
[...]

Daar ga je. Intern gewoon http gebruiken, niet https. Haal die s eens weg en kijk wat er gebeurt

edit: en haal die ssl dingen uit je HA config. HA regelt je TLS/SSL niet, daar gebruik je nginx al voor.

Mijn HA config ter referentie:

code:

http:
  use_x_forwarded_for: true
  trusted_proxies:
    - 192.168.178.6 # nginx IP
    - ::1

Well that did the trick . Thx gozer!

[MakhouT]

Deshmir schreef op woensdag 3 mei 2023 @ 17:54:
[...]


Heb je ergens een optie om “Allowed IP’s” aan te passen?
Of zit dat ingebakken in de config van die container?

Zit ingebakken in de config van de container, maar ik kan de nieuwe value meegeven als param. Wat moet het dan juist zijn?

EDIT: Net nog een tutorial bekeken en die zegt dat je in de router een poort moet openzetten voor uw wireguard? Dan snap ik al helemaal niet waarom ik een VPN aan het opzetten ben hahaha, want in een eerdere reactie zei ik dat ik een poort moet openzetten in mijn router om aan mijn proxmox te geraken en zei iemand me dat het bad practice is en dat het beter is om een VPN op te zetten. Maar nu moet ik dan toch nog wel een poort openzetten voor die VPN? Is dat dan niet hetzelfde?

[ Voor 40% gewijzigd door MakhouT op 04-05-2023 00:14 ]

[orvintax]

MakhouT schreef op woensdag 3 mei 2023 @ 22:29:
[...]


Zit ingebakken in de config van de container, maar ik kan de nieuwe value meegeven als param. Wat moet het dan juist zijn?

EDIT: Net nog een tutorial bekeken en die zegt dat je in de router een poort moet openzetten voor uw wireguard? Dan snap ik al helemaal niet waarom ik een VPN aan het opzetten ben hahaha, want in een eerdere reactie zei ik dat ik een poort moet openzetten in mijn router om aan mijn proxmox te geraken en zei iemand me dat het bad practice is en dat het beter is om een VPN op te zetten. Maar nu moet ik dan toch nog wel een poort openzetten voor die VPN? Is dat dan niet hetzelfde?

Ik snap dat het tegenstrijdig en verwarrend klinkt. Maar nee, dat is niet hetzelfde.

De reden hiervoor is omdat als je Proxmox of welke applicatie dan ook direct naar het internet opengezet, je overgelaten bent aan de beveiliging van die applicatie.

Maar, als je enkel je VPN openzet en via daar bij je applicaties komt, verschuif je die verantwoordelijkheid naar je VPN. En die verantwoordelijkheid dragen is het doel van die VPN en dus in de praktijk, veiliger.

[powerboat]

MakhouT schreef op woensdag 3 mei 2023 @ 22:29:
[...]


Zit ingebakken in de config van de container, maar ik kan de nieuwe value meegeven als param. Wat moet het dan juist zijn?

EDIT: Net nog een tutorial bekeken en die zegt dat je in de router een poort moet openzetten voor uw wireguard? Dan snap ik al helemaal niet waarom ik een VPN aan het opzetten ben hahaha, want in een eerdere reactie zei ik dat ik een poort moet openzetten in mijn router om aan mijn proxmox te geraken en zei iemand me dat het bad practice is en dat het beter is om een VPN op te zetten. Maar nu moet ik dan toch nog wel een poort openzetten voor die VPN? Is dat dan niet hetzelfde?

Je moet het zo zien, de router is de poort tot je koninkrijk, de vpn server is de poortwachter die bepaald je veilig door mag gaan. Proxmox is je koninkrijk

[iGadget]

Ok... I messed up. Bad.

Kennelijk heeft afgelopen nacht iets alle beschikbare ruiimte in mijn ZFS rpool opgevreten (waar ook PVE's rootfs huist), waardoor alle services op de PVE node down zijn gegaan, zelfs SSH. De machine zelf is up, pingbaar, maar kan er alleen nog via fysieke toegang bij.

Note to self - verdiepen in quota's, monitoring en alerting. Maar dat is voor als ik dit gefixt heb.

Dus, eerst ruimte vrijmaken. Maar dat blijkt nog niet zo simpel:

- Eerst alles in /var/cache/apt verwijderd (3GB). Maar ipv dat ik nu 3GB vrij heb in de rpool, is het rootfs 3GB kleiner geworden en de available space nog steeds 0... Wait, what?
- Dus kennelijk schrijft er nog steeds iets heel hard (cache?) data naar die pool? Of is hier iets anders aan de hand?
- Deze machine staat op een vrij lastig bereikbare plek dus ik wil zsm SSH weer up krijgen zodat ik de boel vanaf een meer 'comfortabele' plek kan oplossen. Maar hoe krijg ik dit voor elkaar zolang ik geen ruimte heb / krijg op het rootfs?

[RobertMe]

iGadget schreef op donderdag 4 mei 2023 @ 10:11:
Dus, eerst ruimte vrijmaken. Maar dat blijkt nog niet zo simpel:

- Eerst alles in /var/cache/apt verwijderd (3GB). Maar ipv dat ik nu 3GB vrij heb in de rpool, is het rootfs 3GB kleiner geworden en de available space nog steeds 0... Wait, what?
- Dus kennelijk schrijft er nog steeds iets heel hard (cache?) data naar die pool? Of is hier iets anders aan de hand?

Komt dat niet door snapshots? Je kunt wel data verwijderen, maar zolang er nog snapshots zijn met die bestanden nemen ze ook nog plek in beslag.

Ik zou dus beginnen om met een combinatie van du en zfs list proberen te achterhalen waar de opslagruimte daadwerkelijk naartoe is. En als je snapshots gebruikt zul je dus ook daar in moeten snijden om daadwerkelijk data te reclaimen.

[iGadget]

RobertMe schreef op donderdag 4 mei 2023 @ 10:21:
[...]

Komt dat niet door snapshots? Je kunt wel data verwijderen, maar zolang er nog snapshots zijn met die bestanden nemen ze ook nog plek in beslag.

Ik zou dus beginnen om met een combinatie van du en zfs list proberen te achterhalen waar de opslagruimte daadwerkelijk naartoe is. En als je snapshots gebruikt zul je dus ook daar in moeten snijden om daadwerkelijk data te reclaimen.

Daar zou je wel eens een heel goed punt kunnen hebben.

code:

zfs list -t all |grep rpool

geeft een hele zwik aan zfs-auto-snap_[hourly/daily/weekly/montly] die samen wellicht ook flink wat GB's opslokken. Maar voor ik dat uitgezocht heb ben ik wel even bezig en dat doe ik het liefst niet fysiek by die machine

Nou zie ik dat er ook nog flink wat GB's in ongebruikte VMs en containers zitten. Die zou ik daarom willen verplaatsen naar andere pools, maar aangezien ook alle PVE services down zijn kan ik pvesm niet gebruiken. Kan ik als 'quick fix' dit gewoon met reguliere tools (mc / mv etc) doen of maak ik dan zaken echt helemaal stuk?

[edit]
Heb nu één ongebruikte VM disk verwijderd via

code:

zfs destroy -rv rpool/data/vm-113-disk-0

.
Dit gaf meteen voldoende vrije ruimte om alle PVE updates te draaien. Na een reboot deed alles het weer.

Maarrrr nu natuurlijk de volgende stap - hoe implementeer ik quota's, monitoring en reporting zodat dit geintje me niet nogmaals overkomt in de toekomst? Hoe doen jullie dit?

[ Voor 14% gewijzigd door iGadget op 04-05-2023 13:04 . Reden: brand geblust, nu de volgende stap ]

[nero355]

iGadget schreef op donderdag 4 mei 2023 @ 10:11:
Ok... I messed up. Bad.

Mwa, zolang je er nog bij kan en alle data aanwezig is en alle hardware gezond is dan komt het wel goed!

Kennelijk heeft afgelopen nacht iets alle beschikbare ruiimte in mijn ZFS rpool opgevreten (waar ook PVE's rootfs huist), waardoor alle services op de PVE node down zijn gegaan, zelfs SSH. De machine zelf is up, pingbaar, maar kan er alleen nog via fysieke toegang bij.

Check eens hoe het hiermee staat : nero355 in "Het grote ZFS topic"

Misschien "komt er meteen wat los" als je dat aanpast ?!

[MakhouT]

Vraagje.
Ik heb nu op Proxmox verschillende LXC draaien en die exposen dan apps en services die dan een eigen ip hebben. Bv.

http://192.168.1.250:9000 => portainer
http://192.168.1.250:7878 => radarr
http://192.168.1.253/admin => pihole
etc.. etc

Nu wil ik graag ipv naar een ip te surfen, surfen naar een 'human readable' url ofzo. Zodat ik bv web interface van proxmox kan bereiken met bv 'proxmox.homelab'
Ik zat een beetje te zoeken en ben dan uitgekomen bij nginx proxy manager.
Die heb ik dan ook op een aparte LXC staan draaien en die kan ik nu dus bereiken op http://192.168.1.240:81.
So far so good.

Maar nu heb ik bv een proxy host aangemaakt zoals deze


Maar als ik dan surf naar http://radarr.homelab/ krijg ik gewoon te zien dat de site niet bereikt kan worden.
Is dit omdat die nginx proxy manager in een andere LXC draait? Moet ik die per LXC in dezelfde container ook installeren en draaien ofzo?

[ge-flopt]

Wil je elke service bereiken op een eigen naam,. of wil je dat elk IP adres een eigen naam heeft?

Dat laatste kun je makkelijk doen onder PiHole -> Local DNS Vul dan je IP adres in, je lokale naam en klik op Add. Klaar.

[CurlyMo]

iGadget schreef op donderdag 4 mei 2023 @ 11:14:
[...]

code:

zfs list -t all |grep rpool

Het commando wat je zoekt is overigens:

code:

zfs list -t snapshots -r rpool

Wil je handmatig een bepaalde snapshot reeks verwijderen dan kan je bijv. dit doen:

code:

zfs list -t snapshots -r rpool | grep 'GMT-2023.05' | xargs -L1 zfs destroy