Acties:
  • +1 Henk 'm!

  • RobertMe
  • Registratie: Maart 2009
  • Laatst online: 15:09
Kriss1981 schreef op woensdag 5 juli 2023 @ 10:26:
Hallo allemaal, recent ben ik overgestapt van TrueNAS Core naar Proxmox.

In TrueNAS draaide ik een aantal Jails met daarin Plex, Sonarr, Transmission en Unifi controller. Momenteel draait diezelfde software in verschillende containers (LXC) in Proxmox.

Ik wilde graag mn firewall (OPNsense) in een VM wil draaien, maar voordat ik daarmee begin moet Proxmox wel stabiel blijven draaien. En daar zit nu het probleem. Proxmox gaat onderuit wanneer er ook maar iets van load is. Als ik bijvoorbeeld Plex een library laat scannen, reageert de Proxmox Web Gui niet meer en worden alle LXC containers gereboot.

Iemand enig idee waar dit aan kan liggen? :?

mijn config is in mijn ogen vrij simpel:
  • Proxmox 8 geinstalleerd op ZFS
  • Privilged LXC debian SAMBA
  • Privilged LXC ubuntu Plex
  • Privilged LXC ubuntu Sonarr en Transmission
  • Unprivilged LXC debian Unifi
Welke Proxmox (/kernel) versie (Proxmox 7 met 5.15 of 5.18 kernel, of Proxmox 8 met 6.2 kernel?) en welke hardware lijken mij in deze ook relevant

Acties:
  • 0 Henk 'm!

  • Kriss1981
  • Registratie: Februari 2008
  • Laatst online: 11-09 22:16
Proxmox 8 met 6.2 kernel en hardware:
  • Intel Core i3-9100
  • Fuijtsu D3644 met C246 Chipset
  • Kingston 2x 16GB ECC UDIMM
  • Proxmox rpool 2xSSD Mirror, een NVMe voor LXC, een 2x HDD Mirror voor data
TrueNAS draait al jaren feilloos op deze hardware, maar Proxmox helaas niet. Ik had PCI-e passthrough ingeschakeld in Proxmox om een NIC aan de firewall door te geven. Dit heb ik inmiddels uitgeschakeld, maar brengt geen verbetering.


EDIT: syslog is ook niet echt behulpzaam. hier deed ik in Plex een library toevoegen:
Afbeeldingslocatie: https://tweakers.net/i/Zb8GqysuyQM_jCUk_zbCSQ7VFp0=/800x/filters:strip_exif()/f/image/YwqR81ewAOCwdv9zNj4gkvBm.png?f=fotoalbum_large

[ Voor 35% gewijzigd door Kriss1981 op 05-07-2023 11:29 ]


Acties:
  • 0 Henk 'm!

  • powerboat
  • Registratie: December 2003
  • Laatst online: 05:52
Kriss1981 schreef op woensdag 5 juli 2023 @ 10:38:
Proxmox 8 met 6.2 kernel en hardware:
  • Intel Core i3-9100
  • Fuijtsu D3644 met C246 Chipset
  • Kingston 2x 16GB ECC UDIMM
  • Proxmox rpool 2xSSD Mirror, een NVMe voor LXC, een 2x HDD Mirror voor data
TrueNAS draait al jaren feilloos op deze hardware, maar Proxmox helaas niet. Ik had PCI-e passthrough ingeschakeld in Proxmox om een NIC aan de firewall door te geven. Dit heb ik inmiddels uitgeschakeld, maar brengt geen verbetering.


EDIT: syslog is ook niet echt behulpzaam. hier deed ik in Plex een library toevoegen:
[Afbeelding]
Welk merk en type ssd's heb je?

Acties:
  • 0 Henk 'm!

  • Kriss1981
  • Registratie: Februari 2008
  • Laatst online: 11-09 22:16
powerboat schreef op woensdag 5 juli 2023 @ 15:06:
[...]


Welk merk en type ssd's heb je?
Weet niet zo goed waarom dat relevant is?
Deze:
https://tweakers.net/pric...lite-960gb/specificaties/

Als ik straks tijd heb, zal ik Proxmox eens op een andere SSD zetten, om deze uit te sluiten. Heb nog een paar Toshiba en Samsung SSDs liggen.

[ Voor 27% gewijzigd door Kriss1981 op 05-07-2023 15:51 ]


Acties:
  • 0 Henk 'm!

  • John245
  • Registratie: Januari 2020
  • Nu online
powerboat schreef op woensdag 5 juli 2023 @ 15:06:
[...]


Welk merk en type ssd's heb je?
Hier een mirror met Samsung 860 Pro 1TB, best wel een prijsverschil.

Tibber; 3-fase Victron ESS, 38,4 kWh opslag; gasloos sinds 2013; Nibe F1245-10PC; SAP; HomeSeer4; Proxmox 8


Acties:
  • +4 Henk 'm!

  • _Eend_
  • Registratie: Juni 2006
  • Laatst online: 08:32

_Eend_

🌻🇺🇦

Kriss1981 schreef op woensdag 5 juli 2023 @ 15:14:
[...]


Weet niet zo goed waarom dat relevant is?
Deze:
https://tweakers.net/pric...lite-960gb/specificaties/

Als ik straks tijd heb, zal ik Proxmox eens op een andere SSD zetten, om deze uit te sluiten. Heb nog een paar Toshiba en Samsung SSDs liggen.
Omdat een paar SSD's bekend staan dat ze problemen geven onder load, als voorbeeld de Kingston A2000. Die reageert helemaal nergens meer zodra die het een beetje druk krijgt.

Acties:
  • +2 Henk 'm!

  • powerboat
  • Registratie: December 2003
  • Laatst online: 05:52
Kriss1981 schreef op woensdag 5 juli 2023 @ 15:14:
[...]


Weet niet zo goed waarom dat relevant is?
Deze:
https://tweakers.net/pric...lite-960gb/specificaties/

Als ik straks tijd heb, zal ik Proxmox eens op een andere SSD zetten, om deze uit te sluiten. Heb nog een paar Toshiba en Samsung SSDs liggen.
Sommige ssd's hebben issues met Proxmox

Acties:
  • +2 Henk 'm!

  • Cardinal
  • Registratie: Maart 2002
  • Laatst online: 16:40
2 dagen aan het pielen geweest en het enige wat nodig was:

code:
1
2
options i915 force_probe=4e55
options i915 enable_guc=2


Om plex hardware transcoding onder JasperLake aan de praat te krijgen. |:(

Acties:
  • +1 Henk 'm!

  • nero355
  • Registratie: Februari 2002
  • Laatst online: 28-02 22:21

nero355

ph34r my [WCG] Cows :P

@Cardinal

Zeker constant dezelfde verkeerde antwoorden op je probleem tegengekomen om vervolgens zelf erachter te komen dat het probleem totaal anders opgelost moet worden ??

Zo ja, dan stel ik voor dat we een "Anti-Hash & Rehash Internet Club" beginnen! 8) :*) :+

|| Stem op mooiere Topic Search linkjes! :) " || Pi-Hole : Geen advertenties meer voor je hele netwerk! >:) ||


Acties:
  • +2 Henk 'm!

  • Cardinal
  • Registratie: Maart 2002
  • Laatst online: 16:40
@nero355 Om het issue op te lossen heb ik:
  • De kernel aangepast naar meerdere versies die zogenaamd wel werken
  • Verschillende containers, zowel priviliged als unpriviliged.
  • Verschillende idmaps toegevoegd, omdat het overduidelijk te maken heeft met de user groups.
  • Verschillende intel drivers geprobeerd.
  • Verschillende mount.entry variaties gebuikt.
  • Verschillende installatiemethodes + laatste plex beta
  • NUC Bios geupdate, kan toch geen kwaad + alle settings gechecked.
Het enige wat volgens mij wat heeft gedaan is:
  • GRUB_CMDLINE_LINUX_DEFAULT="intel_iommu=on" (Boot0000* proxmox ...(\GRUBX64.EFI))
  • i915.conf met options i915 force_probe=4e55 en options i915 enable_guc=2
Naderhand werkte alle 4 variaties containers met (hw), dus alle behalve tteck verwijderd.

Waar meld ik me aan voor de club?

[ Voor 4% gewijzigd door Cardinal op 07-07-2023 07:45 ]


Acties:
  • 0 Henk 'm!

  • Feni
  • Registratie: Juli 2005
  • Laatst online: 15:17
Kriss1981 schreef op woensdag 5 juli 2023 @ 10:26:
Iemand enig idee waar dit aan kan liggen? :?
[/list]
Dat is bijzonder, mijn eerste vermoeden zou hardware related zijn. Gebruik zelf geen LXC's maar VM's ivm portabiliteit en kernel compatibility. Advies is (naar mijn weten) om geen verschillende kernel te gebruiken in een LXC vs de host kernel, misschien zit daar nog een richting om te kijken.

Acties:
  • +3 Henk 'm!

  • CurlyMo
  • Registratie: Februari 2011
  • Nu online
Feni schreef op vrijdag 7 juli 2023 @ 10:37:
[...]
Advies is (naar mijn weten) om geen verschillende kernel te gebruiken in een LXC vs de host kernel, misschien zit daar nog een richting om te kijken.
Een LXC container draait geen eigen kernel.

Sinds de 2 dagen regel reageer ik hier niet meer


Acties:
  • +1 Henk 'm!

  • powerboat
  • Registratie: December 2003
  • Laatst online: 05:52
Feni schreef op vrijdag 7 juli 2023 @ 10:37:
[...]


Dat is bijzonder, mijn eerste vermoeden zou hardware related zijn. Gebruik zelf geen LXC's maar VM's ivm portabiliteit en kernel compatibility. Advies is (naar mijn weten) om geen verschillende kernel te gebruiken in een LXC vs de host kernel, misschien zit daar nog een richting om te kijken.
LXC gebruikt de kernel van je host (hypervisor).

Acties:
  • +2 Henk 'm!

  • Zwelgje
  • Registratie: November 2000
  • Laatst online: 16:48
CurlyMo schreef op vrijdag 7 juli 2023 @ 11:13:
[...]

Een LXC container draait geen eigen kernel.
ik vermoed dat hij doelt op zelfde container image als je host.

in proxmox 8 kan je kiezen of je een versie 11 template of 12 wilt gebruiken. idealiter neem je dan versie 12.

A wise man's life is based around fuck you


Acties:
  • +1 Henk 'm!

  • Kriss1981
  • Registratie: Februari 2008
  • Laatst online: 11-09 22:16
_Eend_ schreef op woensdag 5 juli 2023 @ 16:00:
[...]


Omdat een paar SSD's bekend staan dat ze problemen geven onder load, als voorbeeld de Kingston A2000. Die reageert helemaal nergens meer zodra die het een beetje druk krijgt.
powerboat schreef op woensdag 5 juli 2023 @ 18:14:
[...]


Sommige ssd's hebben issues met Proxmox
Thanks! De SSDs veroorzaakten inderdaad problemen.

Heb PVE op een andere SSD geinstalleerd en toen draaide het meteen een stuk stabieler. Echter, ging het systeem toch weer onderuit tijdens het afspelen van een 4K film die ge-transcode moest worden.

Momenteel weer terug bij TrueNAS Core en alles draait weer stabiel. Ga binnenkort een paar nieuwe SSDs bestellen en dan nog eens een poging wagen met PVE.

Acties:
  • 0 Henk 'm!

  • Feni
  • Registratie: Juli 2005
  • Laatst online: 15:17
CurlyMo schreef op vrijdag 7 juli 2023 @ 11:13:
[...]

Een LXC container draait geen eigen kernel.
Kijk daar gaat mijn kennis al. 8)7 Had had eerder in deze thread over problemen gelezen met containers die een andere host kernel verwachten. Waard om te onderzoeken als hardware is uitgesloten.

Acties:
  • +1 Henk 'm!

  • Feni
  • Registratie: Juli 2005
  • Laatst online: 15:17
Kriss1981 schreef op vrijdag 7 juli 2023 @ 13:40:
[...]


[...]
Heb PVE op een andere SSD geinstalleerd en toen draaide het meteen een stuk stabieler. Echter, ging het systeem toch weer onderuit tijdens het afspelen van een 4K film die ge-transcode moest worden.
Bijzonder dat BSD/Truenas wel stabiel draait op je hardware met dezelfde load en Linux/PVE niet. Had je PVE op ZFS draaien of Ext4 als filesystem? Het is het overwegen waard om bij een reinstall geen containers maar VM's te draaien om e.e.a. uit te sluiten in je troubleshooting.

Acties:
  • +3 Henk 'm!

  • powerboat
  • Registratie: December 2003
  • Laatst online: 05:52
Ondanks dat LXC een zeer mooie techniek is en efficiënter met de resources omgaat. Kies ik toch liever voor full virtualization, mogelijk ligt dit aan mij maar heb er veel minder issues mee.

Acties:
  • +1 Henk 'm!

  • rachez
  • Registratie: Januari 2003
  • Laatst online: 11-09 22:45
powerboat schreef op vrijdag 7 juli 2023 @ 19:59:
Ondanks dat LXC een zeer mooie techniek is en efficiënter met de resources omgaat. Kies ik toch liever voor full virtualization, mogelijk ligt dit aan mij maar heb er veel minder issues mee.
Same here, of een full vm of docker-compose / podman op een vm voor losse applicaties. Zo heb ik een vm die bijna mijn hele homelab dmv docker-compose in containers draait. Zelden issues mee.

Acties:
  • +1 Henk 'm!

  • RobertMe
  • Registratie: Maart 2009
  • Laatst online: 15:09
rachez schreef op vrijdag 7 juli 2023 @ 20:37:
[...]

Same here, of een full vm of docker-compose / podman op een vm voor losse applicaties. Zo heb ik een vm die bijna mijn hele homelab dmv docker-compose in containers draait. Zelden issues mee.
Tsja. Ik draai(de) meerdere LXCs (elk gekoppeld aan eigen VLAN) met in elke LXC Docker en ook dat werkt(e) dik prima.

* intussen voor een mini-PCtje gegaan met plain Debian + Docker en zelf klussen om containers "in" VLANs te draaien.

Acties:
  • +2 Henk 'm!

  • rachez
  • Registratie: Januari 2003
  • Laatst online: 11-09 22:45
Prima toch, er zijn meer wegen naar Rome.

Acties:
  • +1 Henk 'm!

  • powerboat
  • Registratie: December 2003
  • Laatst online: 05:52
Zekers mensen moeten dingen doen waar ze zich prettig bij voelen ;).

Acties:
  • 0 Henk 'm!

  • MrAngry
  • Registratie: December 2001
  • Laatst online: 09:25
schumi2004 schreef op woensdag 8 februari 2023 @ 00:03:
[...]

Toch heb ik specifiek gezocht op guides die spreken over het koppelen aan LXC.

Achja, morgen weer een dag en anders maar niet :+

/edit:
Schijnbaar heb ik nu iets voor elkaar gekregen, nu even checken of het ook daadwerkelijk werkt.
Hoe heb jij toen je /dev/dri teruggekregen? Ik worstel met hetzelfde issue

Er is maar één goed systeem en dat is een geluidsysteem - Sef


Acties:
  • +2 Henk 'm!

  • Cardinal
  • Registratie: Maart 2002
  • Laatst online: 16:40
@MrAngry Ik weet je setup niet, maar heb je gedacht aan lxc.mount.entry?
Hier de config van mijn Intel NUC, mogelijk heb je wat aan de inspiratie.

code:
1
2
3
4
5
6
7
8
lxc.cgroup2.devices.allow: a
lxc.cap.drop:
lxc.cgroup2.devices.allow: c 226:0 rwm
lxc.cgroup2.devices.allow: c 226:128 rwm
lxc.cgroup2.devices.allow: c 29:0 rwm
lxc.mount.entry: /dev/fb0 dev/fb0 none bind,optional,create=file
lxc.mount.entry: /dev/dri dev/dri none bind,optional,create=dir
lxc.mount.entry: /dev/dri/renderD128 dev/dri/renderD128 none bind,optional,create=file

Acties:
  • +1 Henk 'm!

  • MrAngry
  • Registratie: December 2001
  • Laatst online: 09:25
Bedankt voor het meedenken. Het probleem was dat mijn 12th gen Alder Lake helemaal geen /dev/dri had. Blijkbaar moet je daarvoor de kernel updaten. Dat heb ik dus gisteren gedaan door van proxmox 7 naar 8 te gaan, echter heb ik nu geen netwerk door weer een nieuwe bug, dit keer met de realtek driver, ongeveer zoals hier:
https://forum.proxmox.com...pgrade-nic-driver.129366/

Blijft een vermoeiende hobby.

Er is maar één goed systeem en dat is een geluidsysteem - Sef


Acties:
  • +1 Henk 'm!

  • Loekie
  • Registratie: Juli 2001
  • Laatst online: 14:10
Deze optie al geprobeerd? Had zelfde met rtl-8168 kaarten:
Loekie in "Het grote Proxmox VE topic"

specs


Acties:
  • +1 Henk 'm!

  • MrAngry
  • Registratie: December 2001
  • Laatst online: 09:25
Ja, uiteindelijk blijkt dit mijn probleem te zijn: https://forum.proxmox.com...et-and-gpu-driver.129820/

Intel N95 iGPU werkt niet onder kernel 5.15 en onder 6.2 doet het netwerk het niet. Ik heb helaas nu mijn hele installatie in de soep gedraaid met het proberen het te fiksen, dus zal hem opnieuw moeten bouwen, maar ik twijfel of ik niet net als de TS van die thread zal switchen naar Ubuntu. Er lijkt nog geen oplossing in proxmox.

Er is maar één goed systeem en dat is een geluidsysteem - Sef


Acties:
  • +1 Henk 'm!

  • RobertMe
  • Registratie: Maart 2009
  • Laatst online: 15:09
MrAngry schreef op maandag 10 juli 2023 @ 14:17:
Ja, uiteindelijk blijkt dit mijn probleem te zijn: https://forum.proxmox.com...et-and-gpu-driver.129820/

Intel N95 iGPU werkt niet onder kernel 5.15 en onder 6.2 doet het netwerk het niet. Ik heb helaas nu mijn hele installatie in de soep gedraaid met het proberen het te fiksen, dus zal hem opnieuw moeten bouwen, maar ik twijfel of ik niet net als de TS van die thread zal switchen naar Ubuntu. Er lijkt nog geen oplossing in proxmox.
Niet de thread gelezen, maar Proxmox gebruikt juist de kernel van Ubuntu. Gezien de problemen die je beschrijft kernel gerelateerd zijn lijkt mij dus dat (op termijn?) het ook met Proxmox werkt? Want ik neem dan aan dat Ubuntu patches heeft gebackport om het issue op te lossen, en dat die ook naar beneden zullen vloeien naar Proxmox.

Acties:
  • +1 Henk 'm!

  • sloth
  • Registratie: Januari 2010
  • Niet online
Ik ben nieuw met Proxmox. Zien jullie dit ook als de beste oplossing voor het beoogde gebruik? Is dit ook veilig gedaan?

Doel: NAS inrichten op basis van ZFS. Passthrough via IOMMU / VT-D is geen optie.

Ik heb me even ingelezen in dit topic en al snel vond ik de bind mount optie. @A1AD en @CurlyMo jullie gebruiken dit ook naar tevredenheid, toch?

Wat ik heb gedaan:

1. Via GUI een nieuwe unprivileged LXC container aangemaakt CT100
2. Samba geinstalleerd in CT100 met samba user 'share' met UID 1000
3. Via GUI een nieuwe ZFS pool aangemaakt 'pool500' op de host
4. Via GUI een nieuwe mount point toegevoegd aan CT100 - subvolume 100G van 'pool500'
5. Via GUI in de host console 'chown 101000:101000 /pool500/subvol-100-disk-0 -R'
6. CT100 herstart en nieuwe Samba share aangemaakt (valid users = share)
7. De samba share gemount in windows en getest, prestaties zijn voorlopig prima voor het beperkte gebruik

Mis ik nog wat?
Als je oudere tutorials leest lijkt het veel complexer en veel meer CLI werk dan wat ik heb gedaan in VE 8.0.3.

[ Voor 13% gewijzigd door sloth op 11-07-2023 19:03 ]


Acties:
  • +1 Henk 'm!

  • CurlyMo
  • Registratie: Februari 2011
  • Nu online
@sloth als het werkt dan werkt het.

Sinds de 2 dagen regel reageer ik hier niet meer


Acties:
  • 0 Henk 'm!

  • MrAngry
  • Registratie: December 2001
  • Laatst online: 09:25
RobertMe schreef op maandag 10 juli 2023 @ 14:45:
[...]

Niet de thread gelezen, maar Proxmox gebruikt juist de kernel van Ubuntu. Gezien de problemen die je beschrijft kernel gerelateerd zijn lijkt mij dus dat (op termijn?) het ook met Proxmox werkt? Want ik neem dan aan dat Ubuntu patches heeft gebackport om het issue op te lossen, en dat die ook naar beneden zullen vloeien naar Proxmox.
Ja alleen ik kan ubuntu ook niet installeren vanwege install failures, of geen netwerk (22.10 and up). Lekker chinese crap gekocht blijkbaar.

Er is maar één goed systeem en dat is een geluidsysteem - Sef


Acties:
  • 0 Henk 'm!

  • nero355
  • Registratie: Februari 2002
  • Laatst online: 28-02 22:21

nero355

ph34r my [WCG] Cows :P

MrAngry schreef op dinsdag 11 juli 2023 @ 21:36:
Ja alleen ik kan ubuntu ook niet installeren vanwege install failures, of geen netwerk (22.10 and up). Lekker chinese crap gekocht blijkbaar.
Brainfart idee :
- Debian installeren.
Eventueel Testing of Unstable zelfs!
- Daar bovenop Proxmox installeren.

Misschien een idee om te proberen :?

|| Stem op mooiere Topic Search linkjes! :) " || Pi-Hole : Geen advertenties meer voor je hele netwerk! >:) ||


Acties:
  • +1 Henk 'm!

  • RobertMe
  • Registratie: Maart 2009
  • Laatst online: 15:09
nero355 schreef op dinsdag 11 juli 2023 @ 23:13:
[...]

Brainfart idee :
- Debian installeren.
Eventueel Testing of Unstable zelfs!
- Daar bovenop Proxmox installeren.

Misschien een idee om te proberen :?
Proxmox vereist hun eigen kernel. Met kernel issies gaat dat dus niks uit maken.

Acties:
  • 0 Henk 'm!

  • nero355
  • Registratie: Februari 2002
  • Laatst online: 28-02 22:21

nero355

ph34r my [WCG] Cows :P

RobertMe schreef op dinsdag 11 juli 2023 @ 23:15:
Proxmox vereist hun eigen kernel. Met kernel issies gaat dat dus niks uit maken.
Maar als je daar dan ook een laten we zeggen minder stabiele versie van neemt :?

Roep maar wat hoor... Geen ervaring mee... O-)

|| Stem op mooiere Topic Search linkjes! :) " || Pi-Hole : Geen advertenties meer voor je hele netwerk! >:) ||


Acties:
  • +2 Henk 'm!

  • orvintax
  • Registratie: Maart 2018
  • Laatst online: 16:29

orvintax

www.fab1an.dev

sloth schreef op dinsdag 11 juli 2023 @ 18:59:
Ik ben nieuw met Proxmox. Zien jullie dit ook als de beste oplossing voor het beoogde gebruik? Is dit ook veilig gedaan?

Doel: NAS inrichten op basis van ZFS. Passthrough via IOMMU / VT-D is geen optie.

Ik heb me even ingelezen in dit topic en al snel vond ik de bind mount optie. @A1AD en @CurlyMo jullie gebruiken dit ook naar tevredenheid, toch?

Wat ik heb gedaan:

1. Via GUI een nieuwe unprivileged LXC container aangemaakt CT100
2. Samba geinstalleerd in CT100 met samba user 'share' met UID 1000
3. Via GUI een nieuwe ZFS pool aangemaakt 'pool500' op de host
4. Via GUI een nieuwe mount point toegevoegd aan CT100 - subvolume 100G van 'pool500'
5. Via GUI in de host console 'chown 101000:101000 /pool500/subvol-100-disk-0 -R'
6. CT100 herstart en nieuwe Samba share aangemaakt (valid users = share)
7. De samba share gemount in windows en getest, prestaties zijn voorlopig prima voor het beperkte gebruik

Mis ik nog wat?
Als je oudere tutorials leest lijkt het veel complexer en veel meer CLI werk dan wat ik heb gedaan in VE 8.0.3.
Ziet er goed uit zover ik kan zien. Bind mounts zijn top in mijn ervaring. In dit geval lijkt me dat ook de perfecte keuze :)

https://dontasktoask.com/


Acties:
  • +3 Henk 'm!

  • A1AD
  • Registratie: Juli 2013
  • Laatst online: 27-07 23:41
sloth schreef op dinsdag 11 juli 2023 @ 18:59:
@A1AD en @CurlyMo jullie gebruiken dit ook naar tevredenheid, toch?
Zeer zeker. Bind mount met ZFS is de beste combinatie d:)b

- Deze advertentie is geblokkeerd door Pi-Hole -


Acties:
  • 0 Henk 'm!

  • ZatarraNL
  • Registratie: Mei 2015
  • Laatst online: 05-09 13:08
Wie weet de oplossing voor het volgende probleem:
Eén van mijn LXC containers verliest na een paar uur DNS. Alle andere containers en de host hebben prima DNS. Als ik systemctl restart networking doe, werkt alles weer een paar uur.

Waar kan dit aan liggen? De nameservers kloppen gewoon (normaliter lokale pihole, maar met 8.8.4.4 en 1.1.1.1 dezelfde problemen).

systemctl status networking geeft niks bijzonders aan.

Waar kan ik hiervoor de logs vinden?

[ Voor 8% gewijzigd door ZatarraNL op 19-07-2023 16:58 ]


Acties:
  • +1 Henk 'm!

  • Airw0lf
  • Registratie: Mei 2005
  • Laatst online: 15:39
ZatarraNL schreef op woensdag 19 juli 2023 @ 16:58:
Wie weet de oplossing voor het volgende probleem:
Eén van mijn LXC containers verliest na een paar uur DNS. Alle andere containers en de host hebben prima DNS. Als ik systemctl restart networking doe, werkt alles weer een paar uur.

Waar kan dit aan liggen? De nameservers kloppen gewoon (normaliter lokale pihole, maar met 8.8.4.4 en 1.1.1.1 dezelfde problemen).

systemctl status networking geeft niks bijzonders aan.

Waar kan ik hiervoor de logs vinden?
Mijn glazenbol is niet meer wat het zijn moet... dus ik kan niet meer zien welk OS je in die LXC container(s) hebt draaien... laat staan welke resolver je gebruikt... :+

makes it run like clockwork


Acties:
  • 0 Henk 'm!

  • ZatarraNL
  • Registratie: Mei 2015
  • Laatst online: 05-09 13:08
Airw0lf schreef op woensdag 19 juli 2023 @ 19:06:
[...]


Mijn glazenbol is niet meer wat het zijn moet... dus ik kan niet meer zien welk OS je in die LXC container(s) hebt draaien... laat staan welke resolver je gebruikt... :+
Ach ja, je hebt gelijk. Context:

Host:
- proxmox VE 7.4
- 3 nodes, 5 VM's, 7 containers

LXC:
- Debian 11
- Nextcloud 27.0.0 / PHP 8.2 / Apache2
- op Ceph cluster
- nameserver: intern ip4-adres van de pihole container

LXC:
- Debian 11
- Pihole

LXC:
- Nginx reverseproxy op Ubuntu 22 LTS

Status:
- Nextcloud werkt naar behoren, maar de smtp voor "nieuw wachtwoord aanvragen" werkte niet.
- Na lange tijd zoeken merkte ik dat de container ook websites niet kon pingen.
- Interne DNS werkt allemaal wel
- Externe DNS werkte niet
- Restart van networking lostte alles op, maar na enige tijd weer error met smtp. Blijkt: hetzelfde probleem
- Errors van nextcloud: geen
- Overige containers/VM's: geen problemen met DNS

Heb je meer informatie nodig?

Acties:
  • +1 Henk 'm!

  • Feni
  • Registratie: Juli 2005
  • Laatst online: 15:17
ZatarraNL schreef op woensdag 19 juli 2023 @ 21:18:
[...]

- Restart van networking lostte alles op, maar na enige tijd weer error met smtp. Blijkt: hetzelfde probleem
Paar vragen:
- kan je de pihole container pingen vanuit je Nextcloud container? En ook als de DNS is weggevallen?
- check even dat pihole je Nextcloud instance niet rate limit of blokkeert, het tijdsgebonden element vind ik verdacht

Acties:
  • +1 Henk 'm!

  • Airw0lf
  • Registratie: Mei 2005
  • Laatst online: 15:39
ZatarraNL schreef op woensdag 19 juli 2023 @ 21:18:
[...]

Heb je meer informatie nodig?
Bedankt - dat scheelt al een boel - nog een paar dingen.

(1) - welke DNS-resolver gebruik je bij elk van die systemen/containers?

(2) - met de gok dat overal de systemd-resolver gebruikt wordt:
(a) - Wat staat er in het bestand "/etc/systemd/resolved.conf"
(b) - Wat staat er in het bestand "/etc/resolv.conf" als het wel werkt?
(c) - Wat staat er in dit bestand als het niet werkt?

makes it run like clockwork


Acties:
  • 0 Henk 'm!

  • ZatarraNL
  • Registratie: Mei 2015
  • Laatst online: 05-09 13:08
Feni schreef op donderdag 20 juli 2023 @ 10:14:
[...]


Paar vragen:
- kan je de pihole container pingen vanuit je Nextcloud container? En ook als de DNS is weggevallen?
- check even dat pihole je Nextcloud instance niet rate limit of blokkeert, het tijdsgebonden element vind ik verdacht
Ja, ik kan alles binnen het eigen netwerk pingen, zolang de DNS verwijzing naar de pihole is. Ook als de DNS is weggevallen. De Pihole verzorgt de lokale DNS.
Rate Limit is niet ingesteld. Blokkades ook niet. Tenminste, dat heb ik nooit ingesteld.
Airw0lf schreef op donderdag 20 juli 2023 @ 12:39:
[...]


Bedankt - dat scheelt al een boel - nog een paar dingen.

(1) - welke DNS-resolver gebruik je bij elk van die systemen/containers?

(2) - met de gok dat overal de systemd-resolver gebruikt wordt:
(a) - Wat staat er in het bestand "/etc/systemd/resolved.conf"
(b) - Wat staat er in het bestand "/etc/resolv.conf" als het wel werkt?
(c) - Wat staat er in dit bestand als het niet werkt?
1. wisselend. Soms de Pihole, soms 8.8.8.8/8.8.4.4. Het werkt bij allemaal.
2a. geen wijzigingen (alles voorzien van #)
2b.
code:
1
2
3
4
# --- BEGIN PVE ---
search [local domain]
nameserver [ip adres pihole] of 8.8.8.8/8.8.4.4
# --- END PVE ---

2c. idem als 2b

Acties:
  • +1 Henk 'm!

  • Feni
  • Registratie: Juli 2005
  • Laatst online: 15:17
ZatarraNL schreef op donderdag 20 juli 2023 @ 13:33:
[...]


Rate Limit is niet ingesteld. Blokkades ook niet. Tenminste, dat heb ik nooit ingesteld.
Pihole heeft een default rate limit van 1000 requests per minuut: https://docs.pi-hole.net/ftldns/configfile/

Verhoog die eens naar een arbitraire waarde (bv 99999), ben benieuwd of je probleem daarna opgelost is. ;)

Acties:
  • +2 Henk 'm!

  • Zwelgje
  • Registratie: November 2000
  • Laatst online: 16:48
Feni schreef op donderdag 20 juli 2023 @ 13:35:
[...]


Pihole heeft een default rate limit van 1000 requests per minuut: https://docs.pi-hole.net/ftldns/configfile/

Verhoog die eens naar een arbitraire waarde (bv 99999), ben benieuwd of je probleem daarna opgelost is. ;)
als ik lees dat hij dit issue ook bij externe DNS providers heeft dank gok ik dat het dan niet opgelost is :>

A wise man's life is based around fuck you


Acties:
  • +1 Henk 'm!

  • Airw0lf
  • Registratie: Mei 2005
  • Laatst online: 15:39
@ZatarraNL

Toch nog een vraagje m.b.t. je DNS probeem: wat is de output van "resolvectl status" als het werkt? En wat als het niet meer werkt?

makes it run like clockwork


Acties:
  • +1 Henk 'm!

  • ZatarraNL
  • Registratie: Mei 2015
  • Laatst online: 05-09 13:08
Feni schreef op donderdag 20 juli 2023 @ 13:35:
[...]


Pihole heeft een default rate limit van 1000 requests per minuut: https://docs.pi-hole.net/ftldns/configfile/

Verhoog die eens naar een arbitraire waarde (bv 99999), ben benieuwd of je probleem daarna opgelost is. ;)
Het probleem is er ook zonder Pihole. De DNS-server heeft hier geen invloed op. Als ik de Pihole omzeil door 8.8.4.4., 1.1.1.1 of 8.8.8.8 te gebruiken, is de probleem gelijk.
Airw0lf schreef op vrijdag 21 juli 2023 @ 23:37:
@ZatarraNL

Toch nog een vraagje m.b.t. je DNS probeem: wat is de output van "resolvectl status" als het werkt? En wat als het niet meer werkt?
Ga ik later even naar kijken, ik ben op het moment niet in de gelegenheid op der server in te loggen. Ik weet in ieder geval wel dat de resolve.conf van systemd (nog) niet gebruikt wordt. Zou dat het euvel kunnen zijn? Want volgens mij is die nog nooit gebruikt. Ik weet eerlijk gezegd ook niet wat de functie hiervan is.

[ Voor 36% gewijzigd door ZatarraNL op 22-07-2023 09:29 ]


Acties:
  • +2 Henk 'm!

  • Airw0lf
  • Registratie: Mei 2005
  • Laatst online: 15:39
ZatarraNL schreef op zaterdag 22 juli 2023 @ 09:26:
[...]

Ga ik later even naar kijken, ik ben op het moment niet in de gelegenheid op der server in te loggen. Ik weet in ieder geval wel dat de resolve.conf van systemd (nog) niet gebruikt wordt. Zou dat het euvel kunnen zijn? Want volgens mij is die nog nooit gebruikt. Ik weet eerlijk gezegd ook niet wat de functie hiervan is.
Ja - daar lijkt het op.

Elk systeem gebruik een zogenaamde resolver - veel Debian-achtige maken dan gebruik van iets dat heet systemd-resolved. Het lijkt erop dat ie in jouw geval op enig moment uitvalt. Waardoor voor dat systeem alles rondom DNS stil komt te liggen.

Als je een systeem hebt wat is uitgerust met pihole, dan vervult pihole de functie van systemd-resolved. Die systemd-resolved schakel je voor dat systeem dan ook best uit.

Op alle andere systemen kan (moet!) ie actief blijven. En via het bijbehorende config-bestandje laten wijzen naar het systeem met pihole.

In beide gevallen wil de network manager wel eens roet in het eten gooien.
Daarom geef ik de voorkeur geef aan ifup en /etc/network/interfaces - dan heb ik daar minder last van. Maar das meer omdat ik eigenlijk niet goed weet hoe network manager op dit gebied werkt.

Met de output van "ss -tulpn" is te achterhalen welke resolver er op enig moment actief is.
Dat is dan doorgaans iets wat poort 53 gealloceerd heeft. Aangevuld met de interfaces (of IP's) waarop die actief is.

makes it run like clockwork


Acties:
  • 0 Henk 'm!

  • ZatarraNL
  • Registratie: Mei 2015
  • Laatst online: 05-09 13:08
Airw0lf schreef op vrijdag 21 juli 2023 @ 23:37:
@ZatarraNL

Toch nog een vraagje m.b.t. je DNS probeem: wat is de output van "resolvectl status" als het werkt? En wat als het niet meer werkt?
Als hij niet werkt:
code:
1
2
3
4
5
6
7
8
9
10
Global
         Protocols: +LLMNR +mDNS -DNSOverTLS DNSSEC=no/unsupported
  resolv.conf mode: foreign
Current DNS Server: [ip-adres pihole]
       DNS Servers: [ip-adres pihole]
        DNS Domain: [domein]

Link 2 (eth0)
Current Scopes: LLMNR/IPv4 LLMNR/IPv6
     Protocols: -DefaultRoute +LLMNR -mDNS -DNSOverTLS DNSSEC=no/unsupported

Als hij wel werkt (na systemctl restart networking):
code:
1
2
3
4
5
6
7
8
9
10
Global
         Protocols: +LLMNR +mDNS -DNSOverTLS DNSSEC=no/unsupported
  resolv.conf mode: foreign
Current DNS Server: [ip-adres pihole]
       DNS Servers: [ip-adres pihole]
        DNS Domain: [domein]

Link 2 (eth0)
Current Scopes: LLMNR/IPv4
     Protocols: -DefaultRoute +LLMNR -mDNS -DNSOverTLS DNSSEC=no/unsupported

Oftwel, exact hetzelfde.
Airw0lf schreef op zaterdag 22 juli 2023 @ 10:38:
[...]


Ja - daar lijkt het op.

Elk systeem gebruik een zogenaamde resolver - veel Debian-achtige maken dan gebruik van iets dat heet systemd-resolved. Het lijkt erop dat ie in jouw geval op enig moment uitvalt. Waardoor voor dat systeem alles rondom DNS stil komt te liggen.

Als je een systeem hebt wat is uitgerust met pihole, dan vervult pihole de functie van systemd-resolved. Die systemd-resolved schakel je voor dat systeem dan ook best uit.

Op alle andere systemen kan (moet!) ie actief blijven. En via het bijbehorende config-bestandje laten wijzen naar het systeem met pihole.

In beide gevallen wil de network manager wel eens roet in het eten gooien.
Daarom geef ik de voorkeur geef aan ifup en /etc/network/interfaces - dan heb ik daar minder last van. Maar das meer omdat ik eigenlijk niet goed weet hoe network manager op dit gebied werkt.

Met de output van "ss -tulpn" is te achterhalen welke resolver er op enig moment actief is.
Dat is dan doorgaans iets wat poort 53 gealloceerd heeft. Aangevuld met de interfaces (of IP's) waarop die actief is.
Tja, maar een paar punten die mij opvallen:
- De Pihole staat niet op hetzelfde systeem. Dat is een andere container.
- De DNS-server adres wordt in de Proxmox web-GUI ingevoerd. Ik weet niet wat er gebeurt als ik dit in /etc/resolve.conf ga wijzigen.
- Andere LXC-containers (simpele 'lege' debian, bijvoorbeeld) gebruiken ook /etc/systemd/resolve.conf niet. Ook de pihole niet. En dat gaat wel goed. Waarom daar wel? Deze meeste containers gebruiken de DNS die de host (proxmox) opgeeft. En dat is 1.1.1.1.

[ Voor 45% gewijzigd door ZatarraNL op 22-07-2023 12:42 ]


Acties:
  • +1 Henk 'm!

  • Airw0lf
  • Registratie: Mei 2005
  • Laatst online: 15:39
@ZatarraNL
Ik heb zo ik geen exacte oorzaak - laat staan een oplossing.

Je kan nog eens kijken of er een verschil is in de output van "ss -tulpn" met wel/niet werkend. In /etc/log/syslog is dan wellicht te achterhalen wat er op enig moment aan de hand was.

Misschien dat een post in het forum van Proxmox nog wat andere inzichten oplevert?

makes it run like clockwork


Acties:
  • 0 Henk 'm!

  • ZatarraNL
  • Registratie: Mei 2015
  • Laatst online: 05-09 13:08
Airw0lf schreef op zaterdag 22 juli 2023 @ 14:04:
@ZatarraNL
Ik heb zo ik geen exacte oorzaak - laat staan een oplossing.

Je kan nog eens kijken of er een verschil is in de output van "ss -tulpn" met wel/niet werkend. In /etc/log/syslog is dan wellicht te achterhalen wat er op enig moment aan de hand was.

Misschien dat een post in het forum van Proxmox nog wat andere inzichten oplevert?
De output daarvan is gelijk als het wel of niet werkt:
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
udp     UNCONN    0         0            192.168.2.255:137             0.0.0.0:*       users:(("nmbd",pid=120,fd=16))                                                       
udp     UNCONN    0         0            192.168.2.119:137             0.0.0.0:*       users:(("nmbd",pid=120,fd=15))                                                       
udp     UNCONN    0         0                  0.0.0.0:137             0.0.0.0:*       users:(("nmbd",pid=120,fd=13))                                                       
udp     UNCONN    0         0            192.168.2.255:138             0.0.0.0:*       users:(("nmbd",pid=120,fd=18))                                                       
udp     UNCONN    0         0            192.168.2.119:138             0.0.0.0:*       users:(("nmbd",pid=120,fd=17))                                                       
udp     UNCONN    0         0                  0.0.0.0:138             0.0.0.0:*       users:(("nmbd",pid=120,fd=14))                                                       
tcp     LISTEN    0         80               127.0.0.1:3306            0.0.0.0:*       users:(("mariadbd",pid=245,fd=23))                                                   
tcp     LISTEN    0         50                 0.0.0.0:139             0.0.0.0:*       users:(("smbd",pid=334,fd=49))                                                       
tcp     LISTEN    0         511              127.0.0.1:6379            0.0.0.0:*       users:(("redis-server",pid=127,fd=6))                                                
tcp     LISTEN    0         100              127.0.0.1:25              0.0.0.0:*       users:(("master",pid=359,fd=13))                                                     
tcp     LISTEN    0         50                 0.0.0.0:445             0.0.0.0:*       users:(("smbd",pid=334,fd=48))                                                       
tcp     LISTEN    0         511                  [::1]:6379               [::]:*       users:(("redis-server",pid=127,fd=7))                                                
tcp     LISTEN    0         50                    [::]:139                [::]:*       users:(("smbd",pid=334,fd=47))                                                       
tcp     LISTEN    0         511                      *:80                    *:*       users:(("apache2",pid=584,fd=4),("apache2",pid=526,fd=4),("apache2",pid=494,fd=4),("apache2",pid=425,fd=4),("apache2",pid=424,fd=4),("apache2",pid=423,fd=4),("apache2",pid=422,fd=4),("apache2",pid=421,fd=4),("apache2",pid=268,fd=4))
tcp     LISTEN    0         100                  [::1]:25                 [::]:*       users:(("master",pid=359,fd=14))                                                     
tcp     LISTEN    0         511                      *:443                   *:*       users:(("apache2",pid=584,fd=6),("apache2",pid=526,fd=6),("apache2",pid=494,fd=6),("apache2",pid=425,fd=6),("apache2",pid=424,fd=6),("apache2",pid=423,fd=6),("apache2",pid=422,fd=6),("apache2",pid=421,fd=6),("apache2",pid=268,fd=6))
tcp     LISTEN    0         50                    [::]:445                [::]:*       users:(("smbd",pid=334,fd=46))

Ik zie zo gekke dingen. Jullie?

Ik ga inderdaad maar eens via het Proxmox-forum iets proberen. Wel iedereen bedankt voor de moeite.

Misschien kan ik tot de tijd dat er een oplossing is een script maken die pingt naar een website, en de networking-service herstart als hij geen ping heeft. Iemand nog tips hoe dat het meest eenvoudig kan?

[ Voor 3% gewijzigd door ZatarraNL op 22-07-2023 14:55 ]


Acties:
  • 0 Henk 'm!

  • Airw0lf
  • Registratie: Mei 2005
  • Laatst online: 15:39
ZatarraNL schreef op zaterdag 22 juli 2023 @ 14:51:

De output daarvan is gelijk als het wel of niet werkt:
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
udp     UNCONN    0         0            192.168.2.255:137             0.0.0.0:*       users:(("nmbd",pid=120,fd=16))                                                       
udp     UNCONN    0         0            192.168.2.119:137             0.0.0.0:*       users:(("nmbd",pid=120,fd=15))                                                       
udp     UNCONN    0         0                  0.0.0.0:137             0.0.0.0:*       users:(("nmbd",pid=120,fd=13))                                                       
udp     UNCONN    0         0            192.168.2.255:138             0.0.0.0:*       users:(("nmbd",pid=120,fd=18))                                                       
udp     UNCONN    0         0            192.168.2.119:138             0.0.0.0:*       users:(("nmbd",pid=120,fd=17))                                                       
udp     UNCONN    0         0                  0.0.0.0:138             0.0.0.0:*       users:(("nmbd",pid=120,fd=14))                                                       
tcp     LISTEN    0         80               127.0.0.1:3306            0.0.0.0:*       users:(("mariadbd",pid=245,fd=23))                                                   
tcp     LISTEN    0         50                 0.0.0.0:139             0.0.0.0:*       users:(("smbd",pid=334,fd=49))                                                       
tcp     LISTEN    0         511              127.0.0.1:6379            0.0.0.0:*       users:(("redis-server",pid=127,fd=6))                                                
tcp     LISTEN    0         100              127.0.0.1:25              0.0.0.0:*       users:(("master",pid=359,fd=13))                                                     
tcp     LISTEN    0         50                 0.0.0.0:445             0.0.0.0:*       users:(("smbd",pid=334,fd=48))                                                       
tcp     LISTEN    0         511                  [::1]:6379               [::]:*       users:(("redis-server",pid=127,fd=7))                                                
tcp     LISTEN    0         50                    [::]:139                [::]:*       users:(("smbd",pid=334,fd=47))                                                       
tcp     LISTEN    0         511                      *:80                    *:*       users:(("apache2",pid=584,fd=4),("apache2",pid=526,fd=4),("apache2",pid=494,fd=4),("apache2",pid=425,fd=4),("apache2",pid=424,fd=4),("apache2",pid=423,fd=4),("apache2",pid=422,fd=4),("apache2",pid=421,fd=4),("apache2",pid=268,fd=4))
tcp     LISTEN    0         100                  [::1]:25                 [::]:*       users:(("master",pid=359,fd=14))                                                     
tcp     LISTEN    0         511                      *:443                   *:*       users:(("apache2",pid=584,fd=6),("apache2",pid=526,fd=6),("apache2",pid=494,fd=6),("apache2",pid=425,fd=6),("apache2",pid=424,fd=6),("apache2",pid=423,fd=6),("apache2",pid=422,fd=6),("apache2",pid=421,fd=6),("apache2",pid=268,fd=6))
tcp     LISTEN    0         50                    [::]:445                [::]:*       users:(("smbd",pid=334,fd=46))
En is dit voor allemaal hetzelfde?
Ik kan het me niet voorstellen - maar is dit voor allemaal hetzelfde?

Ik zie dat je ook Samba actief hebt?
Wat is de inhoud van "/etc/samba/smb.conf"?
Daar heb ik ook het nodige gedoe mee gehad - vooral i.c.m. vlan interfaces.
Maar het lijkt er niet op dat je gebruik maakt van vlans - toch?

makes it run like clockwork


Acties:
  • 0 Henk 'm!

  • ZatarraNL
  • Registratie: Mei 2015
  • Laatst online: 05-09 13:08
Airw0lf schreef op zaterdag 22 juli 2023 @ 16:01:
[...]


En is dit voor allemaal hetzelfde?
Ik kan het me niet voorstellen - maar is dit voor allemaal hetzelfde?

Ik zie dat je ook Samba actief hebt?
Wat is de inhoud van "/etc/samba/smb.conf"?
Daar heb ik ook het nodige gedoe mee gehad - vooral i.c.m. vlan interfaces.
Maar het lijkt er niet op dat je gebruik maakt van vlans - toch?
Tja, allemaal voor hetzelfde ja. Nextcloud is natuurlijk een webbased filesystem. Het gebruikt poort 443 en 80. Daarvoor draait zowel mariadb als een Redis-server.

Die samba was ik me niet bewust van. Smb.conf is helemaal leeg, of eigenlijk originele file. Smb werkt ook helemaal niet goed in een LXC-container. Dus dat is eigenaardig.

En ja, ik heb een aantal VLAN's.draaien, maar daar is deze container geen onderdeel van.

Acties:
  • +2 Henk 'm!

  • Airw0lf
  • Registratie: Mei 2005
  • Laatst online: 15:39
@ZatarraNL
Het lijkt erop dat je situatie veel complexer is dan de eerder gegeven opsomming van containers doet vermoeden. Hoe heb je vlans ingeregeld? Via pihole/dnsmasq? Iets anders (en wat)?

Leven die vlans ook op de Proxmox server?
Of werk je daar alleen met "vlan aware"? En zit de vmbr0 interface alleen in het PVID vlan (vlan 1?)?

Inzake Samba en zijn config:
Ik weet niet precies wat de lege/originele file tegenwoordig "doet".
Bij mij staat er dit in (d.w.z. de Proxmox servers):
code:
1
2
interfaces = vmbr0
bind interfaces only = yes

Als de interface benamingen niet precies kloppen gebeuren er hele rare dingen - ook dingen die niks met samba te maken hebben.

Dat geldt ook voor de vlan interfaces op een Proxmox server.
Zo mag een vmbr0.* gebruikt worden om alle vlans mee te laten doen met samba.
Maar je moet vmbr0 (dus zonder de ".*") wel laten staan - mag niet weggehaald worden:
code:
1
2
interfaces = vmbr0 vmbr0.*
bind interfaces only = yes

En omgekeerd ook: op het moment dat er geen vlan interfaces op een proxmox server zijn moet die vmbr0.* ook weg - anders werken andere dingen weer niet (goed).

En ja - dan kunnen er rare dingen gebeuren... ook met LXC containers... >:)

Tot slot: ja - elke container is altijd een onderdeel van een vlan - namelijk het native, PVID vlan (doorgaans vlan 1). Tenzij je hier wat anders van gemaakt hebt.

[ Voor 5% gewijzigd door Airw0lf op 23-07-2023 09:59 ]

makes it run like clockwork


Acties:
  • 0 Henk 'm!

  • ZatarraNL
  • Registratie: Mei 2015
  • Laatst online: 05-09 13:08
Airw0lf schreef op zaterdag 22 juli 2023 @ 23:31:
@ZatarraNL
Het lijkt erop dat je situatie veel complexer is dan de eerder gegeven opsomming van containers doet vermoeden. Hoe heb je vlans ingeregeld? Via pihole/dnsmasq? Iets anders (en wat)?

Leven die vlans ook op de Proxmox server?
Of werk je daar alleen met "vlan aware"? En zit de vmbr0 interface alleen in het PVID vlan (vlan 1?)?

Inzake Samba en zijn config:
Ik weet niet precies wat de lege/originele file tegenwoordig "doet".
Bij mij staat er dit in (d.w.z. de Proxmox servers):
code:
1
2
interfaces = vmbr0
bind interfaces only = yes

Als de interface benamingen niet precies kloppen gebeuren er hele rare dingen - ook dingen die niks met samba te maken hebben.

Dat geldt ook voor de vlan interfaces op een Proxmox server.
Zo mag een vmbr0.* gebruikt worden om alle vlans mee te laten doen met samba.
Maar je moet vmbr0 (dus zonder de ".*") wel laten staan - mag niet weggehaald worden:
code:
1
2
interfaces = vmbr0 vmbr0.*
bind interfaces only = yes

En omgekeerd ook: op het moment dat er geen vlan interfaces op een proxmox server zijn moet die vmbr0.* ook weg - anders werken andere dingen weer niet (goed).

En ja - dan kunnen er rare dingen gebeuren... ook met LXC containers... >:)

Tot slot: ja - elke container is altijd een onderdeel van een vlan - namelijk het native, PVID vlan (doorgaans vlan 1). Tenzij je hier wat anders van gemaakt hebt.
Kijk. Nu wordt het interessant. Hier kan ik van leren. Overigens, werkte alles voorheen ook al zo, dus kan ik me niet voorstellen dat hier een direct of indirect verband bestaat, maar wie weet. Jij hebt er duidelijk meer kaas van gegeten.

Ik heb verschillende VLANs: voor guest, voor tv en een voor ip-cameras. Alles wordt door Unifi geregeld (USG, switch en 2x AP). De Pihole doet alleen DNS, verder niets. De unifi-controller is een LXC container op Proxmox. vmbr0 is VLAN aware. Enkele containers werken alleen op andere VLAN's en hebben dus een TAG en het bijbehorende ip-adres. Maar de container waar het nu om draait niet, die zit 'gewoon' op VLAN1. De smb-shares in het netwerk overigens ook. Daar zit geen enkele op een andere VLAN.

Maar zoals gezegd, deze container gebruikt géén smb. De smbd.service ziet er als volgt uit:
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
### Editing /etc/systemd/system/smbd.service.d/override.conf
### Anything between here and the comment below will become the new contents of the f>



### Lines below this comment will be discarded

### /lib/systemd/system/smbd.service
# [Unit]
# Description=Samba SMB Daemon
# Documentation=man:smbd(8) man:samba(7) man:smb.conf(5)
# Wants=network-online.target
# After=network.target network-online.target nmbd.service winbind.service
# 
# [Service]
# Type=notify
# PIDFile=/run/samba/smbd.pid
# LimitNOFILE=16384
# EnvironmentFile=-/etc/default/samba
# ExecStartPre=/usr/share/samba/update-apparmor-samba-profile
# ExecStart=/usr/sbin/smbd --foreground --no-process-group $SMBDOPTIONS
# ExecReload=/bin/kill -HUP $MAINPID
# LimitCORE=infinity
# 
# 
# [Install]
# WantedBy=multi-user.target

Acties:
  • +2 Henk 'm!

  • Airw0lf
  • Registratie: Mei 2005
  • Laatst online: 15:39
@ZatarraNL

Mijn vraag ging over de inhoud van "/etc/samba/smb.conf" - niet van "smbd.service".
Dit bestandje leeft op de Proxmox server. Daar had ik eens een fout in staan waardoor een VM en een container moeilijk te bereiken waren.

Hoe Unify precies om gaat met vlans weet ik niet - ik maak gebruik van Omda.
Waar ik wel benieuwd naar ben is hoe je deze vlans dan actief hebt gemaakt op de verschillende containers en servers.

Bij mij is pihole de centrale spin in het web - dit is de bron van alle vlans met dhcp en dns.
Omada gebruik ik enkel om op een simpele manier die vlans over het netwerk te distribueren middels vlan trunks tussen netwerk apparaten en tussen servers en netwerk apparaten.

Het taggen van vlans op alle andere systemen gebeurd hier via ifup en "/etc/network/interfaces". Hier worden steeds twee of meer interfaces aangemaakt:
  • Een voor vlan 1 via interface vmbr0
  • En een of meer interfaces voor alle anderen: bijvoorbeeld interface vmbr0.200 maakt dat die interface meedoet in vlan met tag 200. En gebruik maakt van dezelfde aansluiting(en) als interface vmbr0.
Behalve de pihole container en de Omada router worden alle ip adressen via dhcp uitgedeeld.
Wel is het zo dat de servers en LXC containers een vast ip adres hebben. Dat is gekoppeld aan het MAC adres van de NIC - virtueel of fysiek.

Op deze manier kan ik een systeem snel van vlan wisselen. En mocht er toch iets mis zijn met de NIC waardoor het ip adres veranderd krijgt ie in ieder geval een IP adres van het betreffende vlan. Dit is terug te vinden in pihole - scheelt weer zoekwerk.

Maar aangezien ik geen Unify deskundoloog ben kan ik je op dit onderdeel niet echt helpen.

Voor de rest is het zaak om je vlan en samba config eens na te lopen. Om zeker te zijn dat daar over de tijd geen fouten in zijn geslopen.

makes it run like clockwork


Acties:
  • +2 Henk 'm!

  • DRaakje
  • Registratie: Februari 2000
  • Niet online
ZatarraNL schreef op zondag 23 juli 2023 @ 14:28:
[...]
De smbd.service ziet er als volgt uit:
Je realiseert je dat je die config volledig uitgecomment hebt?

Acties:
  • 0 Henk 'm!

  • ZatarraNL
  • Registratie: Mei 2015
  • Laatst online: 05-09 13:08
DRaakje schreef op dinsdag 25 juli 2023 @ 11:39:
[...]


Je realiseert je dat je die config volledig uitgecomment hebt?
Absoluut. Maar er was naar gevraagd. Deze doet dus niets.

Acties:
  • 0 Henk 'm!

  • gastje01
  • Registratie: Oktober 2005
  • Laatst online: 11-09 22:09
Is er een nette manier om mijn storage aan te passen? Ik heb een SSD van 1 TB waarbij ik 100 GB als 'Local' storage gebruik voor containers en 850 GB voor 'Local-LVM' gereserveerd is. Logisch toen ik nog voornamelijk alles in VM's had zitten, maar nu ik wat meer gebruik maak van de flexibiliteit die LXC containers me bieden, niet heel handig meer, met de kennis van nu zou ik het eerder omdraaien. (Usecase: camerabeelden van Frigate in een LXC, (tijdelijke) download folder waarbij een film soms 100 GB kan zijn)

Kan ik de Local-LVM verkleinen zodat ik meer vrije ruimte over hou voor de rest zonder een her-installatie te doen? Ik heb alle VM disken en CT volumes al naar een USB schijfje verplaatst zodat ik ruimte heb om te schuiven, maar nu loop ik vast. Kan iemand me een zetje in de juiste richting geven?

Acties:
  • +1 Henk 'm!

  • Airw0lf
  • Registratie: Mei 2005
  • Laatst online: 15:39
gastje01 schreef op maandag 31 juli 2023 @ 22:51:
Is er een nette manier om mijn storage aan te passen? Ik heb een SSD van 1 TB waarbij ik 100 GB als 'Local' storage gebruik voor containers en 850 GB voor 'Local-LVM' gereserveerd is. Logisch toen ik nog voornamelijk alles in VM's had zitten, maar nu ik wat meer gebruik maak van de flexibiliteit die LXC containers me bieden, niet heel handig meer, met de kennis van nu zou ik het eerder omdraaien. (Usecase: camerabeelden van Frigate in een LXC, (tijdelijke) download folder waarbij een film soms 100 GB kan zijn)

Kan ik de Local-LVM verkleinen zodat ik meer vrije ruimte over hou voor de rest zonder een her-installatie te doen? Ik heb alle VM disken en CT volumes al naar een USB schijfje verplaatst zodat ik ruimte heb om te schuiven, maar nu loop ik vast. Kan iemand me een zetje in de juiste richting geven?
Doorgaans geen probleem - hang een beetje af van de inrichting.
Daarom vier vragen:
(1) - wat is je boot disk?
(2) - die 'Local' storage is dat ook LVM? Of iets anders (en wat)?
(3) - in welk format zijn die partities aangemaakt?
(4) - indien mogelijk: wat laat /etc/pve/storage.cfg zien?

makes it run like clockwork


Acties:
  • 0 Henk 'm!

  • gastje01
  • Registratie: Oktober 2005
  • Laatst online: 11-09 22:09
Airw0lf schreef op maandag 31 juli 2023 @ 23:14:
[...]


Doorgaans geen probleem - hang een beetje af van de inrichting.
Daarom vier vragen:
(1) - wat is je boot disk?
(2) - die 'Local' storage is dat ook LVM? Of iets anders (en wat)?
(3) - in welk format zijn die partities aangemaakt?
(4) - indien mogelijk: wat laat /etc/pve/storage.cfg zien?
De inrichting is in de installatie letterlijk volgende volgende voltooien geweest, dat leek me voor toen het best. Nu ik iets meer het potentieel zie heb ik daar een beetje spijt van |:(

1. Diezelfde 1 TB SSD
2. Dat is Directory geeft hij bij type aan
3. Zie afbeelding, de NVME0n is mijn 1 TB SSD, tevens boot disk. SDA is een 14 TB schijf met media, deze gebruik ik niet voor proxmox, is alleen gemount in 3 countainers voor mijn media. mag na 15 minuten spinnen weer in slaap vallen en weinig energie verbruiken. SBA is een tijdelijke USB schijf. Die mag zo snel mogelijk weer weg.
Afbeeldingslocatie: https://tweakers.net/i/gcephDGHs8OjxKbGbqSAbAR8g9Q=/800x/filters:strip_exif()/f/image/vHTBKw9bwGZttfJK3TYRbpjY.png?f=fotoalbum_large
4.

code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
dir: local
        path /var/lib/vz
        content iso,vztmpl
        shared 0

lvmthin: local-lvm
        thinpool data
        vgname pve
        content images,rootdir

cifs: DS214
        path /mnt/pve/DS214
        server 10.0.10.10
        share NetBackup
        content backup,snippets,vztmpl,iso,images,rootdir
        nodes proxmox
        prune-backups keep-all=1
        username twan

dir: USB
        path /mnt/pve/USB
        content rootdir,images,iso,vztmpl,backup,snippets
        is_mountpoint 1
        nodes proxmox

Acties:
  • +1 Henk 'm!

  • Airw0lf
  • Registratie: Mei 2005
  • Laatst online: 15:39
@gastje01 :
Ik heb een SSD van 1 TB waarbij ik 100 GB als 'Local' storage gebruik voor containers en 850 GB voor 'Local-LVM' gereserveerd is.
Waar zitten die dan bij de afbeelding van (3)?
Ik gok de p3/LVM partitie?

Je zou dat kunnen tjekke met vgdisplay en lvdisplay

Als dat inderdaad het geval is zou je kunnen proberen om met de LVM tools e.e.a. om te gooien. Lukt dat niet, dan zit er niet veel anders op om alles opnieuw in te richten:
(1) - kopie maken van alle PVE-disken (d.w.z. de LXC containers en VM's)
(2) - kopie maken van alles in /etc/pve
(3) - PVE opnieuw installeren
(4) - PVE-disken terugzetten
(5) - de inhoud van /etc/pve terugzetten

Voor de goede orde:
Alles opnieuw inrichten is niet hetzelfde als alles opnieuw installeren en configureren.
Met deze 5 stappen blijven alle settings in Proxmox en de containers/VM's behouden.
Tis te zeggen - bij mij was dat zo bij de switch van mechanishe naar SSD disken.

Kun je hier wat mee?

makes it run like clockwork


Acties:
  • 0 Henk 'm!

  • gastje01
  • Registratie: Oktober 2005
  • Laatst online: 11-09 22:09
Airw0lf schreef op dinsdag 1 augustus 2023 @ 10:07:
@gastje01 :

[...]


Waar zitten die dan bij de afbeelding van (3)?
Ik gok de p3/LVM partitie?

Je zou dat kunnen tjekke met vgdisplay en lvdisplay

Als dat inderdaad het geval is zou je kunnen proberen om met de LVM tools e.e.a. om te gooien. Lukt dat niet, dan zit er niet veel anders op om alles opnieuw in te richten:
(1) - kopie maken van alle PVE-disken (d.w.z. de LXC containers en VM's)
(2) - kopie maken van alles in /etc/pve
(3) - PVE opnieuw installeren
(4) - PVE-disken terugzetten
(5) - de inhoud van /etc/pve terugzetten

Voor de goede orde:
Alles opnieuw inrichten is niet hetzelfde als alles opnieuw installeren en configureren.
Met deze 5 stappen blijven alle settings in Proxmox en de containers/VM's behouden.
Tis te zeggen - bij mij was dat zo bij de switch van mechanishe naar SSD disken.

Kun je hier wat mee?
Even checken of ik je goed begrijp :)

(1) Heb ik gedaan, alle disks en containers zijn naar de USB schijf verplaatst. Er staat nu in principe los van Proxmox zelf niets meer op de SSD van een guest.
(2) Waar parkeer ik dit en moet ik dit later weer terug zetten? Staat hier alle config?
(3) Toch de installer opnieuw draaien of is hier een commando vcor?
(4) Alles van de USB weer terug naar de SSD verplaatsen, dat moet lukken
(5) Zie 2, hier haal ik mijn config vandaan?

Is nog een stukje complexer dan ik had gedacht/gehoopt. Alternatief is dat ik een (deel van) mijn downloads en tijdelijke folder op de HDD parkeer, maar dan heb ik het extra energieverbruik erbij, en dat was nu net niet de bedoeling van mijn thuis servertje.

[ Voor 8% gewijzigd door gastje01 op 01-08-2023 10:14 ]


Acties:
  • +1 Henk 'm!

  • Airw0lf
  • Registratie: Mei 2005
  • Laatst online: 15:39
@gastje01
(2) Waar parkeer ik dit en moet ik dit later weer terug zetten? Staat hier alle config?
(5) Zie 2, hier haal ik mijn config vandaan?
Ja, USB en ja.

Het terugzetten van de config /etc/pve gaat niet met een simpele "cp -R".
Daar zijn wat tussenstappen bij nodig - ik weet alleen niet meer welke precies...
Dus tja - voor dit stukje misschien even zoeken in het Proxmox forum?
.

makes it run like clockwork


Acties:
  • 0 Henk 'm!

  • Airw0lf
  • Registratie: Mei 2005
  • Laatst online: 15:39
Twee keer hetzelfde... eentje weggehaald.

[ Voor 90% gewijzigd door Airw0lf op 01-08-2023 12:05 ]

makes it run like clockwork


Acties:
  • 0 Henk 'm!

  • gastje01
  • Registratie: Oktober 2005
  • Laatst online: 11-09 22:09
Hm, ik ben bang dat het dan uiteindelijk sneller/makkelijker is om gewoon van alles een backup te maken, schoon te starten en dan weer alles terug zetten, dat kan ik namelijk vanuit de GUI doen tot aan de her-installatie.

Had gehoopt dat het simpeler was :|

Acties:
  • 0 Henk 'm!

  • Airw0lf
  • Registratie: Mei 2005
  • Laatst online: 15:39
gastje01 schreef op dinsdag 1 augustus 2023 @ 13:31:
Hm, ik ben bang dat het dan uiteindelijk sneller/makkelijker is om gewoon van alles een backup te maken, schoon te starten en dan weer alles terug zetten, dat kan ik namelijk vanuit de GUI doen tot aan de her-installatie.

Had gehoopt dat het simpeler was :|
Misschien kan het wel simpeler - alleen weet ik die niet.

makes it run like clockwork


Acties:
  • +1 Henk 'm!

  • gastje01
  • Registratie: Oktober 2005
  • Laatst online: 11-09 22:09
Airw0lf schreef op dinsdag 1 augustus 2023 @ 13:45:
[...]


Misschien kan het wel simpeler - alleen weet ik die niet.
Het viel toch mee. Ik heb uiteindelijk de LVE-Thin verwijderd en de local folder groter gemaakt zoals beschreven in deze link: https://gist.github.com/l...bbd25593619a76b413e42b78f

Werkt vooralsnog prima :)

Acties:
  • 0 Henk 'm!

  • Airw0lf
  • Registratie: Mei 2005
  • Laatst online: 15:39
gastje01 schreef op dinsdag 1 augustus 2023 @ 15:13:
[...]

Het viel toch mee. Ik heb uiteindelijk de LVE-Thin verwijderd en de local folder groter gemaakt zoals beschreven in deze link: https://gist.github.com/l...bbd25593619a76b413e42b78f

Werkt vooralsnog prima :)
Prima - veel plezier met het vervolg.

[ Voor 24% gewijzigd door Airw0lf op 01-08-2023 16:09 ]

makes it run like clockwork


Acties:
  • +1 Henk 'm!

  • gastje01
  • Registratie: Oktober 2005
  • Laatst online: 11-09 22:09
Yes, had even een zoekrichting nodig, maar ik heb nu bereikt wat ik wilde, thnx!

Acties:
  • +3 Henk 'm!

  • CurlyMo
  • Registratie: Februari 2011
  • Nu online
CurlyMo schreef op maandag 5 juni 2023 @ 20:56:
[...]

Je kan ook prima een router maken met één NIC zolang het maar VLANs ondersteund. Zo heb ik dat ook gedaan.

Oftewel:
- eno1: Netwerk adapter van mijn NAS
- eno1.2, 1.3, 1.6: VLANs die binnenkomen op mijn NAS.
- vmbr0: bridge interface voor eno1
- vmbr1: bridge interface voor interne netwerk tussen LXC containers
- vmbr2: bridge interface voor vlan6
- vmbr3: bridge interface voor vlan2
- vmbr4: bridge interface voor vlan3

(Ja het had logischer gekund in de vlan naar bridge vertaling :p)
Voor wie zich net als ik afvroeg of dat dat dan wel presteert hier de resultaten na deze week te zijn overgegaan op een 1gbit/s glasvezel.

De glasvezel lijn komt binnen op mijn MikroTik RB260GSP die zet de boel om naar standaard ethernet, met de VLANs ongemoeid. Daarna gaat het naar mijn ZyXEL GS1900-24HP. Mijn internet en netwerk VLANs worden allemaal samengebracht op één poort richting mijn NAS. Ook mijn NAS heeft maar één poort. Een testje vanaf mijn desktop

Afbeeldingslocatie: https://tweakers.net/i/hxx5aPuTmFhQ6DfuCFcaGQcmtpE=/800x/filters:strip_exif()/f/image/MUTP5wcdjtrAjG2VeMi4oHKW.png?f=fotoalbum_large

Oftewel, dat de WAN / LAN allemaal over één poort moet in zowel mijn switch als mijn NAS geeft geen enkele performance penalty. Het simuleren van een WAN en LAN poort via VLANs ook niet. Dat bestrijd dus het idee wat ik zelf ook had. Dat je voor het succesvol performant implementeren van een router twee netwerkpoorten nodig hebt.

[ Voor 4% gewijzigd door CurlyMo op 05-08-2023 12:25 ]

Sinds de 2 dagen regel reageer ik hier niet meer


Acties:
  • +2 Henk 'm!

  • TimoDimo
  • Registratie: April 2009
  • Laatst online: 11-09 10:21
CurlyMo schreef op vrijdag 4 augustus 2023 @ 09:00:
[...]

Voor wie zich net als ik afvroeg of dat dat dan wel presteert hier de resultaten na deze week te zijn overgegaan op een 1gbit/s glasvezel.

De glasvezel lijn komt binnen op mijn MikroTik RB260GSP die zet de boel om naar standaard ethernet, met de VLANs ongemoeid. Daarna gaat het naar mijn ZyXEL GS1900-24HP. Mijn internet en netwerk VLANs worden allemaal samengebracht op één poort richting mijn NAS. Ook mijn NAS heeft maar één poort. Een testje vanaf mijn desktop

[Afbeelding]

Oftewel, dat de WAN / LAN allemaal over één poort moet in zowel mijn switch als mijn NAS geeft geen enkele performance penalty. Het simuleren van een WAN en LAN poort via VLANs ook niet. Dat bestrijd dus het idee wat ik zelf ook had. Dat je voor het succesvol performant implementeren van een router twee netwerkpoorten nodig hebt.
Maar bij gelijktijdig uploaden en downloaden heb je dan toch maar de helft van de capaciteit van de 1Gb/s-poorten tot je beschikking? Of is het meer dan 1Gb/s?

Acties:
  • +1 Henk 'm!

  • CurlyMo
  • Registratie: Februari 2011
  • Nu online
TimoDimo schreef op zaterdag 5 augustus 2023 @ 16:08:
[...]

Maar bij gelijktijdig uploaden en downloaden heb je dan toch maar de helft van de capaciteit van de 1Gb/s-poorten tot je beschikking? Of is het meer dan 1Gb/s?
Het inkomende verkeer richting mijn NAS en het gebruik ervan vanuit mijn desktop gaat over dezelfde poort. Dat is dus al up en downstream gecombineerd. Gelijktijdig up en download heb ik niet getest. Even kijken of ik dat nog eens kan proberen.

Anders is het toch weer zo simpel als een aparte netwerk adapter te installeren.

[ Voor 7% gewijzigd door CurlyMo op 05-08-2023 17:08 ]

Sinds de 2 dagen regel reageer ik hier niet meer


Acties:
  • +1 Henk 'm!

  • CurlyMo
  • Registratie: Februari 2011
  • Nu online
Als ik zo goed als ik kan de speedtest up- en download parallel test dan zie ik max ongeveer 750mbit/s langskomen.

Sinds de 2 dagen regel reageer ik hier niet meer


Acties:
  • 0 Henk 'm!

  • RudolfR
  • Registratie: Maart 2011
  • Laatst online: 13:33
Ik heb proxmox met o.a. Home Assistant in een VM en ook nog een VM voor extra docker containers.
De NUC heeft een 2TB disk, ZFS pool, die ik als data opslag wil gebruiken, ook voor de container data.

Hoe doe ik dat handig zodat het backuppen ook beheersbaar is? Een docker volume op een vm-disk klinkt als gedoe.
Zeker omdat ik sommige data op een encrypted dataset wil hebben.
(En er soms via cifs bij wil kunnen, ook)

Ik heb geprobeerd om een unprivileged container als fileserver in te zetten, maar krijg de cifs permissies niet werkend in portainer docker.

Iemand een goede guide, of een suggestie voor een andere aanpak?

[ Voor 3% gewijzigd door RudolfR op 05-08-2023 19:13 ]


Acties:
  • 0 Henk 'm!

  • John245
  • Registratie: Januari 2020
  • Nu online
RudolfR schreef op zaterdag 5 augustus 2023 @ 19:03:
Ik heb proxmox met o.a. Home Assistant in een VM en ook nog een VM voor extra docker containers.
De NUC heeft een 2TB disk, ZFS pool, die ik als data opslag wil gebruiken, ook voor de container data.

Hoe doe ik dat handig zodat het backuppen ook beheersbaar is? Een docker volume op een vm-disk klinkt als gedoe.
Zeker omdat ik sommige data op een encrypted dataset wil hebben.
(En er soms via cifs bij wil kunnen, ook)

Ik heb geprobeerd om een unprivileged container als fileserver in te zetten, maar krijg de cifs permissies niet werkend in portainer docker.

Iemand een goede guide, of een suggestie voor een andere aanpak?
-

Tibber; 3-fase Victron ESS, 38,4 kWh opslag; gasloos sinds 2013; Nibe F1245-10PC; SAP; HomeSeer4; Proxmox 8


Acties:
  • +1 Henk 'm!

  • Cardinal
  • Registratie: Maart 2002
  • Laatst online: 16:40
@RudolfR
  • heb je de cfis permissies werkend in de VM zelf? Ik zou daar beginnen.
  • Ik zou deze guide bekijken, deze heb ik gebruik voor bijna al mijn containers: https://www.geekbitzone.c...1_Mounting_SMB-CIFS_Share
  • Heb je een NAS, waarom niet de backups direct naar de NAS sturen?
  • Ow, ik heb uiteindelijk docker eruit gegooid en alle applicaties draaien nu op hun eigen CT (niet VM).

[ Voor 14% gewijzigd door Cardinal op 05-08-2023 22:23 ]


Acties:
  • +1 Henk 'm!

  • RudolfR
  • Registratie: Maart 2011
  • Laatst online: 13:33
@Cardinal

Ja, had wel toegang via cifs, ook om te schrijven. Maar in de container ging het volgens mij nog ergens mis?

Bedankt, die guide ga ik eens bekijken. Komt me niet bekend voor.

NAS staat vaak uit. Ook wel ZFS trouwens.

Ik lees regelmatig dat docker in een lxc wordt afgeraden, dus die kant wil ik nog niet op.

Ik probeer deze ook te snappen:
https://itsembedded.com/s...ox_bind_unprivileged_lxc/

Acties:
  • +1 Henk 'm!

  • Cardinal
  • Registratie: Maart 2002
  • Laatst online: 16:40
RudolfR schreef op zaterdag 5 augustus 2023 @ 22:38:
@Cardinal
Ja, had wel toegang via cifs, ook om te schrijven. Maar in de container ging het volgens mij nog ergens mis?
Ik neem aan dat cifs gespecificeerd is? zie ook: link of google voor meer resultaten / inspiratie
Ik lees regelmatig dat docker in een lxc wordt afgeraden, dus die kant wil ik nog niet op.
Kan prima, maar is hetzelfde als docker in docker draaien en daarom is het afgeraden, wat draait uberhaupt in docker?

  • supayoshi
  • Registratie: November 2013
  • Laatst online: 11-09 18:09
Ik heb moeite om mijn opnsense virtueel te laten draaien bovenop proxmox, het lukt allemaal prima dat installern, maar zodra ik alles klaar heb en proxmox een virtuele bridge aanmaak en deze ook koppel aan opnsense vm, dan werkt het pingen tussen proxmox en de opnsense vm wel, maar ik kan niet vanuit de opnsense box / lan naar de proxmox pingen.

Proxmox kan ook niet pingen naar het subnet van de LAN, dacht firewall probleem maar op LAN to ANY en OPT1 to ANY gedaan (OPT1 is dan virtuele bridge) maar geen succes...

Acties:
  • +2 Henk 'm!

  • GoBieN-Be
  • Registratie: Juni 2002
  • Laatst online: 11:33
Ik heb gewoon voor iedere NIC een bridge.
Eén van die bridges is mijn LAN en zit het management IP van Proxmox op gedefinieerd.

Proxmox Network
Afbeeldingslocatie: https://tweakers.net/i/LNO5-fcIkIgqnRqhKgf8lsWgYRg=/800x/filters:strip_exif()/f/image/piVg2g5XU6F9ULCA52dw7xUT.png?f=fotoalbum_large

OPNsense Virtual Machine Hardware
Afbeeldingslocatie: https://tweakers.net/i/WeQ0A5C2EdkcJsq8ruqeJ9TWGYw=/full-fit-in/4000x4000/filters:no_upscale():fill(white):strip_exif()/f/image/MwAppvJeMZl30SZpy3INYgjq.png?f=user_large

OPNsense NIC assignments
Afbeeldingslocatie: https://tweakers.net/i/CDayDR4VP1bZCfLG5Ps3iBatZ4o=/full-fit-in/4000x4000/filters:no_upscale():fill(white):strip_exif()/f/image/e9lNoq0cz616my1CGoBSwuf8.png?f=user_large

OPNsense firewall rules zijn in mijn geval geen probleem, want management zit gewoon in mijn LAN, geen aparte VLAN daarvoor hier thuis.

Acties:
  • +1 Henk 'm!

  • Zwelgje
  • Registratie: November 2000
  • Laatst online: 16:48
supayoshi schreef op donderdag 10 augustus 2023 @ 23:06:
Ik heb moeite om mijn opnsense virtueel te laten draaien bovenop proxmox, het lukt allemaal prima dat installern, maar zodra ik alles klaar heb en proxmox een virtuele bridge aanmaak en deze ook koppel aan opnsense vm, dan werkt het pingen tussen proxmox en de opnsense vm wel, maar ik kan niet vanuit de opnsense box / lan naar de proxmox pingen.

Proxmox kan ook niet pingen naar het subnet van de LAN, dacht firewall probleem maar op LAN to ANY en OPT1 to ANY gedaan (OPT1 is dan virtuele bridge) maar geen succes...
Hoe ziet je config er verder uit? hoeveel netwerkkaarten, welke ip ranges, etc,etc

A wise man's life is based around fuck you


Acties:
  • +2 Henk 'm!

  • RudolfR
  • Registratie: Maart 2011
  • Laatst online: 13:33
Cardinal schreef op zaterdag 5 augustus 2023 @ 23:07:
[...]

Ik neem aan dat cifs gespecificeerd is? zie ook: link of google voor meer resultaten / inspiratie


[...]

Kan prima, maar is hetzelfde als docker in docker draaien en daarom is het afgeraden, wat draait uberhaupt in docker?
Het is uiteindelijk wel gelukt door op de host de LXC mapping in te stellen én in portainer de CIFS mount met dat ID te doen, daar ging onbedoeld iets naar uid=0,gid=0.
code:
1
o: "username=cifs-user,password=cifs-secret,vers=2.1,uid=5051,gid=5051,..."


Waar 5051 het uid/gid is wat ook in de LXC gemapt is. Het werkt nu uitstekend.

/etc/pve/lxc/<container_id>.conf
code:
1
2
3
4
5
6
lxc.idmap: u 0 100000 5051
lxc.idmap: g 0 100000 5051
lxc.idmap: u 5051 5051 1
lxc.idmap: g 5051 5051 1
lxc.idmap: u 5052 105052 60484
lxc.idmap: g 5052 105052 60484


/etc/subuid en /etc/subgid
code:
1
2
root:100000:65536
root:5051:1


Bedankt voor het meedenken.

Deze web-tool is wel handig:
https://proxmox-idmap-helper.nieradko.com/

Acties:
  • 0 Henk 'm!

  • Harmen
  • Registratie: Oktober 1999
  • Laatst online: 16:30

Harmen

⭐⭐⭐⭐⭐⭐

Vandaag een nieuwe host ingericht voor Proxmox. HP Prodesk 400 g6 mini (G6400T, 16GB en 2x nvme 500GB raid1)
Oude machine, Dell 3040 (i3-6100, 8GB, 500GB ssd) wil ik als backup machine bewaren.

Ben van plan een cluster op te zetten en zo de machine te verhuizen. Iemand een idee of 7.4 en v8 goed samen werken? Heb nu bewust 7.4 op de Hp gezet.

Whatever.


Acties:
  • 0 Henk 'm!

  • John245
  • Registratie: Januari 2020
  • Nu online
Harmen schreef op woensdag 23 augustus 2023 @ 18:18:
Vandaag een nieuwe host ingericht voor Proxmox. HP Prodesk 400 g6 mini (G6400T, 16GB en 2x nvme 500GB raid1)
Oude machine, Dell 3040 (i3-6100, 8GB, 500GB ssd) wil ik als backup machine bewaren.

Ben van plan een cluster op te zetten en zo de machine te verhuizen. Iemand een idee of 7.4 en v8 goed samen werken? Heb nu bewust 7.4 op de Hp gezet.
Proxmox geeft aan dat op alle Nodes in het cluster dezelfde versie moet draaien. Het werkt vast wel samen maar ik zou zo snel mogellijk probere alle Nodes op dezelfde versie te krijgen.

Tibber; 3-fase Victron ESS, 38,4 kWh opslag; gasloos sinds 2013; Nibe F1245-10PC; SAP; HomeSeer4; Proxmox 8


Acties:
  • 0 Henk 'm!

  • lolgast
  • Registratie: November 2006
  • Laatst online: 15:20
Ik update mijn Proxmox thuis 'servertje' net naar de laatste 7.4 versie, start hij niet opnieuw op. Is hij oververhit geraak in de meterkast ;( Hoop dat hij over 30 minuutjes ofzo weer aangaat, anders moet ik zo even snel een andere machine inrichten en hopen dat mijn backups werken.. Mijn LXC en VM backups zóuden op een gekoppelde USB disk moeten staan :9

Acties:
  • 0 Henk 'm!

  • Harmen
  • Registratie: Oktober 1999
  • Laatst online: 16:30

Harmen

⭐⭐⭐⭐⭐⭐

John245 schreef op woensdag 23 augustus 2023 @ 20:31:
[...]

Proxmox geeft aan dat op alle Nodes in het cluster dezelfde versie moet draaien. Het werkt vast wel samen maar ik zou zo snel mogellijk probere alle Nodes op dezelfde versie te krijgen.
Kon het niet laten een cluster op te bouwen, ging helaas niet helemaal goed. Gezien de aantal machines wat ik draai een beetje overkill. Ga wel aan de slag met backup en restore. :)

@John245 Heb iets van 4 machines, heb er allemaal backups van. Doe ze lekker stuk voor stuk. :+

[ Voor 9% gewijzigd door Harmen op 23-08-2023 21:30 ]

Whatever.


Acties:
  • +1 Henk 'm!

  • John245
  • Registratie: Januari 2020
  • Nu online
Harmen schreef op woensdag 23 augustus 2023 @ 21:00:
[...]


Kon het niet laten een cluster op te bouwen, ging helaas niet helemaal goed. Gezien de aantal machines wat ik draai een beetje overkill. Ga wel aan de slag met backup en restore. :)
Als je goede back-ups heb is het zo gebeurd. Hoeveel Nodes had je gemaakt en hoeveel VM's heb je?

Tibber; 3-fase Victron ESS, 38,4 kWh opslag; gasloos sinds 2013; Nibe F1245-10PC; SAP; HomeSeer4; Proxmox 8


  • Bakkertje_01
  • Registratie: November 2010
  • Laatst online: 15:20
Waar plaats ik mijn VPN?

Goedemorgen,

Afgelopen weken bezig geweest met opzetten van Proxmox op mijn oude pc.

Nu heb ik het als volgt ingericht:

Proxmox
- LXC met Nginx Proxy Manager
- LXC met Heimdall
- LXC met Wireguard VPN voor externe connectie
- LXC met Jellyfin
- VM met Home assistant
- VM 1 Docker Swarm
- VM 2 Docker Swarm (waarschijnlijk overkill)
- VM 3 Docker Swarm (waarschijnlijk overkill)

In de Swarm heb ik de volgende containers draaien:
- Radarr
- Sonarr
- Deluge
- SABnzbd
- Jackett
- etc.

De vraag, waar plaats ik nu mijn open VPN "server" met PIA VPN zodat Deluge en SABnzbd "gebruik maken" van een ander ip adres?

Acties:
  • +1 Henk 'm!

  • RobertMe
  • Registratie: Maart 2009
  • Laatst online: 15:09
Bakkertje_01 schreef op donderdag 24 augustus 2023 @ 11:41:
Waar plaats ik mijn VPN?

Goedemorgen,

Afgelopen weken bezig geweest met opzetten van Proxmox op mijn oude pc.

Nu heb ik het als volgt ingericht:

Proxmox
- LXC met Nginx Proxy Manager
- LXC met Heimdall
- LXC met Wireguard VPN voor externe connectie
- LXC met Jellyfin
- VM met Home assistant
- VM 1 Docker Swarm
- VM 2 Docker Swarm (waarschijnlijk overkill)
- VM 3 Docker Swarm (waarschijnlijk overkill)

In de Swarm heb ik de volgende containers draaien:
- Radarr
- Sonarr
- Deluge
- SABnzbd
- Jackett
- etc.

De vraag, waar plaats ik nu mijn open VPN "server" met PIA VPN zodat Deluge en SABnzbd "gebruik maken" van een ander ip adres?
Op de router :+

* RobertMe heeft een VPN client op de router draaien "gekoppeld" aan een VLAN. Dus alle verkeer in dat VLAN dat het internet op wilt gaat over de VPN. Bepaalde Docker containers worden dan ook weer over dat VLAN gerouteerd et voila.

En de vraag lijkt mij inherent meer een Docker vraag dan een Proxmox vraag. Immers is het ook allemaal software die in Docker draait die de VPN moet gebruiken.

  • Cyphax
  • Registratie: November 2000
  • Laatst online: 15:22

Cyphax

Moderator LNX
Bakkertje_01 schreef op donderdag 24 augustus 2023 @ 11:41:
Waar plaats ik mijn VPN?

Goedemorgen,

Afgelopen weken bezig geweest met opzetten van Proxmox op mijn oude pc.

Nu heb ik het als volgt ingericht:

Proxmox
- LXC met Nginx Proxy Manager
- LXC met Heimdall
- LXC met Wireguard VPN voor externe connectie
- LXC met Jellyfin
- VM met Home assistant
- VM 1 Docker Swarm
- VM 2 Docker Swarm (waarschijnlijk overkill)
- VM 3 Docker Swarm (waarschijnlijk overkill)

[..]

De vraag, waar plaats ik nu mijn open VPN "server" met PIA VPN zodat Deluge en SABnzbd "gebruik maken" van een ander ip adres?
Ik heb zelf gekozen voor een LXC-container met Wireguard om de volgende redenen:
- WG is sneller dan OpenVPN
- LXC is erg lightweight (mijn vpn-container gebruikt in idle 85MB geheugen en is maar 1,23GB groot)
- Er is een template voor, maar je kunt ook PiVPN installeren (dat laatste heb ik zelf gedaan)
Twee van de drie redenen om op deze manier te doen zijn ook van toepassing op OpenVPN: de LXC is nog steeds meer lightweight dan een VM, en ook voor OpenVPN is zo'n template beschikbaar. :)

Saved by the buoyancy of citrus


Acties:
  • +1 Henk 'm!

  • Bakkertje_01
  • Registratie: November 2010
  • Laatst online: 15:20
Cyphax schreef op donderdag 24 augustus 2023 @ 13:44:
[...]

Ik heb zelf gekozen voor een LXC-container met Wireguard om de volgende redenen:
- WG is sneller dan OpenVPN
- LXC is erg lightweight (mijn vpn-container gebruikt in idle 85MB geheugen en is maar 1,23GB groot)
- Er is een template voor, maar je kunt ook PiVPN installeren (dat laatste heb ik zelf gedaan)
Twee van de drie redenen om op deze manier te doen zijn ook van toepassing op OpenVPN: de LXC is nog steeds meer lightweight dan een VM, en ook voor OpenVPN is zo'n template beschikbaar. :)
ik heb mijn bestaande LXC wireguard gepakt en de volgende stappen uitgevoerd: https://github.com/hsand/pia-wg

code:
1
2
3
4
5
6
sudo apt install git python3-venv wireguard openresolv
git clone https://github.com/hsand/pia-wg.git
cd pia-wg
python3 -m venv venv
source venv/bin/activate
pip install -r requirements.txt


code:
1
python3 generate-config.py


code:
1
2
sudo cp PIA-Iceland-1605054556.conf /etc/wireguard/wg0.conf
sudo wg-quick up wg0


deze LXC heeft nu ook inderdaad een ander extern ip adres als ik: curl -4 icanhazip.com invoer

als ik "nano /etc/wireguard wg0.conf" doe dan zie ik dit:
wg0.conf
[Interface]
Address = 10.**.***.***
PrivateKey = *******************************************************
DNS = 10.0.0.243,10.0.0.242

[Peer]
PublicKey = *******************************************************
Endpoint = 1**.**.**.***:1337
AllowedIPs = 0.0.0.0/0
PersistentKeepalive = 25

Nu is het alleen even de vraag hoe ik nu kan zorgen dat mijn docker VM's een ander extern ip adres krijgen? Moet ik dan ergens de ip adressen van mijn docker vm's inzetten? En moet ik dan ook nog iets doen op die docker vm's? 8)7

[ Voor 9% gewijzigd door Bakkertje_01 op 24-08-2023 15:08 ]


Acties:
  • +1 Henk 'm!

  • Harmen
  • Registratie: Oktober 1999
  • Laatst online: 16:30

Harmen

⭐⭐⭐⭐⭐⭐

Heb de nieuwe host (HP Prodesk 400 G6 mini, 2x WD Red 500GB nvme ssd) nu een dag draaien, denk laat ik maar eens kijken in de logboeken.
[code]Aug 24 15:16:14 pve01 kernel: pcieport 0000:00:1b.0: AER: Corrected error received: 0000:01:00.0
Aug 24 15:16:14 pve01 kernel: nvme 0000:01:00.0: PCIe Bus Error: severity=Corrected, type=Physical Layer, (Receiver ID)
Aug 24 15:16:14 pve01 kernel: nvme 0000:01:00.0: device [15b7:5006] error status/mask=00000001/0000e000
Aug 24 15:16:14 pve01 kernel: nvme 0000:01:00.0: [ 0] RxErr (First)[/code]
smartctl laat geen rare dingen zien, beide disks zijn goed.
Cpu governor staat op performance, las ergens dat powersave ook problemen kan veroorzaken.

Kwam tijdens mijn zoektocht ook nog het volgende tegen:
https://askubuntu.com/que...-layer-id-00e5receiver-id

Iemand die een idee heeft hoe ik het kan oplossen? Heb al heel wat gegoogled maar nog geen goede oplossing gevonden. :?


Na wat zoekwerk verder gekomen, aantal zaken in de bios uitgezet:
-Extended Idle Power States
-PCI Express Power Management (ASPM)

boot optie pcie=noaer weer weg gehaald, zie geen issues meer tot nu toe. Logboek blijft leeg.
Verbruik is nu ongeveer 13W met 3 LXC containers.

[ Voor 12% gewijzigd door Harmen op 24-08-2023 20:36 . Reden: Oplossing gevonden ]

Whatever.


Acties:
  • +1 Henk 'm!

  • Cyphax
  • Registratie: November 2000
  • Laatst online: 15:22

Cyphax

Moderator LNX
Bakkertje_01 schreef op donderdag 24 augustus 2023 @ 15:06:
[...]

Nu is het alleen even de vraag hoe ik nu kan zorgen dat mijn docker VM's een ander extern ip adres krijgen? Moet ik dan ergens de ip adressen van mijn docker vm's inzetten? En moet ik dan ook nog iets doen op die docker vm's? 8)7
Ik ben aan het twijfelen of ik je probleem wel goed heb begrepen. Is het de bedoeling dat je die diensten in je netwerk van buitenaf bereikbaar maakt of wil je een vpn gebruiken om die containers via een vpn-verbinding het internet op te laten gaan?

Saved by the buoyancy of citrus


Acties:
  • +1 Henk 'm!

  • GoBieN-Be
  • Registratie: Juni 2002
  • Laatst online: 11:33
Meer een vraag voor in een docker onderwerp of een apart onderwerp.
Heeft niks met Proxmox te zien.

  • Bakkertje_01
  • Registratie: November 2010
  • Laatst online: 15:20
Cyphax schreef op donderdag 24 augustus 2023 @ 16:45:
[...]

Ik ben aan het twijfelen of ik je probleem wel goed heb begrepen. Is het de bedoeling dat je die diensten in je netwerk van buitenaf bereikbaar maakt of wil je een vpn gebruiken om die containers via een vpn-verbinding het internet op te laten gaan?
Op een drietal vm's draait Docker met o.a deluge en sabnzb voor de jeweetwel.

Ik wil met PIA voorkomen dat dit aan mijn eigen externe ip wordt gelinkt.

Waar in mijn proxmox systeem (of daarbuiten) plaats ik de pia vpn

Wel moet bijvoorbeeld home assistant (op een andere VM) wel blijven werken zoals het nu gaat.

Nu is dit gelukt op wireguard, maar alleen die wireguard lnx heeft nu een externe ip.

Hoe ga ik dit nu doen op mijn Docker (swarm)

  • Cyphax
  • Registratie: November 2000
  • Laatst online: 15:22

Cyphax

Moderator LNX
Bakkertje_01 schreef op donderdag 24 augustus 2023 @ 17:55:
[...]


Op een drietal vm's draait Docker met o.a deluge en sabnzb voor de jeweetwel.

Ik wil met PIA voorkomen dat dit aan mijn eigen externe ip wordt gelinkt.

Waar in mijn proxmox systeem (of daarbuiten) plaats ik de pia vpn

Wel moet bijvoorbeeld home assistant (op een andere VM) wel blijven werken zoals het nu gaat.

Nu is dit gelukt op wireguard, maar alleen die wireguard lnx heeft nu een externe ip.

Hoe ga ik dit nu doen op mijn Docker (swarm)
Ah, ik had in tweede instantie zo'n vermoeden maar in eerste instantie dacht ik dat je je eigen gehosten diensten van buitenaf bereikbaar wilde maken.
Er zijn wel diensten die met Wireguard werken. Je zou dan met wg binnen die container wellicht een verbinding kunnen maken, of misschien is er een soort proxy te bedenken. Ik doe er zelf tegenwoordig bijna niks meer mee dus ik weet niet zo goed hoe je dit het beste kan aanpakken. :)

Saved by the buoyancy of citrus


Acties:
  • +1 Henk 'm!

  • sailor_dg
  • Registratie: Januari 2019
  • Laatst online: 13:42
Ik doe wat jij wil met een pfsense bak, die virtueel draait op proxmox. Ik creeer paar vlans waarvan er 1 naar buiten gaat via PIA vpn. De VPN draait dus op proxmox. Binnen docker gebruiken mijn containers macvlan om ze i. Het juiste vlan te hangen. Werkt perfect.

All-electric | Deye 12KSG04LP3 met 2x Yixiang V2, 32x MB31 314 Ah | Panasonic Aquarea J 5kW | Tesla MY, SmartEVSE | 5.2 kWp PV | Proxmox met HomeAssistant, Docker host, PfSense, TrueNas & Mailcow


Acties:
  • 0 Henk 'm!

  • marcel19
  • Registratie: September 2012
  • Laatst online: 13:37
Ik heb sinds gisteren een upgrade gedaan met mijn Proxmox server.
Ik heb daarbij 4X harde schijven toegevoegd in mijn Openmediavault VM.

Ik heb alle 4 de harde schijven in passtrough gezet, en op dit moment is OMV een software raid aan het maken. (Dit is de eerste keer dat ik een raid maak in OMV)

Nou zit ik met een paar dingen:

1. De status van de installatie is nu: clean, resyncing (31.4% (1841359864/5860390400) finish=1293.1min speed=51797K/sec)
Is dat goed, of is dat traag?

2. Sinds ik Proxmox gebruik, zie ik dat de IO Delay op en neer springt van 20% naar 99%. Komt dat door de raid-build?

3. Het volledige systeem vertraagt ​​wanneer de Raid-build actief is. Kan ik iets doen om het te vergroten?

4. De specificaties die ik aan OMV binnen Proxmox heb gegeven, zijn: 2 cores (Host) / 8GB geheugen. Is dit voldoende, of moet ik verhogen?

5. Ik zie binnen OMV dat ik geen status kan uitlezen van de harde schijven. Alles staat op unknow zoals Temperatuur en smartwaardes.

Acties:
  • 0 Henk 'm!

  • SonnyBBQ
  • Registratie: Januari 2010
  • Laatst online: 15:45
Ik heb een probleem en geen idee meer waar te zoeken. Proxmox zit achter een PiHole en zit constant over de DNS Query rate limit. Het gaat hier om tienduizenden queries per minuut naar office.root.local.

Ik kan natuurlijk de rate limit omhoog gooien in PiHole, maar daarmee weet ik nog niet waar deze queries voor dienen. Zelfs nadat ik alle containers en VMs uitschakel blijft Proxmox dit doen.

Iemand een idee waarom Proxmox deze queries uitvoert?

Acties:
  • 0 Henk 'm!

  • marcel19
  • Registratie: September 2012
  • Laatst online: 13:37
SonnyBBQ schreef op woensdag 30 augustus 2023 @ 10:23:
Ik heb een probleem en geen idee meer waar te zoeken. Proxmox zit achter een PiHole en zit constant over de DNS Query rate limit. Het gaat hier om tienduizenden queries per minuut naar office.root.local.

Ik kan natuurlijk de rate limit omhoog gooien in PiHole, maar daarmee weet ik nog niet waar deze queries voor dienen. Zelfs nadat ik alle containers en VMs uitschakel blijft Proxmox dit doen.

Iemand een idee waarom Proxmox deze queries uitvoert?
Heb je binnen Proxmox je e-mail adres toegevoegd voor meldingen oid?
Want dat zou het kunnen verklaren. (Vind het nog veel, maar het is een idee)
Pagina: 1 ... 37 ... 61 Laatste