[Docker] [alle OS] Het grote Docker ervaringen en tips topic

[RobertMe]

Raven schreef op maandag 3 april 2023 @ 17:38:
[...]

Deze? Overigens is

[...]
niet helemaal waar. Ik heb pfSense als PIA-client en proxy in een VM waar uTorrent (waar helaas geen nog ondersteunde Docker-image voor bestaat ) verbinding mee maakt. Ondanks dat ik helemaal niets met portforwarding heb gedaan haal ik toch nog zo'n 5MBps, soms meer.

Poorten open zetten doe je dan ook voor mensen die met jou verbinding willen maken. Dus in het geval van torrenten gaat het dan over seeden. Download snelheid is dan weer afhankelijk van hoeveel peers voor jou bereikbaar zijn (als in: poorten open staan / geforward zijn).

[Jazco2nd]

Raven schreef op maandag 3 april 2023 @ 17:38:
[...]

Deze? Overigens is

[...]
niet helemaal waar. Ik heb pfSense als PIA-client en proxy in een VM waar uTorrent (waar helaas geen nog ondersteunde Docker-image voor bestaat ) verbinding mee maakt. Ondanks dat ik helemaal niets met portforwarding heb gedaan haal ik toch nog zo'n 5MBps, soms meer.

Het is niet noodzakelijk, maar zat torrents die dan na 3 maanden nog niet binnen zijn. Heeft niks met snelheid te maken maar gewoon met niet kunnen vinden/connecten met peers.

[RobertMe]

Jazco2nd schreef op maandag 3 april 2023 @ 19:08:
[...]

Het is niet noodzakelijk, maar zat torrents die dan na 3 maanden nog niet binnen zijn. Heeft niks met snelheid te maken maar gewoon met niet kunnen vinden/connecten met peers.

Maar het niet kunnen connecten met peers komt dan wel weer doordat die de poorten niet geopend hebben. En trackers kunnen ook weer jou eigen download snelheid inperken meen ik, als je niet (voldoende) doet seeden? En om het seeden te bevorderen is het dus weer nodig dat anderen met je kunnen verbinden, oftewel je de poorten forward. En als je private trackers gebruikt is het natuurlijk al helemaal nadelig als je niet goed te bereiken bent v.w.b. seeden.

Overigens geloof ik er niks van dat PIA een van de enige VPN boeren is die port forwards ondersteund. Gegarandeerd dat bij veel VPN boeren de business origineel gebaseerd is op usenet en torrenten. Tegenwoordig is het dan wel een stuk commercieler en (ook) gericht op "Henk & Ingrid" voor "privacy" of streaming via andere landen. Maar zeker de aanbieders die zich niet op Henk & Ingrid richten met reclame op TV/radio / podcasts / influencers / ... zullen zich heel vaak nog richten op downloaders en dus zo ongeveer verplicht zijn om port forwards te ondersteunen.

[Jazco2nd]

RobertMe schreef op maandag 3 april 2023 @ 20:47:
[...]

Maar het niet kunnen connecten met peers komt dan wel weer doordat die de poorten niet geopend hebben. En trackers kunnen ook weer jou eigen download snelheid inperken meen ik, als je niet (voldoende) doet seeden? En om het seeden te bevorderen is het dus weer nodig dat anderen met je kunnen verbinden, oftewel je de poorten forward. En als je private trackers gebruikt is het natuurlijk al helemaal nadelig als je niet goed te bereiken bent v.w.b. seeden.

Ja ik weet. Misschien moest je @Raven quoten?

RobertMe schreef op maandag 3 april 2023 @ 20:47:
[...]
Overigens geloof ik er niks van dat PIA een van de enige VPN boeren is die port forwards ondersteund. Gegarandeerd dat bij veel VPN boeren de business origineel gebaseerd is op usenet en torrenten. Tegenwoordig is het dan wel een stuk commercieler en (ook) gericht op "Henk & Ingrid" voor "privacy" of streaming via andere landen. Maar zeker de aanbieders die zich niet op Henk & Ingrid richten met reclame op TV/radio / podcasts / influencers / ... zullen zich heel vaak nog richten op downloaders en dus zo ongeveer verplicht zijn om port forwards te ondersteunen.

Ik zeg ook niet dat PIA de enige is. Maar indertijd, wel de enige met deze combi:

Jazco2nd schreef op donderdag 30 maart 2023 @ 21:47:
@rvk excuus, ik las daar helemaal overheen!
Ik gebruik inderdaad PIA. Voor torrents was dat 2 of 3 jaar geleden de enige service die én port forwarding ondersteunde (vrij essentieel voor een torrent client) én een image beschikbaar was die automatisch snelste server zoekt + portforwarding (incl wijzigingen) automatisch configureert en update in je QBittorrent cliënt.

Zo heb je helemaal geen ommekijk meer hiernaar.

In dit lijstje met (mijn toenmalige, 2 jaar geleden) eisen mist nog Wireguard ipv OpenVPN.

Vandaar dat dit image vrij populair werd: https://github.com/thrnz/docker-wireguard-pia

[ Voor 5% gewijzigd door Jazco2nd op 04-04-2023 11:37 ]

[Raven]

Jazco2nd schreef op maandag 3 april 2023 @ 19:08:
[...]

Het is niet noodzakelijk, maar zat torrents die dan na 3 maanden nog niet binnen zijn. Heeft niks met snelheid te maken maar gewoon met niet kunnen vinden/connecten met peers.

Ah ja, dat kan ook. Had ik trouwens de goede link te pakken?

[Jazco2nd]

Raven schreef op dinsdag 4 april 2023 @ 09:11:
[...]

Ah ja, dat kan ook. Had ik trouwens de goede link te pakken?

Ah nee ik bedoel deze:
https://github.com/thrnz/docker-wireguard-pia

2 jaar geleden koos ik dus voor PIA omdat:

- port forwarding door PIA wordt geboden
- PIA icm dit image Wireguard ipv OpenVPN gebruikt. Scheelt resources en laat veel hogere snelheden toe. 50MByte/s is geen uitzondering.
- dit docker image dat automatisch configureert en update (PIA forceert een nieuwe poort elke 2 of 3 maanden)
- dit image automatisch de snelste server voor het (in je Compose) gekozen land kest.
- dit image ook QBittorrent automatisch update wanneer de poort die is geforward veranderd.
- dit image de mogelijkheid biedt om bepaalde IP ranges toegang te geven tot je QBittorrent webUI (bijv je local LAN en je eigen VPN server ip ranges).

Ik ben overgestapt van NordVPN naar PIA indertijd om deze redenen, dat heeft dus meer met het bestaan van dit image te maken dan met PIA. Ik had ook een stuk of 5 andere services vergeleken die port-forwarding boden, maar er bestond geen image die dit alles voor je regelt. En ik wilde het niet allemaal zelf uitzoeken en regelen.

Best kans dat er nu wel meer keuze is, maar dit werkt al heel lang goed zonder ommekijk.

[ Voor 70% gewijzigd door Jazco2nd op 04-04-2023 11:42 ]

[Raven]

Jazco2nd schreef op dinsdag 4 april 2023 @ 11:36:
[...]


Ah nee ik bedoel deze:
https://github.com/thrnz/docker-wireguard-pia

Ah, dank .... na wat gelezen te hebben gok ik i.c.m. https://hub.docker.com/r/...torrent-port-forward-file ?
edit: Google leverde een complete docker-compose file op, dat maakt het makkelijk

Jazco2nd schreef op dinsdag 4 april 2023 @ 11:36:2 jaar geleden koos ik dus voor PIA omdat:

- port forwarding door PIA wordt geboden
- PIA icm dit image Wireguard ipv OpenVPN gebruikt. Scheelt resources en laat veel hogere snelheden toe. 50MByte/s is geen uitzondering.
- dit docker image dat automatisch configureert en update (PIA forceert een nieuwe poort elke 2 of 3 maanden)
- dit image automatisch de snelste server voor het (in je Compose) gekozen land kest.
- dit image ook QBittorrent automatisch update wanneer de poort die is geforward veranderd.
- dit image de mogelijkheid biedt om bepaalde IP ranges toegang te geven tot je QBittorrent webUI (bijv je local LAN en je eigen VPN server ip ranges).

Ik ken niet anders, altijd PIA gebruikt hier

Binnenkort maar eens naar kijken, zit al tijdje te denken 't nodige over te zetten naar Docker.

[ Voor 10% gewijzigd door Raven op 04-04-2023 18:51 ]

[RobertMe]

Jezus christ, heeft Docker (& docker compose, de Go implementatie als onderdeel van Docker zelf, maar blijkbaar ook docker-compose, de "losstaande", originele, Python implementatie) nu nog steeds geen manier om meerdere netwerk interfaces in een bepaalde volgorde en / of een vaste default route te hebben?
* RobertMe heeft een PiHole container met pootjes in heel wat VLANs, en/maar het uitgaande verkeer van PiHole zelf (eigenlijk alleen de updates van de lijsten, upstream is een Unbound container) moet via een specifiek VLAN verlopen.

Met geluk worden ze misschien gesorteerd op de lexical name. Maar dat heeft ooit in de documentatie gestaan maar is ook weer weg, dus 0 garantie dat het nu en in de toekomst werkt. Nog naast dat ik niet weer al mijn netwerken ga destroyen en opnieuw aanmaken puur zodat ze een bepaalde volgorde krijgen in de container en vervolgens ook een bepaalde default route er uit rolt.
Work-a-round die wel eens langs komt is een custom entrypoint die een ip route del default + ip route add default via 192.168.1.1 doet. Maar dat kan weer niet / vereist CAP_NET of hoe dat ding ook heet.

[RobertMe]

RobertMe schreef op woensdag 5 april 2023 @ 18:40:
Jezus christ, heeft Docker (& docker compose, de Go implementatie als onderdeel van Docker zelf, maar blijkbaar ook docker-compose, de "losstaande", originele, Python implementatie) nu nog steeds geen manier om meerdere netwerk interfaces in een bepaalde volgorde en / of een vaste default route te hebben?
* RobertMe heeft een PiHole container met pootjes in heel wat VLANs, en/maar het uitgaande verkeer van PiHole zelf (eigenlijk alleen de updates van de lijsten, upstream is een Unbound container) moet via een specifiek VLAN verlopen.

Met geluk worden ze misschien gesorteerd op de lexical name. Maar dat heeft ooit in de documentatie gestaan maar is ook weer weg, dus 0 garantie dat het nu en in de toekomst werkt. Nog naast dat ik niet weer al mijn netwerken ga destroyen en opnieuw aanmaken puur zodat ze een bepaalde volgorde krijgen in de container en vervolgens ook een bepaalde default route er uit rolt.
Work-a-round die wel eens langs komt is een custom entrypoint die een ip route del default + ip route add default via 192.168.1.1 doet. Maar dat kan weer niet / vereist CAP_NET of hoe dat ding ook heet.

Hack hack hack.

/usr/local/bin/fix-pihole-route.sh

Bash:

#!/bin/bash

fix_route() {
        nsenter -t $1 -n ip route del default;
        nsenter -t $1 -n ip route add default via 10.101.1.1;
}

docker container ls \
        --filter 'status=running' \
        --filter 'label=com.docker.compose.project=dns' \
        --filter 'label=com.docker.compose.service=pihole' \
        --format '{{ .ID }}' |
while read id
do
        pid=$(docker container inspect --format '{{ .State.Pid }}' $id);
        fix_route $pid
done

docker events \
        --filter 'label=com.docker.compose.project=dns' \
        --filter 'label=com.docker.compose.service=pihole' \
        --filter 'event=start' --format '{{.ID}}' | 
while read id
do
        pid=$(docker container inspect --format '{{ .State.Pid }}' $id);
        fix_route $pid
done

/etc/systemd/system/fix-pihole-route.service

code:

[Unit]
Description=Monitor for PiHole start and set default route to lan bridge
After=docker.service

[Service]
ExecStart=/usr/local/bin/fix-pihole-route.sh
Restart=always

[Install]
WantedBy=multi-user.target

sudo systemctl enable --now fix-pihole-route.service

Zonder allemaal extra hacks in de container en extra capabilities. Bash script monitort Docker voor start events van dns-pihole-1 container middels docker events en en output dan het ID van de container. Vervolgens wordt het process id van de container opgezocht, op basis van het container id. En met dat process id kan via nsenter een commando worden uitgevoerd binnen de network namespace van de container (-t <pid> voor target process, en -n om network namespace van target proces te gebruiken). En dat dan 2x om de ene keer de default route te verwijderen en de andere keer de nieuwe default route toe te voegen.

Edit:
Intussen nog wat gepimpt door te filteren op de compose labels voor het project & service i.p.v. hardcoded container name. Daarnaast kunnen er nu (theoretisch) meerdere instances van dezelfde service zijn door ook bij opstarten niet te kijken naar docker container inspect dns-pihole-1, wat ook weer kan falen als de container niet draait, maar docker container ls te gebruiken met een filter op running en ook weer de compose labels.

[ Voor 12% gewijzigd door RobertMe op 05-04-2023 22:04 ]

[MikeyMan]

Probeer vanaf vakantieadres bij mn docker images te komen. Port forwarding werkt niet, teleport vpn werkt niet... Is dat logisch? Zou verwachten dat dat gewoon geforward zou kunnen worden. En dat het dan geen verschil maakt met lokaal verkeer.

[PerlinNoise]

MikeyMan schreef op zondag 9 april 2023 @ 08:13:
Probeer vanaf vakantieadres bij mn docker images te komen. Port forwarding werkt niet, teleport vpn werkt niet... Is dat logisch? Zou verwachten dat dat gewoon geforward zou kunnen worden. En dat het dan geen verschil maakt met lokaal verkeer.

Misschien blokkeert je vakantie adres de vpn poorten?

[MikeyMan]

PerlinNoise schreef op zondag 9 april 2023 @ 08:18:
[...]


Misschien blokkeert je vakantie adres de vpn poorten?

Mobiel (4g) en verschillende wifi netwerken geprobeerd.

Mijn aanname is dus goed dat het wel zou moeten werken?

[lolgast]

@MikeyMan Probeer het eens via je mobiele data, er vanuit gaande dat je dat getest hebt van te voren.
Nvm..

Maar je krijgt geen verbinding met je VPN verbinding, of werkt het vanaf daar niet? Want ik gok dat dit niet Docker gerelateerd is

[ Voor 41% gewijzigd door lolgast op 09-04-2023 08:22 ]

[RobertMe]

MikeyMan schreef op zondag 9 april 2023 @ 08:13:
Probeer vanaf vakantieadres bij mn docker images te komen. Port forwarding werkt niet, teleport vpn werkt niet... Is dat logisch? Zou verwachten dat dat gewoon geforward zou kunnen worden. En dat het dan geen verschil maakt met lokaal verkeer.

Benader je ze op IP of domeinnaam basis? En in het geval van het laatste: gebruik je dan ook een DNS server die die domeinen kan resolven? (Potentieel dus een DNS server die je ook alleen thuis gebruikt).

Klinkt in ieder geval niet als een Docker probleem zoals @lolgast ook al aangeeft. Maar met een "werkt niet" kunnen we natuurlijk ook helemaal niks behalve in het wilde weg gokken.

[MikeyMan]

De vpn doet het. Maar kan geen van de docker programmas bereiken. Heb eea draaien op een Synology nas, zoals node red.

De packages op dezelfde nas kan ik wel gewoon bereiken, zowel forwarded als via vpn. Vandaar dat ik aan docker dacht.

Zowel domeinnaam als Synology ddns geprobeerd

[ Voor 9% gewijzigd door MikeyMan op 09-04-2023 08:58 ]

[MikeyMan]

Was even zoeken, lag aan de firewall van de nas. Stond op alleen accepteren lokale adressen. Wel apart dat dat met vpn niet werkt, maar dus inderdaad niet docker gerelateerd. Dank voor het meedenken.

[Webgnome]

@MikeyMan dat is toch niet zo heel gek dat dat met VPN niet perse werkt? Dat hangt toch af van hoe je VPN omgaat met adressen? Als die addressen in een andere range (bijv 10.0.0.x ipv 192.168.0.x ) gebruikt dan zegt je firewall no

[MikeyMan]

Webgnome schreef op maandag 10 april 2023 @ 09:43:
@MikeyMan dat is toch niet zo heel gek dat dat met VPN niet perse werkt? Dat hangt toch af van hoe je VPN omgaat met adressen? Als die addressen in een andere range (bijv 10.0.0.x ipv 192.168.0.x ) gebruikt dan zegt je firewall no

Ja das meer iets voor een ander topic. Maar ik dacht vpn = lokaal, dus ook lokaal adres. Blijkbaar zit daar meer achter

[RobertMe]

MikeyMan schreef op maandag 10 april 2023 @ 09:58:
[...]


Ja das meer iets voor een ander topic. Maar ik dacht vpn = lokaal, dus ook lokaal adres. Blijkbaar zit daar meer achter

Blijkbaar vond je Syno firewall dan niet alles wat lokaal is ook lokaal. Want private subnets zijn 192.168.0.0/16, 172.16.0.0/12 en 10.0.0.0/8. Dus een 10.x.y.z adres is in principe gewoon lokaal in de volksmond. Ook al is 10.0.0.0/8 normaliter in gebruik voor VPNs.

[MikeyMan]

RobertMe schreef op maandag 10 april 2023 @ 11:23:
[...]

Blijkbaar vond je Syno firewall dan niet alles wat lokaal is ook lokaal. Want private subnets zijn 192.168.0.0/16, 172.16.0.0/12 en 10.0.0.0/8. Dus een 10.x.y.z adres is in principe gewoon lokaal in de volksmond. Ook al is 10.0.0.0/8 normaliter in gebruik voor VPNs.

Ja alleen krijg ik van teleport een 192.168.3.3 toegewezen, terwijl de firewall op 10.0.0.1 t/m 10.0.0.255 stond ingesteld

[RobertMe]

MikeyMan schreef op maandag 10 april 2023 @ 12:01:
[...]


Ja alleen krijg ik van teleport een 192.168.3.3 toegewezen, terwijl de firewall op 10.0.0.1 t/m 10.0.0.255 stond ingesteld

Dat laatste zal dan wel gewoon het subnet zijn dat die of via DHCP heeft ontvangen of je statisch hebt ingesteld (10.0.0.0/24 dus). Dat is dus niet "blokkeert alles dat niet lokaal is" maar "blokkeert alles dat niet uit het subnet komt" .

[MikeyMan]

RobertMe schreef op maandag 10 april 2023 @ 12:20:
[...]

Dat laatste zal dan wel gewoon het subnet zijn dat die of via DHCP heeft ontvangen of je statisch hebt ingesteld (10.0.0.0/24 dus). Dat is dus niet "blokkeert alles dat niet lokaal is" maar "blokkeert alles dat niet uit het subnet komt" .

True, denk ik

[Mars Warrior]

Ik had eea al in het zuinige server topic gegooid vanwege vragen, maar doe het hier ook nog maar ff.

Mijn zuinige server is zo ongeveer ingericht met 26 actieve containers



Ik heb het volgende actief in gebruik (26 containers):

• AdGuard + Unbound, ca 26.000 DNS requests / dag
• MkDocs (2x) - documentatie
• WikiJS + Postgres15 - documentatie
• aaPanel (2x) - hosting
• Caddy - web proxy
• Crashplan - backup
• Gotify + Pushtify - notificaties
• SftpGo - sftp en webdav
• Wireguard - VPN
• Telegraf + InfluxDB - metrics monitoring
• Plugsy - simple dashboard
• Portainer - beheer containers
• Vaultwarden - lokale wachtwoorden

De domotica stack:

• Home Assistant + Postgres15 + InfluxDB
• Dsmr + Postgres15, P1 via ser2net op een RPI - P1 energie
• Mosquitto. (Helaas heeft NanoMQ nog wat bugs...
• Zigbee2Mqtt, zigbee stick via ser2net op een RPI - Zigbee devices

Er komen nog wat mogelijke uitbreidingen waar ik nog niet helemaal uit ben (5 containers)

• Janitor en/of Healtchecks.io voor alerting als er iets mis is
• Photoprism - fotobeheer / gallerij
• Adminer - database beheer
• Filerun - file toegang

Toekomst:

• Frigate (dan zal het verbruik van ca 1W wel over zijn )

Met Frigate meegerekend 32 totaal containers.

Deze nieuwe server moest behalve containers draaien, ook zo zuinig mogelijk zijn. De hardware was hier al op uitgezocht en het resultaat (zonder 3x 2.5" schijven) was ca 4W idle met Ubuntu 22.04 Desktop als OS.

Daarnaast heb ik zowel de 8x P-Cores als de 4x E-cores van de 12700K CPU zo zuinig mogelijk afgesteld door de maximale frequentie te limiteren. De E-cores bijv. draaien max op 2.5Ghz, en niet op de oorspronkelijke max van 3.8Ghz. Op 2.5Ghz verbruiken de E-cores ca de helft aan energie om een taak uit te voeren tov de 3.8Ghz!

Elke keer met het toevoegen van een container heb ik met Telegraf + InfluxDB dankzij de Intel Powerstat plugin perfect kunnen zien wat het effect van een container was, en ben ik gaan kijken of ik dat verbruik nog wat kan terugdringen. Healtchecks en logging waren de meest voorkomende boosdoeners.

Ook andere dingen hielpen wat: door bijv. in AdGuard Home de DNS cache in te stellen en de minimale TTL naar 600 seconden te zetten heeft die met ca 26.000 DNS aanvragen / dag zowaar 200mW minder nodig om te draaien, én ging de gemiddelde DNS aanvraag verwerkingstijd van ca 20ms naar 1ms!

Alle achtergrondtaken zijn daarna naar de E-cores verplaatst: dat scheelt voor sommige containers een aantal wH per dag aan verbruik. Ook weer leuk meegenomen!

Voorbeeld van AdGuard Home definitie in docker compose:

YAML:

  dns-adguard:
    container_name: dns-adguard
    image: adguard/adguardhome
    restart: always
    network_mode: host
    cpuset: $CPUSET_E_CORES_ALL
    volumes:
       - $DOCKERDIR/mngt/adguardhome/conf:/opt/adguardhome/conf
       - $DOCKERDIR/mngt/adguardhome/work:/opt/adguardhome/work
    healthcheck:
      disable: true
    labels:
      plugsy.name: AdGuard
      plugsy.link: http://adguard.home/
      plugsy.category: Network

De 26 actieve containers doen ca 1W CPU Package Power (CPP) gemiddeld als je naar het histogram kijkt: zo'n 40mW per container . Toch leuk om containers (Telegraf en InfluxDB) te gebruiken om containers te 'tunen' op energieverbruik.



Voorheen had ik ca 100 containers draaien verspreid over 3 servers. Nu dus max. 32 op 1 server. Functioneel is het resultaat hetzelfde. Maar wel eenvoudiger qua onderhoud, overzichtelijker, en volgens de huidige DSMR Reader metingen en schattingen ca 550kWh / jaar minder energieverbruik.

[FLA NL]

Ik was nog niet zo thuis in de docker compose yaml en ik had wel mijn docker run commando's bewaard voor hergebruik. Nu heb ik ChatGPT gebruikt om mijn docker run commando's te vertalen naar docker compose yaml. Moet zeggen dat dit de drempel aanzienlijk verlaagde om over te gaan naar docker compose. Ook voor het tweaken van wat netwerk instellingen gaf ChatGPT wel nuttige antwoorden om weer verder te kunnen.

Bij het gebruik van ChatGPT wel alle security/privacy gerelateerde zaken eerst verwijderd/dummy waarde ingevuld zoals wordt aangeraden.

[ Voor 14% gewijzigd door FLA NL op 24-04-2023 17:40 ]

[Jazco2nd]

@Mars Warrior dankzij deze berichten van jou in beide topics kriebelt het steeds weer om ook de race to the bottom te starten wat betreft verbruik..
Ik moet nog met Telegraf+InfluxDB aan de slag.. maar de snelle winst/low hanging fruit die je deelt mbt AdGuard Home begrijp ik niet helemaal. Je hebt immers ook Unbound, dus dan moet je toch juist geen cache in AGH gebruiken? Unbound cachet immers al?
Of heb jij een custom config voor Unbound? Niet de standaard van Klutchell image?

En wat heb je dan als cache grootte en max TTL ingesteld?

Fyi Fujitsu d3644B + Core i9100 dus geen P en E cores helaas. Wil liever pas vervangen (en verkleinen) wanneer er een zuinig mITX mobo met ECC ondersteuning verschijnt..

[ Voor 13% gewijzigd door Jazco2nd op 24-04-2023 16:58 ]

[RobertMe]

Jazco2nd schreef op maandag 24 april 2023 @ 16:57:
@Mars Warrior dankzij deze berichten van jou in beide topics kriebelt het steeds weer om ook de race to the bottom te starten wat betreft verbruik..
Ik moet nog met Telegraf+InfluxDB aan de slag.. maar de snelle winst/low hanging fruit die je deelt mbt AdGuard Home begrijp ik niet helemaal. Je hebt immers ook Unbound, dus dan moet je toch juist geen cache in AGH gebruiken? Unbound cachet immers al?
Of heb jij een custom config voor Unbound? Niet de standaard van Klutchell image?

Eerder cachen scheelt natuurlijk ook weer CPU cycli. Waarom zou je AGH met Unbound laten verbinden om een DNS query te doen die uit het cache komt, terwijl AGH ook kan cachen waardoor je die hele roundtrip naar Unbound bespaard? En idealiter zou je caching in Unbound dan weer helemaal uit zetten. Scheelt weer een cache lookup terwijl je weet dat het niet in cache zit/expired is (immers had AGH hem al uit cache gehaald), en cachen terwijl je het nooit aanspreekt (/altijd expired is) is dan natuurlijk ook onzinnig. Enige ding is dat Unbound die prefetch expired optie heeft. Dus gecachte entries die aflopen en vaak gebruikt worden vooraf al ophalen.

* RobertMe moet maar eens kijken om dit met PiHole + Unbound te doen

[Mars Warrior]

Jazco2nd schreef op maandag 24 april 2023 @ 16:57:
@Mars Warrior dankzij deze berichten van jou in beide topics kriebelt het steeds weer om ook de race to the bottom te starten wat betreft verbruik..
Ik moet nog met Telegraf+InfluxDB aan de slag.. maar de snelle winst/low hanging fruit die je deelt mbt AdGuard Home begrijp ik niet helemaal. Je hebt immers ook Unbound, dus dan moet je toch juist geen cache in AGH gebruiken? Unbound cachet immers al?
Of heb jij een custom config voor Unbound? Niet de standaard van Klutchell image?

Zie hieronder bij "Yup".
Gewoon standaard Klutchell Unbound image icm AGH.

En wat heb je dan als cache grootte en max TTL ingesteld?

Het gaat om de minimale TTL. Ik zag vaak dat ook Unbound niet kan cachen omdat de TTL veels te kort is: van 10-60 seconden. Ik heb dus de minimale TTl experimenteel verhoogd naar uiteindelijk 600 seconden.

Pas daarna zag ik de cache van AGH gaan werken, en zakte de "Gemiddelde verwerkingstijd in milliseconden van een DNS aanvraag" van 24msec naar 1msec op het dashboard van AGH.

Fyi Fujitsu d3644B + Core i9100 dus geen P en E cores helaas. Wil liever pas vervangen (en verkleinen) wanneer er een zuinig mITX mobo met ECC ondersteuning verschijnt..

Ik heb geen idee of het verlagen van de maximale frequentie van een 9100 nog veel uitmaakt. Ik heb daar niet veel over kunnen vinden.

Een 6600K is in ieder geval een stuk inefficienter dan zelfs de P-cores op lagere frequenties, al kun je daar dus wel - als dat kan qua belasting - bijna 50% besparen als je die terugklokt naar 2.5Ghz!

RobertMe schreef op maandag 24 april 2023 @ 17:33:
[...]
Eerder cachen scheelt natuurlijk ook weer CPU cycli. Waarom zou je AGH met Unbound laten verbinden om een DNS query te doen die uit het cache komt, terwijl AGH ook kan cachen waardoor je die hele roundtrip naar Unbound bespaard? En idealiter zou je caching in Unbound dan weer helemaal uit zetten. Scheelt weer een cache lookup terwijl je weet dat het niet in cache zit/expired is (immers had AGH hem al uit cache gehaald), en cachen terwijl je het nooit aanspreekt (/altijd expired is) is dan natuurlijk ook onzinnig. Enige ding is dat Unbound die prefetch expired optie heeft. Dus gecachte entries die aflopen en vaak gebruikt worden vooraf al ophalen.

* RobertMe moet maar eens kijken om dit met PiHole + Unbound te doen

Yup:

• Met de cache van Unbound zat ik op 1ms volgens AGH per DNS aanvraag, maar die werkt niet als de TTL is verlopen, dan krijg je weer tijden van 100-200ms per DNS aanroep.
• Met de cache (40-100MB) en minimale TTL (600s) van AGH zit ik in de 0.01-0.5ms per DNS aanroep: die cache is dus vele malen sneller!

Eindresultaat is snellere respons en minder energieverbruik. Wie wil dat nou niet

[Jazco2nd]

@Mars Warrior weet wel dat de meeste sites een TTL doorgeven. Die is 9 van de 10 keer 5min. Die TTL is volgens mij altijd leidend, ongeacht wat je in AdGuard instelt. Reden is dat organisaties graag een wijziging willen kunnen doorvoeren bij attacks.

Maar ik heb het ook zo ingesteld nu. Moet dan nog ff kijken of Unbound cache helemaal kan worden uitgeschakeld eventueel.

Wat betreft jouw CPU: had je ook getest met alle Performance cores helemaal uitgeschakeld, voor alle services? Misschien zijn de E cores ruim voldoende 95% van de tijd. Ook voor interactieve services?

Ik heb in de BIOS de cTDP aangepast naar 28W en Turbo modus uitgeschakeld.. dus scheelt denk ik al een hoop.. maar moet het keer gaan meten..

[Mars Warrior]

Jazco2nd schreef op dinsdag 25 april 2023 @ 15:53:
@Mars Warrior weet wel dat de meeste sites een TTL doorgeven. Die is 9 van de 10 keer 5min. Die TTL is volgens mij altijd leidend, ongeacht wat je in AdGuard instelt. Reden is dat organisaties graag een wijziging willen kunnen doorvoeren bij attacks.

Maar ik heb het ook zo ingesteld nu. Moet dan nog ff kijken of Unbound cache helemaal kan worden uitgeschakeld eventueel.

Kijk maar eens onder het vraagtekentje bij AGH, dan zie je bij veel sites 10 seconden staan. Neem Github:


Dat ze dat doen om over te kunnen schakelen zal wel: dan heb ik pech, maar voo rnu draait dit bij mij uitstekend en reageren veel websites net wat flotter als ik aan het browsen ben.

Wat betreft jouw CPU: had je ook getest met alle Performance cores helemaal uitgeschakeld, voor alle services? Misschien zijn de E cores ruim voldoende 95% van de tijd. Ook voor interactieve services?

Je kunt niet alle P-cores uitschakelen: er is er altijd minimaal 1 actief.

En ja, dat heb ik geprobeerd, en ja, dat is ruim voldoende voor achtergrond services, maar nee, dat is voor interactieve containers - lees website ontwikkeling - geen doen. PHP leunt zwaar op single core performance.

Besef dat een P-core ca 2x de performance van een E-core heeft. Dus een E-core op 2.5Ghz is een P-core op 1.25Ghz. Nee dat verschil met een P-core op 4.5Ghz is enorm!

Je ziet dit vaak bij goedkope hosters: die gebruiken bijv. laaggeklokte Epycs met veel cores. Klinkt aantrekkelijk, maar de echte hosters die hebben juist hooggeklokte CPU's in hun systemen zitten...

[Jazco2nd]

Mars Warrior schreef op dinsdag 25 april 2023 @ 16:12:
[...]

Kijk maar eens onder het vraagtekentje bij AGH, dan zie je bij veel sites 10 seconden staan. Neem Github:

[Afbeelding]
Dat ze dat doen om over te kunnen schakelen zal wel: dan heb ik pech, maar voo rnu draait dit bij mij uitstekend en reageren veel websites net wat flotter als ik aan het browsen ben.


[...]

Je kunt niet alle P-cores uitschakelen: er is er altijd minimaal 1 actief.

En ja, dat heb ik geprobeerd, en ja, dat is ruim voldoende voor achtergrond services, maar nee, dat is voor interactieve containers - lees website ontwikkeling - geen doen. PHP leunt zwaar op single core performance.

Besef dat een P-core ca 2x de performance van een E-core heeft. Dus een E-core op 2.5Ghz is een P-core op 1.25Ghz. Nee dat verschil met een P-core op 4.5Ghz is enorm!

Je ziet dit vaak bij goedkope hosters: die gebruiken bijv. laaggeklokte Epycs met veel cores. Klinkt aantrekkelijk, maar de echte hosters die hebben juist hooggeklokte CPU's in hun systemen zitten...

Ik had het vanochtend aangepast en wij merken ook direct verschil! Dus ben sowieso al blij hiermee.

Dat het verschil in E en P zo groot was wist ik niet..

[Mars Warrior]

Jazco2nd schreef op dinsdag 25 april 2023 @ 16:15:
[...]
Ik had het vanochtend aangepast en wij merken ook direct verschil! Dus ben sowieso al blij hiermee.

Dat is mooi. Het went wel snel merk ik, maar als ik op het werk ben, dan waardeer ik het weer enorm

Dat het verschil in E en P zo groot was wist ik niet..

Anandtech vergelijkt de E-cores met een 6700K:



Mijn teruggeklokte 12700K is in veel taken - multi-core - ca 8x sneller dan mijn oude 4-core 3570K. Single core is de 12700K al ca 2x sneller dan de 3570K.

[Arunia]

Gisteren eens wat containers opgeruimd en weggegooid. Per ongeluk Firefly er uit geknald. Nah ja, was er toch nog niet echt mee begonnen.
enige andere ding is wel, dat ik Rustdesk gebruik en iedere keer weer mijn verbinding niet kan maken wanneer mijn server opnieuw opgestart is voor onderhoud of iets.
Ofwel, docker desktop wordt niet opgestart voordat er een inlog is geweest.
Dit aangepast door een taak in de planner te maken en dat werkt. Echter, ben ik wel het icoon kwijt in de systray.
En na inloggen een melding dat Docker desktop al gestart is. Dit nog maar eens op zien te lossen een keer.
Icoon is gelukkig van minder belang, maar als je op afstand gebruik maakt van rustdesk om je server ook te beheren, dan is dat best vervelend als je docker even uitschakelt om de normale versie op te starten. Poef, verbinding weg.
Dus lokaal middels RDP maar eens oplossen binnenkort.

Moet ook echt nog eens kijken hoe ik het beste backups kan maken om terug te zetten bij wellicht een herinstallatie van mijn server of wat voor problemen dan ook.

[Tularis]

Beste allen,

Ik heb recent een synology diskstation aangeschaft (ds720+), en wil daar nginx in docker op draaien die vanaf mijn netwerk bereikbaar moet zijn. Omdat ik ook andere dockers wil draaien die met dezelfde ports beschikbaar moeten zijn, heb ik begrepen dat ik moet grijpen naar een ipvlan of macvlan netwerk in plaats van de standaard bridge of host netwerken.

Op dit moment heb ik de nginx docker in 2 netwerken draaien. Een bridge zodat deze intern kan verwijzen naar andere docker images waar ik o.a. database servers, specifieke sites, services, etc. in draai die niet van buitenaf beschikbaar hoeven te zijn. En een macvlan die wel van buiten beschikbaar is.

In docker-compose heb ik de volgende 2 netwerken gedefinieerd:

code:

networks:
  macvlan_network:
    name: macvlan_network
    driver: macvlan
    ipam:
       config:
          - subnet: 192.168.10.0/24
            ip_range: 192.168.10.1/24
            gateway: 192.168.10.1
    driver_opts:
       parent: "eth1.10"
    external: false
  macvlan_bridge:
    name: macvlan_bridge
    driver: bridge
    ipam:
       config:
          - subnet: 192.168.100.0/24
            ip_range: 192.168.100.1/24
            gateway: 192.168.100.1
    external: false

De nginx docker heeft een static adres (ipv4_address: 192.168.10.2) gedefinieerd.
Echter als ik nu op het apparaat zelf ping of traceroute naar 192.168.10.2 dan wordt deze niet gevonden. Maar als ik ping naar 192.168.100.2 (die de container automatisch toegewezen heeft gekregen) krijg ik wel antwoord.

Ik had begrepen dat het bridge network eigenlijk niet bereikbaar zou moeten zijn vanaf 'buiten' het eigen network; en ik zou verwachten de macvlan wel. Maar het lijkt nu andersom te zijn. Komt het misschien doordat ik de parent op eth1.10 zet? (dus eth1 met vlan tag 10)

Kan iemand me helpen begrijpen wat ik hier fout doe?

[RobertMe]

* zucht *

Is Docker Hub / registry nu stuk, of ligt het aan mij?

$ docker pull postgres:15-alpine
Error response from daemon: Head "https://registry-1.docker.io/v2/library/postgres/manifests/15-alpine": Get "https://auth.docker.io/token?scope=repository%3Alibrary%2Fpostgres%3Apull&service=registry.docker.io": EOF

Maar op mijn VPS (gehost in DE) werkt het weer wel en gaat die vrolijk downloaden. En eerder vanavond was hub.docker.com ook al dood leek het (maar die kan ik intussen wel openen).

Edit:
Laat maar, nu doet die het weer wel

[ Voor 4% gewijzigd door RobertMe op 29-05-2023 22:36 ]

[Arunia]

Lange tijd aan het klooien geweest met Docker Desktop onder Windows om deze na een reboot te laten starten.
Dit is gelukt door Windows zonder inloggen op te laten starten en dan het lock comando vanuit de opstarten map aan te spreken via een batch bestand. En waarachtig, dat werkt.
Link met de uitleg:
https://superuser.com/que...reen-on-pc-is-it-possible

[L0g0ff]

Arunia schreef op maandag 5 juni 2023 @ 13:30:
Lange tijd aan het klooien geweest met Docker Desktop onder Windows om deze na een reboot te laten starten.
Dit is gelukt door Windows zonder inloggen op te laten starten en dan het lock comando vanuit de opstarten map aan te spreken via een batch bestand. En waarachtig, dat werkt.
Link met de uitleg:
https://superuser.com/que...reen-on-pc-is-it-possible

Mag ik vragen waarom je zo vasthoudt aan docker onder Windows? Ik las de (jouw) eerste post en nu de(jouw) laatste post en ik zie dat je in 4 jaar tijd nog steeds niet geswitched bent.

Je leven wordt zoveel makkelijker als je native docker kunt draaien zonder Windows tussenlaagje

Just curious

[Arunia]

@L0g0ff Goede vraag. Ik ben Windows gewend en zou natuurlijk ook onder Hyper-V Linux kunnen draaien en het daarin doen. Maar dan moet ik daar weer wat regelen dat de schijfopslag beschikbaar is binnen Windows.

Daarnaast heb ik zo iets van, het moet onder Windows ook gewoon werken. En waarom ook niet. Niet alles is van belang en wat wel van belang is, dat draait onder Windows zelf als Service en niet in Docker.

[orvintax]

Arunia schreef op donderdag 8 juni 2023 @ 19:03:
Daarnaast heb ik zo iets van, het moet onder Windows ook gewoon werken. En waarom ook niet. Niet alles is van belang en wat wel van belang is, dat draait onder Windows zelf als Service en niet in Docker.

Gebruik je een Windows Server om applicaties te hosten?

[Arunia]

@orvintax ik gebruik Windows 10 hiervoor. Hiervoor WHS. Hierop heb ik ook Drivepool draaien om 1 grote schijf te maken.
Vind het nog moeilijk om daar afscheid van te nemen. En over het algemeen werkt het gewoon goed.
Tuurlijk is het even zoeken, maar uiteindelijk kom ik er wel.

[RobertMe]

Arunia schreef op donderdag 8 juni 2023 @ 19:03:
@L0g0ff Goede vraag. Ik ben Windows gewend en zou natuurlijk ook onder Hyper-V Linux kunnen draaien en het daarin doen. Maar dan moet ik daar weer wat regelen dat de schijfopslag beschikbaar is binnen Windows.

Daarnaast heb ik zo iets van, het moet onder Windows ook gewoon werken. En waarom ook niet. Niet alles is van belang en wat wel van belang is, dat draait onder Windows zelf als Service en niet in Docker.

Het moet onder Windows helemaal niet werken. Docker is geen virtualisatie oplossing, het is een oplossing om processen geïsoleerd te draaien op Linux. Docker valt of staat bij een hele reeks aan Linux (kernel) features die Windows helemaal niet kent. Docker Desktop is bij mijn weten dan ook gewoon een VM waarin Linux draait die gestart wordt op Windows. Ook dan draait Docker dus nog steeds niet op Windows, maar op Linux, alleen dan in een VM inclusief wat features waardoor de ervaring net wat vloeiender is (automatische port forwards van Windows naar de VM en shared folders?).

En dat geldt dus niet alleen voor Docker op Windows, maar net zogoed op MacOS. Het start gewoon een Linux VM waar Docker in draait.

En Docker is dan ook geen uniek product. Naast Podman die min of meer een drop in replacement is voor Docker (daemonless, maar wel compatible met de OCI standaarden die zijn gecreëerd op basis van wat Docker doet / hoe Docker images er uit zien) heb je ook nog LXC/LXD om een volledig Linux OS (/distro) in een geïsoleerde omgeving te draaien (dus letterlijk met bv systemd als init systeem die alle background processen start, zoals bv een cron daemon of SSH, de mogelijkheid tot het uitvoeren van shutdown / reboot, ...). En daarnaast heeft systemd ook ondersteuning voor deze kernel features, om bv een service in een eigen network namespace te draaien.

[L0g0ff]

@Arunia in theorie zou dit ook moeten werken.

code:

sc.exe create <new_service_name> binPath= "<path_to_the_service_executable>"

Hiermee kun je elke exe ombouwen als "service". Die service kun je dan gewoon instellen dat die als jouw eigen user moet draaien ipv localservice.

Dan hoef je helemaal niet in te loggen en is het gewoon een achtergrond proces geworden.

Maar je merkt het al. Het is een heel hoog knutsel gehalte. Als je docker gaat draaien onder Linux dan werkt alles gewoon meteen zoals het moet werken

[L0g0ff]

RobertMe schreef op donderdag 8 juni 2023 @ 19:30:
[...]

Het moet onder Windows helemaal niet werken. Docker is geen virtualisatie oplossing, het is een oplossing om processen geïsoleerd te draaien op Linux. Docker valt of staat bij een hele reeks aan Linux (kernel) features die Windows helemaal niet kent. Docker Desktop is bij mijn weten dan ook gewoon een VM waarin Linux draait die gestart wordt op Windows. Ook dan draait Docker dus nog steeds niet op Windows, maar op Linux, alleen dan in een VM inclusief wat features waardoor de ervaring net wat vloeiender is (automatische port forwards van Windows naar de VM en shared folders?).

En dat geldt dus niet alleen voor Docker op Windows, maar net zogoed op MacOS. Het start gewoon een Linux VM waar Docker in draait.

En Docker is dan ook geen uniek product. Naast Podman die min of meer een drop in replacement is voor Docker (daemonless, maar wel compatible met de OCI standaarden die zijn gecreëerd op basis van wat Docker doet / hoe Docker images er uit zien) heb je ook nog LXC/LXD om een volledig Linux OS (/distro) in een geïsoleerde omgeving te draaien (dus letterlijk met bv systemd als init systeem die alle background processen start, zoals bv een cron daemon of SSH, de mogelijkheid tot het uitvoeren van shutdown / reboot, ...). En daarnaast heeft systemd ook ondersteuning voor deze kernel features, om bv een service in een eigen network namespace te draaien.

Volgens mij klopt het niet helemaal wat je zegt. Docker draait in WSL. Het Windows subsystem for Linux. Dit is geen vm maar kun je beter vergelijken met Wine for Linux..

De eerste versie van docker desktop deed dit idd wel.

[Arunia]

RobertMe schreef op donderdag 8 juni 2023 @ 19:30:
[...]

Het moet onder Windows helemaal niet werken. Docker is geen virtualisatie oplossing, het is een oplossing om processen geïsoleerd te draaien op Linux. Docker valt of staat bij een hele reeks aan Linux (kernel) features die Windows helemaal niet kent. Docker Desktop is bij mijn weten dan ook gewoon een VM waarin Linux draait die gestart wordt op Windows. Ook dan draait Docker dus nog steeds niet op Windows, maar op Linux, alleen dan in een VM inclusief wat features waardoor de ervaring net wat vloeiender is (automatische port forwards van Windows naar de VM en shared folders?).

En dat geldt dus niet alleen voor Docker op Windows, maar net zogoed op MacOS. Het start gewoon een Linux VM waar Docker in draait.

En Docker is dan ook geen uniek product. Naast Podman die min of meer een drop in replacement is voor Docker (daemonless, maar wel compatible met de OCI standaarden die zijn gecreëerd op basis van wat Docker doet / hoe Docker images er uit zien) heb je ook nog LXC/LXD om een volledig Linux OS (/distro) in een geïsoleerde omgeving te draaien (dus letterlijk met bv systemd als init systeem die alle background processen start, zoals bv een cron daemon of SSH, de mogelijkheid tot het uitvoeren van shutdown / reboot, ...). En daarnaast heeft systemd ook ondersteuning voor deze kernel features, om bv een service in een eigen network namespace te draaien.

Deels geef ik je gelijk en ik geef ook zeker toe dat het makkelijker is onder Linux.
Maar wat @L0g0ff ook aangeeft, het draait onder wsl2. Alhoewel ik wel moet zeggen dat ik onder Hyper-v laatst toch een Linux vm zie draaien, maar het maakt me niet uit hoe Windows dit oplost. Je kunt gewoon Linux commandos gebruiken.
Je kunt overigens kiezen tussen Windows containers en Linux containers. Uiteraard heb ik voor die laatste gekozen.

Het werkt zeker beter onder Linux zelf.

[Webgnome]

RobertMe schreef op donderdag 8 juni 2023 @ 19:30:
[...]

Het moet onder Windows helemaal niet werken. Docker is geen virtualisatie oplossing, het is een oplossing om processen geïsoleerd te draaien op Linux. Docker valt of staat bij een hele reeks aan Linux (kernel) features die Windows helemaal niet kent. Docker Desktop is bij mijn weten dan ook gewoon een VM waarin Linux draait die gestart wordt op Windows. Ook dan draait Docker dus nog steeds niet op Windows, maar op Linux, alleen dan in een VM inclusief wat features waardoor de ervaring net wat vloeiender is (automatische port forwards van Windows naar de VM en shared folders?).

En dat geldt dus niet alleen voor Docker op Windows, maar net zogoed op MacOS. Het start gewoon een Linux VM waar Docker in draait.

En Docker is dan ook geen uniek product. Naast Podman die min of meer een drop in replacement is voor Docker (daemonless, maar wel compatible met de OCI standaarden die zijn gecreëerd op basis van wat Docker doet / hoe Docker images er uit zien) heb je ook nog LXC/LXD om een volledig Linux OS (/distro) in een geïsoleerde omgeving te draaien (dus letterlijk met bv systemd als init systeem die alle background processen start, zoals bv een cron daemon of SSH, de mogelijkheid tot het uitvoeren van shutdown / reboot, ...). En daarnaast heeft systemd ook ondersteuning voor deze kernel features, om bv een service in een eigen network namespace te draaien.

Als het niet onder Windows dient te werken why the f. bieden ze dat dan wel aan?

[L0g0ff]

Het voordeel van docker desktop op Windows is dat je heel eenvoudig ook images met een gui naar de docker hub kunt pushen. En dat je lekker kunt klikken zonder de commando's allemaal te kennen.

Maar als je lekker wilt klikken onder docker om je docker beheer te doen dan zou je ook portainer kunnen gebruiken.

De reden (ook) dat ik me afvroeg waarom Windows boven Linux te gebruiken is omdat @Arunia aangeeft graag de containers automatisch te willen starten met het opstarten van de computer.

[RobertMe]

Webgnome schreef op vrijdag 9 juni 2023 @ 05:49:
[...]


Als het niet onder Windows dient te werken why the f. bieden ze dat dan wel aan?

Omdat Docker ook een belangrijke tool voor software ontwikkeling is (geworden). Immers heb je met Docker geen "works on my machine" meer (immers draait iedereen hetzelfde image met dus dezelfde libraries en versies van libraries). En aangezien er "nog wel een aantal" programmeurs op Windows werken is de doelgroep voor een oplossing om het op Windows te kunnen gebruiken ook nogal groot.

En voor een ontwikkelomgeving maakt het natuurlijk niet uit dat het alleen beschikbaar is na inloggen. Immers kan een programmeur ook zijn werk pas doen na inloggen.

Echter is Docker op Windows naar mijn idee dus niet geschikt voor productie (omdat Docker nooit ontwikkeld is voor Windows). En dat blijkt ook wel uit het feit dat het schijnbaar pas "opstart" bij het inloggen.

[grote_oever]

Mars Warrior schreef op zondag 23 april 2023 @ 21:40:
Ik had eea al in het zuinige server topic gegooid vanwege vragen, maar doe het hier ook nog maar ff.

Mijn zuinige server is zo ongeveer ingericht met 26 actieve containers

[Afbeelding]

Ik heb het volgende actief in gebruik (26 containers):

• AdGuard + Unbound, ca 26.000 DNS requests / dag
• MkDocs (2x) - documentatie
• WikiJS + Postgres15 - documentatie
• aaPanel (2x) - hosting
• Caddy - web proxy
• Crashplan - backup
• Gotify + Pushtify - notificaties
• SftpGo - sftp en webdav
• Wireguard - VPN
• Telegraf + InfluxDB - metrics monitoring
• Plugsy - simple dashboard
• Portainer - beheer containers
• Vaultwarden - lokale wachtwoorden

De domotica stack:

• Home Assistant + Postgres15 + InfluxDB
• Dsmr + Postgres15, P1 via ser2net op een RPI - P1 energie
• Mosquitto. (Helaas heeft NanoMQ nog wat bugs...
• Zigbee2Mqtt, zigbee stick via ser2net op een RPI - Zigbee devices

Er komen nog wat mogelijke uitbreidingen waar ik nog niet helemaal uit ben (5 containers)

• Janitor en/of Healtchecks.io voor alerting als er iets mis is
• Photoprism - fotobeheer / gallerij
• Adminer - database beheer
• Filerun - file toegang

Toekomst:

• Frigate (dan zal het verbruik van ca 1W wel over zijn )

Met Frigate meegerekend 32 totaal containers.

Deze nieuwe server moest behalve containers draaien, ook zo zuinig mogelijk zijn. De hardware was hier al op uitgezocht en het resultaat (zonder 3x 2.5" schijven) was ca 4W idle met Ubuntu 22.04 Desktop als OS.

Daarnaast heb ik zowel de 8x P-Cores als de 4x E-cores van de 12700K CPU zo zuinig mogelijk afgesteld door de maximale frequentie te limiteren. De E-cores bijv. draaien max op 2.5Ghz, en niet op de oorspronkelijke max van 3.8Ghz. Op 2.5Ghz verbruiken de E-cores ca de helft aan energie om een taak uit te voeren tov de 3.8Ghz!

Elke keer met het toevoegen van een container heb ik met Telegraf + InfluxDB dankzij de Intel Powerstat plugin perfect kunnen zien wat het effect van een container was, en ben ik gaan kijken of ik dat verbruik nog wat kan terugdringen. Healtchecks en logging waren de meest voorkomende boosdoeners.

Ook andere dingen hielpen wat: door bijv. in AdGuard Home de DNS cache in te stellen en de minimale TTL naar 600 seconden te zetten heeft die met ca 26.000 DNS aanvragen / dag zowaar 200mW minder nodig om te draaien, én ging de gemiddelde DNS aanvraag verwerkingstijd van ca 20ms naar 1ms!

Alle achtergrondtaken zijn daarna naar de E-cores verplaatst: dat scheelt voor sommige containers een aantal wH per dag aan verbruik. Ook weer leuk meegenomen!

Voorbeeld van AdGuard Home definitie in docker compose:

YAML:

  dns-adguard:
    container_name: dns-adguard
    image: adguard/adguardhome
    restart: always
    network_mode: host
    cpuset: $CPUSET_E_CORES_ALL
    volumes:
       - $DOCKERDIR/mngt/adguardhome/conf:/opt/adguardhome/conf
       - $DOCKERDIR/mngt/adguardhome/work:/opt/adguardhome/work
    healthcheck:
      disable: true
    labels:
      plugsy.name: AdGuard
      plugsy.link: http://adguard.home/
      plugsy.category: Network

De 26 actieve containers doen ca 1W CPU Package Power (CPP) gemiddeld als je naar het histogram kijkt: zo'n 40mW per container . Toch leuk om containers (Telegraf en InfluxDB) te gebruiken om containers te 'tunen' op energieverbruik.

[Afbeelding]

Voorheen had ik ca 100 containers draaien verspreid over 3 servers. Nu dus max. 32 op 1 server. Functioneel is het resultaat hetzelfde. Maar wel eenvoudiger qua onderhoud, overzichtelijker, en volgens de huidige DSMR Reader metingen en schattingen ca 550kWh / jaar minder energieverbruik.

Mooi lijstje. Ik kan je de volgende docker nog aanraden als tweaker: https://hub.docker.com/r/dgtlmoon/changedetection.io

[Arunia]

@RobertMe ik lees ook inderdaad veel dat het voor ontwikkeling is om het onder Windows te draaien.

Uiteindelijk heb ik het wel voor elkaar om eht automatisch op te laten starten. Dat probleem is verholpen voor toekomstige Windows gebruikers.

[Shattering]

Dag allen. Ik probeer momenteel mijn interne docker containers, extern beschikbaar te maken - via NGINX en een HTTP certificaat. Ik dacht dat het gelukt was, maar ik blijf toch tegen problemen aanlopen. Is er iemand die een keer diagonaal door mijn configuratie kan gaan?

- Ik krijg momenteel de foutmelding "502 Bad Gateway". Zowel poort 80 als poort 443 werken niet.
- Ik gebruik de ACME Companion om automatisch een certificaat aan te vragen, maar ook op poort 80 (zonder certificaat?) werkt het dus niet.
- Poort 80 en poort 443 zijn geforward naar mijn NGINX host.
- Lokaal is Zigbee2MQTT wel bereikbaar, op poort 8080

code:

version: '3'
networks:
  overes95:
    external:
      name: hanetwork

services:

    # NGINX
    # Reverse Proxy for HTTPS deployments 
  nginx-proxy:
    container_name: nginx-proxy
    image: nginxproxy/nginx-proxy
    restart: unless-stopped
    networks:
      - "hanetwork"
    ports:
      - 80:80
      - 443:443
    volumes:
      - /var/run/docker.sock:/tmp/docker.sock:ro
      - /var/docker/nginx/html:/usr/share/nginx/html
      - /var/docker/nginx/certs:/etc/nginx/certs
      - /var/docker/nginx/vhost:/etc/nginx/vhost.d   
    depends_on:
      - zigbee2mqtt

  nginx-proxy-acme:
    container_name: nginx-proxy-acme
    image: nginxproxy/acme-companion
    restart: unless-stopped 
    networks:
      - "hanetwork"
    volumes_from:
      - nginx-proxy  
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
      - /var/docker/nginx/acme:/etc/acme.sh  
    environment:
        DEFAULT_EMAIL: [e-mail]  
    depends_on:
      - nginx-proxy
      - zigbee2mqtt

  zigbee2mqtt:
    container_name: zigbee2mqtt
    image: koenkk/zigbee2mqtt
    restart: unless-stopped
    networks:
      - "hanetwork"
    volumes:
      - /setup/zigbee2mqtt:/app/data
      - /run/udev:/run/udev:ro
    ports:
      - 8080:8080
    expose:
      - 80
    environment:
      - TZ=Europe/Brussels
      - VIRTUAL_HOST=zigbee.mijndomein.be
      - LETSENCRYPT_HOST=zigbee.mijndomein.be
    devices:
      - /dev/ttyUSB0:/dev/ttyUSB0
    restart: always

Ik zie de volgende errors in de NGINX-PROXY

code:

nginx.1     | 2023/06/13 08:59:52 [error] 195#195: *51 connect() failed (111: Connection refused) while connecting to upstream, client: 192.168.1.1, server: zigbee.mijndomein.be, request: "GET /favicon.ico HTTP/2.0", upstream: "http://172.18.0.7:80/favicon.ico", host: "zigbee.mijndomein.be", referrer: "https://zigbee.mijndomein.be/"
nginx.1     | zigbee.mijndomein.be 192.168.1.1 - - [13/Jun/2023:08:59:52 +0000] "GET /favicon.ico HTTP/2.0" 502 559 "https://zigbee.mijndomein.be/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.43" "172.18.0.7:80"
nginx.1     | MIJN.WAN.IP 167.94.145.57 - - [13/Jun/2023:09:00:10 +0000] "GET / HTTP/1.1" 503 190 "-" "-" "-"

[ Voor 15% gewijzigd door Shattering op 13-06-2023 11:07 ]

[RobertMe]

Shattering schreef op dinsdag 13 juni 2023 @ 11:04:
Dag allen. Ik probeer momenteel mijn interne docker containers, extern beschikbaar te maken - via NGINX en een HTTP certificaat. Ik dacht dat het gelukt was, maar ik blijf toch tegen problemen aanlopen. Is er iemand die een keer diagonaal door mijn configuratie kan gaan?

- Ik krijg momenteel de foutmelding "502 Bad Gateway". Zowel poort 80 als poort 443 werken niet.
- Ik gebruik de ACME Companion om automatisch een certificaat aan te vragen, maar ook op poort 80 (zonder certificaat?) werkt het dus niet.
- Poort 80 en poort 443 zijn geforward naar mijn NGINX host.
- Lokaal is Zigbee2MQTT wel bereikbaar, op poort 8080

code:

version: '3'
networks:
  overes95:
    external:
      name: hanetwork

services:

    # NGINX
    # Reverse Proxy for HTTPS deployments 
  nginx-proxy:
    container_name: nginx-proxy
    image: nginxproxy/nginx-proxy
    restart: unless-stopped
    networks:
      - "hanetwork"
    ports:
      - 80:80
      - 443:443
    volumes:
      - /var/run/docker.sock:/tmp/docker.sock:ro
      - /var/docker/nginx/html:/usr/share/nginx/html
      - /var/docker/nginx/certs:/etc/nginx/certs
      - /var/docker/nginx/vhost:/etc/nginx/vhost.d   
    depends_on:
      - zigbee2mqtt

  nginx-proxy-acme:
    container_name: nginx-proxy-acme
    image: nginxproxy/acme-companion
    restart: unless-stopped 
    networks:
      - "hanetwork"
    volumes_from:
      - nginx-proxy  
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
      - /var/docker/nginx/acme:/etc/acme.sh  
    environment:
        DEFAULT_EMAIL: [e-mail]  
    depends_on:
      - nginx-proxy
      - zigbee2mqtt

  zigbee2mqtt:
    container_name: zigbee2mqtt
    image: koenkk/zigbee2mqtt
    restart: unless-stopped
    networks:
      - "hanetwork"
    volumes:
      - /setup/zigbee2mqtt:/app/data
      - /run/udev:/run/udev:ro
    ports:
      - 8080:8080
    expose:
      - 80
    environment:
      - TZ=Europe/Brussels
      - VIRTUAL_HOST=zigbee.mijndomein.be
      - LETSENCRYPT_HOST=zigbee.mijndomein.be
    devices:
      - /dev/ttyUSB0:/dev/ttyUSB0
    restart: always

Ik zie de volgende errors in de NGINX-PROXY

code:

nginx.1     | 2023/06/13 08:59:52 [error] 195#195: *51 connect() failed (111: Connection refused) while connecting to upstream, client: 192.168.1.1, server: zigbee.mijndomein.be, request: "GET /favicon.ico HTTP/2.0", upstream: "http://172.18.0.7:80/favicon.ico", host: "zigbee.mijndomein.be", referrer: "https://zigbee.mijndomein.be/"
nginx.1     | zigbee.mijndomein.be 192.168.1.1 - - [13/Jun/2023:08:59:52 +0000] "GET /favicon.ico HTTP/2.0" 502 559 "https://zigbee.mijndomein.be/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.43" "172.18.0.7:80"
nginx.1     | MIJN.WAN.IP 167.94.145.57 - - [13/Jun/2023:09:00:10 +0000] "GET / HTTP/1.1" 503 190 "-" "-" "-"

Nginx werkt "prima" en is bereikbaar (anders kon je ook de 502 bad gateway niet krijgen). De fout ontstaat doordat Nginx niet kan verbinden met Z2M. En de verklaring daarvoor blijkt uit het log. Hij probeert te verbinden met Z2M op poort 80 terwijl Z2M op poort 8080 draait. Die "expose" wat je bij Z2M hebt doet AFAIK ook niks, immers draait er in de container sowieso niks op poort 80 (maar wel op 8080 dus).,

[Shattering]

RobertMe schreef op dinsdag 13 juni 2023 @ 11:32:
[...]

Nginx werkt "prima" en is bereikbaar (anders kon je ook de 502 bad gateway niet krijgen). De fout ontstaat doordat Nginx niet kan verbinden met Z2M. En de verklaring daarvoor blijkt uit het log. Hij probeert te verbinden met Z2M op poort 80 terwijl Z2M op poort 8080 draait. Die "expose" wat je bij Z2M hebt doet AFAIK ook niks, immers draait er in de container sowieso niks op poort 80 (maar wel op 8080 dus).,

Bedankt! Het werkt nu door deze aanpassing. Durf wel niet te zeggen of dat de way to go is

code:

    ports:
      - 8080:80

[RobertMe]

Shattering schreef op dinsdag 13 juni 2023 @ 11:43:
[...]


Bedankt! Het werkt nu door deze aanpassing. Durf wel niet te zeggen of dat de way to go is

code:

    ports:
      - 8080:80

Uhm, dat werkt niet op basis van wat je eerder poste en zal maar 1x werken? Je maakt nu een port forward zodat poort 80 van de host wordt doorgestuurd naar 8080 in de Z2M container. Maar je hebt ook een forward van poort 80 naar poort 80 in de Nginx container?! Dus dat kan niet want die poort (80 op de host) kan maar 1x "geclaimed" worden.

Als het daadwerkelijk op de juiste manier is gefixt dan heb je op de Z2M container ook helemaal geen ports noch expose nodig. Maar dan moet uiteraard Nginx wel de juiste config hebben zodat die weet dat die met poort 8080 van de container moet verbinden (en dus niet poort 80, wat vast de detault zal zijn, noch "buitenom" verbinden, wat nu potentieel het geval is).

[Shattering]

RobertMe schreef op dinsdag 13 juni 2023 @ 11:51:
[...]

Uhm, dat werkt niet op basis van wat je eerder poste en zal maar 1x werken? Je maakt nu een port forward zodat poort 80 van de host wordt doorgestuurd naar 8080 in de Z2M container. Maar je hebt ook een forward van poort 80 naar poort 80 in de Nginx container?! Dus dat kan niet want die poort (80 op de host) kan maar 1x "geclaimed" worden.

Als het daadwerkelijk op de juiste manier is gefixt dan heb je op de Z2M container ook helemaal geen ports noch expose nodig. Maar dan moet uiteraard Nginx wel de juiste config hebben zodat die weet dat die met poort 8080 van de container moet verbinden (en dus niet poort 80, wat vast de detault zal zijn, noch "buitenom" verbinden, wat nu potentieel het geval is).

Hi RoberMe, bedankt voor je reactie - ik heb er echter weinig verstand van ... Ik volg hier de handleiding, en daar zeggen ze dat EXPOSE vereist is om dit te doen werken: https://hub.docker.com/r/jwilder/nginx-proxy

Omdat enkel EXPOSE mijn container niet beschikbaar maakt op mijn lokaal LAN, heb ik dus ook de poorten toegevoegd (met PORTS:). Het werkt voor me, maar ik weet niet waarom/of het zo moet .

[rvk]

RobertMe schreef op dinsdag 13 juni 2023 @ 11:51:
[...]
Uhm, dat werkt niet op basis van wat je eerder poste en zal maar 1x werken? Je maakt nu een port forward zodat poort 80 van de host wordt doorgestuurd naar 8080 in de Z2M container. Maar je hebt ook een forward van poort 80 naar poort 80 in de Nginx container?! Dus dat kan niet want die poort (80 op de host) kan maar 1x "geclaimed" worden.

Port 80 kan inderdaad op eenzelfde host maar 1x geclaimd worden.
MAAR... binnen je virtuele netwerk heb je verschillende docker containers die allemaal hun eigen host zijn.

De zigbee2mqtt EN mginx kunnen dus prima ALLEBEI luisteren op poort 80.
Alleen als je dan weer naar extern toegaat, dan moet je wel 1 poort 80 gebruiken (en dat doet de nginx). De zigbee2mqtt doet poort 8080 openstellen naar zijn interne poort 80.

Lijkt me prima te lukken toch.

[Videopac]

Ik heb nogal moeite om Docker te begrijpen en vooral er dingen in aan de praat te krijgen. "Vroeger" had je op Synology gewoon de apps die je kon starten en werken, nu moet dat via Docker en is er allerlei complex gedoe met rechten GUID, PGID en weet ik wat meer. Ik heb gewoon geen idee hoe ik bijvoorbeeld Logitech Media Server werkend krijg. Het werkt nu wel, maar zie de folder met muziek niet. Ik heb de folders gemapt, maar ik zie ze niet. Elke keer leg ik het weer een tijdje weg om later weer opnieuw te proberen en weer vast te lopen. Uren zoeken op internet lever heel veel informatie op maar ik krijg de puzzel gewoon niet gelegd. Momenteel gebruik ik Portainer op een Asustor NAS en daar hetzelfde gedoe. Ik heb geen idee waar ik moet beginnen om de problemen opgelost te krijgen.



PUID 1005 en PGID 101 hebben toegang tot de gemapte folders.
Iemand een idee hoe ik dit probleem aan moet pakken?

NB: ik las ook ergens dat die "bind" optie afgeraden wordt; mocht dit zo zijn: hoe map je dan folders in een container?

[ Voor 42% gewijzigd door Videopac op 22-06-2023 12:07 ]

[Marc3l]

@Videopac heeft Docker ook een terminal op de Synology? Wellicht dat je kan kijken of de muziek wel in /music staat in de container.

Of (Ken de Logitech Media Server niet) wellicht moeten de bestanden eerst geïndexeerd worden?

[Yucko]

@Videopac

ik heb net even snel een container op mijn Synology opgestart middels Portainer en hij lijkt hier te werken want ik zie allerlei artiesten e.d. in via de webinterface.

Weet je zeker dat het geen rechten probleem is?

Zelf heeft bij mij iedereen leesrechten op de map met audio bestanden dus ik heb niets gedaan met het PUID en PGID verhaal in mijn docker compose verhaal.

edit:
Nu ik nog eens naar je screenshots kijk vallen je mappings op.
Moet daar niet (iig op de Synology) in alle gevallen /volume1 voor komen te staan? Zie ook mijn screenshot hieronder:


note:
dit was even quick and dirty dus ik had geen mapping gemaakt voor de playlist map, vandaar die 3e regel die afwijkt

[ Voor 35% gewijzigd door Yucko op 22-06-2023 15:06 ]

[Videopac]

@Yucko Dank voor de hulp! De "/volume1" was inderdaad het probleem.
Soms is iets relatief simpel maar blijf je er overheen kijken.

[Videopac]

Ik ben inmiddels alweer een stuk wijzer geworden, o.a. dat Docker Compose gewoon een script is om een of meerdere containers aan te maken en te starten.

Ik probeer nu PhotoPrism werkend te krijgen, gebruik daarvoor de volgende stack:

code:

version: '3.5'

# Example Docker Compose config file for PhotoPrism (Raspberry Pi 3/4 and other ARM64-based devices)
#
# Note:
# - You have to boot your Raspberry Pi 3/4 with the parameter "arm_64bit=1" in config.txt to use our ARM64 (64-bit) image.
#   An "exec format" error will occur otherwise.
# - Try explicitly pulling the ARM64 version if you've booted your device with the "arm_64bit=1" flag and you see
#   the "no matching manifest" error on Raspberry Pi OS (Raspbian). See documentation for details.
# - Use https://dl.photoprism.app/docker/armv7/docker-compose.yml to run PhotoPrism and MariaDB on ARMv7-based devices
#   as well as Raspberry Pi OS (Raspbian) installations without 64-bit support.
# - Running PhotoPrism on a server with less than 4 GB of swap space or setting a memory/swap limit can cause unexpected
#   restarts ("crashes"), for example, when the indexer temporarily needs more memory to process large files.
# - In case you see Docker errors related to "cgroups", try adding the following parameters to /boot/firmware/cmdline.txt
#   or /boot/cmdline.txt (file location depends on the OS in use): cgroup_enable=cpuset cgroup_enable=memory cgroup_memory=1
# - If you install PhotoPrism on a public server outside your home network, please always run it behind a secure
#   HTTPS reverse proxy such as Traefik or Caddy. Your files and passwords will otherwise be transmitted
#   in clear text and can be intercepted by anyone, including your provider, hackers, and governments:
#   https://docs.photoprism.app/getting-started/proxies/traefik/
#
# Setup Guides:
# - https://docs.photoprism.app/getting-started/docker-compose/
# - https://docs.photoprism.app/getting-started/raspberry-pi/
# - https://www.photoprism.app/kb/activation
#
# Troubleshooting Checklists:
# - https://docs.photoprism.app/getting-started/troubleshooting/
# - https://docs.photoprism.app/getting-started/troubleshooting/docker/
# - https://docs.photoprism.app/getting-started/troubleshooting/mariadb/
#
# CLI Commands:
# - https://docs.photoprism.app/getting-started/docker-compose/#command-line-interface
#
# All commands may have to be prefixed with "sudo" when not running as root.
# This will point the home directory shortcut ~ to /root in volume mounts.

services:
  photoprism:
    ## Use photoprism/photoprism:preview-arm64 for testing preview builds:
    image: photoprism/photoprism:arm64
    ## Don't enable automatic restarts until PhotoPrism has been properly configured and tested!
    ## If the service gets stuck in a restart loop, this points to a memory, filesystem, network, or database issue:
    ## https://docs.photoprism.app/getting-started/troubleshooting/#fatal-server-errors
    # restart: unless-stopped
    stop_grace_period: 10s
    depends_on:
      - mariadb
    security_opt:
      - seccomp:unconfined
      - apparmor:unconfined
    ports:
      - "2342:2342" # HTTP port (host:container)
    environment:
      PHOTOPRISM_ADMIN_USER: "admin"                 # admin login username
      PHOTOPRISM_ADMIN_PASSWORD: "HierStaatHetWachtwoord"          # initial admin password (8-72 characters)
      PHOTOPRISM_AUTH_MODE: "password"               # authentication mode (public, password)
      PHOTOPRISM_SITE_URL: "http://photoprism.me:2342/"  # server URL in the format "http(s)://domain.name(:port)/(path)"
      PHOTOPRISM_ORIGINALS_LIMIT: 5000               # file size limit for originals in MB (increase for high-res video)
      PHOTOPRISM_HTTP_COMPRESSION: "none"            # improves transfer speed and bandwidth utilization (none or gzip)
      PHOTOPRISM_WORKERS: 2                          # limits the number of indexing workers to reduce system load
      PHOTOPRISM_LOG_LEVEL: "info"                   # log level: trace, debug, info, warning, error, fatal, or panic
      PHOTOPRISM_READONLY: "false"                   # do not modify originals directory (reduced functionality)
      PHOTOPRISM_EXPERIMENTAL: "false"               # enables experimental features
      PHOTOPRISM_DISABLE_CHOWN: "false"              # disables updating storage permissions via chmod and chown on startup
      PHOTOPRISM_DISABLE_WEBDAV: "false"             # disables built-in WebDAV server
      PHOTOPRISM_DISABLE_SETTINGS: "false"           # disables Settings in Web UI
      PHOTOPRISM_DISABLE_TENSORFLOW: "false"         # disables all features depending on TensorFlow
      PHOTOPRISM_DISABLE_FACES: "false"              # disables face detection and recognition (requires TensorFlow)
      PHOTOPRISM_DISABLE_CLASSIFICATION: "false"     # disables image classification (requires TensorFlow)
      PHOTOPRISM_DISABLE_VECTORS: "false"            # disables vector graphics support
      PHOTOPRISM_DISABLE_RAW: "false"                # disables indexing and conversion of RAW images
      PHOTOPRISM_RAW_PRESETS: "false"                # enables applying user presets when converting RAW images (reduces performance)
      PHOTOPRISM_JPEG_QUALITY: 85                    # a higher value increases the quality and file size of JPEG images and thumbnails (25-100)
      PHOTOPRISM_DETECT_NSFW: "false"                # automatically flags photos as private that MAY be offensive (requires TensorFlow)
      PHOTOPRISM_UPLOAD_NSFW: "true"                 # allow uploads that MAY be offensive
      # PHOTOPRISM_DATABASE_DRIVER: "sqlite"         # SQLite is an embedded database that doesn't require a server
      PHOTOPRISM_DATABASE_DRIVER: "mysql"            # use MariaDB 10.5+ or MySQL 8+ instead of SQLite for improved performance
      PHOTOPRISM_DATABASE_SERVER: "mariadb:3306"     # MariaDB or MySQL database server (hostname:port)
      PHOTOPRISM_DATABASE_NAME: "photoprism"         # MariaDB or MySQL database schema name
      PHOTOPRISM_DATABASE_USER: "photoprism"         # MariaDB or MySQL database user name
      PHOTOPRISM_DATABASE_PASSWORD: "HierStaatHetWachtwoord"       # MariaDB or MySQL database user password
      PHOTOPRISM_SITE_CAPTION: "AI-Powered Photos App"
      PHOTOPRISM_SITE_DESCRIPTION: ""                # meta site description
      PHOTOPRISM_SITE_AUTHOR: ""                     # meta site author
      ## Run/install on first startup (options: update, gpu, tensorflow, davfs, clean):
      # PHOTOPRISM_INIT: "update clean"
      ## Hardware Video Transcoding:
      # PHOTOPRISM_FFMPEG_ENCODER: "raspberry"       # FFmpeg encoder ("software", "intel", "nvidia", "apple", "raspberry")
      # PHOTOPRISM_FFMPEG_BITRATE: "32"              # FFmpeg encoding bitrate limit in Mbit/s (default: 50)
      ## Run as a non-root user after initialization (supported: 0, 33, 50-99, 500-600, and 900-1200):
      # PHOTOPRISM_UID: 1000
      # PHOTOPRISM_GID: 1000
      # PHOTOPRISM_UMASK: 0000
    ## Share hardware devices with FFmpeg and TensorFlow (optional):
    ## See: https://www.raspberrypi.com/documentation/accessories/camera.html#driver-differences-when-using-libcamera-or-the-legacy-stack
    # devices:
    #  - "/dev/video11:/dev/video11" # Video4Linux Video Encode Device (h264_v4l2m2m)
    working_dir: "/photoprism" # do not change or remove
    ## Storage Folders: "~" is a shortcut for your home directory, "." for the current directory
    volumes:
      # "/host/folder:/photoprism/folder"                # Example
      - "/volume1/Foto:/photoprism/originals"               # Original media files (DO NOT REMOVE)
      # - "/example/family:/photoprism/originals/family" # *Additional* media folders can be mounted like this
      # - "~/Import:/photoprism/import"                  # *Optional* base folder from which files can be imported to originals
      - "/volume1/Docker/photoprism/storage:/photoprism/storage"                  # *Writable* storage folder for cache, database, and sidecar files (DO NOT REMOVE)

  ## Database Server (recommended)
  ## see https://docs.photoprism.app/getting-started/faq/#should-i-use-sqlite-mariadb-or-mysql
  mariadb:
    image: arm64v8/mariadb:10.11 # ARM64 IMAGE ONLY, DOES NOT WORK ON ARMv7, AMD or Intel
    ## If MariaDB gets stuck in a restart loop, this points to a memory or filesystem issue:
    ## https://docs.photoprism.app/getting-started/troubleshooting/#fatal-server-errors
    restart: unless-stopped
    stop_grace_period: 5s
    security_opt:
      - seccomp:unconfined
      - apparmor:unconfined
    command: mariadbd --innodb-buffer-pool-size=256M --transaction-isolation=READ-COMMITTED --character-set-server=utf8mb4 --collation-server=utf8mb4_unicode_ci --max-connections=512 --innodb-rollback-on-timeout=OFF --innodb-lock-wait-timeout=120
    ## Never store database files on an unreliable device such as a USB flash drive, an SD card, or a shared network folder:
    volumes:
      - "/volume1/Docker/photoprism/database:/var/lib/mysql" # DO NOT REMOVE
    environment:
      MARIADB_AUTO_UPGRADE: "1"
      MARIADB_INITDB_SKIP_TZINFO: "1"
      MARIADB_DATABASE: "photoprism"
      MARIADB_USER: "photoprism"
      MARIADB_PASSWORD: "HierStaatHetWachtwoord"
      MARIADB_ROOT_PASSWORD: "HierStaatHetWachtwoord"

  ## Watchtower upgrades services automatically (optional)
  ## see https://docs.photoprism.app/getting-started/updates/#watchtower
  #
  # watchtower:
  #   restart: unless-stopped
  #   image: containrrr/watchtower
  #   environment:
  #     WATCHTOWER_CLEANUP: "true"
  #     WATCHTOWER_POLL_INTERVAL: 7200 # checks for updates every two hours
  #   volumes:
  #     - "/var/run/docker.sock:/var/run/docker.sock"
  #     - "~/.docker/config.json:/config.json" # optional, for authentication if you have a Docker Hub account

Maar de PhotoPrism contained exited.
Event logs:

code:

2023-06-29 12:16:40     network     Container disconnected from photoprism_default network
2023-06-29 12:16:40     container   Container photoprism-mariadb-1 exited with status code 1
2023-06-29 12:16:40     container   Container photoprism-mariadb-1 started
2023-06-29 12:16:40     network     Container connected to photoprism_default network

Wat gaat hier mis?

[RobertMe]

Videopac schreef op donderdag 29 juni 2023 @ 12:24:
Wat gaat hier mis?

De container logs zullen daar een stuk meer inzicht in geven dan de docker events.

docker compose logs photoprism

(En als je niet Docker Compose v2 gebruikt even een - invoegen, "docker-compose logs ...")

[Yucko]

@Videopac

Aangezien je mappings '/volume1' bevatten ga ik ervan uit dat je dit weer doet op je DS918+.

Maar ik zie ook dat je bij zowel PhotoPrism als MariaDB de ARM images aan het gebruiken bent maar dat is niet de processor-architectuur van je NAS, dus dat is sowieso al fout

[ Voor 28% gewijzigd door Yucko op 01-07-2023 13:45 ]

[Mars Warrior]

Yucko schreef op donderdag 29 juni 2023 @ 15:57:
Aangezien je mappings '/volume1' bevatten ga ik ervan uit dat je dit weer doet op je DS918+.

Maar ik zie ook dat je bij zowel PhotoPrism als MariaDB de ARM images aan het gebruiken bent maar dat is niet de processor-architectuur van je NAS, dus dat is sowieso al fout

Dan was ik niet de enige die dit raar vond, maar ik wist het typenummer niet meer van zijn NAS…

Normaal zoekt een multi-arch container dat lekker zelf uit.

[Yucko]

ik keek even naar zijn handtekening

[Mars Warrior]

Hun container is multi-arch, en ze hebben voorbeelden op hun site staan die beter zal werken dan bovenstaande compose file.

Het blijft een flinke compose file, dat wel. Erg simpel is het niet met al die vlaggen.

https://docs.photoprism.app/getting-started/docker-compose/

[ Voor 37% gewijzigd door Mars Warrior op 29-06-2023 18:31 . Reden: Link erbij ]

[Videopac]

Yucko schreef op donderdag 29 juni 2023 @ 15:57:
@Videopac

Aangezien je mappings '/volume1' bevatten ga ik ervan uit dat je dit weer doet op je DS918+.

Maar ik zie ook dat je bij zowel PhotoPrism als MariaDB de ARM images aan het gebruiken bent maar dat is niet de processor-architectuur van je NAS, dus dat is sowieso al fout

Dank! Dit was wel een hele domme(?) en te voorkomen fout. NB: ik installeer het op mijn Asustor AS6704T (opvolger van mijn DS918+) maar dat is ook amd64. Hij start nu goed; kom alleen niet op de site. Ik vermoed een rechtenprobleem, dat zoek ik nog uit. Dank voor de hulp! Ik begin het steeds meer te snappen.

[FijneKnul]

Het lukt me niet meer om het volgende te krijgen zoals ik wil.

Op een HP Thinclient heb ik een Ubuntu VM Draaien. Ik heb 1.8 TB gealloceerd aan deze VM.
Op deze VM heb ik Docker & Portainer draaien. En vervolgens een Transmission container.

Deze container geeft aan dat ik 91 GB aan vrij ruimte heb. Ik denk dat het met volumes te maken heeft, maar ik kom er niet uit. Van mijn research heb ik geleerd - als het goed is - dat de transmission container niet zijn eigen volume gebruikt, maar die van portainer. En dat een volume die door portainer wordt gegenereerd standaard 100 GB groot is.

Ik heb geprobeerd zelf een volume te maken in Portainer en dit dan vervolgens in de volume-informatie van de Transmission-container te vewerken - maar dan loop ik tegen hetzelfde probleem.

Kan iemand mij hierin adviseren?

Als ik het allemaal goed begrijp dan is de ideale situatie voor mij om een centrale volume (folder?) te maken genaamd ' Downloads' en vervolgens alle ARR-applicaties daarnaar toe te laten schrijven. Is dat correct?

[WheeleE]

FijneKnul schreef op zondag 16 juli 2023 @ 20:09:
Het lukt me niet meer om het volgende te krijgen zoals ik wil.

Op een HP Thinclient heb ik een Ubuntu VM Draaien. Ik heb 1.8 TB gealloceerd aan deze VM.
Op deze VM heb ik Docker & Portainer draaien. En vervolgens een Transmission container.
[..]

Kan iemand mij hierin adviseren?

Als ik het allemaal goed begrijp dan is de ideale situatie voor mij om een centrale volume (folder?) te maken genaamd ' Downloads' en vervolgens alle ARR-applicaties daarnaar toe te laten schrijven. Is dat correct?

Ik heb mijn ARR-stack ook via Portainer draaien, maar dan op een Synology. Onder water is dat ook gewoon een linux-variant dus vergelijkbaar met jouw situatie.
Er is een /volume1/download directory die ik in alle containers map:

code:

  volumes:
      - /volume1/docker/sonarr:/config
      - /volume1/download:/download

Elke app/container heeft ook z'n eigen applicatie-map op schijf, in bovenstaand voorbeeld gaat het om Sonarr. Ik maak dus geen gebruik van losse docker-volumes als bv sonarr_data:/config

[FijneKnul]

WheeleE schreef op zondag 16 juli 2023 @ 20:34:
[...]

Ik heb mijn ARR-stack ook via Portainer draaien, maar dan op een Synology. Onder water is dat ook gewoon een linux-variant dus vergelijkbaar met jouw situatie.
Er is een /volume1/download directory die ik in alle containers map:

code:

  volumes:
      - /volume1/docker/sonarr:/config
      - /volume1/download:/download

Elke app/container heeft ook z'n eigen applicatie-map op schijf, in bovenstaand voorbeeld gaat het om Sonarr. Ik maak dus geen gebruik van losse docker-volumes als bv sonarr_data:/config

Dankjewel voor je informatie. Ik ben in ieder geval verder gekomen met mijn probleem m.b.t. de diskspace.
Ik heb een nieuwe VM gemaakt en bij de installatie gekozen om de gehel 1.8TB te gebruiken. Blijkbaar is enkel het alloceren van 1.8TB aan de VM in Proxmox niet voldoende. Je moet deze partitie (of volume?) ook bij de installatie van de VM toewijzen.

Goed, dan kan ik verder met de volgende stap van de installatie. Ik zal jouw suggestie meenemen.

[Kozzmozz]

Gisteren via Portainer v2.18.4 op mijn Synology DS216+II de container van AdGuard een update gegeven naar v0.107.34. Maar nu krijg ik in de Container list van Portainer te zien dat de status unhealthy is voor de Adguard-container. Adguard zelf is wel opgestart en doet zijn werk. In de logs kan ik niet direct een foutmelding opmerken. De container al meermaals gestopt en een de image terug binnengehaald helpt allen niet.

[lolgast]

@Kozzmozz
Tip: Lees de changelog van belangrijke software in je netwerk
https://github.com/AdguardTeam/AdGuardHome/discussions/5939

[Kozzmozz]

lolgast schreef op dinsdag 18 juli 2023 @ 09:47:
Tip: Lees de changelog van belangrijke software in je netwerk

Bedankt! Had ik dus gemist.

[sloth]

Wat ik ook probeer, ik kan een container met een webserver niet via het netwerk bereiken.
Ik host de container in een VM in hetzelfde subnet als de client waarvan ik connect. Andere containers met webservices werken prima.

Het gaat om lissy93/dashy

docker-compose.yaml

code:

version: '3'
services:
  dashy:
    container_name: dashy
    image: lissy93/dashy
    restart: unless-stopped
    ports:
      - 8282:8282
    environment:
      - TZ=Europe/Amsterdam
      - PUID=1000
      - PGID=1000
    healthcheck:
      test: ['CMD', 'node', '/app/services/healthcheck']
      interval: 1m30s
      timeout: 10s
      retries: 3
      start_period: 40s

docker ps

code:

CONTAINER ID   IMAGE                                    COMMAND                  CREATED        STATUS                   PORTS                                                                                                                                                 NAMES
8c0fc773c865   lissy93/dashy                            "docker-entrypoint.s…"   21 hours ago   Up 9 minutes (healthy)   80/tcp, 0.0.0.0:8282->8282/tcp, :::8282->8282/tcp

volgens docker inspect 8c0fc773c865 heeft de container lokaal IP 172.18.0.9.

curl 172.18.0.9:8282 (vanaf de host) doet niets: Failed to connect to 172.18.0.9 port 8282 after 0 ms: Couldn't connect to server

met curl 172.18.0.9:8282 kan dashy wel bereikt worden vanaf de host, maar via mijn client niet

logs van de container lijken prima:

code:

yarn run v1.22.15
$ node server

Checking config file against schema...
✔️ Config file is valid, no issues found

SSL Not Enabled: Public key not present


 ██████╗  █████╗ ███████╗██╗  ██╗██╗   ██╗
 ██╔══██╗██╔══██╗██╔════╝██║  ██║╚██╗ ██╔╝
 ██║  ██║███████║███████╗███████║ ╚████╔╝
 ██║  ██║██╔══██║╚════██║██╔══██║  ╚██╔╝
 ██████╔╝██║  ██║███████║██║  ██║   ██║
 ╚═════╝ ╚═╝  ╚═╝╚══════╝╚═╝  ╚═╝   ╚═╝

*******************************************************************************************
Welcome to Dashy! 🚀
Your new dashboard is now up and running with Docker
*******************************************************************************************


Using Dashy V-2.1.1. Update Check Complete
✅ Dashy is Up-to-Date

sudo ss -tulpn | grep LISTEN van de host

code:

tcp   LISTEN 0      4096         0.0.0.0:8282      0.0.0.0:*    users:(("docker-proxy",pid=77731,fd=4))

Kan iemand me dit verder helpen troubleshooten?

[ Voor 30% gewijzigd door sloth op 26-07-2023 20:17 ]

[Marc3l]

sloth schreef op woensdag 26 juli 2023 @ 19:55:

Kan iemand me dit verder helpen troubleshooten?

Je bent er bijna, je moet de interne port van Dashy naar port 80 zetten.

code:

ports:
      - 8282:80

En nu kan je hem benaderen op localhost:8282

[Wachten...]

Ik heb even een vraag over Heimdall (dashboard)

Ik wil deze installeren op mijn Synology om eens te bekijken of het wat is. Het enige wat ik zie, is dat er veel verschillende manieren worden gebruikt om de installatie compleet te maken.

WunderTech
Zo gebruikt WunderTech bijvoorbeeld een redelijk standaard installatie, waarbij hij alleen poorten toevoegt tijdens de installatie.

MariusHosting
Echter als ik Mariushosting bekijk, dan maakt hij ook een script, en moet je de de GID en UID opvragen etc.

Ik ga er vanuit dat het scriptje eigenlijk exact hetzelfde doet als wat WunderTech handmatig doet en dat ik deze na installatie gewoon kan verwijderen? Echter snap ik dan weer niet dat dit zo omslachtig moet aan de hand van een script, want zoveel boeiende instellingen zijn het niet.

Ik ben alleen altijd nog erg voorzichtig met Docker en instellingen, want ik heb er wat dat betreft redelijk weinig kaas van gegeten.

[WheeleE]

Wachten... schreef op donderdag 27 juli 2023 @ 10:14:
Ik heb even een vraag over Heimdall (dashboard)

Ik wil deze installeren op mijn Synology om eens te bekijken of het wat is. Het enige wat ik zie, is dat er veel verschillende manieren worden gebruikt om de installatie compleet te maken.

WunderTech
Zo gebruikt WunderTech bijvoorbeeld een redelijk standaard installatie, waarbij hij alleen poorten toevoegt tijdens de installatie.

MariusHosting
Echter als ik Mariushosting bekijk, dan maakt hij ook een script, en moet je de de GID en UID opvragen etc.

Ik ga er vanuit dat het scriptje eigenlijk exact hetzelfde doet als wat WunderTech handmatig doet en dat ik deze na installatie gewoon kan verwijderen? Echter snap ik dan weer niet dat dit zo omslachtig moet aan de hand van een script, want zoveel boeiende instellingen zijn het niet.

Ik ben alleen altijd nog erg voorzichtig met Docker en instellingen, want ik heb er wat dat betreft redelijk weinig kaas van gegeten.

Beide handleidingen leveren uiteindelijk hetzelfde product. Die van Wundertech is wat meer basic en prima voor mensen die niet teveel willen of kunnen knutselen. Ik heb nu net de WT-versie in elkaar geklust conform de handleiding en veel eenvoudiger kan het bijn niet worden.

[Cyphax]

Wachten... schreef op donderdag 27 juli 2023 @ 10:14:
Ik heb even een vraag over Heimdall (dashboard)

Ik wil deze installeren op mijn Synology om eens te bekijken of het wat is. Het enige wat ik zie, is dat er veel verschillende manieren worden gebruikt om de installatie compleet te maken.

WunderTech
Zo gebruikt WunderTech bijvoorbeeld een redelijk standaard installatie, waarbij hij alleen poorten toevoegt tijdens de installatie.

MariusHosting
Echter als ik Mariushosting bekijk, dan maakt hij ook een script, en moet je de de GID en UID opvragen etc.

Ik ga er vanuit dat het scriptje eigenlijk exact hetzelfde doet als wat WunderTech handmatig doet en dat ik deze na installatie gewoon kan verwijderen? Echter snap ik dan weer niet dat dit zo omslachtig moet aan de hand van een script, want zoveel boeiende instellingen zijn het niet.

Ik ben alleen altijd nog erg voorzichtig met Docker en instellingen, want ik heb er wat dat betreft redelijk weinig kaas van gegeten.

Ik zou het simpel houden. Ik heb deze een tijdje gedraaid:

code:

version: '3'

services:
  heimdall:
    image: lscr.io/linuxserver/heimdall
    container_name: heimdall
    restart: unless-stopped
    environment:
      - TZ=Europe/London
    volumes:
      - /var/docker/heimdall/heimdall-data:/config

Ik heb er wat Traefik-labels uitgehaald, dan zou dit eigenlijk ongeveer genoeg moeten zijn.

[Wachten...]

WheeleE schreef op donderdag 27 juli 2023 @ 10:35:
[...]


Beide handleidingen leveren uiteindelijk hetzelfde product. Die van Wundertech is wat meer basic en prima voor mensen die niet teveel willen of kunnen knutselen. Ik heb nu net de WT-versie in elkaar geklust conform de handleiding en veel eenvoudiger kan het bijn niet worden.

Dank je, dan weet ik ook een beetje hoe ik naar de config files van mariushosting kan kijken (dat het hoofdzakelijk voor een eenmalige installatie dient.

Dat Heimdall is trouwens wel echt fijn om te hebben.

Ik ben overigens alleen aan het kijken hoe ik deze webpagina kan laden bij een nieuwe Firefox tab.
Het is alleen heel irritant, want Firefox kan niet standaard een webpagina openen in een nieuwe tab. Alleen hun eigen "homepage". Ik zoek me een ongeluk in de about:config, maar kan het nog niet vinden.

[Wachten...]

Dan heb ik nog een andere vraag.

Ik wilde ook paperless proberen om bonnen en documenten in te scannen.
https://mariushosting.com...ngx-on-your-synology-nas/

Nu heeft hij in het artikel een config die je in portainer moet plaatsen, maar waar je ook account gegevens moet plaatsen (naam en wachtwoord) in plain text. Nu heb ik 3 vragen:

1. Moeten de gegevens die ik invul van het admin account zijn van Synology (ik draai docker op Synology)
2. Of moet ik de account gegevens invullen, van het account die uiteindelijk paperless gaat draaien? (dus een standaard account op Synology)
3. Of kan ik (mits vraag 2 ja is) beter een geheel los account maken voor alleen paperless?

Ik ben vooral benieuwd wat er met de code gebeurd waar het wachtwoord in staat. Is deze na het "deployen" nog steeds leesbaar of niet? Nogmaals, ik ben altijd een beetje terughoudend als ik ergens mijn wachtwoord in "documentje of script" moet plaatsen.

[sloth]

@Marc3l dat was inderdaad de oplossing.. zo eenvoudig. Dashy eist blijkbaar port 80 als port op de host. Dank!

[WheeleE]

Wachten... schreef op donderdag 27 juli 2023 @ 10:56:
[...]


Dank je, dan weet ik ook een beetje hoe ik naar de config files van mariushosting kan kijken (dat het hoofdzakelijk voor een eenmalige installatie dient.

Dat Heimdall is trouwens wel echt fijn om te hebben.

Ik ben overigens alleen aan het kijken hoe ik deze webpagina kan laden bij een nieuwe Firefox tab.
Het is alleen heel irritant, want Firefox kan niet standaard een webpagina openen in een nieuwe tab. Alleen hun eigen "homepage". Ik zoek me een ongeluk in de about:config, maar kan het nog niet vinden.

Zoals ik de paperless-handleiding begrijp is dat adminaccount voor Paperless zelf. Je verzint daar dus een accountnaam en complex wachtwoord wat binnen Paperless als adminaccount gebruikt gaat worden.
Geen synology-account dus of enig ander bestaand account.
De accountgegevens komen in de docker-compose van de portainerstack te staan. Daar kan men het wel uit halen maar dan moeten iemand al wel toegang hebben tot je synology filesystem, en dan kunnen ze dus admin worden in je paperless-installatie. Maar of dat dan je grootste zorg is...

[Wachten...]

WheeleE schreef op donderdag 27 juli 2023 @ 12:35:
[...]

Zoals ik de paperless-handleiding begrijp is dat adminaccount voor Paperless zelf. Je verzint daar dus een accountnaam en complex wachtwoord wat binnen Paperless als adminaccount gebruikt gaat worden.
Geen synology-account dus of enig ander bestaand account.
De accountgegevens komen in de docker-compose van de portainerstack te staan. Daar kan men het wel uit halen maar dan moeten iemand al wel toegang hebben tot je synology filesystem, en dan kunnen ze dus admin worden in je paperless-installatie. Maar of dat dan je grootste zorg is...

Oh top. Dat klinkt ook wel logischer.

Maar als ik het goed begrijp, dan kun je die inloggegevens niet meer uit portainer halen nadat deze gedeployed is? Oftewel die "plain text" script is na het deployen niet meer zichtbaar?

[WheeleE]

Wachten... schreef op donderdag 27 juli 2023 @ 12:51:
[...]


Oh top. Dat klinkt ook wel logischer.

Maar als ik het goed begrijp, dan kun je die inloggegevens niet meer uit portainer halen nadat deze gedeployed is? Oftewel die "plain text" script is na het deployen niet meer zichtbaar?

Ja dat is wel zichtbaar in portainer. Ik heb de boel direct via Portainer uitgerold, en heb de hele compose-code inclusief credentials daar in staan. Dat is dus wel eenvoudig op te vragen, mits je toegang hebt tot portainer en het filesystem van m'n synology.

[ Voor 6% gewijzigd door WheeleE op 27-07-2023 14:19 ]

[Dylantje2]

mmmm Dombo71 hier...

Sinds afgelopen week druk geweest om de poverstap naar Docker te [ moeten] maken.
Hard to get foor windoows noob.. En bricklayer met een beetje kennis van, google.

Ik gebruik jaren domoticz op een odroid, nu de N2 met Armbain
Na een update van amrbian, werkt domoticzz niet meer eoa vage lls oid..
Advies: Stap over op docker.

4 dagen en bijna nachten.. Eindelijk wee rup and running.
Met hulp van google alles en iedereen.


Maar ik zie de kracht van Docker, meteen in wat een bizar mooi tool. [ als je de juiste docker-compose hebt iig, als windows man.:-) ]

Domoticz
m2tt
nede-red
influxdb2
grafana
mosquitto [ die was zonde rhulp niet te doen ivm local running, inlog verplichting ]

Iemand ongeveer dezelfde setup?
Zijn er mooie lijstjes van docker images, die soort van must have zijn?
Docker desktop zou ik wel werkend willen hebben oid. Maar alternatieven ook welkom.

En wat ik zoek is een structuur zodat alle data van een image in de opt/ naam image / komt.
Nu zie ik mappen die wel aangemaakt zijn, maar geen data bezitten/gebruikt wordt door het image.
Lijkt me fijn ivm backups enz
Is hier een standaard structuur voor.?

DANK, ga veel lezen [ over docker] met dit weer :-)

[Wachten...]

WheeleE schreef op donderdag 27 juli 2023 @ 14:11:
[...]

Ja dat is wel zichtbaar in portainer. Ik heb de boel direct via Portainer uitgerold, en heb de hele compose-code inclusief credentials daar in staan. Dat is dus wel eenvoudig op te vragen, mits je toegang hebt tot portainer en het filesystem van m'n synology.

Ja dank je voor de opheldering.

Ik probeer nu alleen eerst de boel aan de praat te krijgen. Ik heb echt alle stappen stuk voor stuk nagelopen, maar krijg paperless maar niet aan de praat.

Ook onder het lokale ip 192.168.10.44:8777 kan ik het niet benaderen.

[WheeleE]

Als de containers wel worden uitgerold en opgestart door Portainer kun je eventueel in de logging van de container(s) zoeken naar rare meldingen. Bij mij wilde het bv ook niet gelijk, maar poort 8777 bleek al in gebruik door iets anders.

[Wachten...]

WheeleE schreef op donderdag 27 juli 2023 @ 14:28:
Als de containers wel worden uitgerold en opgestart door Portainer kun je eventueel in de logging van de container(s) zoeken naar rare meldingen. Bij mij wilde het bv ook niet gelijk, maar poort 8777 bleek al in gebruik door iets anders.

Even de logs bekeken. Hij krijgt geeft een timeout. Ik snap alleen niet waarom hij het niet kan starten.

code:

Paperless-ngx docker container starting...

Mapping UID and GID for paperless:paperless to 1026:100

Creating directory /tmp/paperless

Adjusting permissions of paperless files. This may take a while.

Waiting for PostgreSQL to start...

Waiting for Redis...

Redis ping #0 failed.

Error: Error 110 connecting to redis:6379. Connection timed out..

Waiting 5s

[WheeleE]

Dan zou ik de redis-container checken. Ik heb in de bijbehorende folder /redis maar 1 bestand staan: dump.rdb.

[Wachten...]

WheeleE schreef op donderdag 27 juli 2023 @ 14:43:
Dan zou ik de redis-container checken. Ik heb in de bijbehorende folder /redis maar 1 bestand staan: dump.rdb.

Hij geeft wel wat aan, maar het gekke is dat hij als laatste aangeeft "ready to accept connections"

code:

1:C 27 Jul 2023 11:47:09.836 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo

1:C 27 Jul 2023 11:47:09.836 # Redis version=7.0.12, bits=64, commit=00000000, modified=0, pid=1, just started

1:C 27 Jul 2023 11:47:09.836 # Warning: no config file specified, using the default config. In order to specify a config file use redis-server /path/to/redis.conf

1:M 27 Jul 2023 11:47:09.837 * monotonic clock: POSIX clock_gettime

1:M 27 Jul 2023 11:47:09.838 * Running mode=standalone, port=6379.

1:M 27 Jul 2023 11:47:09.838 # WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128.

1:M 27 Jul 2023 11:47:09.838 # Server initialized

1:M 27 Jul 2023 11:47:09.838 # WARNING Memory overcommit must be enabled! Without it, a background save or replication may fail under low memory condition. Being disabled, it can can also cause failures without low memory condition, see https://github.com/jemalloc/jemalloc/issues/1328. To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' for this to take effect.

1:M 27 Jul 2023 11:47:09.839 * Ready to accept connections

[WheeleE]

Dan zou ik de config toch nog een keer nalopen. Misschien is er ergens iets verschoven, of een typo?

[Wachten...]

WheeleE schreef op donderdag 27 juli 2023 @ 17:12:
Dan zou ik de config toch nog een keer nalopen. Misschien is er ergens iets verschoven, of een typo?

Heb het gevonden. Het was een stomme firewall issue.
Blij dat de firewall werkt, maar soms vervloek ik dat ding

[WheeleE]

Wachten... schreef op donderdag 27 juli 2023 @ 17:14:
[...]


Heb het gevonden. Het was een stomme firewall issue.
Blij dat de firewall werkt, maar soms vervloek ik dat ding

En mijn dank voor het (onbewust) aanbevelen van Paperless

[aadje93]

ik heb even jullie hulp nodig

Ik heb een vps draaien met traefik in zijn eigen compose.

En dan (nu) 2 websites in eigen compose files.

Allebij werken ze prima als ik er 1 van de 2 online zet. Maar zodra ik de 2e compose "up" doe zijn ze alle 2 onbereikbaar tot ik er 1 van de 2 weer down doe.

in de compose files van de web services:

code:

services
 image:tag
- de rest van de config - 
networks:
      traefik:
      internal: (voor de stack zelf)

networks:
  traefik:
    external: true
  internal:
    driver: bridge

en Traefik:

code:

  traefik:
    image: traefik:${TRAEFIK_VERSION}
    restart: always
    command:
      - --accesslog
      - --api.insecure=true
      - --providers.docker
      - --providers.docker.exposedbydefault=false
      - --entrypoints.web.address=:80
      - --entrypoints.web.http.redirections.entryPoint.to=websecure
      - --entrypoints.web.http.redirections.entryPoint.scheme=https
      - --entrypoints.web.http.redirections.entrypoint.permanent=true
      - --entrypoints.websecure.address=:443
      - --certificatesresolvers.le.acme.email=${LE_EMAIL}
      - --certificatesresolvers.le.acme.storage=/letsencrypt/acme.json
      - --certificatesresolvers.le.acme.tlschallenge=true
    volumes:
      - ([b]knip ivm privacy[/b]docker.sock:/var/run/docker.sock
      - le_data:/letsencrypt
    ports:
      - 80:80
      - 443:443
      - 8080:8080
    networks:
      - traefik



networks:
  traefik:
    external: true
volumes:
  le_data:
    driver: local

traefik -> web app communicatie loopt goed want als er 1 online is werkt alles gewoon. Maar start ik de 2e op dan gaan ze allebij op gateway timeout (en op dashboard van traefik verdwijnen ze) tot 1 van de 2 handmatig compose down gedaan word en dan werkt de ander gelijk weer?

edit,
na een nacht slecht slapen het probleem gevonden
De routers voorzien van $compose_project_name die al in de ENV gebruikt werd, hij stond standaard op dezelfde naam waardoor er natuurlijk een collision kwam. En nu zijn ze nog is duidelijker herleidbaar ook

code:

      - traefik.http.routers.$COMPOSE_PROJECT_NAME.rule=Host(`${NGINX_HOST}`)
      - traefik.http.routers.$COMPOSE_PROJECT_NAME.tls=true
      - traefik.http.routers.$COMPOSE_PROJECT_NAME.tls.certresolver=le

fixt het dus

[ Voor 11% gewijzigd door aadje93 op 28-07-2023 05:31 ]

[Wachten...]

WheeleE schreef op donderdag 27 juli 2023 @ 19:29:
[...]

En mijn dank voor het (onbewust) aanbevelen van Paperless

Haha, had je paperless nog niet?
Het is even wat uitzoeken allemaal, maar het idee erachter vind ik wel mooi.

Ik moet alleen nog even kijken naar het automatisch taggen enz, want dat werkt nog niet.

[RudolfR]

Ik heb Docker+Portainer in een VM op Proxmox geïnstalleerd op een NUC en van de 2e disk een zfs-pool gemaakt met meerdere (encrypted) datasets.

Deze datasets wil ik graag beschikbaar maken als volume voor een container, zodat de data voor de container:
- versleuteld is
- beschikbaar te maken is van buitenaf (voor het maken van backups bijv.)

Ik dacht dit met NFS te kunnen doen, maar dat is altijd een beetje tobben met permissies.
De container doet een 'chown' van de data, naar UID 1000 en volgens mij mag dat niet, tenzij je no_root_squash aanzet op de nfs-export.

Dat werkt dus wel, maar dat is vanuit security-perspectief niet ideeal.
Kan het eenvoudig beter voor de thuisgebruiker? Zoja, hoe?

[orvintax]

RudolfR schreef op donderdag 3 augustus 2023 @ 07:13:
Ik heb Docker+Portainer in een VM op Proxmox geïnstalleerd op een NUC en van de 2e disk een zfs-pool gemaakt met meerdere (encrypted) datasets.

Deze datasets wil ik graag beschikbaar maken als volume voor een container, zodat de data voor de container:
- versleuteld is
- beschikbaar te maken is van buitenaf (voor het maken van backups bijv.)

Ik dacht dit met NFS te kunnen doen, maar dat is altijd een beetje tobben met permissies.
De container doet een 'chown' van de data, naar UID 1000 en volgens mij mag dat niet, tenzij je no_root_squash aanzet op de nfs-export.

Dat werkt dus wel, maar dat is vanuit security-perspectief niet ideeal.
Kan het eenvoudig beter voor de thuisgebruiker? Zoja, hoe?

Wil je persee filestorage of is blockstorage ook goed?

[RudolfR]

@orvintax

Denk dat in veel gevallen blockstorage goed is, maar dat ik voor sommige volumes ook gewoon een filestorage wil met een mappenstructuur.

Vanwaar die vraag, is er voor een van beide een beter alternatief dan NFS?

[JohnS]

Hallo,

Ik heb een probleem met één van mijn docker containers die ik via Nginx Proxy Manager wil laten lopen.

Ik ben bezig met LibreNMS op docker. Ik heb het werkend en gaat goed. Nu will ik deze achter de NPM laten lopen zodat ik er een SSL certificaat er aan kan hangen. Gewoon voor de fun.
Echter als een ik een proxy host inricht met ibrenms.jsl-thuis.net verwijzend naar het IP en poort nummer en ik wil in de browser naar https://librenms.jsl-thuis.net
krijg ik een ERR_CONNECTION_REFUSED pagina the zien. Al mijn andere docker containers die ik ook via NPM laat lopen gaan gewoon goed. Alleen die LibreNMS heeft niet veel zin.

Nu denk ik dat dit te maken heeft met de nginx config in de container van LibreNMS maar kom er niet aan uit om het werkend te krijgen.
Heeft iemand ervaring met LibreNMS icm Nginx Proxy Manager?

Onderstaand het gedeelte in de docker-compose.yml file

librenms:
image: jarischaefer/docker-librenms:latest-arm32v7
container_name: LibreNMS
hostname: librenms
ports:8668:80
volumes:
./librenms/logs:/opt/librenms/logs
./librenms/rrd:/opt/librenms/rrd
./librenms/custom.config.php:/opt/librenms/conf.d/custom.config.php:ro
environment:
APP_KEY=base64:14vNi8I98OAHvi5sNzwvr389X9mRsCWfW/t/bHvMamc=
DB_HOST=libredb
DB_NAME=librenms
DB_USER=librenms
DB_PASS='password'
BASE_URL=http://librenms.jsl-thuis.net:8668/
DISABLE_IPV6=true
depends_on:
mariadb
links:
mariadb:libredb

[sieuwe]

RudolfR schreef op donderdag 3 augustus 2023 @ 08:11:
@orvintax

Denk dat in veel gevallen blockstorage goed is, maar dat ik voor sommige volumes ook gewoon een filestorage wil met een mappenstructuur.

Vanwaar die vraag, is er voor een van beide een beter alternatief dan NFS?

Je kan ook voor CIFS/SMB opteren als dat voor jou voldoende veiligheid biedt.

[orvintax]

RudolfR schreef op donderdag 3 augustus 2023 @ 08:11:
@orvintax

Denk dat in veel gevallen blockstorage goed is, maar dat ik voor sommige volumes ook gewoon een filestorage wil met een mappenstructuur.

Vanwaar die vraag, is er voor een van beide een beter alternatief dan NFS?

Ik heb nu pas door wat je wilt. De data op die datasets, heb je dit zo opgezet om een bepaalde reden? Staat hier al data op? Of is dit een nieuwe setup?

[ Voor 58% gewijzigd door orvintax op 03-08-2023 09:45 ]

[orvintax]

JohnS schreef op donderdag 3 augustus 2023 @ 08:23:
Hallo,

Ik heb een probleem met één van mijn docker containers die ik via Nginx Proxy Manager wil laten lopen.

Ik ben bezig met LibreNMS op docker. Ik heb het werkend en gaat goed. Nu will ik deze achter de NPM laten lopen zodat ik er een SSL certificaat er aan kan hangen. Gewoon voor de fun.
Echter als een ik een proxy host inricht met ibrenms.jsl-thuis.net verwijzend naar het IP en poort nummer en ik wil in de browser naar https://librenms.jsl-thuis.net
krijg ik een ERR_CONNECTION_REFUSED pagina the zien. Al mijn andere docker containers die ik ook via NPM laat lopen gaan gewoon goed. Alleen die LibreNMS heeft niet veel zin.

Nu denk ik dat dit te maken heeft met de nginx config in de container van LibreNMS maar kom er niet aan uit om het werkend te krijgen.
Heeft iemand ervaring met LibreNMS icm Nginx Proxy Manager?

Onderstaand het gedeelte in de docker-compose.yml file

librenms:
image: jarischaefer/docker-librenms:latest-arm32v7
container_name: LibreNMS
hostname: librenms
ports:8668:80
volumes:
./librenms/logs:/opt/librenms/logs
./librenms/rrd:/opt/librenms/rrd
./librenms/custom.config.php:/opt/librenms/conf.d/custom.config.php:ro
environment:
APP_KEY=base64:14vNi8I98OAHvi5sNzwvr389X9mRsCWfW/t/bHvMamc=
DB_HOST=libredb
DB_NAME=librenms
DB_USER=librenms
DB_PASS='password'
BASE_URL=http://librenms.jsl-thuis.net:8668/
DISABLE_IPV6=true
depends_on:
mariadb
links:
mariadb:libredb

Volgensmij heb je je poorten omgedraaid, in Docker gaat die poort notering van extern naar intern. Dus stel ik heb een Nginx container draaien met 8080:80 als poorten, dan moet ik naar poort 8080 navigeren en dan komt het in de container binnen op poort 80.