[Docker] [alle OS] Het grote Docker ervaringen en tips topic

[Arunia]

Die eerste werkte wel, die tweede lukt dan weer niet.

Ik ga maar eens rust nemen hiervan. Op een gegeven moment lukt het helemaal niet.

Dank je wel voor de hulp! Wellicht dat op een ander moment het allemaal wel gaat lukken.


Het er gisteren maar eens over gehad. In principe is er weinig wat ik echt mis op dit moment uit de recepten op een paar na, waarvan ik een deel al weer heb gevonden.
Denk dat ik het wel ga overleven als ik opnieuw start.

Het lijkt me gewoon niet om die data er uit te krijgen. Laatste poging is om te kijken wat de database file is en wat ik over zou moeten hevelen naar de nieuwe. Als dat niets oplevert, dan hou ik het voor gezien.

Daarna maar eens bekijken wat nu eigenlijk best practice is. Wat al eerder is aangegeven door @Mars Warrior . Maar dan kan ik beter eens onderzoek gaan doen voordat ik begin.
Wellicht helemaal schoon beginnen.
WSL2 wel aan gezet gehad, toen zag ik niets meer. Dat is ook de reden dat ik dan schoon zou willen beginnen. Zoveel containers heb ik niet op dit moment.

[ Voor 63% gewijzigd door Arunia op 09-03-2021 08:53 ]

[technorabilia]

@Arunia
Ja, dat kan ook natuurlijk.

Ik heb nog even de commando's gecontroleerd voor het kopiëren van een volume. Beetje te laat misschien, maar als referentie. Dit is alleen handig als je de volumes niet direct op je host file system kunt terugvinden. Zoals voor Windows en Mac waar de files zijn "verstopt" in een VM. Als je WSL op Windows gebruikt kun je de files ook nog benaderen via \\wsl$ en heb je dit niet nodig.

root@DS716V:~# docker run --rm -it -v aaa:/from busybox ls /from
a  b  c  d  e
root@DS716V:~# docker run --rm -it -v bbb:/to busybox ls /to
root@DS716V:~# docker run --rm -it -v aaa:/from -v bbb:/to busybox cp -av /from/. /to/.
'/from/./a' -> '/to/././a'
'/from/./b' -> '/to/././b'
'/from/./c' -> '/to/././c'
'/from/./d' -> '/to/././d'
'/from/./e' -> '/to/././e'
'/from/.' -> '/to/./.'
root@DS716V:~# docker run --rm -it -v bbb:/to busybox ls /to
a  b  c  d  e
root@DS716V:~#

Mogelijk zijn er andere oplossing maar dit werkt in ieder geval.

[Arunia]

@kraades Ik ben nog even aan het zoeken geweest en wil nog proberen om via docker-compose de volumes extern te koppelen.

code:

version: '3.1'

services:

  wordpress:
    image: wordpress:latest
    restart: always
    ports:
      - 4002:80
    environment:
      WORDPRESS_DB_HOST: db:3306
      WORDPRESS_DB_USER: wordpress
      WORDPRESS_DB_PASSWORD: wordpress
      WORDPRESS_DB_NAME: wordpress
    volumes:
      - wordpress:/var/www/html

  db:
    image: mysql:5.7
    restart: always
    environment:
      MYSQL_DATABASE: wordpress
      MYSQL_USER: wordpress
      MYSQL_PASSWORD: wordpress
      MYSQL_ROOT_PASSWORD: somewordpress
    volumes:
      - db:/var/lib/mysql

volumes:
  wordpress:
   external: true
   name:/var/lib/docker/volumes/7a6eaef718037a178183f86fdbcf9aa118bb979077fc54b517e0124b3de27ef5/_data:/var/www/html
  db:
    external: true
    name:/var/lib/docker/volumes/wordpress_db_data/_data:/var/lib/mysql

Echter, ik krijg dan de volgende foutmelding:

code:

ERROR: yaml.scanner.ScannerError: while scanning a simple key
  in ".\docker-compose.yml", line 32, column 4
could not find expected ':'
  in ".\docker-compose.yml", line 33, column 3

Ik heb het al geprobeerd met " ", maar ook dat maakt geen verschil.
Het heef te maken met die 2e db:. Daar valt hij over.
Als ik die weg haal, dan krijg ik het volgende:
ERROR: In file '.\docker-compose.yml', volume must be a mapping, not a string.

Ik denk dat ik de folder structuur baan moet passen bij wordpress: en db: onder volumes.
Krijg nu iedere keer een andere foutmelding.

[lolgast]

@Arunia Je verwijst met de naam van de volumes ook nog eens naar de locatie in de container. Vandaar dat hij struikelt over de ':'. Die staan namelijk in die regels en die mogen er niet staan.

[technorabilia]

@Arunia
Ik weet niet of dat werkt.

Als je external is true aangeeft dan gebruik je een volume welke is aangemaakt buiten docker-compose dus met docker volume create. Ik weet niet of je daar direct een eerder door docker-compose aangemaakte volume kunt gebruiken.

De syntax is dan denk ik eerder:

code:

volumes:
  wordpress:
   external: true
   name:7a6eaef718037a178183f86fdbcf9aa118bb979077fc54b517e0124b3de27ef5

Edit:

En anders eerst:

code:

docker volume create wordpress

# even kijken wat er in het oude volume staat
docker run --rm -it -v 7a6eaef718037a178183f86fdbcf9aa118bb979077fc54b517e0124b3de27ef5:/from busybox ls /from

# nieuwe volume is leeg?
docker run --rm -it -v wordpress:/to busybox ls /to

# kopieren
docker run --rm -it -v 7a6eaef718037a178183f86fdbcf9aa118bb979077fc54b517e0124b3de27ef5:/from -v wordpress:/to busybox cp -av /from/. /to/.

# checken of er ook is gekopieerd
docker run --rm -it -v wordpress:/to busybox ls /to

En dan gebruiken:

code:

volumes:
  wordpress:
   external: true

Denk ik...

[ Voor 43% gewijzigd door technorabilia op 09-03-2021 11:15 ]

[Arunia]

@lolgast Ok, dat is wel te begrijpen omdat daarboven al verwezen wordt naar de locatie.

@kraades
Ik ben bang dat die al middels docker-compose ooit is aangemaakt. Dus dan zou deze manier al uberhaupt niet werken. Dacht dat het ging om volumes gemaakt met die docker-compose, maar dat is het dan niet.
Krijg nu de volgende melding:
ERROR: In file '.\docker-compose.yml', volume 'wordpress' must be a mapping not a string.

Is het mogelijk om gewoon met docker commando's zoiets op te bouwen?
Dus container maken en verwijzen naar die 2 volumes, maar geen idee of ik met de container dan nog iets speciaals moet doen.

Ik ga even met je edit verder.

Net gekeken,
Alles gedaan, ook de database over gezet naar een andere volume, maar melding is deze:
ERROR: In file '.\docker-compose.yml', volume 'wordpress' must be a mapping not a string.

Dit is de docker-compose:

code:

version: '3.1'

services:

  wordpress:
    image: wordpress:latest
    restart: always
    ports:
      - 4002:80
    environment:
      WORDPRESS_DB_HOST: db:3306
      WORDPRESS_DB_USER: wordpress
      WORDPRESS_DB_PASSWORD: wordpress
      WORDPRESS_DB_NAME: wordpress
    volumes:
      - wordpress:/var/www/html

  db:
    image: mysql:5.7
    restart: always
    environment:
      MYSQL_DATABASE: wordpress
      MYSQL_USER: wordpress
      MYSQL_PASSWORD: wordpress
      MYSQL_ROOT_PASSWORD: somewordpress
    volumes:
      - db:/var/lib/mysql

volumes:
  wordpress:
    external:true
    name:kookboek
  db:
    external:true
    name:kookboek_db

Heb geen idee wat er mis gaat.
http://www.yamllint.com/ geeft aan dat hij correct is.

[ Voor 45% gewijzigd door Arunia op 09-03-2021 11:37 ]

[fyr0]

Arunia schreef op dinsdag 9 maart 2021 @ 11:21:

[...]

Net gekeken,
Alles gedaan, ook de database over gezet naar een andere volume, maar melding is deze:
ERROR: In file '.\docker-compose.yml', volume 'wordpress' must be a mapping not a string.

Dit is de docker-compose:

code:

version: '3.1'

services:

  wordpress:
    image: wordpress:latest
    restart: always
    ports:
      - 4002:80
    environment:
      WORDPRESS_DB_HOST: db:3306
      WORDPRESS_DB_USER: wordpress
      WORDPRESS_DB_PASSWORD: wordpress
      WORDPRESS_DB_NAME: wordpress
    volumes:
      - /var/www/html:wordpress

  db:
    image: mysql:5.7
    restart: always
    environment:
      MYSQL_DATABASE: wordpress
      MYSQL_USER: wordpress
      MYSQL_PASSWORD: wordpress
      MYSQL_ROOT_PASSWORD: somewordpress
    volumes:
      - /var/lib/mysql:db

volumes:
  wordpress:
    external:true
    name:kookboek
  db:
    external:true
    name:kookboek_db

Heb geen idee wat er mis gaat.
http://www.yamllint.com/ geeft aan dat hij correct is.

toon volledige bericht

Het gaat volgens mij fout bij de volumes, je moet eerst aangeven waar hij lokaal staat en dan wat het volgens docker moet zijn.
Ik heb dit aangepast in jouw voorbeeld

[Arunia]

@fyr0 Net even getest, dat is hem ook niet. Blijft heel apart dit.
Zonder die volumes onderaan werkt het namelijk wel gewoon op die manier.

Als ik deze docker-compose gebruik:

code:

version: '3.1'

services:

  wordpress:
    image: wordpress
    restart: always
    ports:
      - 4001:80
    environment:
      WORDPRESS_DB_HOST: db
      WORDPRESS_DB_USER: exampleuser
      WORDPRESS_DB_PASSWORD: examplepass
      WORDPRESS_DB_NAME: exampledb
    volumes:
      - wordpress:/var/www/html

  db:
    image: mysql:5.7
    restart: always
    environment:
      MYSQL_DATABASE: exampledb
      MYSQL_USER: exampleuser
      MYSQL_PASSWORD: examplepass
      MYSQL_RANDOM_ROOT_PASSWORD: '1'
    volumes:
      - db:/var/lib/mysql

volumes:
  wordpress:
    external: true
    name: kookboek_wordpress
  db:
    external: true
    name: kookboek_db

De namen van beide volumes zijn in portainer:
kookboek_db en kookboek_wordpress

Als ik docker-compose up -d doe, dan maakt hij kookboek_db_1 en kookboek_wordpress_1...

Oh! Wacht! dat is de container!

De site doet het niet, maar dat is weer wat anders. Twijfel even over wat ik nu kan/moet doen.
edit:
Als ik localhost:4001/wp-admin doe, dan krijg ik een fout dat er geen connectie met de database gemaakt kan worden.
Dus, dan gaat het daar niet goed.
Daar kan ik wel wat mee denk ik.
Want, de compose van hier boven is die van docker hub en niet diegene waar ik het ooit mee gemaakt heb.

[ Voor 88% gewijzigd door Arunia op 09-03-2021 12:18 ]

[technorabilia]

@Arunia
Misschien even direct aangeven.
[code]volumes:
kookboek:
external: true
kookbork_db:
external: true[/code]
En natuurlijk de andere volume namen even aanpassen.

De volumes zijn zoals je in eerste instantie aangeeft dus <volume>:/pad in container...

Je bent al verder zie ik...

Je moet nu inderdaad de oorspronkelijke credentials boven water krijgen.

En even checken of de structuur op de volumes goed is. Als je dat niet al eerder hebt gedaan.

[ Voor 27% gewijzigd door technorabilia op 09-03-2021 12:27 ]

[Arunia]

@kraades Thanks. Ben al blij dat er iets werkt.
Echter na aanpassen docker-compose en runnen is er helemaal niets actief.
Dus ik ga even de volumes opnieuw maken met je eerder code.
Dan kijken wat er gebeurd.

Ben op dit moment aan het kijken hoe en of ik connectie kan krijgen met een SQL client. Dbeaver ondersteund mysql. Maar de connectie krijg ik nog niet aan de praat. Heb ook even geen ander idee hoe ik dit op moet pakken. Al was het maar dat ik de tekst uit de DB kan halen, dan maak ik het zelf wel weer opnieuw een keer.

Voor zover de gegevens van de eerste docker-compose, zouden correct moeten zijn. Denk dat ik even opnieuw moet beginnen met die originele compose en zo een nieuwe kookboek moet opstarten. Wellicht dat er in de nieuwe wat anders staat waardoor het niet werkt.
Heb ook even in de volume de config opgezocht en gekeken wat daar in staat qua name en database. Dus die gegeven zijn heel simpel met wordpress.

Ik heb echt geen idee hoe die structuur van mysql er uit zou moeten zien. Kan geen verbinding maken, maar wellicht kijk ik er wel helemaal verkeerd naar en is het gewoon niet eens zichtbaar vanuit de host zelf. Dat geloof ik ook nog wel.

code:

version: '3.3'
services:
   db:
     image: mysql:5.7
     ports:
       - "3306:3306"
     volumes:
       - db_data:/var/lib/mysql
     restart: always
     environment:
       MYSQL_ROOT_PASSWORD: somewordpress
       MYSQL_DATABASE: wordpress
       MYSQL_USER: wordpress
       MYSQL_PASSWORD: wordpress
   wordpress:
     depends_on:
       - db
     image: wordpress:latest
     ports:
       - "8088:80"
     restart: always
     environment:
       WORDPRESS_DB_HOST: db:3306
       WORDPRESS_DB_USER: wordpress
       WORDPRESS_DB_PASSWORD: wordpress
       WORDPRESS_DB_NAME: wordpress
     volumes:
       - wordpress:/var/www/html
       
volumes:
   wordpress:
    external: true
    name: temp_wordpress
   db_data:
    external: true
    name: temp_db

Om één of andere reden wil er geen poort opgegeven worden. Er wordt ook geen netwerk aangemaakt. Ik heb echt geen idee wat ik in mijn docker-compose mis om dat voor elkaar te krijgen met de mysql container.

[ Voor 106% gewijzigd door Arunia op 10-03-2021 16:01 ]

[Marc3l]

Wellicht dat je iets uit mijn Docker file kan halen?
https://github.com/mvd81/docker-laravel alleen geen Wordpress maar voor een Laravel project, wel met mysql.

[technorabilia]

@Arunia
Op het volume waar je database staat moet je in ieder geval de directories mysql, performance_schema en wordpress zien staan.

Verder kun je in de container e.e.a. uitvragen/controleren. Zie bijvoorbeeld hieronder. Ik zou eerst eens kijken of dit een beetje klopt m.a.w. kun je de database benaderen en gegevens terugvinden. Daarna kun je kijken of je de connectie vanuit WordPress in orde kunt krijgen. Mijn container heet wp_db. De jouwe heet anders.

code:

root@DS716:/~# docker exec -it wp_db bash
root@4b4cf105a64d:/# mysql -u wordpress -p
Enter password:
Welcome to the MariaDB monitor.  Commands end with ; or \g.
Your MariaDB connection id is 768
Server version: 10.5.9-MariaDB-1:10.5.9+maria~focal mariadb.org binary distribution

Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

MariaDB [(none)]> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| wordpress          |
+--------------------+
2 rows in set (0.001 sec)

MariaDB [(none)]> use wordpress
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed
MariaDB [wordpress]> show tables;
+-----------------------+
| Tables_in_wordpress   |
+-----------------------+
| wp_commentmeta        |
| wp_comments           |
| wp_links              |
| wp_options            |
| wp_postmeta           |
| wp_posts              |
| wp_term_relationships |
| wp_term_taxonomy      |
| wp_termmeta           |
| wp_terms              |
| wp_usermeta           |
| wp_users              |
+-----------------------+
12 rows in set (0.001 sec)

MariaDB [wordpress]> select count(*) from wp_posts;
+----------+
| count(*) |
+----------+
|       38 |
+----------+
1 row in set (0.001 sec)

MariaDB [wordpress]> exit
Bye
root@4b4cf105a64d:/# exit
exit
root@DS716:~#

Ook kun je een backup maken en deze (tekst)file bekijken. Deze file kun je dan in jouw geval downloaden via portainer.

code:

root@DS716:/~# docker exec -it wp_db bash
root@4b4cf105a64d:/# mysqldump -u wordpress -p wordpress > backup.sql
Enter password:
root@4b4cf105a64d:/# exit
exit
root@DS716:~#

[Arunia]

@kraades Holy crap batman! It works.
Je eerdere kopie actie e.d. had ik verkeerd ingevuld waardoor hij dus 2 keer de wordpress volume had gekopieerd ipv de database. >_<

Hij draait gewoon in één keer na docker-compose up -d

Ok, die is veilig.

Dan dus nu opnieuw aan de slag met een wordpress container en dan op die manier zorgen dat ik standaard backups kan maken enzovoorts.

[ Voor 25% gewijzigd door Arunia op 11-03-2021 13:48 ]

[Mars Warrior]

Arunia schreef op donderdag 11 maart 2021 @ 09:04:
@kraades Holy crap batman! It works.
Je eerdere kopie actie e.d. had ik verkeerd ingevuld waardoor hij dus 2 keer de wordpress volume had gekopieerd ipv de database. >_<

Hij draait gewoon in één keer naar docker-compose up -d

Ok, die is veilig.

Dan dus nu opnieuw aan de slag met een wordpress container en dan op die manier zorgen dat ik standaard backups kan maken enzovoorts.

Ik zou voor een wordpress site ook ff kijken naar wordpress backup plugins, zie hier: https://premium.wpmudev.o...e-quality-backup-plugins/.

Dan kun je het van daaruit ook regelen. Als alles crashed start je weer een nieuwe/kale container, installeer je de plugin, en zet je de backup terug

[Arunia]

@Mars Warrior Dat is inderdaad een goeie. Waarom alles via Docker zelf proberen te fixen als het ook via de software zelf kan welke je draait.
Heb er net eentje uitgezocht (duplicater). Volgens mij werkt dat wel prima, maar dat zie ik zo snel genoeg

Ben nu een opzetje aan het maken om een aantal mappen van Wordpress in de volume zichtbaar te maken op de host. Maar dat moet wel lukken. Daarna alle meuk overzetten en dan ben ik weer set op een nette manier.

Zie net dat ik per ongeluk de maximale ruimte in Docker desktop naar de rest van de SSD heb gezet. Dat kun je niet verkleinen zonder alles kwijt te raken... Zucht.
Aan de andere kant is het gelukkig niet zo dat die ruimte meteen ingepikt is. Denk dat ik me er maar niet meer druk over ga maken.

Of, ik moet een mogelijkheid hebben om de containers en alles te exporteren. Het recht te zetten en weer te importeren.
Is van latere zorg denk ik maar.

[Jazco2nd]

Wat is nu eigenlijk "good security practice" met betrekking tot de UID en GUID van je docker containers? Het gaat mij vooral om de volumes die ik map ($HOME/docker/containernaam). Dit is op ubuntu.

"containernaam" maak ik met sudo. De mappen daarin worden dan meestal door de container zelf gemaakt.

Maar ik overweeg aan al mijn containers UID en GUID 1000 toe te voegen (dat is dus gewoon de user). Omdat ik dat steeds vaker voorbij zie komen. Echter dan kan de container volgens mij geen map aanmaken in de "containernaam" map.. tenzij ik de permissies/ownership daarvan wijzig..

[technorabilia]

@Jazco2nd
Wat bedoel je precies met:
Maar ik overweeg aan al mijn containers UID en GUID 1000 toe te voegen (dat is dus gewoon de user).

[Jazco2nd]

kraades schreef op vrijdag 12 maart 2021 @ 18:00:
@Jazco2nd
Wat bedoel je precies met:
Maar ik overweeg aan al mijn containers UID en GUID 1000 toe te voegen (dat is dus gewoon de user).

Sorry, ik bedoel via docker-compose en env variables toevoegen:

code:

    environment:
      - PUID=$PUID
      - PGID=$PGID
      - TZ=$TZ

UID en GUID van de host ingelogde user (non-root) is 1000.
Daarmee hebben mijn containers dus geen root access tot de host, alleen dezelfde access als de ingelogde user (1000/1000).

[technorabilia]

@Jazco2nd
Die variabeles zijn alleen voor linuxserver.io images.

Ze doen het volgende in de code:

code:

groupmod -o -g "$PGID" abc
usermod -o -u "$PUID" abc

Ook zij gaan t.z.t. overstappen op --user.

[lolgast]

Wat @kraades zegt, die variabelen moeten wel in de image gebouwd zijn. Zomaar variabelen toevoegen aan je container heeft geen zin als de image ze niet kent

Het zou mooi zijn als alle containers netjes onder een willekeurige user gedraaid kunnen worden qua permissions, maar dat is niet 1,2,3 geregeld

[Jazco2nd]

HAHA oef.. weer wat geleerd! Ongelooflijk dat ik daar in ben gestonken. Thanks!!

[technorabilia]

Jazco2nd schreef op vrijdag 12 maart 2021 @ 18:35:
HAHA oef.. weer wat geleerd! Ongelooflijk dat ik daar in ben gestonken. Thanks!!

Je bent niet de eerste hoor.

Misschien kun je iets doen met de --user optie. Zelf nog niet geprobeerd overigens.

https://medium.com/redbub...on-root-user-7d2e00f8ee15

[Mars Warrior]

Jazco2nd schreef op vrijdag 12 maart 2021 @ 17:53:
Wat is nu eigenlijk "good security practice" met betrekking tot de UID en GUID van je docker containers? Het gaat mij vooral om de volumes die ik map ($HOME/docker/containernaam). Dit is op ubuntu.

"containernaam" maak ik met sudo. De mappen daarin worden dan meestal door de container zelf gemaakt.

Maar ik overweeg aan al mijn containers UID en GUID 1000 toe te voegen (dat is dus gewoon de user). Omdat ik dat steeds vaker voorbij zie komen. Echter dan kan de container volgens mij geen map aanmaken in de "containernaam" map.. tenzij ik de permissies/ownership daarvan wijzig..

Als je gebruik maakt van named columes, dus geen bind mounts, dan heb je nooit permissie problemen.
Docker draait iha wel onder root, al zijn er apps - zoals postgres - die expliciet onder zijn eigen user (postgres) draait.

Zolals al genoemd: linuxserver gebruikt wel users/groups, maar zij vormen een uitzondering.

[Jazco2nd]

@Mars Warrior nou met named volumes kan je zeker wel issues hebben.. bijv een NextCloud die geen toegang heeft tot de data dir etc. Of dat user www-data in een container wordt gebruikt maar die user op de host geen edit rechten heeft etc. Genoeg van dit soort issues gehad...

Het ging mij er meer om dat het wellicht niet logisch is dat containers standaard root toegang hebben.

[pnxsinned]

Allereerst heren, geweldig topic.
Vandaag pas gevonden, en ik doe al een hele tijd mijn heel home gebeuren met Dockers.

Dacht dat ik veel wist, maar heb toch hier en daar wat geleerd En nog een vraagje, ik draai thuis o.a Pihole.
En dit draait op mijn Synology, en heb deze gewoon bridged, en synology zet deze verzoeken door. Na lezen van vele dingen hier, begrijp ik dat jullie een VLAN hebben gemaakt in hetzelfde subnet van je thuisnetwerk?

Welk voordeel heb je hieraan precies? Ik heb voor alle services de built-in Nginx Reverse proxy van synology zitten, met een wildcart cert, voor al deze diensten.

Mijn vraag is basicly, is bovenstaand wat ik doe nu goed of fout? En vooral in geval van Pihole? Het enige "nadeel" wat ik zie, is dat alle requests komen vanuit mijn NAS naar Pihole, maar daar heb ik eigl weinig moeite mee.

[Arunia]

Mijn wordpress kookboek draait iig weer. Wil eigenlijk alle containers backuppen (zag een mogelijkheid middels gzip (wat niet werkt onder Windows) om een export te maken. Dat is wel mooi om dat zo nu en dan te doen zodat die ook in de backup mee kunnen.

Maar dat commando

code:

docker export NAME | gzip > NAME.gz

stopt bij gzip.
Geen idee hoe ik dat onder Windows goed op kan pakken eigenlijk.

[Anoniem: 1322]

Hallo mensen hier,
Ik ben van plan om mijn HTPC om te bouwen tot docker host.

Nu is mijn vraag: Welk OS ga ik draaien?
Het gaat om een Intel NUC dus echt meer dan docker gaat deze pc niet trekken.

Ik ben redelijk bekend met Linux in de vorm van Ubuntu (ik ben lui), Suse, Redhat en Gentoo.
Ik ben op zoek naar een pure docker host (een soort ESX voor docker?) of misschien is dat een slecht idee?
Draaien jullie nog wel eens niet enkel binnen docker? En welke platformen moet ik vooral vermijden?

[Arunia]

@Anoniem: 1322 Ikzelf draai op Windows 10 (voorheen WHS 2011 en daar voor WHS v1).
Dit omdat ik ook nog andere software draai en het echt mijn server is.
Ook dingen die onder Docker kunnen draaien draai ik op dit moment ook nog wel buiten docker om omdat ik daarmee bekend ben.

[ThinkPad]

Ik gebruik Ubuntu Server en dan unattended-upgrades aanzetten, dan heb je naar het host OS geen omkijken qua updates. Docker installeren en dan de container 'Portainer' erop zodat je een webinterface hebt om je Docker containers te beheren, veel makkelijker dan CLI als je net met Docker begint En de container 'Watchtower' installeren die je overige containers netjes bijgewerkt houdt.

Met bovenstaande heb ik een homelab dat weinig onderhoud nodig heeft

[ Voor 14% gewijzigd door ThinkPad op 28-03-2021 22:30 ]

[lolgast]

@Anoniem: 1322 Wat wil je gaan draaien met Docker? Ik heb een aantal jaren Ubuntu Server met Docker gedraaid op een AIO computertje, dat werkte méér dan prima. Sinds een klein jaar ben ik nu over op Proxmox en draai daarop een aantal LXC container met daarin dan weer Docker.

Zorgt ervoor dat het backuppen/restoren van de containers wat eenvoudiger kan (in mijn ogen) en het scheiden van zaken wordt wat overzichtelijker

[ Voor 4% gewijzigd door lolgast op 28-03-2021 22:29 ]

[technorabilia]

Ik heb goede verhalen gehoord over de proxmox opzet zoals hierboven wordt aangegeven.

[Anoniem: 1322]

Proxmux is inderdaad al in beschouwing. Het is natuurlijk fijn om een vm achter de hand te hebben maar dat is juist wat ik probeer te vermijden (terugvallen op bekende dingen). Ik wil juist veel meer van docker leren.

Ik denk dat dan Ubuntu een betere weg is?

[Freee!!]

Anoniem: 1322 schreef op zondag 28 maart 2021 @ 23:37:
Proxmux is inderdaad al in beschouwing. Het is natuurlijk fijn om een vm achter de hand te hebben maar dat is juist wat ik probeer te vermijden (terugvallen op bekende dingen). Ik wil juist veel meer van docker leren.

Ik denk dat dan Ubuntu een betere weg is?

Even buiten de vraag omtrent OS, kijk eens naar OpenMediaVault, draait op diverse smaken Linux en Docker is er heel eenvoudig mee te installeren, net als Portainer.

[lolgast]

@Anoniem: 1322 Wat is je exacte doel met Docker? Wil je specifieke containers draaien? Gaat het puur om de ervaring opdoen? Waarom Docker?

Als je nog 0 ervaring hebt met Docker kán het slim zijn om juist de Proxmox weg te kiezen. Dan vernachel je je host namelijk niet als je een fout maakt Een volgelopen disk door Docker logging kan ervoor zorgen dat je host niet/nauwelijks meer reageert. Om maar een zijstraat te noemen

[FreshMaker]

Anoniem: 1322 schreef op zondag 28 maart 2021 @ 22:07:
Hallo mensen hier,
Ik ben van plan om mijn HTPC om te bouwen tot docker host.

Nu is mijn vraag: Welk OS ga ik draaien?
Het gaat om een Intel NUC dus echt meer dan docker gaat deze pc niet trekken.

Ik ben redelijk bekend met Linux in de vorm van Ubuntu (ik ben lui), Suse, Redhat en Gentoo.
Ik ben op zoek naar een pure docker host (een soort ESX voor docker?) of misschien is dat een slecht idee?
Draaien jullie nog wel eens niet enkel binnen docker? En welke platformen moet ik vooral vermijden?

Als ik jouw comment zo lees, heb je alvast 3 mogelijkheden

1 > ubuntu/debian - kaal OS ( serverversie )
2> Openmediavault ( of free/trueNAS )
3 > Proxmox - maar mij lijkt me dit alleen relevant als je meerdere VM's zou willen draaien.

Ik ben van Proxmox teruggegaan naar OMV, omdat ik een NAS en HOST wilde hebben, en Proxmox overkill was ( qua rechtenbeheer e.d )

[Anoniem: 1322]

lolgast schreef op maandag 29 maart 2021 @ 08:38:
@Anoniem: 1322 Wat is je exacte doel met Docker? Wil je specifieke containers draaien? Gaat het puur om de ervaring opdoen? Waarom Docker?

Goede vraag, Mijn doel is meer ervaring krijgen met containers en de bijbehorende tools, niet specifiek docker.
Ik heb momenteel een synology NAS die aardig belast begint te raken maar dat beschouw ik als docker 'lite'. Ik wil deze containers overzetten naar een Intel NUC.
Ik wil initeel bezig met reverse proxies (mogelijk Traefik met letsencrypt) om alle overige containers beschikbaar te maken voor het internet. Daarnaast zoek ik management tools om zaken verder te automatisering zoals @ThinkPad aangeeft.

Als je nog 0 ervaring hebt met Docker kán het slim zijn om juist de Proxmox weg te kiezen. Dan vernachel je je host namelijk niet als je een fout maakt Een volgelopen disk door Docker logging kan ervoor zorgen dat je host niet/nauwelijks meer reageert. Om maar een zijstraat te noemen

Klinkt als de ervaringen die ik juist zoek .
Welke linux distru zou je daarbij aanraden?

[Anoniem: 1322]

FreshMaker schreef op maandag 29 maart 2021 @ 11:16:
[...]


Als ik jouw comment zo lees, heb je alvast 3 mogelijkheden

1 > ubuntu/debian - kaal OS ( serverversie )
2> Openmediavault ( of free/trueNAS )
3 > Proxmox - maar mij lijkt me dit alleen relevant als je meerdere VM's zou willen draaien.

Ik ben van Proxmox teruggegaan naar OMV, omdat ik een NAS en HOST wilde hebben, en Proxmox overkill was ( qua rechtenbeheer e.d )

Ik ben zelf nog nooit met debian aan de slag geweest maar ik dacht dat debian voor veel mensen af viel omdat de software erg oud is of slecht wordt bijgewerkt? Heb ik dit fout en zit er weinig verschil tussen distributies?

[lolgast]

@Anoniem: 1322 Debian en Ubuntu Server zijn denk ik beide prima opties. Waarbij Ubuntu wat eerder over bijgewerkte packages beschikt. Debian Stable heeft als hoofd uitgangspunt vooral dat, stable. Ubuntu Stable heb ik persoonlijk ook echt nooit problemen mee gehad, maar de kans dat daar een package wordt goedgekeurd die toch een probleem heeft is wat groter. Maar zoals gezegd, mijn Ubuntu Server heeft jaren probleemloos als Docker host gefungeerd.

Over Traefik loopt (weet ik toevallig ) een topic bij Tweakers:
[Traefik - Proxy/Loadbalancer] Ervaringen & Discussie

[FreshMaker]

Anoniem: 1322 schreef op maandag 29 maart 2021 @ 14:37:
[...]


Ik ben zelf nog nooit met debian aan de slag geweest maar ik dacht dat debian voor veel mensen af viel omdat de software erg oud is of slecht wordt bijgewerkt? Heb ik dit fout en zit er weinig verschil tussen distributies?

Als je de server editie neemt, zit daar maar weinig verschil in.
Wat ik een voordeel van Debian t.o ubuntu server vind, is dat ze wat 'behoudender' zijn in toevoegingen.

Die snaps die er nu in ubuntu zitten, en het 'cloud' deel is niet aan mij besteedt, als ik een minimal server wil opzetten.
Het zal best handig zijn, maar ik heb er nog geen nut voor gevonden

Debian10 is dan wel van 2019, maar krijgt toch regelmatig zijn updates
https://www.debian.org/security/

Ubuntu 'lijkt' wel nieuwer, maar die hebben een releaseschema van 2x per jaar, dan gaat het al snel 'voltter'
Ik denk dat ze elkaar op inhoud en mogelijkheden niet echt ontlopen ( aangezien de repositories ook zelf kan toevoegen )

[Anoniem: 1322]

Check, ik ga dan bezig met Debian. Zoals aangegeven wil ik graag een 'stabiele' host hebben zonder teveel onderhoud. Hoewel ik niet bekend ben met Debian kan het ook weer een mooie uitdaging zijn .

[FreshMaker]

Ubuntu is uiteindelijk ook Debian-based
Dus zo heel veel verschil is er niet, vrijwel alles is met wat google-hulp te vinden.

Zo heb ik ook mijn VPS en thuisserver opgezet.

Check sowieso OMV eens, dan heb je een frontend voor de meeste taken.
( of je installeert webmin )


Misschien heb je hier iets aan ?

Toestemming nodig voor bekijken van YouTube

Op deze plek staat ingesloten content die van YouTube afkomstig is. Het tonen van deze inhoud kan ertoe leiden dat YouTube persoonlijke gegevens zoals je IP-adres verwerkt en/of cookies op jouw computer of ander apparaat zet. Hiervoor moet je eerst expliciet toestemming geven voor Sociale media.

Open cookievoorkeurenBekijk op YouTube

DIY NAS Server Setup with Debian / Plex / Raid 5 / Steam Library Caching / UrBackup / SMB Part 2

[ Voor 22% gewijzigd door FreshMaker op 29-03-2021 16:56 ]

[Mars Warrior]

Anoniem: 1322 schreef op maandag 29 maart 2021 @ 16:10:
Check, ik ga dan bezig met Debian. Zoals aangegeven wil ik graag een 'stabiele' host hebben zonder teveel onderhoud. Hoewel ik niet bekend ben met Debian kan het ook weer een mooie uitdaging zijn .

Op zich als je (bijna) alles met docker wilt doen, dan is het OS niet zo heel erg boeiend meer, maar aan de andere kant heb je met Ubuntu wel een moderne kernel zodat je bijv. ook wireguard probleemloos kunt draaien...

FreshMaker schreef op maandag 29 maart 2021 @ 16:37:
Ubuntu is uiteindelijk ook Debian-based
Dus zo heel veel verschil is er niet, vrijwel alles is met wat google-hulp te vinden.

Zo heb ik ook mijn VPS en thuisserver opgezet.

Check sowieso OMV eens, dan heb je een frontend voor de meeste taken.
( of je installeert webmin )


Misschien heb je hier iets aan ?

[YouTube: DIY NAS Server Setup with Debian / Plex / Raid 5 / Steam Library Caching / UrBackup / SMB Part 2]

Ik vind het niet een echt goed voorbeeld voor een Docker omgeving. Alles via de console, niets geen docker compose, dus reproduceerbaar, geen GUI...

Maar goed, mijn standaard omgeving voor Docker dan

• Ubuntu Server 20.04 LTS
• Portainer als UI
• Nginx Proxy Manager (NPM) als proxy, wederom met UI
  
  Natuurlijk gecombineerd met de Grafana connector, zodat je in Grafana ook kunt zien wie er allemaal toegang willen tot jou domeinen.
  
  En nog luxer: met Authelia voor extra authenticatie
• Voor SFTP/FTPS/WebDav kun je mooi sftpgo gebruiken
• Beveiliging kan mooi met de fail2ban container, die je aan de diverse volumes/logfiles kunt koppelen

Voor SMB zul je op de server zelf wat moeten instellen, evenals als je wat management wilt doen met Cockpit

En voor wat inspiratie over het indelen/opzetten van een server kun je eens op de perfect media server site kunnen kijken. Die laat in ieder geval zien wat de mogelijkheden zijn met mergerfs, snapraid, zfs, btrfs, etc.

En natuurlijk kun je je docker file server ook gebruiken om andere containers op te zetten zoals:
- Bitwarden
- Duplicati
- Nextcloud
- Syncthing
- Adguard Home + Unbound
- etc.

Dit kan allemaal netjes in een compose file via Portainer, of Portainer gekoppeld aan Github, dan raak je nooit meer iets kwijt en wordt het simpeler reproduceerbaar als er een keer wat fout gaat.

Sommigen gebruiken één enkele (en dus grote) docker compose file voor hun hele server.

Dus mogelijkheden zat

Zijn server met 55W verbruik is het ook niet echt als je beseft dat een moderne x86 server (zonder extra disken) ca 4W kan verbruiken in idle...

[FreshMaker]

Mars Warrior schreef op maandag 29 maart 2021 @ 23:58:
[...]

Ik vind het niet een echt goed voorbeeld voor een Docker omgeving. Alles via de console, niets geen docker compose, dus reproduceerbaar, geen GUI...

Maar jij gaat er van uit dat dit een leidend voorbeeld zou zijn.
Zoals al dit soort filmpjes moet je dat als leidraad nemen, en jouw wensen er uit filteren.

Ik gebruik ook geen raid instellingen, en ben ooit begonnen met de basis docker setup, dus zonder compose
Je leert de basis, en waar een frontend als portainer zijn beperkingen in heeft.

Als jij via docker compose Dockers opzet, zijn die altijd zoals je in de compose.yml aangeeft.
Aanpassingen via Portainer/Yacht zijn dan technisch nutteloos, want zodra de server herstart, pakt deze de .yml settings weer op.

Zo'n frontend is ( in mijn opinie ) alleen nuttig voor een korte on the fly aanpassing, en een snelle reboot / stop

Sinds Portainer CE kan je nieuwere compose 3.x gebruiken als "stack"
Maar nog steeds moet je permanente aanpassingen in de stack doen, waar je dan net zo goed in de compose.yml kan editen.

[lolgast]

Ik persoonlijk snap die hele portainer hype niet echt. Ik heb het ook heel even gebruikt, maar met docker -compose kun je alles gewoon goed onderhouden. En in mijn ogen leer je het daar beter mee. Als het via de CLI kan, doe ik het via de CLI. Ik heb een kleine 20 containers draaien, maar als je dat voor jezelf gestructureerd opbouwt heb je Portainer in mijn ogen niet nodig.

Maargoed, zoveel mensen, zoveel wensen.

@Mars Warrior SMB-shares kan prima via Docker

YAML:

version: '2.4'

services:
  samba:
    image: dperson/samba
    container_name: samba
    restart: unless-stopped
    ports:
      - 445:445
    environment:
      - USERID=1000
      - GROUPID=1000
      - "SHARE=Video;/mnt/video;;no"
      - "SHARE2=Foto's;/mnt/fotos;;no"
      - "SHARE3=Meggie;/mnt/meggie;;no"
      - "SHARE4=Downloads;/mnt/downloads;;no"
      - RECYCLE=false
    volumes:
      - /shared:/mnt

[ Voor 30% gewijzigd door lolgast op 30-03-2021 09:03 ]

[Vorkie]

lolgast schreef op dinsdag 30 maart 2021 @ 09:01:
Ik persoonlijk snap die hele portainer hype niet echt. Ik heb het ook heel even gebruikt, maar met docker -compose kun je alles gewoon goed onderhouden. En in mijn ogen leer je het daar beter mee. Als het via de CLI kan, doe ik het via de CLI. Ik heb een kleine 20 containers draaien, maar als je dat voor jezelf gestructureerd opbouwt heb je Portainer in mijn ogen niet nodig.

Maargoed, zoveel mensen, zoveel wensen.

@Mars Warrior SMB-shares kan prima via Docker

Ik gebruik dit hybrid.

Aanmaken gewoon via SSH / compose, maar Portainer is voor mij een administratief overzicht over de status van alle Containers en netwerken, leest veel makkelijker weg dan een stapel tekst in een naar eigen inzicht gekleurde ssh sessie.

[Mars Warrior]

FreshMaker schreef op dinsdag 30 maart 2021 @ 08:45:
[...]
Zo'n frontend is ( in mijn opinie ) alleen nuttig voor een korte on the fly aanpassing, en een snelle reboot / stop

Sinds Portainer CE kan je nieuwere compose 3.x gebruiken als "stack"
Maar nog steeds moet je permanente aanpassingen in de stack doen, waar je dan net zo goed in de compose.yml kan editen.

Portainer is iets meer dan enkel een GUI frontend waar je eenvoudig alles kunt inzien en beheren zonder dat je een hele rits commando's moet kennen. Verder is het natuurlijk veel eenvoudiger qua externe toegang via een subdomein als dat je via de console extern toegang moet krijgen.

Het intypen van een compose/stack file maakt inderdaad niet uit: in beide gevallen moet je hetzelfde doen.

Maar het fijnste voor mij zijn de agents: ik kan vanuit één UI bij al mijn docker (swarm) servertjes met een paar muisklikken, ook vanaf mijn mobiel

lolgast schreef op dinsdag 30 maart 2021 @ 09:01:
@Mars Warrior SMB-shares kan prima via Docker

YAML:

version: '2.4'

services:
  samba:
    image: dperson/samba
    container_name: samba
    restart: unless-stopped
    ports:
      - 445:445
    environment:
      - USERID=1000
      - GROUPID=1000
      - "SHARE=Video;/mnt/video;;no"
      - "SHARE2=Foto's;/mnt/fotos;;no"
      - "SHARE3=Meggie;/mnt/meggie;;no"
      - "SHARE4=Downloads;/mnt/downloads;;no"
      - RECYCLE=false
    volumes:
      - /shared:/mnt

toon volledige bericht

Ik kijk hier nogmaals naar. Ik had de vorige keren zoveel problemen dat ik daarmee gestopt ben. Als ik in de issues kijk, dan ben ik niet de enige met problemen als het gaat om het verwijderen bijv. van bestanden op een share wat (soms) niet lukt.

Ook het netjes bijhouden van dit image valt me weer tegen gezien het aantal problemen/bugs in SMB: dan heb ik liever een echt bijgewerkte versie. Misschien moet ik zelf eens gaan leren om images te bouwen, want dan bestaat dat probleem niet meer

[lolgast]

Een image is zo gemaakt, als je eenmaal weet hoe Dockerfiles werken. Zo heb ik laatst nog een image gemaakt met Unbound en AdGuard bij elkaar, zodat ze elkaar op 127.0.0.1 kunnen benaderen, waarmee de failover die ik wilde maken veel beter realiseerbaar was

https://hub.docker.com/r/lolgast/adguard-unbound

[Mars Warrior]

lolgast schreef op dinsdag 30 maart 2021 @ 11:39:
Een image is zo gemaakt, als je eenmaal weet hoe Dockerfiles werken. Zo heb ik laatst nog een image gemaakt met Unbound en AdGuard bij elkaar, zodat ze elkaar op 127.0.0.1 kunnen benaderen, waarmee de failover die ik wilde maken veel beter realiseerbaar was

https://hub.docker.com/re...r/lolgast/adguard-unbound

Private repository? Want dockerhub eist dat ik inlog

En wat voor failover bedoel je? Twee systemen die via een VIP AdGuard/Unbound beschikbaar maken in jouw netwerk?

[lolgast]

@Mars Warrior Foutje, verkeerde URL geplakt, fixed. Maar ik heb 2 AGH instances draaien, en 2 Unbound instances. Omdat ik de configuratie hetzelfde wil hebben, wil ik in AGH kunnen zeggen dat Unbound DNS bereikbaar is op 127.0.0.1:5353. In beide installaties. Als Unbound niet in dezelfde container zit moet ik hem naar het container_ip laten verwijzen en dan zouden beide configuraties afwijken van elkaar. Gezeur om niets, maar ik wil het zo

[Mars Warrior]

lolgast schreef op dinsdag 30 maart 2021 @ 12:06:
@Mars Warrior Foutje, verkeerde URL geplakt, fixed. Maar ik heb 2 AGH instances draaien, en 2 Unbound instances.

Aha. Duidelijk. Fungeren die dan beide als DNS server? Dus als er 1 uitvalt, dat automatisch de tweede wordt gezocht omdat die vanuit DHCP settings ook is opgegeven?

Omdat ik de configuratie hetzelfde wil hebben, wil ik in AGH kunnen zeggen dat Unbound DNS bereikbaar is op 127.0.0.1:5353. In beide installaties. Als Unbound niet in dezelfde container zit moet ik hem naar het container_ip laten verwijzen en dan zouden beide configuraties afwijken van elkaar. Gezeur om niets, maar ik wil het zo

Dat is precies waar ik al even naar zocht. Ook ik wil 'effortless' dingen kunnen deployen op mijn docker (swarm) servers, zonder te hoeven nadenken over de configuratie. Bij elke fout of vergissing zoek je je suf namelijk, en dat vind ik zonde van de tijd

Alles draait bij mij min or meer als SPOF, en op zich nog nooit een echt probleem gehad - behalve bij selectieve stroomuitval van 1 groep - maar als het op deze manier simpelweg redundanter te maken is, dan scheelt dat weer wat probleempjes...

[lolgast]

@Mars Warrior Ja beide draaien als losse DNS server. Elk in een eigen LXC, waardoor ze op aparte IP-adressen benaderbaar zijn. In mijn DHCP scopes staan dus 2 DNS servers ingesteld, 192.168.4.84 en 192.168.4.85. Nu kan ik overdag gewoon dingen updaten/rebooten/iets-waarbij-er-downtime-is zonder dat mijn vrouw ineens geen verbinding kan maken met Teams of een Citrix omgeving (of AliExpress).

Uiteindelijk heb ik er óók nog voor gekozen om in AGH naar de andere Unbound te verwijzen, waardoor ik (in principe) 2 omgevingen heb die onafhankelijk van elkaar kunnen werken maar ook bij het uitvallen van 1 onderdeel elkaar toch weten te vinden.

[Webgnome]

Heeft er iemand met ervaring met Docker op een macbook waarbij dat echt tergend traag werkt? We hebben een volgende yaml file. Op mijn eigen windows machine is het redelijk snel / werkbaar. Echter op een mac van een collega van mij is het echt huilen met de pet op.

Heeft iemand enig idee waar dat aan zou kunnen liggen?

code:

version: '3'

services:
    web1:
        container_name: "web1"
        image: esimonetti/sugardockerized:php7.3-apache-1.16
        ports:
            - "80:80"
        extra_hosts:
            - "docker.local:127.0.0.1"
        environment:
            - "APACHE_RUN_USER=sugar"
            - "APACHE_RUN_GROUP=sugar"
        volumes:
            - ./www:/var/www/html
        depends_on:
            - mysql
            - elasticsearch
            - redis
            #- permissions
            - mail
        links:
            - mysql
            - elasticsearch
            - redis
            - mail
    cron:
        container_name: "cron"
        image: esimonetti/sugardockerized:php7.3-cron-1.16
        volumes:
            - ./www/:/var/www/html
        depends_on:
            - mysql
            - elasticsearch
            - redis
            #- permissions
        links:
            - mysql
            - elasticsearch
            - redis
    mysql:
        container_name: "mysql"
        image: esimonetti/sugardockerized:mysql5.7-1.06
        ports:
            - "3306:3306"
        volumes:
            - ./mysql:/var/lib/mysql
        environment:
            - MYSQL_ROOT_PASSWORD=root
            - MYSQL_USER=sugar
            - MYSQL_PASSWORD=sugar
        command:
            'mysqld --innodb-flush-method=fsync'
    elasticsearch:
        container_name: "elasticsearch"
        image: esimonetti/sugardockerized:elasticsearch6.2-1.07
        volumes:
            - ./elasticsearch:/usr/share/elasticsearch/data
        environment:
            - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
        ulimits:
            memlock:
                soft: -1
                hard: -1
            nofile:
                soft: 65536
                hard: 65536
    redis:
        container_name: "redis"
        image: redis:latest
        volumes:
            - ./redis:/data
    #permissions:
    #    container_name: "permissions"
    #    image: esimonetti/sugardockerized:permissions-1.17
    #    volumes:
    #        - ./www:/var/www/html
    mail:
        container_name: "smtp"
        image: inbucket/inbucket
        ports:
            - "9001:9000"
            - "2500:2500"
            - "1100:1100"

[lolgast]

Mars Warrior schreef op dinsdag 30 maart 2021 @ 11:31:
[...]

Ik kijk hier nogmaals naar. Ik had de vorige keren zoveel problemen dat ik daarmee gestopt ben. Als ik in de issues kijk, dan ben ik niet de enige met problemen als het gaat om het verwijderen bijv. van bestanden op een share wat (soms) niet lukt.

Ook het netjes bijhouden van dit image valt me weer tegen gezien het aantal problemen/bugs in SMB: dan heb ik liever een echt bijgewerkte versie. Misschien moet ik zelf eens gaan leren om images te bouwen, want dan bestaat dat probleem niet meer

Speciaal voor jou: https://hub.docker.com/r/lolgast/samba

EXACT hetzelfde als die van dperson, maar dan nu net gemaakt. Ipv samba versie 4.12.2-r1 heeft mijn image versie 4.13.7-r0. En dat is de laatste. Kun je je veilig(er) voelen

@Mars Warrior Aangezien ik nu toch bezig ben met die eigen image. Die van mij ondersteund alleen SMB3 en hoger. Legacy doe ik niet aan in mijn netwerk over het algemeen

[ Voor 77% gewijzigd door lolgast op 30-03-2021 16:02 ]

[Mars Warrior]

lolgast schreef op dinsdag 30 maart 2021 @ 15:10:
[...]

Speciaal voor jou: https://hub.docker.com/r/lolgast/samba

EXACT hetzelfde als die van dperson, maar dan nu net gemaakt. Ipv samba versie 4.12.2-r1 heeft mijn image versie 4.13.7-r0. En dat is de laatste. Kun je je veilig(er) voelen

@Mars Warrior Aangezien ik nu toch bezig ben met die eigen image. Die van mij ondersteund alleen SMB3 en hoger. Legacy doe ik niet aan in mijn netwerk over het algemeen

Dat is top!

Bijna de laatste versie (4.14.2), maar 4.13.7 heeft wel de laatste security patches. Dat is fijn.
En SMB3 bestaat al vanaf 2012, dus ik denk dat ik geen problemen krijg met deze versie vanaf een W10 bak.

Welke commando’s gebruik jij om die dockerfile te builden?

[lolgast]

@Mars Warrior Het docker build commando spreekt eigenlijk voor zich. Er vanuit gaande dat je je in de folder bevind waar de Dockerfile zich bevind

docker build . -t <container-tag (lolgast/samba)>

Dan volgt een output van alles dat in je Dockerfile staat

De door jou aangehaalde Samba release is wel nieuwer, maar niet beschikbaar voor de stable release van Alpine Vandaar dat 4.13.7 erin zit

[ Voor 21% gewijzigd door lolgast op 30-03-2021 18:58 ]

[Mars Warrior]

Webgnome schreef op dinsdag 30 maart 2021 @ 12:49:
Heeft er iemand met ervaring met Docker op een macbook waarbij dat echt tergend traag werkt? We hebben een volgende yaml file. Op mijn eigen windows machine is het redelijk snel / werkbaar. Echter op een mac van een collega van mij is het echt huilen met de pet op.

Heeft iemand enig idee waar dat aan zou kunnen liggen?

code:

version: '3'

services:
    web1:
        container_name: "web1"
        image: esimonetti/sugardockerized:php7.3-apache-1.16
        ports:
            - "80:80"
        extra_hosts:
            - "docker.local:127.0.0.1"
        environment:
            - "APACHE_RUN_USER=sugar"
            - "APACHE_RUN_GROUP=sugar"
        volumes:
            - ./www:/var/www/html
        depends_on:
            - mysql
            - elasticsearch
            - redis
            #- permissions
            - mail
        links:
            - mysql
            - elasticsearch
            - redis
            - mail
    cron:
        container_name: "cron"
        image: esimonetti/sugardockerized:php7.3-cron-1.16
        volumes:
            - ./www/:/var/www/html
        depends_on:
            - mysql
            - elasticsearch
            - redis
            #- permissions
        links:
            - mysql
            - elasticsearch
            - redis
    mysql:
        container_name: "mysql"
        image: esimonetti/sugardockerized:mysql5.7-1.06
        ports:
            - "3306:3306"
        volumes:
            - ./mysql:/var/lib/mysql
        environment:
            - MYSQL_ROOT_PASSWORD=root
            - MYSQL_USER=sugar
            - MYSQL_PASSWORD=sugar
        command:
            'mysqld --innodb-flush-method=fsync'
    elasticsearch:
        container_name: "elasticsearch"
        image: esimonetti/sugardockerized:elasticsearch6.2-1.07
        volumes:
            - ./elasticsearch:/usr/share/elasticsearch/data
        environment:
            - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
        ulimits:
            memlock:
                soft: -1
                hard: -1
            nofile:
                soft: 65536
                hard: 65536
    redis:
        container_name: "redis"
        image: redis:latest
        volumes:
            - ./redis:/data
    #permissions:
    #    container_name: "permissions"
    #    image: esimonetti/sugardockerized:permissions-1.17
    #    volumes:
    #        - ./www:/var/www/html
    mail:
        container_name: "smtp"
        image: inbucket/inbucket
        ports:
            - "9001:9000"
            - "2500:2500"
            - "1100:1100"

toon volledige bericht

Het kunnen de bind mounts zijn die je gebruikt. Die kunnen leiden tot hoge cou load en dito performance.

Probeer eens named columes te gebruiken en kijk dan eens of het goed draait.

[Jazco2nd]

Ik probeer al de hele avond een commando uit te voeren vanuit de host, die binnen een container vanuit een specifieke map moet worden uitgevoerd. Via Portainer kan ik dit direct in de container succesvol uitvoeren, nadat ik de map betreed:

code:

root@18c3753b6e32:/var/www/html# cd cron
root@18c3753b6e32:/var/www/html/cron# php make_thumbs.php

Echter vanaf de host kom ik er niet uit (filerun is de naam van de container):

code:

docker exec -it filerun -w /cron 'php -c make_thumbs.php'

Ik heb vanalles geprobeerd, met en zonder ' ', andere volgorde etc. Met of zonder sudo maakt ook niet uit (ik voer mijn compose -up -d commando trouwens zonder sudo uit).


Ik kan wel dit uitvoeren en dan zie ik de mappen in de root:

code:

docker exec -it filerun ls

Heeft iemand een tip?

Doel is uiteindelijk om een .sh bash script op de host nachtelijk laten draaien die enkele commando's in de container uitvoert, het commando moet dus vanuit het script draaien (cronjob op de host).

[ Voor 22% gewijzigd door Jazco2nd op 30-03-2021 22:15 ]

[technorabilia]

@Jazco2nd
Niet geprobeerd, maar hier een paar pogingen...

docker exec -it filerun sh -c 'cd /cron && make_thumbs.php'

docker exec -w /cron -it filerun sh -c make_thumbs.php

docker exec -w /cron -it filerun make_thumbs.php

Mogelijk php make_thumbs.php als er geen #! in make_thumbs.php staat.

[Jazco2nd]

@kraades
Thanks, 2 opties geven deze error:

code:

OCI runtime exec failed: exec failed: container_linux.go:367: starting container process caused: chdir to cwd ("/cron") set in config.json failed: no such file or directory: unknown

De andere:

code:

$ docker exec -it filerun sh -c 'cd /cron && make_thumbs.php'
sh: 1: cd: can't cd to /cron

Dit werkt

code:

 docker exec -it filerun sh -c 'ls'

Oh ik ben erachter: met Portainer beland ik direct in /var/www/html en daar zie je direct de map cron.

In de root van de container staat ook cron maar dat is een file.

Dit werkt nu:

code:

docker exec -it filerun sh -c 'cd /var/www/html/cron && php make_thumbs.php'

Thanks voor je snelle hulp!

Edit: dit werkt dus ook:

code:

docker exec -w /var/www/html/cron -it filerun php make_thumbs.php

[ Voor 6% gewijzigd door Jazco2nd op 31-03-2021 08:59 ]

[Webgnome]

Mars Warrior schreef op dinsdag 30 maart 2021 @ 21:45:
[...]

Het kunnen de bind mounts zijn die je gebruikt. Die kunnen leiden tot hoge cou load en dito performance.

Probeer eens named columes te gebruiken en kijk dan eens of het goed draait.

thanks maar hoe doe ik dat?

[Anoniem: 1322]

@FreshMaker, dank.
Ik heb uiteindelijk gekozen voor Debian 10.
Ik ben namelijk tegenwoordig voornamelijk druk met Home Assistant.
Volgens hun is de enige supported setup om HASSIO supervised te draaien op deze distributie.
Ik zal er echter ook software naast gaan draaien dus echt supported gaat het niet worden.
Wel een nieuw OS voor mij dus leuk!

@Mars Warrior, top reactie.
Nginx Proxy Manager ken ik nog niet en ga ik zeker proberen!
Die Grafana connector kan zo in mijn bestaande grafana setup en man, Authelia, je geeft mij ideeën voor de rest van het jaar! Echt bedankt, deze post staat gebookmarkt.

Voor nu is het voor mij eerst de basics. Ik ga nu eerst het netwerk herbouwen met Unbound DNS en een DNS adblocker als backup (om te kunnen testen). Daarna nog een te specificeren DHCP server en dan alles aan Home Assistant knopen.

Ik ben wel druk met pasen

[christofdc]

Met docker leren werken stond al lang op mijn verlanglijstje.
Een goede use case leek mij om de applicaties (sonarr, radarr, SABnzbd,...) die momenteel op mijn oude synology draaien te migreren naar mijn windows pc die 24/7 aanstaat. Hiervoor gebruik ik Docker Desktop met WSL2.

Alles ging vlot zonder problemen en de volledige setup werkt naar behoren.
Nu wou ik kijken om eventueel over te schakelen naar nzbget maar daar heb ik dus problemen mee.
Installatie met docker werkt, site is toegankelijk, echter bij het toevoegen van usenet servers in de configuratie komen de problemen.

Bij het testen van de connectie naar de usenet servers (zowel newshosting als ninja) krijg ik volgende foutmelding:
Could not receive data on socket from news.newshosting.com: ErrNo 11, Resource temporarily unavailable

ik dacht dat het een dns setting zou zijn die fout staat maar vanop de container kan ik pingen naar de usenet server zonder problemen. Alsook werken de servers wel in SABnzbd zonder problemen of wijzigingen.

Ik heb de linuxserver/nzbget image gebruikt en gebruik volgende commando:
docker run -d --name=nzbget -e PUID=0 -e PGID=0 -e TZ=Europe/Brussels -p 6789:6789 -v C:\Users\chris\.docker\containers\nzbget:/config -v downloads:/downloads --restart unless-stopped ghcr.io/linuxserver/nzbget

Zijn er soms mensen die hetzelfde al reeds voorgehad hebben of een idee hebben waaraan dit zou kunnen liggen? na 2 dagen zoeken weet ik niet meer naar kijken met mijn beperkte docker kennis.

[technorabilia]

@christofdc
Is er niet misschien al een connectie met de newsserver vanuit SABnzbd actief? Misschien die eens uitzetten en opnieuw proberen.

[christofdc]

@kraades Helaas, ik heb telkens de news server eerst gedeactiveerd in SABnzbd alvorens te testen in NZBget.

[lolgast]

@Freee!! Welke SMTP relay container gebruik jij? Ik zie so far 1 interessante maar die is al 5 jaar niet bijgewerkt.

Ik zoek geen image met mailbox of webportal support. Gewoon simpel mail relay voor mijn andere containers

[Mars Warrior]

lolgast schreef op maandag 5 april 2021 @ 08:12:
@Freee!! Welke SMTP relay container gebruik jij? Ik zie so far 1 interessante maar die is al 5 jaar niet bijgewerkt.

Ik zoek geen image met mailbox of webportal support. Gewoon simpel mail relay voor mijn andere containers

Ik zie er anders een heleboel: https://hub.docker.com/search?q=Smtp&type=image

Deze, https://hub.docker.com/r/ixdotai/smtp, is gisteren nog bijgewerkt zelfs...

Ik heb deze, https://hub.docker.com/r/...e=1&ordering=last_updated, ooit gebruikt. Image is veruit het kleinste, en ik vind de spec ook het duidelijkste qua gebruik.

[ Voor 25% gewijzigd door Mars Warrior op 05-04-2021 09:59 ]

[Freee!!]

Mars Warrior schreef op maandag 5 april 2021 @ 09:47:
[...]
Ik zie er anders een heleboel: https://hub.docker.com/search?q=Smtp&type=image

Deze, https://hub.docker.com/r/ixdotai/smtp, is gisteren nog bijgewerkt zelfs...

Ik gebruik deze.

Ik heb deze, https://hub.docker.com/r/...e=1&ordering=last_updated, ooit gebruikt. Image is veruit het kleinste, en ik vind de spec ook het duidelijkste qua gebruik.

Is helaas alleen AMD64, werkt niet op een Pi.

EDIT:
Ik gebruik onderstaand commando:

code:

docker run -d \
   --name SMTP_3 \
   -e DISABLE_IPV6=True \
   -e BIND_IP6=::0 \
   -e SMARTHOST_ADDRESS=<server url> \
   -e SMARTHOST_USER=<email address> \
   -e SMARTHOST_PASSWORD=<password> \
   -e PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin \
   -e BIND_IP=0.0.0.0 \
   -e ServerIP=192.168.2.246 \
   -e DEBIAN_FRONTEND=noninteractive \
   -e TERM=linux \
   -e TZ=Europe/Amsterdam \
   -e SMARTHOST_ALIASES=<wildcard server url> \
   -e PORT=25 \
   -e SMARTHOST_PORT=587 \
   -e RELAY_NETWORKS=:192.168.2.0/24 \
   -p 25/tcp \
   --net=Whiskey \
   --ip=192.168.2.246 \
   --restart unless-stopped \
   -v /etc/localtime:/etc/localtime:ro \
  ixdotai/smtp

Met kleine aanpassingen in naam en IP-adres gebruik ik ditzelfde commando voor de SMTP op de andere RPi. En ja, ik gebruik hiervoor ook macvlan.

[ Voor 44% gewijzigd door Freee!! op 05-04-2021 12:03 ]

[Mars Warrior]

Freee!! schreef op maandag 5 april 2021 @ 11:49:
Ik gebruik onderstaand commando:

code:

docker run -d \
   --name SMTP_3 \
   -e DISABLE_IPV6=True \
   -e BIND_IP6=::0 \
   -e SMARTHOST_ADDRESS=<server url> \
   -e SMARTHOST_USER=<email address> \
   -e SMARTHOST_PASSWORD=<password> \
   -e PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin \
   -e BIND_IP=0.0.0.0 \
   -e ServerIP=192.168.2.246 \
   -e DEBIAN_FRONTEND=noninteractive \
   -e TERM=linux \
   -e TZ=Europe/Amsterdam \
   -e SMARTHOST_ALIASES=<wildcard server url> \
   -e PORT=25 \
   -e SMARTHOST_PORT=587 \
   -e RELAY_NETWORKS=:192.168.2.0/24 \
   -p 25/tcp \
   --net=Whiskey \
   --ip=192.168.2.246 \
   --restart unless-stopped \
   -v /etc/localtime:/etc/localtime:ro \
  ixdotai/smtp

Met kleine aanpassingen in naam en IP-adres gebruik ik ditzelfde commando voor de SMTP op de andere RPi. En ja, ik gebruik hiervoor ook macvlan.

toon volledige bericht

Warom eigenlijk een macvlan? Je relay kan toch ook op de docker netwerk interface luisteren naar poort 25?

[Freee!!]

Mars Warrior schreef op maandag 5 april 2021 @ 12:37:
[...]
Warom eigenlijk een macvlan? Je relay kan toch ook op de docker netwerk interface luisteren naar poort 25?

Dat kan inderdaad, maar ik heb dat macvlan toch al voor mijn Pi-Holes en Unbounds, dus dan is het wel zo gemakkelijk om het ook voor smtp te gebruiken.

[lolgast]

@Freee!! @Mars Warrior
Thanks voor de schop in de goede richting, het werkt inmiddels! Mijn docker-compose.yml ziet er zo uit

YAML:

version: '2.4'

services:
  smtp:
    image: ixdotai/smtp
    container_name: smtp
    restart: always
    logging:
      driver: none
    networks:
      - smtp
    environment:
      - MAILNAME=smtp.<DOMAINNAME>.nl
      - DISABLE_IPV6=true
      - RELAY_DOMAINS=<DOMAINNAME>.nl
      - SMARTHOST_ADDRESS=smtp.ziggo.nl
      - SMARTHOST_PORT=587
      - SMARTHOST_USER=<IETS>@ziggo.nl
      - SMARTHOST_PASSWORD=<PASSWORD>
      - SMARTHOST_ALIASES=*.ziggo.nl
    volumes:
      - /etc/localtime:/etc/localtime:ro

networks:
  smtp:
    name: smtp

Op deze manier is er (volgens mij) geen enkele mogelijkheid om gebruik te maken van de relay buiten het dockernetwerk smtp om, want ik heb de poort niet beschikbaar gesteld. Sowieso kan alleen mijn domein gebruikt wordt om naartoe te mailen én alleen devices die binnen het dockernetwerk-subnet vallen mogen relayen (dat is een standaard functie van de container, dat hoef je niet te configureren)

[Mars Warrior]

lolgast schreef op dinsdag 6 april 2021 @ 09:15:
@Freee!! @Mars Warrior
Thanks voor de schop in de goede richting, het werkt inmiddels! Mijn docker-compose.yml ziet er zo uit

YAML:

version: '2.4'

services:
  smtp:
    image: ixdotai/smtp
    container_name: smtp
    restart: always
    logging:
      driver: none
    networks:
      - smtp
    environment:
      - MAILNAME=smtp.<DOMAINNAME>.nl
      - DISABLE_IPV6=true
      - RELAY_DOMAINS=<DOMAINNAME>.nl
      - SMARTHOST_ADDRESS=smtp.ziggo.nl
      - SMARTHOST_PORT=587
      - SMARTHOST_USER=<IETS>@ziggo.nl
      - SMARTHOST_PASSWORD=<PASSWORD>
      - SMARTHOST_ALIASES=*.ziggo.nl
    volumes:
      - /etc/localtime:/etc/localtime:ro

networks:
  smtp:
    name: smtp

Op deze manier is er (volgens mij) geen enkele mogelijkheid om gebruik te maken van de relay buiten het dockernetwerk smtp om, want ik heb de poort niet beschikbaar gesteld. Sowieso kan alleen mijn domein gebruikt wordt om naartoe te mailen én alleen devices die binnen het dockernetwerk-subnet vallen mogen relayen (dat is een standaard functie van de container, dat hoef je niet te configureren)

toon volledige bericht

Leuk

En de containers die van jou mogen mailen, die plaats je in het smtp netwerk bij aanmaken?

[lolgast]

@Mars Warrior Klopt ja! Bijvoorbeeld mijn Unifi Controller:

YAML:

version: '2.4'

services:
  unifi5:
    image: goofball222/unifi
    container_name: unifi
    restart: always
    ports:
      - 1900:1900/udp
      - 3478:3478/udp
      - 5514:5514/tcp
      - 6789:6789/tcp
      - 8080:8080/tcp
      - 8443:8443/tcp
      - 8880:8880/tcp
      - 8843:8843/tcp
      - 10001:10001/udp
    mem_limit: 1024m
    networks:
      - traefik
      - smtp
    volumes:
      - ./data:/usr/lib/unifi/data
      - ./logs:/usr/lib/unifi/logs
    environment:
      - PGID=1000
      - PUID=1000
    labels:
      - traefik.docker.network=traefik
      - traefik.http.routers.unifi.rule=Host("unifi.DOMAINNAME.nl")
      - traefik.http.routers.unifi.entrypoints=https
      - traefik.http.routers.unifi.tls=true
      - traefik.http.routers.unifi.service=unifi
      - traefik.http.services.unifi.loadbalancer.passhostheader=true
      - traefik.http.services.unifi.loadbalancer.server.scheme=https
      - traefik.http.services.unifi.loadbalancer.server.port=8443
      - "traefik.http.routers.unifi.middlewares=hsts@file"
      - traefik.enable=true

networks:
  traefik:
    external: true
  smtp:
    external: true

Die is via traefik met een LE certificaat benaderbaar en via smtp kan hij mailen.

[Mars Warrior]

lolgast schreef op dinsdag 6 april 2021 @ 14:29:
@Mars Warrior Klopt ja! Bijvoorbeeld mijn Unifi Controller:

YAML:

version: '2.4'

services:
  unifi5:
    image: goofball222/unifi
    container_name: unifi
    restart: always
    ports:
      - 1900:1900/udp
      - 3478:3478/udp
      - 5514:5514/tcp
      - 6789:6789/tcp
      - 8080:8080/tcp
      - 8443:8443/tcp
      - 8880:8880/tcp
      - 8843:8843/tcp
      - 10001:10001/udp
    mem_limit: 1024m
    networks:
      - traefik
      - smtp
    volumes:
      - ./data:/usr/lib/unifi/data
      - ./logs:/usr/lib/unifi/logs
    environment:
      - PGID=1000
      - PUID=1000
    labels:
      - traefik.docker.network=traefik
      - traefik.http.routers.unifi.rule=Host("unifi.DOMAINNAME.nl")
      - traefik.http.routers.unifi.entrypoints=https
      - traefik.http.routers.unifi.tls=true
      - traefik.http.routers.unifi.service=unifi
      - traefik.http.services.unifi.loadbalancer.passhostheader=true
      - traefik.http.services.unifi.loadbalancer.server.scheme=https
      - traefik.http.services.unifi.loadbalancer.server.port=8443
      - "traefik.http.routers.unifi.middlewares=hsts@file"
      - traefik.enable=true

networks:
  traefik:
    external: true
  smtp:
    external: true

Die is via traefik met een LE certificaat benaderbaar en via smtp kan hij mailen.

toon volledige bericht

Lekker duidelijk en veilig zo lijkt me.

Gebruik jij 1 enkele host, of heb je meer nodes in een swarm draaien?
Met meerdere losse nodes werken docker netwerken niet over nodes heen vziw.

[Mars Warrior]

Ik ben overigens nog wat aan het klootviolen met meerdere losse nodes, waarbij ik de data wel over meerdere nodes wil syncen in een soort master/slave.

Dus bijv WikiJs draait op één node met een named volume.
Ik wil nu als die node kapot gaat eigenlijk heel eenvoudig kunnen overschakelen naar een andere node, maar dan wel meteen de data hebben klaarstaan (data in mappen en data in postgres database).

Een gedeeld bestandssysteem heb ik thuis geen ervaring mee. Iets als GlusterFs bijv. Dus ik zoek iets simpels dat ik bij hardware uitval handmatig ff iets kan omzetten naar een andere node...

[lolgast]

@Mars Warrior Ik heb 1 node draaien. Nouja, meerdere losse. Niets wat ik de moeite vind om aan elkaar te knopen.

Wat je wilt kan denk ik alleen met shared storage, waarbij de container automatisch op een andere node geactiveerd wordt en hij via shared storage bij de benodigde data kan. Of je moet met bijvoorbeeld Proxmox replicatie werken en accepteren dat je dataverlies van bijvoorbeeld een uur hebt. Afhankelijk van hoe vaak/snel je repliceert.

[Mars Warrior]

lolgast schreef op dinsdag 6 april 2021 @ 15:11:
@Mars Warrior Ik heb 1 node draaien. Nouja, meerdere losse. Niets wat ik de moeite vind om aan elkaar te knopen.

Wat je wilt kan denk ik alleen met shared storage, waarbij de container automatisch op een andere node geactiveerd wordt en hij via shared storage bij de benodigde data kan. Of je moet met bijvoorbeeld Proxmox replicatie werken en accepteren dat je dataverlies van bijvoorbeeld een uur hebt. Afhankelijk van hoe vaak/snel je repliceert.

Het gaat maar om een paar services, stuk of 3. Dus niet veel data.
Kan zijn dat ik toch eens GlusterFS als docker container ga proberen. Er zal weinig stuk gaan op die manier.

Ik gebruik voornamelijk Ubuntu met daarop Docker, dus een PVE host ga ik niet snel gebruiken.

Desnoods gebruik ik SyncThing om heel simpel data naar een andere node te syncen.

[lolgast]

@Mars Warrior Let wel op dat sommige software zich slecht laat ‘fail-overen’. Postgresql is zo’n voorbeeld

[Mars Warrior]

lolgast schreef op dinsdag 6 april 2021 @ 20:36:
@Mars Warrior Let wel op dat sommige software zich slecht laat ‘fail-overen’. Postgresql is zo’n voorbeeld

Klopt. Een ruwe data sync gaat niet altijd goed.

Ik doe het met postgres meestal lekker simpel: export elk uur de database op de “master”, en importeer de database ook elk uur op de “slave”.

De “master” is de echte compose stack. De “slave” is een stack die enkel de import van de database doet.

Primitief, maar het werkt. Bij uitval van de “master” start ik de master op de “slave” en zet ik de proxy om en loopt alles weer door zoals daarvoor.

[Arunia]

Fijn, krijg bij het opstarten van Dockker desktop de melding dat er te weinig geheugen is.
8GB ram en ik had per ongeluk de disk usage naar max gezet. Maar blijkbaar dat laatste is waar hij over valt.

Net via settings de vhdx verplaatst, maar dat helpt ook niet. Ram geheugen zit om één of andere reden ook tot 1GB over, dus dat schiet niet op. Heb 8GB ram.
Maar eens kijken of ik van alles uit kan schakelen.
Heb wel een sh bestand gevonden om containers en alles te exporteren. Desnoods maar even op mijn eigen pc docker zetten om daar mee aan de slag te gaan en te testen of de kopieen dan werken, maar eerst docker aan de praat krijgen

Na een reboot eindelijk wel weer beschikbaar. Dus toch binnenkort maar eens de containers en volumes veilig stellen en daarna even resetten. Merk dat ik toch wat knullige keuzes heb gemaakt.

[ Voor 65% gewijzigd door Arunia op 07-04-2021 13:49 ]

[Mars Warrior]

Ik heb weer wat dingen lopen wijzigen aan mijn docker setup:
Ik had eerst - omdat ik dat gewend ben - docker swarm draaien, maar maak er eigenlijk geen gebruik van, en ben nu over naar 'gewoon' docker op één van de 3 nodes.

Ik snap nu ook waarom ik altijd dingen als `container_name` en `name` moest weghalen: dat doet het niet bij een swarm, maar is wel nodig bij compose omdat je anders overal "docker-" voor de namen krijgt

Het blijkt ook net wat zuiniger te zijn: ca 0.2W om precies te zijn. Mijn oude Fujitsu Q920 (i4570T CPU, 8GB ram en 256GB Samsung SSD) bakje doet nu 3.6W in idle met dus een hele rits aan containers (die ook niks doen natuurlijk voor het overgrote deel van de tijd)

Ik heb ook een poging gedaan om btrfs te draaien, maar dat vind docker toch niet zo fijn: de docker daemon draaide ca 30% cpu. Ik denk een logging probleem ofzo. Verder niet uitgezocht, heeft nogal wat uren gekost om te achterhalen dat het aan de combi btrfs/docker lag, en niet aan iets anders.

---

Maar goed, waar ik nu eigenlijk op uitkom qua definitieve config na een hoop geknutsel, is dat ik voor een aantal services een eigen ip adres nodig heb, oftewel macvlan netwerk configuratie:

• ik heb 3 nodes met docker
• ik wil wat data tussen deze nodes gaan syncen met syncthing
• als ik een hardware probleem oid heb met 1 van de nodes, dan wil ik bepaalde services op de overgebleven nodes plaatsen (handmatig dus)

En om te voorkomen dat ik daarmee ook ip adressen moet wijzigen in bijv. mijn modem als de nginx proxy node eruit ligt, ga ik al die dingen een eigen ip adres geven.

AGH wil ik overigens sowieso op twee nodes gaan draaien. Die moet nl. DHCP en DNS doen. Nu kan ik het ff niet vinden, maar dacht dat @lolgast iets had gemaakt om twee AGH instanties te syncen. Dat zou fijn zijn!
Ik moet AGH sowieso nog uitzoeken hoe het werkt met DHCP en lokale DNS, want dat doet Pihole nu.

Ik zit ook nog met de SMTP container te puzzelen: die wil ik zowel voor het host systeem als mail relay laten werken, als voor het docker netwerk. Daar ben ik nog niet uit hoe je dat nu precies moet doen, althans het werkt nog niet

Er is maar 600MB ram in gebruik van de 7.7GB met de volgende containers:

• Nginx Proxy Manager met database, database export/backup, metrics verzamelaar richting influxdb1 en natuurlijk grafana voor weergave. De metrics kan nog niet met influxdb v2 omgaan, dus vandaar.
• Verder portainer, smtp mail, sftpgo en samba.

Dat wordt nog meer natuurlijk. Een webserver omgeving (met caching/redis/wordpress/mysql) kan zomaar een paar GB pakken, en een volledige mailserver stack is ook niet vies van een paar GB ram

[lolgast]

@Mars Warrior Ik heb inderdaad iets gemaakt om via de API voor beide AGH instances de custom regels te syncen: lolgast in "Node-RED - grafisch 'programmeren' (bijv. voor domotica)" Is inmiddesl wat verbouwd. Als je hulp wilt, [Adguard Home] Ervaringen & discussie

Waar loop je tegenaan met je SMTP container? Kun je op je host je mailrelay niet instellen door als server 127.0.0.1:25 te kiezen? Er vanuit gaande dat je je container op poort 25 naar de host doorzet

[ Voor 7% gewijzigd door lolgast op 12-04-2021 13:23 ]

[Mars Warrior]

lolgast schreef op maandag 12 april 2021 @ 13:23:
@Mars Warrior Ik heb inderdaad iets gemaakt om via de API voor beide AGH instances de custom regels te syncen: lolgast in "Node-RED - grafisch 'programmeren' (bijv. voor domotica)" Is inmiddesl wat verbouwd. Als je hulp wilt, [Adguard Home] Ervaringen & discussie

Ah. Kijk ik naar. Heeft nog geen haast vanwege de dns rewrite/protection off bug die pas in 0.107 wordt opgelost volgens de planning. Dus dat duurt nog wat maanden...

Waar loop je tegenaan met je SMTP container? Kun je op je host je mailrelay niet instellen door als server 127.0.0.1:25 te kiezen? Er vanuit gaande dat je je container op poort 25 naar de host doorzet

Hmmm. Moet ik daar op de hist ook nog wat voor doen? Dat is jammer. Hoopte dat die automagisch wel poort 25 opzoekt voor de mail. Moet ik ff gaan neuzen hoe dat moet werken dan.

Dan moet de container en luisteren op localhost/ip adres van de server waar hij op draait, en docker0 netwerk voor de containers die iets naar poort 25 sturen...

Knutsel, knutsel

[lolgast]

Grappig. Ik ben van het weekend met Docker Swarm aan het stoeien geweest. Ik loop namelijk tegen het 'probleem' aan dat ik voor Traefik met handmatige rule-bestanden moet werken voor de containers die niet op dezelfde Docker host draaien. Dat wilde ik oplossen door een Swarm te starten, maar dat voelt echt als complete overkill. Nadat ik daar achter was bleek dat de swarm init mijn complete docker netwerken kapot had gemaakt, dus alle containers moesten opnieuw gemaakt worden.

Ik heb net een nieuwe image gemaakt om de Docker API open te zetten zonder de host te hoeven aanpassen (https://hub.docker.com/r/lolgast/docker-api). Daar bestaat er al 1 voor (https://hub.docker.com/r/jarkt/docker-remote-api) maar die is al 4 jaar niet bijgewerkt en heeft daardoor een behoorlijk oude base image. Ga ik op die manier maar eens kijken of ik wat voor elkaar kan boxen

[lolgast]

@Mars Warrior Dit is misschien ook voor jou interessant https://www.docker.com/bl...osts-with-docker-compose/

[Mars Warrior]

lolgast schreef op maandag 12 april 2021 @ 15:28:
Grappig. Ik ben van het weekend met Docker Swarm aan het stoeien geweest. Ik loop namelijk tegen het 'probleem' aan dat ik voor Traefik met handmatige rule-bestanden moet werken voor de containers die niet op dezelfde Docker host draaien. Dat wilde ik oplossen door een Swarm te starten, maar dat voelt echt als complete overkill. Nadat ik daar achter was bleek dat de swarm init mijn complete docker netwerken kapot had gemaakt, dus alle containers moesten opnieuw gemaakt worden.

Haha Wat dacht je dat er bij mij gebeurde na het commando docker swarm leave -f
Zelfs portainer was kapottos! Naast alle named volumes en de netwerken...

Ik heb jaren geleden een swarm opgezet voor mijn baas: 5 managers (met een VIP) en een hele rits workers. En dat op die 14-core Xeons tegen echte Intel prijzen. 15x14 = 210 cores

Dus daar heb ik het geleerd. Thuis is het wat lastig omdat je formeel minimaal 3 managers moet hebben om correct de uitval van 1 manager aan te kunnen. En aangezien ik thuis wat usb sticks gebruik zitten de meeste apps toch vast op 1 fysieke node. Daarnaast is shared storage ook een dingetje...

Ik heb net een nieuwe image gemaakt om de Docker API open te zetten zonder de host te hoeven aanpassen (https://hub.docker.com/r/lolgast/docker-api). Daar bestaat er al 1 voor (https://hub.docker.com/r/jarkt/docker-remote-api) maar die is al 4 jaar niet bijgewerkt en heeft daardoor een behoorlijk oude base image. Ga ik op die manier maar eens kijken of ik wat voor elkaar kan boxen

Ik ben niet helemaal helder, dus ff geen idee wat je nu aan het oplossen bent

lolgast schreef op maandag 12 april 2021 @ 16:25:
@Mars Warrior Dit is misschien ook voor jou interessant https://www.docker.com/bl...osts-with-docker-compose/

Die is weer echt leuk. Kan ik vanuit 1 node toch wat beheer van de andere 2 doen, of het met een scriptje automatiseren. Die mogelijkheid was ik nog niet tegengekomen. Fijn

[lolgast]

Via de API kun je ook remote connecten. Bijvoorbeeld 1 Portainer met verbinding naar meerdere endpoints. Maar ook management via simpelweg REST is mogelijk

[Mars Warrior]

lolgast schreef op maandag 12 april 2021 @ 22:35:
Via de API kun je ook remote connecten. Bijvoorbeeld 1 Portainer met verbinding naar meerdere endpoints. Maar ook management via simpelweg REST is mogelijk

Aha. Die container maakt dan lokaal een poort / endpoint voor Portainer beschikbaar, maar connect naar de andere node? Of draait die container op de andere node, en connect Portainer over het netwerk met die poort/endpoint?

Het vervangt dus in ieder geval de Portainer Agent functionaliteit als ik het goed begrijp. En die werkt dacht ik enkel in een Swarm omgeving, want nu met mijn docker-compose opzet komt er geen agent in voor.

Edit:
Ik denk nu dat je deze optie in Portainer bedoelt. Daar staat bovenaan ook iets over de docker api:

[ Voor 24% gewijzigd door Mars Warrior op 12-04-2021 23:31 ]

[lolgast]

@Mars Warrior Klopt ja, die functie van Portainer bedoel ik. Op elke Docker host/node draait die API container en vervolgens kun je over je netwerk connecten naar de verschillende omgevingen vanuit 1 Portainer. Nadeel is je dat elke keer de juiste 'Endpoint' moet kiezen in Portainer om alles te kunnen beheren, maar het geeft in ieder geval wat gemak.

Maar via diezelfde REST api kun je alle containers/images/wat je wilt uitlezen/beheren in JSON formaat. Dus ik ga even kijken of ik op die manier zaken kan automatiseren. Images updaten, container statussen uitlezen. Die hele API is behoorlijk goed gedocumenteerd: https://docs.docker.com/engine/api/v1.41/#

[technorabilia]

@lolgast
Ik heb er deze week toevallig ook naar gekeken. De API is inderdaad makkelijk te benaderen. Zelf gebruik ik Postman en importeer het YAML schema.

Om te proberen heb ik naast de unix domain socket een tcp socket aangemaakt waarop je kunt communiceren. Maar ik feite zet je dan je hele omgeving open. Ik moet nog kijken hoe dit te beveiligen is. Zie hier.

Ik heb er hier nog e.e.a. over opgeschreven. Ter vermaak...

[Mars Warrior]

Ik wilde verschillende subnetten als vlan, maar wel gewoon gebruik maken van dezelfde gateway. Daarvan heb ik er namelijk maar één op mijn netwerk (vziw).

Maar dat mag dus niet van docker, je mag maar éénmalig een gateway definieren voor een macvlan subnet.

Pfffffffffffffffffffffffffffffffffffffffffffffffffffffffffff

Maar gelukkig blijkt dat je meerdere subnetten kunt configureren binnen één macvlan:

YAML:

  network_vlan:
    driver: macvlan
    driver_opts:
      # Parent should be given using .env to be server independent...
      parent: $MACVLAN_PARENT
    ipam:
      driver: default
      config:
        # HostMin: .161, HostMax: .174, Hosts/Net: 14, Broadcast: .175
        - subnet: 192.168.22.0/24
          ip_range: 192.168.22.160/28
          gateway: 192.168.22.254

        # HostMin: .177, HostMax: .190, Hosts/Net: 14, Broadcast: .191
        - subnet: 192.168.22.0/24
          ip_range: 192.168.22.176/28

Dan maar één macvlan. Zal mij een zorg zijn!

Ik kan nu containers op een willekeurige server starten waarbij ze altijd op hetzelfde ip adres (en sub-domein) bereikbaar zijn. Zal niet vaak nodig zijn ivm kapotte hardware, maar wel fijn als ik een server wil upgraden/wijzigen, dan kan ik de belangrijkste services tenminste ff op één van de 2 andere servers gooien.

Een andere keer eens kijken hoe ik het eenvoudigst de data van de services ook beschikbaar kan maken op de andere servers. Syncthing? Backup/restore scriptje? Github? Of iets anders

Nu macvlan werkt zoals ik het wil zijn eerst samba en smtp aan de beurt om goed werkend te krijgen

[Webgnome]

vandaag mijn docker geupdate naar de laatste windows installable. Nu maakt deze standaard gebruik van wsl2 en nu begint het gedoe. Ik heb een elasticsearch via deze rpo en daar krijg ik nu bij het booten ineens deze fout. Nu snap ik zelf even niet hoe ik dit op kan lossen. Iemand een idee? Ik kan de stcdl (of hoe het heet) niet aanpassen want dat is voor elke docker hetzelfde (denk ik?). Iemand een idee?

[s0ulmaster]

Vandaag kreeg ik allerlei vage foutmeldingen bij het runnen van mijn containers met podman...

Na wat onderzoek werk blijkt...im onze versie (1.4.2) zit nog een bug waardoor containers met dezelfde base image, blijkbaar conflicten opleveren

Ik kan helaas alleen niet snel even upgraden naar een nieuwe versie van podman....

Soms ben ik die containers liever kwijt dan rijk (maar meestal niet hoor )

[technorabilia]

@Webgnome
Die setting zet je in de docker-desktop container.

[Mars Warrior]

WTF: IPv6 disabled on my computer but docker network seems looking for it.

Als je - zoals ik - ipv6 hebt gedisabled op je Ubuntu bakje (in grub), dan start er geen enkele container meer met de laatste versie van docker-ce .

Nou ja, dan maar ipv6 weer aanzetten, toch?

Dit zijn de foutmeldingen die ik nu krijg:

code:

ERROR: for smtp  Cannot start service smtp: driver failed programming external connectivity on endpoint infra-smtp (672cf1652e4f4ed9ea38f24dbcc44286004df29cecc9cfb6d8c8e54561f80d4e): Error starting userland proxy: listen tcp6 [::]:25: socket: address family not supported by protocol

Welke nitwit heeft dit nu weer bedacht

[ Voor 5% gewijzigd door Mars Warrior op 20-04-2021 15:16 ]

[Mars Warrior]

Updeetje voor @lolgast smtp

Ik kan nu eindelijk mailen vanuit een container. Bleek dat er een probleempje was met of Ubuntu of Docker als het gaat om mijn lokale DNS (PiHole nog) te gebruiken voor het resolven van mijn lokale mailserver. Ik kreeg nu het externe adres, en dat werkt niet natuurlijk!

Ik kan nu dus een mail vanuit een container sturen:

code:

sendmail -S infra-smtp [e-mail]
From: [e-mail]
Eindelijk een mail!

De infra-smtp container stuurt hem dan netjes door naar mijn mailserver (die ik ook lokaal ergens draai, nog in een VM , maar dat moet dus nog iets van mailcow oid worden denk ik)

Nu wil ik ook nog mailen vanaf de console van mijn Ubuntu bakje. Is er nog een voorkeur voor welk package daar het fijnste voor is? Want Linux, dus tig opties, of gewoon mail-utils doen?

Sendmail heeft blijkbaar tig opties namelijk:

code:

Command 'sendmail' not found, but can be installed with:

sudo apt install lsb-invalid-mta     # version 11.1.0ubuntu2, or
sudo apt install exim4-daemon-heavy  # version 4.93-13ubuntu1.1
sudo apt install exim4-daemon-light  # version 4.93-13ubuntu1.1
sudo apt install postfix             # version 3.4.13-0ubuntu1
sudo apt install citadel-server      # version 917-4
sudo apt install courier-mta         # version 1.0.6-1build2
sudo apt install dma                 # version 0.12-1
sudo apt install esmtp-run           # version 1.2-17
sudo apt install masqmail            # version 0.3.4-1build1
sudo apt install msmtp-mta           # version 1.8.6-1
sudo apt install nullmailer          # version 1:2.2-3
sudo apt install opensmtpd           # version 6.6.4p1-1
sudo apt install qmail-run           # version 2.0.2+nmu1
sudo apt install sendmail-bin        # version 8.15.2-18
sudo apt install ssmtp               # version 2.64-8.1ubuntu1

Het moet simpel zijn, dus geen postfix enzo, want die heb ik al in een container zitten immers...

[lolgast]

@Mars Warrior Lekker bezig. Houdt je van de straat. Vwb je package vraag. Veel zal potato/potáto zijn maar ik zou zelf exim4-daemon-light kiezen. Dat is ook wat het werk doet in de ixdotai/smtp container.

Zelf de afgelopen dagen druk bezig geweest met het inbouwen van een healthcheck in de images die ik inmiddels beheer.

[Mars Warrior]

lolgast schreef op dinsdag 20 april 2021 @ 19:27:
@Mars Warrior Lekker bezig. Houdt je van de straat. Vwb je package vraag. Veel zal potato/potáto zijn maar ik zou zelf exim4-daemon-light kiezen. Dat is ook wat het werk doet in de ixdotai/smtp container.

Ik wil gebruik maken van de container. Heb nl port 25 doorgezet naar de host.
Ik heb dus geen tweede smtp server nodig, enkel een proggie die vanaf de cli gebruik maakt van port 25 om de mail te versturen.

Daarmee zijn de credentials om in te loggen op de smarthost enkel beschikbaar in de smtp container. Ik vermoed dat ik dus enkel iets als sendmail ofzo nodig heb of iets vergelijkbaars als ssmtp...

Zelf de afgelopen dagen druk bezig geweest met het inbouwen van een healthcheck in de images die ik inmiddels beheer.

Dat is leuk! Wat voegt die health check toe? Als het kreng hangt, dat de container wordt geherstart?

[lolgast]

@Mars Warrior Dat zou jij als ex swarm-gebruiker toch moeten weten
Maar de health-status wordt bijvoorbeeld door swarm gebruikt. Status unhealthy -> spinup vervangende container.
Maar ook zonder swarm kun je dat (via de API bijvoorbeeld) vrij eenvoudig zelf regelen wanneer een container unhealthy is.

[Mars Warrior]

lolgast schreef op dinsdag 20 april 2021 @ 21:23:
@Mars Warrior Dat zou jij als ex swarm-gebruiker toch moeten weten
Maar de health-status wordt bijvoorbeeld door swarm gebruikt. Status unhealthy -> spinup vervangende container.
Maar ook zonder swarm kun je dat (via de API bijvoorbeeld) vrij eenvoudig zelf regelen wanneer een container unhealthy is.

Oja, dat is waar Unhealthy containers die maar blijven hertarten, ondanks dat ze healthy zijn, maar door een bug dus omgekeerd werden gemeld door de container.

Altijd leuk zo’n upgrade bij een klant

Zie het nu ook in Portainer waar een paar containers healthy/unhealthy melden, dus met docker-compose werkt dat ook.

Bij een reboot van de host heb ik last gehad van crashende/stoppende containers door foutmeldingen in de s6 overlay. Schijnt een bekende bug/probleem te zijn, en nog niet opgelost...

Heb nu maar overal restart=always of unless-stopped toegevoegd. Nu start alles weer op na een reboot

[lolgast]

@Mars Warrior Je kunt ook zelf (overrulende) healthchecks opgeven in de docker-compose.yml.
https://docs.docker.com/c...pose-file-v2/#healthcheck

Het lastige van die dingen is dat je in principe maar 1 command kan opgeven. Als je 2 voorwaarden wilt controleren ben je al verplicht het via een script te doen. En dat kan/wil niet iedereen denk ik Zoals bijvoorbeeld AdGuardHome. Die is bereikbaar op poort 3000 als de configuratie nog niet is afgerond en op (meestal) 80 als dat wel het geval is. Is hij unhealthy als de config niet is doorlopen maar alles goed draait? Nee ik vind van niet. Dus dan moet je nadenken om dat af te vangen