Mosquitto niet werkend te krijgen over LAN

[Plenkske]

Situatie
Raspberry Pi 3 met debian buster als linux versie
Hierop draait Domoticz, Monit, Zigbee2MQTT (en dus mosquitto, local), Dashticz
Dit werkt allemaal goed.

Wat wil ik werkend krijgen
Op een ESP32 wil ik via MQTT wat berichtjes sturen naar de rpi.
Mosquitto heb ik dus draaien op de rpi. Je zou denken: nou simpel. Verbinding daarmee maken en klaar.
Helaas werkt dat dus niet. Ik krijg geen verbinding. "Connection refused".

Wat heb ik vervolgens gedaan
Mosquitto ge-update op de rpi, en ook zigbee2mqtt ge-update.
Dat werkt prima, het is op de localhost.
Mosquitto heeft vanaf versie 2 een andere config nodig. Dit heb ik dan ook aangepast.
De listener 1883 toegevoegd en allow_anonymous. Die laatste op zowel true als false (met dus authenticatie) geprobeerd.
Dat werkt allemaal binnen localhost wel, maar vanuit een andere machine in het LAN niet. Dit test ik dan vanaf een windows laptop, met de tool MQTTX. Ook heb ik nog een python mqtt ping script gevonden, maar die krijgt ook geen verbinding.

Ook als ik mosquitto weer terugzet naar versie 1.6.x dan werkt alles op de localhost, maar op een andere machine niet.

Dit heb ik nog extra getest
Omdat ik dacht dat het misschien aan de router ligt binnen mijn netwerk, heb ik Dashticz (dat is een webapplicatie) op port 1883 gezet.
Dat werkt gewoon. Dus ik denk dat het probleem niet bij de router (of die port) ligt.

Ook heb ik op mijn windows laptop de mosquitto broker aangezet, maar vervolgens krijg ik vanuit een andere windows machine ook geen verbinding daarmee. En ook niet vanuit de rpi.


Op de windows laptop heb ik firewall regels toegevoegd zodat 1883 en de mosquitto broker zijn toegestaan.

Concreet mijn vragen
Heeft iemand de gouden tip om mqtt werkend te krijgen vanuit andere apparaten in mijn LAN ?
Wat kan ik nog testen ? Waar kan ik nog zoeken om dit op te lossen ?

Vele tips die via google te vinden zijn, lossen het probleem bij mij helaas niet op.

[jobr]

Plenkske schreef op woensdag 29 november 2023 @ 17:39:

Heeft iemand de gouden tip om mqtt werkend te krijgen vanuit andere apparaten in mijn LAN ?
Wat kan ik nog testen ? Waar kan ik nog zoeken om dit op te lossen ?

Kijk eens in de logfile van Mosquitto.

Doe eens: netstat -an |grep 1883 |grep LISTEN
Dan moet je zoiets krijgen:
tcp 0 0 0.0.0.0:1883 0.0.0.0:* LISTEN

Dan luistert deze op alle ip-adressen.
Als je alleen iets met 127.0.0.1 oid krijgt dan is dat je probleem.

En als je alleen iets krijgt zoals:
tcp6 0 0 :::1883 :::* LISTEN

Dan luistert deze alleen op ipv6.

[ Voor 11% gewijzigd door jobr op 29-11-2023 18:29 ]

[Plenkske]

@jobr

De log helpt me niets verder. Want blijkbaar komt er niets binnen als ik van een andere machine verbinding probeer te maken.
Netstat levert inderdaad dat resultaat op.

[Verwijderd]

Typ eens in terminal:
sudo ufw status verbose

Wat zie je als output?

Edit: nee, ik denk niet dat ufw enabled zal zijn, maar uit de documentatie van monit dit gevonden:


Host and network allow list

Monit maintains an access-control list of hosts and networks allowed to connect. You can add as many hosts as you want to, but only hosts with a valid domain name or its IP address are allowed.

Monit will query a name server to check any hosts trying to connect. If a host (client) is trying to connect, but cannot be found in the access list or cannot be resolved, Monit will shutdown the connection to the client promptly.

Control file example:

set httpd port 2812
allow localhost
allow my.other.work.machine.com
allow 10.1.1.1
allow 192.168.1.0/255.255.255.0
allow 10.0.0.0/8
Clients, not mentioned in the allow list and trying to connect to Monit will be denied access and are logged with their IP-address.

Volgens mij is dit je oplossing

[ Voor 87% gewijzigd door Verwijderd op 29-11-2023 20:19 ]

[Plenkske]

Verwijderd schreef op woensdag 29 november 2023 @ 20:07:
Typ eens in terminal:
sudo ufw status verbose

Wat zie je als output?

Edit: nee, ik denk niet dat ufw enabled zal zijn, maar uit de documentatie van monit dit gevonden:


Host and network allow list

Monit maintains an access-control list of hosts and networks allowed to connect. You can add as many hosts as you want to, but only hosts with a valid domain name or its IP address are allowed.

Monit will query a name server to check any hosts trying to connect. If a host (client) is trying to connect, but cannot be found in the access list or cannot be resolved, Monit will shutdown the connection to the client promptly.

Control file example:

set httpd port 2812
allow localhost
allow my.other.work.machine.com
allow 10.1.1.1
allow 192.168.1.0/255.255.255.0
allow 10.0.0.0/8
Clients, not mentioned in the allow list and trying to connect to Monit will be denied access and are logged with their IP-address.

Volgens mij is dit je oplossing

Volgens mij is ufw niet enabled, maar ik zal het checken.
Monit is een goeie, maar er staat "trying to connect to Monit". Monit draait op port 2812 en daar kan ik gewoon bij. Dat is het dus denk ik niet, maar ik zal het voor de zekerheid nakijken.
Verklaart namelijk ook niet waarom ik mosquitto ook niet werkend krijg van windows(broker) naar andere windows(client).

[Plenkske]

@Verwijderd
ufw is not found, dus inderdaad niet enabled
Monit config nagekeken en die staat goed. Monit ook nog eens herstart. Maar dat maakt zoals verwacht geen verschil.

@jobr
Nog eens de netstat geprobeerd, maar dat staat echt goed.

[noo]

Plenkske schreef op woensdag 29 november 2023 @ 17:39:
Situatie
Raspberry Pi 3 met debian buster als linux versie
Hierop draait Domoticz, Monit, Zigbee2MQTT (en dus mosquitto, local), Dashticz
Dit werkt allemaal goed.

Wat wil ik werkend krijgen
Op een ESP32 wil ik via MQTT wat berichtjes sturen naar de rpi.
Mosquitto heb ik dus draaien op de rpi. Je zou denken: nou simpel. Verbinding daarmee maken en klaar.
Helaas werkt dat dus niet. Ik krijg geen verbinding. "Connection refused".

Wat heb ik vervolgens gedaan
Mosquitto ge-update op de rpi, en ook zigbee2mqtt ge-update.
Dat werkt prima, het is op de localhost.
Mosquitto heeft vanaf versie 2 een andere config nodig. Dit heb ik dan ook aangepast.
De listener 1883 toegevoegd en allow_anonymous. Die laatste op zowel true als false (met dus authenticatie) geprobeerd.
Dat werkt allemaal binnen localhost wel, maar vanuit een andere machine in het LAN niet. Dit test ik dan vanaf een windows laptop, met de tool MQTTX. Ook heb ik nog een python mqtt ping script gevonden, maar die krijgt ook geen verbinding.

Ook als ik mosquitto weer terugzet naar versie 1.6.x dan werkt alles op de localhost, maar op een andere machine niet.

Dit heb ik nog extra getest
Omdat ik dacht dat het misschien aan de router ligt binnen mijn netwerk, heb ik Dashticz (dat is een webapplicatie) op port 1883 gezet.
Dat werkt gewoon. Dus ik denk dat het probleem niet bij de router (of die port) ligt.

Ook heb ik op mijn windows laptop de mosquitto broker aangezet, maar vervolgens krijg ik vanuit een andere windows machine ook geen verbinding daarmee. En ook niet vanuit de rpi.


Op de windows laptop heb ik firewall regels toegevoegd zodat 1883 en de mosquitto broker zijn toegestaan.

Concreet mijn vragen
Heeft iemand de gouden tip om mqtt werkend te krijgen vanuit andere apparaten in mijn LAN ?
Wat kan ik nog testen ? Waar kan ik nog zoeken om dit op te lossen ?

Vele tips die via google te vinden zijn, lossen het probleem bij mij helaas niet op.

In /etc/mosquitto/mosquitto.conf toevoegen:

code:

bind_interface eth0

en mosquitto herstarten.

[synoniem]

Welke informatie staat er in je ESP32 voor de MQTT connectie? En welke in MQTTX?

[daxy]

Ik draai Mosquitto in Docker, maar mijn config is heel erg basic. Staan de rechten en user:group van de files/folders wel goed? Mosquitto is daar (met Docker in ieder geval) best streng in.

Dit is mijn config:

code:

persistence true
persistence_location /mosquitto/data
log_dest file /mosquitto/log/mosquitto.log

per_listener_settings false
listener 1883
password_file /mosquitto/config/passwd.conf
allow_anonymous false

#log_type debug
log_type error
log_type warning
log_type notice
log_type information

In passwd.conf staat 1 user die ik overal gebruik, kijk hier even hoe je die aanmaakt: https://mosquitto.org/documentation/authentication-methods/

Dit werkt al jaren, ook met versie 2.
Kan je evt jouw config hier neerzetten?

[Plenkske]

noo schreef op donderdag 30 november 2023 @ 12:41:
[...]


In /etc/mosquitto/mosquitto.conf toevoegen:

code:

bind_interface eth0

en mosquitto herstarten.

Ik heb dit zojuist geprobeerd, maar dat helpt niet.
Aangezien mijn rpi is verbonden over wifi heb ik ook wlan0 interface geprobeerd, maar ook geen verschil.
Uiteraard kan mijn zigbee2mqtt niet meer connecten met deze setting, omdat die via localhost connect.
Dit geeft zigbee2mqtt aan
MQTT error: connect ECONNREFUSED 127.0.0.1:1883

Uiteraard werkt het direct weer als ik deze bind_interface weghaal.

[Plenkske]

synoniem schreef op donderdag 30 november 2023 @ 12:45:
Welke informatie staat er in je ESP32 voor de MQTT connectie? En welke in MQTTX?

In beide hetzelfde.
ip adres, username en wachtwoord
Username en wachtwoord heb ik nog eens gecheckt in de configuratie van zigbee2mqtt. En die klopt gewoon.

De ESP32 geeft een connection refused code aan.
Code -2 is dat in dit lijstje

code:

Returns
-4 : MQTT_CONNECTION_TIMEOUT - the server didn't respond within the keepalive time
-3 : MQTT_CONNECTION_LOST - the network connection was broken
-2 : MQTT_CONNECT_FAILED - the network connection failed
-1 : MQTT_DISCONNECTED - the client is disconnected cleanly
0 : MQTT_CONNECTED - the client is connected
1 : MQTT_CONNECT_BAD_PROTOCOL - the server doesn't support the requested version of MQTT
2 : MQTT_CONNECT_BAD_CLIENT_ID - the server rejected the client identifier
3 : MQTT_CONNECT_UNAVAILABLE - the server was unable to accept the connection
4 : MQTT_CONNECT_BAD_CREDENTIALS - the username/password were rejected
5 : MQTT_CONNECT_UNAUTHORIZED - the client was not authorized to connect

MQTTX geeft in de log alleen maar "connect close" , na "connect client .... "


En het mqtt-ping script, die een pingtest doet, geeft terug: cant connect to broker.

[MijnCommentaar]

ik heb dit ook gehad, ik dacht het opgelost te hebben met het de-installeren van mosquitto en opnieuw installeren.

[Plenkske]

daxy schreef op donderdag 30 november 2023 @ 14:13:
Ik draai Mosquitto in Docker, maar mijn config is heel erg basic. Staan de rechten en user:group van de files/folders wel goed? Mosquitto is daar (met Docker in ieder geval) best streng in.

Dit is mijn config:

code:

persistence true
persistence_location /mosquitto/data
log_dest file /mosquitto/log/mosquitto.log

per_listener_settings false
listener 1883
password_file /mosquitto/config/passwd.conf
allow_anonymous false

#log_type debug
log_type error
log_type warning
log_type notice
log_type information

In passwd.conf staat 1 user die ik overal gebruik, kijk hier even hoe je die aanmaakt: https://mosquitto.org/documentation/authentication-methods/

Dit werkt al jaren, ook met versie 2.
Kan je evt jouw config hier neerzetten?

Het draait bij mij niet in docker (zover ik weet/kan zien ?!) Dus volgens mij geen issues met rechten.

Mijn config op dit moment, met versie 1.6.12:

code:

persistence true
persistence_location /mosquitto/data

log_dest file /mosquitto/log/mosquitto.log

per_listener_settings false
allow_anonymous false
password_file /mosquitto/config/passwd

Uiteraard heb ik versie 2.x ook geprobeerd, zoals ik in de TS zei, met daarbij listener 1883 in de config. Maar in de versies voor 2 heb je die niet nodig.

Password file heb ik inderdaad ook 1 user/pass , die ik dus ook heb ingesteld in zigbee2mqtt en dat werkt. Inderdaad aangemaakt via die mosquitto_passwd.

Dit geeft mosquitto als log aan na een restart.

code:

1701350297: mosquitto version 1.6.12 starting
1701350297: Config loaded from /etc/mosquitto/mosquitto.conf.
1701350297: Opening ipv4 listen socket on port 1883.
1701350297: Opening ipv6 listen socket on port 1883.
1701350297: mosquitto version 1.6.12 running
1701350298: New connection from 127.0.0.1 on port 1883.
1701350298: New client connected from 127.0.0.1 as mqttjs_839510b6 (p2, c1, k60, u'mqttroot').
1701350298: New connection from 127.0.0.1 on port 1883.
1701350298: New client connected from 127.0.0.1 as Domoticz_1700651253_8928 (p2, c1, k60, u'mqttroot').

De connecties die meteen starten zijn zigbee2mqtt en domoticz.
Als ik probeer te verbinden vanaf een andere machine in mijn LAN komt er dus niets in de log.

[Plenkske]

MijnCommentaar schreef op donderdag 30 november 2023 @ 14:36:
ik heb dit ook gehad, ik dacht het opgelost te hebben met het de-installeren van mosquitto en opnieuw installeren.

Ik heb intussen al meerdere versies van mosquitto geprobeerd.
Geen idee of compleet de-installeren dan nog verschil kan maken ?

[MijnCommentaar]

3 minuten werk en je weet het

[synoniem]

Het lijkt er op dat mosquitto alleen luistert op je localhost (127.0.0.1). Al een keer de opties bind_interface of bind_address geprobeerd?

[EricVdb500]

probeer dit in je mosquitto config:

code:

listener 1883 0.0.0.0

[Plenkske]

MijnCommentaar schreef op donderdag 30 november 2023 @ 14:42:
3 minuten werk en je weet het

Ik heb dit zojuist gedaan met commando:
sudo apt-get remove mosquitto*

En vervolgens versie 1.6.12 weer terug geïnstalleerd met commando:
sudo apt install mosquitto=1.6.12-0mosquitto-buster1

Geen foutmeldingen.
Mosquitto draaide meteen weer na installatie.
Maar helaas geen verschil...

[Plenkske]

synoniem schreef op donderdag 30 november 2023 @ 14:56:
Het lijkt er op dat mosquitto alleen luistert op je localhost (127.0.0.1). Al een keer de opties bind_interface of bind_address geprobeerd?

Netstat commando:
netstat -an |grep 1883 |grep LISTEN
Geeft gewoon dit terug:

code:

tcp        0      0 0.0.0.0:1883            0.0.0.0:*               LISTEN
tcp6       0      0 :::1883                 :::*                    LISTEN

Bind_interface inderdaad eerder vandaag geprobeerd. Zie Plenkske in "Mosquitto niet werkend te krijgen over LAN"

[Plenkske]

EricVdb500 schreef op donderdag 30 november 2023 @ 15:41:
probeer dit in je mosquitto config:

code:

listener 1883 0.0.0.0

Zoals gezegt is die alleen nodig in versie 2.x van mosquitto
En dat heb ik geprobeerd.
Maar geen verschil.

[MijnCommentaar]

probeer eens vanaf je pc of je de mqqt server kan pingen met psping x.x.x.x:1883
je moet dan een reply krijgen

[Plenkske]

MijnCommentaar schreef op donderdag 30 november 2023 @ 15:56:
probeer eens vanaf je pc of je de mqqt server kan pingen met psping x.x.x.x:1883
je moet dan een reply krijgen

PsPing kende ik nog niet, even gedownload van de microsoft site.

Als ik port 8080 doe, waar Domoticz op draait, krijg ik dit:

code:

TCP connect to 192.168.1.27:8080:
5 iterations (warmup 1) ping test:
Connecting to 192.168.1.27:8080 (warmup): from 192.168.1.50:56127: 5.96ms
Connecting to 192.168.1.27:8080: from 192.168.1.50:56128: 2.56ms
Connecting to 192.168.1.27:8080: from 192.168.1.50:56129: 8.23ms
Connecting to 192.168.1.27:8080: from 192.168.1.50:56130: 5.71ms
Connecting to 192.168.1.27:8080: from 192.168.1.50:56132: 2.92ms

En zoals verwacht, bij port 1883 krijg ik dit:

code:

TCP connect to 192.168.1.27:1883:
5 iterations (warmup 1) ping test:
Connecting to 192.168.1.27:1883 (warmup): from 0.0.0.0:56176:
This operation returned because the timeout period expired.
Connecting to 192.168.1.27:1883: from 0.0.0.0:56180:
This operation returned because the timeout period expired.
Connecting to 192.168.1.27:1883: from 0.0.0.0:56182:
This operation returned because the timeout period expired.
Connecting to 192.168.1.27:1883: from 0.0.0.0:56185:
This operation returned because the timeout period expired.
Connecting to 192.168.1.27:1883: from 0.0.0.0:56187:
This operation returned because the timeout period expired.

TCP connect statistics for 192.168.1.27:1883:
  Sent = 4, Received = 0, Lost = 4 (100% loss),
  Minimum = 0.00ms, Maximum = 0.00ms, Average = 0.00ms

Dan is natuurlijk de vraag: waar komt het verkeer er niet doorheen.
Zoals ik in de TS zeg heb ik Dashticz (webapplicatie) op port 1883 geprobeerd, en dat werkte direct. Daarna heb ik dashticz weer teruggezet op de oorspronkelijke port.

[DataGhost]

Kan je op je Pi zowel verbinding maken met localhost:1883 als 192.168.1.27:1883? En maakt het verschil als je de config weer terugzet zoals het in dit bericht was? Heb je toevallig toch iptables-regels of vergelijkbare firewall-regels staan op die Pi?

[MijnCommentaar]

is de moquitto service wel gestart, dat heb ik nog niet gelezen ?

systemctl status mosquitto.service

[Plenkske]

MijnCommentaar schreef op donderdag 30 november 2023 @ 16:11:
is de moquitto service wel gestart, dat heb ik nog niet gelezen ?

systemctl status mosquitto.service

Uiteraard draait die, controleer ik elke keer. Zigbee2mqtt maakt er gebruik van (via localhost) en dat werkt volledig. Vanuit daar krijg ik gewoon berichten binnen.

[MijnCommentaar]

Het lijkt dan op een firewall die het verkeer blokkeerd maar je zegt dat die niet draait.

dit is mijn moquitto.conf file

listener 1883 0.0.0.0
allow_anonymous true

[Plenkske]

DataGhost schreef op donderdag 30 november 2023 @ 16:10:
Kan je op je Pi zowel verbinding maken met localhost:1883 als 192.168.1.27:1883? En maakt het verschil als je de config weer terugzet zoals het in dit bericht was? Heb je toevallig toch iptables-regels of vergelijkbare firewall-regels staan op die Pi?

Als ik op de pi via mosquitto_sub een verbinding probeer te leggen met localhost, of 192.168.1.27, dan werkt dat beide. Ook nmap op beide werkt.
Log van mosquitto.log als ik mosquitto_sub doe:

code:

1701357908: New connection from 192.168.1.27 on port 1883.
1701357908: New client connected from 192.168.1.27 as auto-458B123D-C28A-4722-A939-FA6FB79EE7C8 (p2, c1, k60, u'mqttroot').
1701357910: Client auto-458B123D-C28A-4722-A939-FA6FB79EE7C8 disconnected.
1701357997: New connection from 127.0.0.1 on port 1883.
1701357997: New client connected from 127.0.0.1 as auto-0BEE7D22-558D-5E67-C12A-9917C273BBAF (p2, c1, k60, u'mqttroot').
1701357998: Client auto-0BEE7D22-558D-5E67-C12A-9917C273BBAF disconnected.

Welke config bedoel je precies ? Je link gaat naar de post met bind_interface. Maar dat hielp niets.

iptables heb ik naar gekeken, maar volgens mij is er niks bijzonders.
dit is de volledige output van iptables -L

code:

Chain INPUT (policy ACCEPT)
target     prot opt source               destination
ACCEPT     udp  --  anywhere             anywhere
ACCEPT     all  --  anywhere             anywhere
REJECT     all  --  anywhere             127.0.0.0/8          reject-with icmp-port-unreachable
ACCEPT     all  --  anywhere             anywhere             ctstate RELATED,ESTABLISHED
ACCEPT     tcp  --  anywhere             anywhere             tcp dpt:http
ACCEPT     tcp  --  anywhere             anywhere             tcp dpt:https
ACCEPT     tcp  --  anywhere             anywhere             tcp dpt:http-alt
ACCEPT     tcp  --  anywhere             anywhere             tcp dpt:8082
ACCEPT     tcp  --  anywhere             anywhere             tcp dpt:2812
ACCEPT     tcp  --  anywhere             anywhere             state NEW tcp dpt:ssh
           tcp  --  anywhere             anywhere             state NEW recent: SET name: ssh side: source mask: 255.255.255.255 tcp dpt:ssh
ACCEPT     tcp  --  anywhere             anywhere             state NEW ! recent: CHECK seconds: 60 hit_count: 4 name: ssh side: source mask: 255.255.255.255 tcp dpt:ssh
ACCEPT     icmp --  anywhere             anywhere             icmp echo-request
LOG        all  --  anywhere             anywhere             limit: avg 5/min burst 5 LOG level debug prefix "iptables denied: "
DROP       all  --  anywhere             anywhere

Chain FORWARD (policy DROP)
target     prot opt source               destination
DOCKER-USER  all  --  anywhere             anywhere
DOCKER-ISOLATION-STAGE-1  all  --  anywhere             anywhere
ACCEPT     all  --  anywhere             anywhere             ctstate RELATED,ESTABLISHED
DOCKER     all  --  anywhere             anywhere
ACCEPT     all  --  anywhere             anywhere
ACCEPT     all  --  anywhere             anywhere
DROP       all  --  anywhere             anywhere

Chain OUTPUT (policy ACCEPT)
target     prot opt source               destination
ACCEPT     all  --  anywhere             anywhere

Chain DOCKER (1 references)
target     prot opt source               destination

Chain DOCKER-ISOLATION-STAGE-1 (1 references)
target     prot opt source               destination
DOCKER-ISOLATION-STAGE-2  all  --  anywhere             anywhere
RETURN     all  --  anywhere             anywhere

Chain DOCKER-ISOLATION-STAGE-2 (1 references)
target     prot opt source               destination
DROP       all  --  anywhere             anywhere
RETURN     all  --  anywhere             anywhere

Chain DOCKER-USER (1 references)
target     prot opt source               destination
RETURN     all  --  anywhere             anywhere

Docker regels zijn aanwezig omdat Dashticz in een docker draait.

[DataGhost]

Ehhhhhhhh
je accept verkeer op 80, 443, 8082, 2812 en nog een paar, daarna drop je de rest. Dus je firewall staat dicht.

[Plenkske]

DataGhost schreef op donderdag 30 november 2023 @ 16:34:
Ehhhhhhhh
je accept verkeer op 80, 443, 8082, 2812 en nog een paar, daarna drop je de rest. Dus je firewall staat dicht.

Wauw. Die DROP heb ik compleet overheen gekeken.

Eureka ! Dat is het.
Thanks !!

Waarschijnlijk maakte dashticz dus een allow regel aan op die port... dus op het verkeerde been gezet met de gedachte dat het niet aan een firewall kan liggen.

Maar na alle tests moest het wel iets zijn in het verkeer wat het tegenhield...

[ Voor 7% gewijzigd door Plenkske op 30-11-2023 16:47 ]