Domoticz --> Influxdb --> Grafana

[MdO82]

Mijn vraag:

Ik ben de afgelopen dagen bezig geweest om de data van Domoticz door te sturen naar Influxdb met Grafana, maar ik loop een beetje vast en hoop nu wat tips en adviezen te krijgen om weer verder te kunnen

Relevante software en hardware die ik gebruik

Raspberry Pi 1b+ met Raspbian Stretch

Wat ik al gevonden of geprobeerd heb
...

Ik was een beetje in het Raspberry-topic bezig geweest omdat ik influx niet draaiend kreeg en daarna dus ook grafana niet.

MdO82 schreef op donderdag 15 maart 2018 @ 14:32:
Hopelijk kan iemand mij een hint geven

Ik ben op dit moment bezig met Influxdb en Grafana.
Via deze tutorial probeer ik het een en ander te installeren op mijn Rpi
https://www.circuits.dk/install-grafana-influxdb-raspberry/

Tot aan dit stukje gaat alles goed:

code:

Restart InfluxDB after modifying the file: sudo service influxdb restart

Echter na een herstart van influxdb heb ik geen website met de melding "404 page not found"
En als ik via de command influx intik dan krijg ik de volgende melding :

@raspberrypi:~ $ influx
Failed to connect to http://localhost:8086: Get http://localhost:8086/ping: dial tcp 127.0.0.1:8086: getsockopt: connection refused
Please check your connection settings and ensure 'influxd' is running.

Kan iemand mij vertellen waar ik de mist in ga of moet ik een andere stappenplan volgen

Edit:

---

Draai ik het commendo Influxd dan krijg ik:

run: open server: open tsdb store: mkdir /var/lib/influxdb/data/_internal/_series: permission denied

Met sudo gebeurd er wel wat

@raspberrypi:~ $ sudo influxd

 8888888           .d888 888                   8888888b.  888888b.
   888            d88P"  888                   888  "Y88b 888  "88b
   888            888    888                   888    888 888  .88P
   888   88888b.  888888 888 888  888 888  888 888    888 8888888K.
   888   888 "88b 888    888 888  888  Y8bd8P' 888    888 888  "Y88b
   888   888  888 888    888 888  888   X88K   888    888 888    888
   888   888  888 888    888 Y88b 888 .d8""8b. 888  .d88P 888   d88P
 8888888 888  888 888    888  "Y88888 888  888 8888888P"  8888888P"

2018-03-15T13:33:49.801344Z     info    InfluxDB starting       {"log_id": "06rTi5M0000", "version": "1.5.0", "branch": "1.5", "commit": "6ac835404e7e64ea7299a6eebcce1ab1ef15fe3c"}
2018-03-15T13:33:49.803533Z     info    Go runtime      {"log_id": "06rTi5M0000", "version": "go1.9.2", "maxprocs": 1}
2018-03-15T13:33:49.927128Z     info    Using data dir  {"log_id": "06rTi5M0000", "service": "store", "path": "/var/lib/influxdb/data"}
2018-03-15T13:33:49.934449Z     info    Open store (start)      {"log_id": "06rTi5M0000", "service": "store", "trace_id": "06rTi5wW000", "op_name": "tsdb_open", "op_event": "start"}
2018-03-15T13:33:50.242466Z     info    Opened file     {"log_id": "06rTi5M0000", "engine": "tsm1", "service": "filestore", "path": "/var/lib/influxdb/data/_internal/monitor/31/000000002-000000001.tsm", "id": 1, "duration": "89.013ms"}
2018-03-15T13:33:50.221477Z     info    Opened file     {"log_id": "06rTi5M0000", "engine": "tsm1", "service": "filestore", "path": "/var/lib/influxdb/data/_internal/monitor/31/000000001-000000001.tsm", "id": 0, "duration": "67.557ms"}
2018-03-15T13:33:50.270437Z     info    Reading file    {"log_id": "06rTi5M0000", "engine": "tsm1", "service": "cacheloader", "path": "/var/lib/influxdb/wal/_internal/monitor/31/_00009.wal", "size": 10494755}
2018-03-15T13:36:17.782379Z     info    Reading file    {"log_id": "06rTi5M0000", "engine": "tsm1", "service": "cacheloader", "path": "/var/lib/influxdb/wal/_internal/monitor/31/_00010.wal", "size": 4990260}

Maar dan blijft hij zo in mijn console draaien ?

Edit2:

Via het commando top zie ik influxd wel terugkomen

  PID USER      PR  NI    VIRT    RES    SHR S %CPU %MEM     TIME+ COMMAND
14193 root      20   0  930428  57684   1964 R 37.5 13.0   2:08.02 influxd

Influx draait nu in ieder geval, maar als ik nu het commando influx draai in mijn putty sessie dan krijg ik het volgende te zien.

> show databases
name: databases
name
----
_internal
mydb
yellow
telegraf
domoticz

> use database domoticz
ERR: Database database domoticz doesn't exist. Run SHOW DATABASES for a list of                                                                                                                      existing databases.
DB does not exist!

> use database _internal
ERR: Database database _internal doesn't exist. Run SHOW DATABASES for a list of                                                                                                                      existing databases.
DB does not exist!

> use database mydb
ERR: Database database mydb doesn't exist. Run SHOW DATABASES for a list of exis                                                                                                                     ting databases.
DB does not exist!

Als ik dit mag geloven dan lijkt het net als er geen databases zijn terwijl ik bij een show commando wel databases zie.

In grafana zie ik wel iets binnen komen



Maar verder komt er geen data binnenkomen.
In domoticz heb ik het volgende gedaan:



Als ik een query inspector draai binnen grafana dan zie ik het volgende:

code:

{
  "xhrStatus": "complete",
  "request": {
    "method": "GET",
    "url": "api/datasources/proxy/1/query",
    "params": {
      "db": "domoticz",
      "q": "SELECT mean(\"value\") FROM \"Gas-usage\" WHERE (\"idx\" = '2') AND time >= 1521135202778ms and time <= 1521135503167ms GROUP BY time(200ms) fill(null);SELECT mean(\"value\") FROM \"Delivery-current\" WHERE (\"idx\" = '1') AND time >= 1521135202778ms and time <= 1521135503167ms GROUP BY time(200ms) fill(null)",
      "epoch": "ms"
    },
    "data": null,
    "precision": "ms"
  },
  "response": {
    "results": [
      {
        "statement_id": 0
      },
      {
        "statement_id": 1
      }
    ]
  }
}

Hopelijk heb ik tot nu toe een duidelijk beeld gegeven waar ik mee bezig ben geweest en hoop dat iemand mij nog een tip kan geven wat ik verkeerd aan het doen ben waardoor ik geen data zie verschijnen binnen Grafana

Info wat ik zoal gelezen heb:

https://www.domoticz.com/wiki/HttpLink
http://docs.grafana.org/features/datasources/influxdb/
Raspberry Pi, Grafana installeren.
Domoticz --> influxDB --> Grafana, waar gaat het fout?

[klump4u]

Probeer eens : use domoticz ipv use database domoticz

Stuur je de data via InfluxDb in domotizc of via HTTP?
Bij mij werkt het niet via InfluxDb maar wel via HTTP.

[ Voor 51% gewijzigd door klump4u op 18-03-2018 13:43 ]

[MdO82]

use domoticz geeft inderdaad iets meer, nu eens kijken of ik kan zien wat er nu in de database zit

Ik heb gekozen voor datapush via HTTP, maar zie niks verschijnen

[klump4u]

@MdO82 Is Consumption een sensor die door een lua script gevoed wordt? dit werkt niet.

edit, bij Target variable wel een naam invullen, dit wordt je naam in de database.

[ Voor 32% gewijzigd door klump4u op 18-03-2018 14:23 ]

[MdO82]

Oh scherp

Nee even naar gekeken, maar dat is algemeen als je het scherm opnieuw opent, ik had er niet opgelet zo te zien, maar bovenin staat de regel die ik nu gebruik (gasmeter als test erin gezet).

Als ik het scherm van Data Push - HTTP weer opnieuw open dan staat deze weer op consumption voor een nieuwe link (dat is inderdaad een LUA script achter een sensor)

Edit: zag na mijn bericht je edit gelijk even aangepast

[ Voor 7% gewijzigd door MdO82 op 18-03-2018 14:25 ]

[klump4u]

Sensoren in domoticz die dmv een script gevuld worden kunnen niet naar Influxdb worden gestuurd, dit komt volgens mij omdat die waarde meteen in de domoticz database word geplaats en zodoende nergens beschikbaar is voor verzending.

[MdO82]

klump4u schreef op zondag 18 maart 2018 @ 14:38:
Sensoren in domoticz die dmv een script gevuld worden kunnen niet naar Influxdb worden gestuurd, dit komt volgens mij omdat die waarde meteen in de domoticz database word geplaats en zodoende nergens beschikbaar is voor verzending.

Zou dit ook gelden voor de energiemeter en gasmeter of is dat weer een andere verhaal ?
Dit zijn niet echt sensoren binnen Domoticz dus die zouden wel doorgestuurd kunnen worden ?

[klump4u]

Ik stuur de gas meter gewoon door naar influx, zal zo een screenshot plaatsen.

[ Voor 50% gewijzigd door klump4u op 18-03-2018 14:51 ]

[MdO82]

Ik denk gezien jouw screenshot dat ik eens verder moet kijken naar de database.
In een SQL database gebruik ik myphpadmin om bijvoorbeeld rechten van een user goed te zetten.

Weet jij misschien hoe je dit binnen influx kunt regelen ?
Als de rechten op de database niet goed staat kan ik wel blijven proberen natuurlijk

[klump4u]

kun je in je browser op pagina : localhost:8083 komen (localhost is jou ip van de pi)

Ik heb het via deze pagina geinstalleerd https://www.domoticz.com/...&t=15088&start=20#p138948

[ Voor 43% gewijzigd door klump4u op 18-03-2018 15:26 ]

[MdO82]

klump4u schreef op zondag 18 maart 2018 @ 15:23:
kun je in je browser op pagina : localhost:8083 komen (localhost is jou ip van de pi)

Dat werkt helaas niet meer met de nieuwe versie van influxdb.
Ze hebben sinds versie 1.3 of later hebben ze de admin-panel eruit gehaald.
Je kan nu alleen nog wijzigingen doen via Chronograf.

Ben nu even aan het kijken of ik die werkend krijg en of ik dan verder kan

[AUijtdehaag]

Ik heb grotendeels (dacht ik, is weer een tijd geleden) deze gevolgd:
https://blog.jokielowie.c...f-latwe-i-piekne-wykresy/

Heb echter 1 probleempje. Na herstart pi moet ik:
sudo /etc/init.d/influxdb start
doen.

Iemand een ideetje hoe ik dat automatisch kan (laten) doen?

[ElMacaroni]

AUijtdehaag schreef op zondag 1 april 2018 @ 21:55:
Na herstart pi moet ik:
sudo /etc/init.d/influxdb start
doen.

Iemand een ideetje hoe ik dat automatisch kan (laten) doen?

https://askubuntu.com/que...service-to-run-at-startup

code:

cd /etc/init.d/
$ update-rc.d influxdb defaults

zou moeten werken...

[MdO82]

Ik zag dit topic weer welke ik zelf nog begonnen ook
Maar ik heb het voorlopig even in de ijskast gezet.
Krijg het nog niet werkend en moet er eens voor gaan zitten

[AUijtdehaag]

@MdO82
Ook niet met de link die ik aangaf?

(en ik werk op jessie)

[ Voor 22% gewijzigd door AUijtdehaag op 02-04-2018 11:00 ]

[MdO82]

AUijtdehaag schreef op maandag 2 april 2018 @ 10:47:
@MdO82
Ook niet met de link die ik aangaf?

Nope, maar het heeft ook een andere reden
Maar ik ga er wel weer eens voor zitten en dan kijken of het wel lukt

@AUijtdehaag

Ik heb jouw link gevolgd en dan kom ik bij het kopje

Sending data from any device (not domoticz)

Die kan ik toch overslaan omdat dit betrekking heeft op en device buiten domoticz ?
(ik lees mijn slimme meter nu uit met domoticz)

Ik kan dan gelijk door naar het kopje:"

Grafana – finally we’re getting to the beautiful graphs!

Of ga ik dan al te snel

[ Voor 42% gewijzigd door MdO82 op 02-04-2018 11:21 ]

[AUijtdehaag]

idd, gewoon meteen door.

[vandermark]

Hmmm, ik heb domoticz draaien op een synology zonder docker. Kan ik eenvoudig de slimme meter data naar Grafana krijgen (ik heb grafana account) zonder zelf een Influxdb te moeten aanmaken? Kan ik niet makkelijk de data direct naar grafana pushen?

[jobr]

vandermark schreef op woensdag 4 april 2018 @ 22:22:
Hmmm, ik heb domoticz draaien op een synology zonder docker. Kan ik eenvoudig de slimme meter data naar Grafana krijgen (ik heb grafana account) zonder zelf een Influxdb te moeten aanmaken? Kan ik niet makkelijk de data direct naar grafana pushen?

Grafana leest uit een database, dus die moet je vullen.

[XfadeR]

Hoi,

Ik heb mijn P1 meting in Domoticz en deze pushed de data naar InfluxDB welke ik vervolgens weer uitlees in Grafana.
Het enige probleem is dat Domoticz alleen de huidige TOTALE GAS stand doorgeeft en niet het verbruik tot nu toe van de dag.

Ik zou dus graag een stat willen hebben die m'n verbruik van huidige dag laat zien. (gezien vanaf 00:00)

Nu heb ik een query 'gevonden' om in ieder geval de laatste stand van de vorige dag eruit te halen en die plot ik als "standgister" in InfluxDB maar ik het lukt me niet om deze van huidige stand af te trekken.

Iemand enige idee hoe ik query B van query A kan aftrekken zoals in mijn plaatje hieronder?
Of een andere manier om het voor elkaar te krijgen.

Domoticz laat wel het verbruik van de dag zien maar deze push hij niet naar InfluxDB.

[ Voor 4% gewijzigd door XfadeR op 26-08-2018 02:47 ]

[jobr]

XfadeR schreef op zondag 26 augustus 2018 @ 02:37:
Hoi,

Ik heb mijn P1 meting in Domoticz en deze pushed de data naar InfluxDB welke ik vervolgens weer uitlees in Grafana.
Het enige probleem is dat Domoticz alleen de huidige TOTALE GAS stand doorgeeft en niet het verbruik tot nu toe van de dag.

Ik zou dus graag een stat willen hebben die m'n verbruik van huidige dag laat zien. (gezien vanaf 00:00)

Nu heb ik een query 'gevonden' om in ieder geval de laatste stand van de vorige dag eruit te halen en die plot ik als "standgister" in InfluxDB maar ik het lukt me niet om deze van huidige stand af te trekken.

Iemand enige idee hoe ik query B van query A kan aftrekken zoals in mijn plaatje hieronder?
Of een andere manier om het voor elkaar te krijgen.

Domoticz laat wel het verbruik van de dag zien maar deze push hij niet naar InfluxDB.

[afbeelding]

dubbele post.
Probeer zoiets:
select min(gasverbruik) as "gasverbruik" from (SELECT non_negative_derivative(min("value")) as "gasverbruik" FROM "domoticz"."autogen"."Gas-usage" WHERE $timeFilter AND "name"='GasverbruikToon' GROUP BY time(10m) fill(previous) ) WHERE $timeFilter group by time(10m,-9m)