Slimme meter uitlezen via P1-poort

[Mattie112]

Tylen schreef op donderdag 13 oktober 2016 @ 16:38:
[...]


Idem hier. Alleen maak ik een WinSCP verbinding en open ik vanuit daar het python script. Dit opent hem direct in Notepad++ en als ik op save druk saved hij hem op de Pi.


[...]


Heb het dus niet gedaan en werkt ook Maar moet uiteindelijk wel even doorgeknipt worden hoor Is wel beter ja.

Ah nu lees ik heb jij hebt een USB kabel, ja ik heb hem "gewoon" de GPIO headers gebruikt dus nooit een +5V kabel aangesloten

[TomF]

Tylen schreef op donderdag 13 oktober 2016 @ 14:05:
Meeste doen het hier met Python scripts volgens mij (ook ik).

Ik heb een Raspberry Pi met een P1 naar USB kabel (home made).
Dan lees ik de USB poort uit met python en process die data naar begrijpelijke taal (Meterstand_Tarief1=33109) en die upload ik naar InfluxDB (Ook op de Raspberry). Dan maak ik met Grafana (Ook op de Raspberry Pi) mooie grafiekjes.

Als je wilt kan ik mijn Raspberry Pi image online zetten zodat je een werkende omgeving hebt. Moet je wel kijken of de telegram hetzelfde is welke uit de P1 poort komt

Ps: Gisteren RJ11 splitter gehaald. En onder het mom van YOLO niet de draadjes doorgeknipt of diode erussen gedaan. En ik had mazzel. Toon en mijn Raspberry Pi lezen nu beide tegelijk de P1 poort uit

Zou je dit nog steeds willen doen Tylen? Ik wil hier binnenkort ook mee starten, en wat jij hebt nu hebt is precies wat ik zoek...

[Tylen]

Ga ik van het weekend wel even doen. 👍🏻

[BurnerT]

Zo, ik heb net een bs170 gekocht heb een Belkin usb -> serial liggen pl2302. Helaas doet die het niet out of the box op mijn Kaifa MA304C.

Hopelijk doet hij het met inverted signal wel.

Ik wil hem trouwens uiteindelijk in Domotiga zichtbaar maken.

Tevens bookmarked

[ Voor 4% gewijzigd door BurnerT op 15-10-2016 16:21 ]

[Tylen]

Tylen schreef op vrijdag 14 oktober 2016 @ 15:37:
Ga ik van het weekend wel even doen. 👍🏻

Nog niet een toegekomen. Misschien heb ik vanavond nog even de tijd.

Edit: Ik ben wel klaar met mijn dashboard

[ Voor 17% gewijzigd door Tylen op 17-10-2016 09:54 ]

[Tylen]

Hierbij mijn Raspberry Pi image.

Paar punten:

- Inlognaam: pi
- Wachtwoord: raspberry
- Hij boot niet in desktop maar in de console.
- Hij staat nog op DHCP.
- Sudo raspi-config kan je volgens mij het ipadres instellen.
- Grafana draait op poort 3000 dus: http://<ip-adres>:3000 en dan inloggen met admin admin
- Influxdb kan je benaderen via poort 8083 dus http://<ip-adres>:8083 en dan kan je "beheer" op influxdb uitvoeren.
- Bij mij had hij ipadres 192.168.2.111 dus in Grafana even de source aanpassen
- En eigenlijk het belangrijkste, het werkt niet op een RP1 maar alleen op de 2 (en waarschijnlijk dan ook op de 3).

In de home directory van Pi staat SmartMeter.py. Dit is het script welke continue automagisch word opgestart. Let niet op mijn dev skills ik het het simpel gehouden en uiteindelijk erg veel uitgeremt. Ik heb een kaifa slimme meter en drie fase aansluiting. Maar die drie fases zouden niet uit moeten maken. Dan krijg je gewoon geen data in de database voor de overige fases als je maar 1 fase aansluiting hebt. Maar je telegram kan afwijken van mijn telegram. In dit geval zou je het script moeten aanpassen, dat ga ik niet voor je doen

http://tyl.nl/17-10-2016 ...rtMeter python script.rar

Uitpakken en op SD-Kaart zetten met Win32DiskImager (of iets voor een andere OS als je niet met Windows werkt) https://sourceforge.net/projects/win32diskimager/

Ps. Ik lever geen support

[morpheus]

Nadat mijn vraag door Thinkpad naar dit topic is verplaatst me een beetje ingelezen en eigenlijk is dit wel een leuk miniprojectje zo.

Ik durf wel te solderen, schema's lezen lukt me ook nog wel. Maar zelf echt snappen hoe alles werkt etc... dat gaat me niet lukken. Daarnaast lijkt er voor de leek (ik) een wirwar aan serieel <-> usb converter mogelijkheden... ik had bijna een kant en klare kabel gekocht tot ik zag dat cyclone het rechtstreeks op de pinnen op de rpi had aangesloten.

cyclone schreef op zaterdag 30 juli 2016 @ 18:47:
[...]

Dus top plaatje dit : [afbeelding]

goedkoper kan bijna niet, precies wat ik zoek.

Wel vraag ik me af of ik dit schema in bovenstaande post kan hergebruiken. De meter die we hebben is een landys+gyr e350 (DSMR 4.2). Moet ik dan nog een extra 2k weerstand tussen RTS en RxD doen?

[Dj Neo Ziggy]

Ik kon het nergens vinden, maar ik lees heel veel over het uitlezen van deze poort, echter in een combinatie met een Synology (die ik net de deur uit heb gedaan) of een PI, Is er echter ook een programma dat ik het kan laten draaien op Freenas?

[ThinkPad]

Vaak werken die scripts op basis van Python ofzo, kun je dat niet op FreeNAS draaien?

[Tylen]

morpheus schreef op maandag 17 oktober 2016 @ 23:29:
Nadat mijn vraag door Thinkpad naar dit topic is verplaatst me een beetje ingelezen en eigenlijk is dit wel een leuk miniprojectje zo.

Ik durf wel te solderen, schema's lezen lukt me ook nog wel. Maar zelf echt snappen hoe alles werkt etc... dat gaat me niet lukken. Daarnaast lijkt er voor de leek (ik) een wirwar aan serieel <-> usb converter mogelijkheden... ik had bijna een kant en klare kabel gekocht tot ik zag dat cyclone het rechtstreeks op de pinnen op de rpi had aangesloten.
[...]


goedkoper kan bijna niet, precies wat ik zoek.

Wel vraag ik me af of ik dit schema in bovenstaande post kan hergebruiken. De meter die we hebben is een landys+gyr e350 (DSMR 4.2). Moet ik dan nog een extra 2k weerstand tussen RTS en RxD doen?

Ik heb even snel de telegrams vergeleken tussen de Kaifa en Landys (Beide DSMR 4,2) en die zijn (zover ik het kan zien) hetzelfde. Dus dan zou je alleen het script moeten aanpassen dat hij niet kijkt naar USB0 maar naar AMA0.

Regel 17:
ser.port="/dev/ttyUSB0"
ser.port="/dev/ttyAMA0"

[ThinkPad]

Die 2k weerstand moet je gewoon even proberen, wellicht werkt het zonder al. En anders is hij snel erbij gesoldeerd toch

Tylen schreef op dinsdag 18 oktober 2016 @ 08:50:
[...]
Dus dan zou je alleen het script moeten aanpassen dat hij niet kijkt naar USB0 maar naar AMA0.
[...]

Ik meen dat je dan de seriële console van de Pi ook uit moest zetten. Maar dat staat hier wel beschreven denk ik: Slimme/digitale meter uitlezen met een Raspberry Pi

offtopic:
Ja, nóg een topic over het uitlezen van de P1-poort. Misschien moet er eens e.e.a. samengevoegd gaan worden, of niet?

[ Voor 70% gewijzigd door ThinkPad op 18-10-2016 09:00 ]

[cyclone]

morpheus schreef op maandag 17 oktober 2016 @ 23:29:
Moet ik dan nog een extra 2k weerstand tussen RTS en RxD doen?

Waarom denk je dat ? Zie niet in waarom je dat zou willen.
En Wat Thinkpad hier ook noemt idd even je wat settings van je Rpi aanpassen staat hier exact uitgelegd (kon het in de link van Thinkpad niet vinden namelijk)

Hou ook in de gaten dat met de nieuwe Raspbian en de RPI3 er wat veranderd is qua seriele poort benamingen maar dat lees je dus netjes terug in bovenstaande link.

Toevallig is 2 weken geleden mijn SD kaart de soep ingelopen dus ik ben even van scratch af aan begonnen en natuurlijk zijn er weer een aantal zaken veranderd (blijft fijn hoor dat Linux).
Vergeet dus ook niet regelmatig even een image te trekken van je SD kaart en je scripts etc. te backuppen (scheelt je een hoop werk als je SD kaart crashed )

[ThinkPad]

cyclone schreef op dinsdag 18 oktober 2016 @ 14:33:
[...]


Waarom denk je dat ? Zie niet in waarom je dat zou willen.
[...]

Voor de L+G E350 schijnt dat nodig te zijn, anders spuugt hij geen data uit.

[cyclone]

ThinkPadd schreef op dinsdag 18 oktober 2016 @ 14:46:
[...]

Voor de L+G E350 schijnt dat nodig te zijn, anders spuugt hij geen data uit.

Yes moest even zoeken maar ik heb hier een bron gevonden die dat ook beweert.

NOTE 1: With this type of meter it is important to add a pull-up resistor between VCC and RxD. This is because the electronic of this smart-meter is an open collector connection.

Dus daarom

Let ook op dat je de juiste snelheid selecteert voor de L+G E350 is dat :

DSMR 4.0/4.2
Baudrate = 115200
Data bits = 8
Parity = None
Stop bits = 1

[morpheus]

bedankt, ik ga even wat materiaal verzamelen en dan eens proberen.

[ThinkPad]

Is er iemand handig genoeg in Python om het script wat ik hier gebruik: ThinkPadd in "Slimme meter uitlezen via P1-poort" om te bouwen zodat hij naar een socket luistert ipv naar een /dev/ttyUSB0 ?

Heb een nieuwe server gebouwd en staat niet meer in de buurt van de slimme meter. Het uitlezen over het netwerk lukt, ik heb dit nagebouwd met een eigen ESP8266: http://romix.macuser.nl/

Als ik nu met Putty een telnet of 'raw' sessie open naar de ESP8266 dan ontvang ik netjes de telegrammen. Is er iemand die mij misschien een voorzetje kan geven hoe ik het script ombouw? Met de buffers, berichtlengte enzo heb ik nooit eerder gewerkt, ik vind het daarom behoorlijk lastig om het script om te bouwen.

Met

Python:

import socket

# creates socket object
s = socket.socket(socket.AF_INET,
                  socket.SOCK_STREAM)

host = '192.168.4.17'
port = 8088 

s.connect((host, port))

telegram = s.recv(1024) # msg can only be 1024 bytes long

#s.close()
print(telegram)

kan ik één telegram laten printen, maar hoe nu verder...

[ Voor 21% gewijzigd door ThinkPad op 23-10-2016 18:13 ]

[cyclone]

ThinkPadd schreef op zondag 23 oktober 2016 @ 16:59:
Is er iemand handig genoeg in Python om het script wat ik hier gebruik: ThinkPadd in "Slimme meter uitlezen via P1-poort" om te bouwen zodat hij naar een socket luistert ipv naar een /dev/ttyUSB0 ?

Goed idee, ben ik ook zeer nieuwsgierig naar hoe dat op te lossen, deze website ook al eens bekeken maar loop in basis tegen dezelfde issue aan.
(Destijds dus maar een lange kabel getrokken).

Zou mooi zijn als het ook draadloos op te lossen is en te integreren in mijn eigen gescripte omgeving zoals ook ik nu doe met een python script.

[ThinkPad]

Dat met die ESP8266 is echt een klusje van niks, had ik zo klaar. Maarja het scripten...

[tyfoon_2]

Ik heb die P1 lezer van http://romix.macuser.nl/ ook liggen maar nog weinig mee gedaan. Hij gaat bij mij nog de Vera in die ik dan weer uitlees met een rest sensor in HASS.

Maar heeft die wifi P1 lezer niet ook een web interface die je met HASS (volgens mij gebruik je die) kunt scrapen (nieuw component laatste versie)?

[ThinkPad]

Ik gebruik inderdaad HASS, maar daar hoef ik de P1-poort niet in te hebben. Zou niet weten wat ik er in HASS mee moet. Ik had het zo dat de data uit de P-1 in InfluxDB werd gestopt, waarna ik er met Grafana mooie grafiekjes van maakte. Zoals hier beschreven dus: ThinkPadd in "Slimme meter uitlezen via P1-poort"

Alleen dat script wat ik daar gebruikte wil dus een seriële poort. Nu heb ik geprobeerd om met socat de socket naar een /dev/ttyP1poort proberen om te zetten, maar pySerial (wat in het script gebruikt wordt) kan niet goed met socat overweg blijkbaar. Ik liep tegen deze bug aan. Maar na updaten van pySerial naar 3.2.1. werkte het nog steeds niet.

Ook heb ik liever een script wat gelijk met de socket op de ESP8266 kan verbinden, dan hoef ik niet weer een extra SPOF toe te voegen in de vorm van socat > tty > uitleesscript.

[ Voor 3% gewijzigd door ThinkPad op 24-10-2016 11:53 ]

[Mattie112]

ThinkPadd schreef op zondag 23 oktober 2016 @ 16:59:
Is er iemand handig genoeg in Python om het script wat ik hier gebruik: ThinkPadd in "Slimme meter uitlezen via P1-poort" om te bouwen zodat hij naar een socket luistert ipv naar een /dev/ttyUSB0 ?

Heb een nieuwe server gebouwd en staat niet meer in de buurt van de slimme meter. Het uitlezen over het netwerk lukt, ik heb dit nagebouwd met een eigen ESP8266: http://romix.macuser.nl/

Als ik nu met Putty een telnet of 'raw' sessie open naar de ESP8266 dan ontvang ik netjes de telegrammen. Is er iemand die mij misschien een voorzetje kan geven hoe ik het script ombouw? Met de buffers, berichtlengte enzo heb ik nooit eerder gewerkt, ik vind het daarom behoorlijk lastig om het script om te bouwen.

Met

Python:

import socket

# creates socket object
s = socket.socket(socket.AF_INET,
                  socket.SOCK_STREAM)

host = '192.168.4.17'
port = 8088 

s.connect((host, port))

telegram = s.recv(1024) # msg can only be 1024 bytes long

#s.close()
print(telegram)

kan ik één telegram laten printen, maar hoe nu verder...

Ik ben geen Python kenner maar een while true om je read actie heen zou moeten kunnen? Evt met een sleep er bij. Kom bijvoorbeeld dit tegen: https://stackoverflow.com...data-over-a-python-socket

[cyclone]

@Thinkpad
Zojuist even snel die firmware in mijn NODEMCU gegooid (rechtstreeks in de ESP8266 wil me op de een of andere manier maar niet lukken )
Net even die firmware en opties bekeken van ESP EASY, en bracht me op het volgende idee.
De ESP publiceert op zijn ip adres de meetgegevens als een http pagina, die je op zijn beurt weer simpel kunt vangen met cURL in de een linux CLI (ga er even vanuit dat je ook een RPi gebruikt).
.
Ben nog niet zover (gezien de P1 nog rechtstreeks serieel aan mijn RPi hangt) maar wellicht is dit ook een idee voor jou ?

[ Voor 5% gewijzigd door cyclone op 24-10-2016 23:48 ]

[Tylen]

Ik heb de boel ook zojuist omgebouwd. Het python script wordt nu gedraaid door de synology die ook in de meterkast staat en vult mijn influxdb welke op een linux vm draait. Hierdoor vervalt de extra raspberry pi en kan ik deze voor andere projecten weer inzetten 👍🏻

[cyclone]

Tylen schreef op maandag 24 oktober 2016 @ 23:52:
Ik heb de boel ook zojuist omgebouwd. Het python script wordt nu gedraaid door de synology die ook in de meterkast staat en vult mijn influxdb welke op een linux vm draait. Hierdoor vervalt de extra raspberry pi en kan ik deze voor andere projecten weer inzetten 👍🏻

paar vragen :
Hoe heb je je P1 aangesloten zitten direct op je synology of draadloos met een ESP, en verder ben ik wel benieuwd naar je script (als je het draadloos gedaan hebt )

[Tylen]

cyclone schreef op dinsdag 25 oktober 2016 @ 10:20:
[...]


paar vragen :
Hoe heb je je P1 aangesloten zitten direct op je synology of draadloos met een ESP, en verder ben ik wel benieuwd naar je script (als je het draadloos gedaan hebt )

Ik heb hem bedraad aangesloten. De Synology staat immer direct naast de slimme meter in de meterkast. Dus P1 <--> USB.

Mijn python script is niet aangepast. Is dezelfde als ik op mijn raspberry pi had draaien. Enige wat ik heb aangepast is het ipadres van de influxdb server.

[ThinkPad]

cyclone schreef op maandag 24 oktober 2016 @ 23:47:
@Thinkpad
Zojuist even snel die firmware in mijn NODEMCU gegooid (rechtstreeks in de ESP8266 wil me op de een of andere manier maar niet lukken )
Net even die firmware en opties bekeken van ESP EASY, en bracht me op het volgende idee.
De ESP publiceert op zijn ip adres de meetgegevens als een http pagina, die je op zijn beurt weer simpel kunt vangen met cURL in de een linux CLI (ga er even vanuit dat je ook een RPi gebruikt).
.
Ben nog niet zover (gezien de P1 nog rechtstreeks serieel aan mijn RPi hangt) maar wellicht is dit ook een idee voor jou ?

Die HTTP-pagina werkt bij mij niet, m'n browser (Chrome) probeerde dan een bestand genaamd 'download' binnen te halen. Terwijl ze in het voorbeeld idd netjes een pagina tonen waarop de P1-output te zien is.

cURL is minder handig, met Python kun je constant naar een socket luisteren, met cURL zou ik niet weten hoe dat moet.

[ Voor 8% gewijzigd door ThinkPad op 25-10-2016 10:52 ]

[cyclone]

@Thinkpad
Ik ben wat verder gaan klooien, zinde me al niets dat ik die ESP-12 module niet aan de gang kreeg.
Dat is gelukt, echter heb ik nog steeds mijn P1 rechtstreeks aan mijn Rpi hangen dus heb ik even een andere sensor (temperatuur sensor DS18B20) eraan gehangen.

Nu stuur ik deze d.m.v. UDP richting mijn Rpi en dat heb ik zojuist succesvol getest
Allereerst configureer je je ESP8266 met de ESP-Easy firmware in het Config gedeelt als :
Protocol : Generic UDP
Controller IP : ip adres van je Rpi
Port : 514 (default)

En op de Rpi draai ik nu een simpel python scriptje met UDP ip adres van je Rpi (dus is als het zelfde wat je hebt ingevult bij Controller IP voelt wat onlogisch maar het werkt)

code:

import socket

UDP_IP = "192.168.1.29"
UDP_PORT = 514

sock = socket.socket(socket.AF_INET, # Internet
socket.SOCK_DGRAM) # UDP
sock.bind((UDP_IP, UDP_PORT))

while True:
 data, addr = sock.recvfrom(1024) # buffer size is 1024 bytes
 print "received message:", data

Et voilla dit was de output die ik opving op mijn console :


root@raspberrypi:/home/mbsolget/python# python blup.py
received message: newdevice_test_Temperature=22.31
received message: newdevice_test_Temperature=22.25
received message: newdevice_test_Temperature=22.25

[ThinkPad]

cyclone schreef op woensdag 26 oktober 2016 @ 23:11:
[...]

Bedankt, maar zover was ik al. Met de code uit: ThinkPadd in "Slimme meter uitlezen via P1-poort" kan ik één telegram laten printen als ik verbind naar de ESP8266 die aan de P1-poort hangt en waar deze software op staat. Jouw software heeft alleen een extra 'while' loopje zo te zien, waardoor hij blijft printen bij binnenkomst van nieuwe data, i.p.v. terug te keren naar de commandline.

Ik zag trouwens op http://romix.macuser.nl/software.html dat de nieuwste versie ook een checksumcontrole doet Dat is wel zo fijn, want met het huidige script heb ik dat niet. Gisteren had ik dus een dagverbruik van 10 MWh omdat er één foute waarde was doorgekomen. Al zou je de CRC op het laatste punt moeten controleren lijkt mij. Doordat de ESP8266 via wifi verbonden is zou er door een hikje in het netwerk alsnog een foute waarde door kunnen komen in het Python script.

Het printen van de telegrammen op de commandline is niet zo moeilijk, dat heb ik/jij al voor elkaar. Maar om het correct te laten inhaken op het script wat ik nu gebruik, zodat de data in InfluxDB terechtkomt, is voor mij een brug te ver qua skills die ik heb

[ Voor 33% gewijzigd door ThinkPad op 27-10-2016 09:13 ]

[morpheus]

stap 1 is gelukt, met een testopstelling is het gelukt om de slimme meter uit te kunnen lezen. Bedankt so far voor de hulp. Moest uiteindelijk informatie van 2 bronnen combineren (slimme meter op uart rpi + pull up weerstand tbv open connector aansluiting van de landis)

todo
stap 2: domoticz installeren
stap 3: nette definitieve opstelling ipv een bratbord en losse draadjes

bedankt voor de hulp en info in dit topic tot dusver

[BurnerT]

Heeft er iemand ervaring met een Global Cache serial -> LAN en met wat voor een chip hier op zit? Ik heb er zojuist een gevonden en die ga ik vnaavond ophalen. Ik hou jullie op de hoogte of ik mijn Kaifa 3fase meter kan uilezen hiermee.

Ik heb intussen mer arduino en met een sitecom kabeltje die meter uitgelezen maar alle methodieken geven een niet consistente waarde. Alles komt er vrij netjes uit maar toch blijven er fouten tussen staan. (of te veel tekst of rare tekentjes er tussen door)

[sander817]

vraag: ik heb nu een kaifa slimme meter. Daarvoor heb ik op deze manier de p1 poort aangesloten op de 0(serial) ingang van de uno


Met P1test code krijg ik deze tekst, die dus niet geinverteerd is? Sluit ik de p1 poort rechtsstreeks op de serial krijg ik hetzelfde
Wat doe ik verkeerd?

Setup complete
` |
R~NR@~N|
F@9
J|B~
N~NrP
@9

[roches]

Juiste baudrate?

[sander817]

Het is een Kaifu E0025. Geen idee wat de baudrate is

[Tylen]

Probeer eens 115200

[pvink]

Tylen schreef op maandag 17 oktober 2016 @ 20:58:
Hierbij mijn Raspberry Pi image.

Paar punten:

- Inlognaam: pi
- Wachtwoord: raspberry
- Hij boot niet in desktop maar in de console.
- Hij staat nog op DHCP.
- Sudo raspi-config kan je volgens mij het ipadres instellen.
- Grafana draait op poort 3000 dus: http://<ip-adres>:3000 en dan inloggen met admin admin
- Influxdb kan je benaderen via poort 8083 dus http://<ip-adres>:8083 en dan kan je "beheer" op influxdb uitvoeren.
- Bij mij had hij ipadres 192.168.2.111 dus in Grafana even de source aanpassen
- En eigenlijk het belangrijkste, het werkt niet op een RP1 maar alleen op de 2 (en waarschijnlijk dan ook op de 3).

In de home directory van Pi staat SmartMeter.py. Dit is het script welke continue automagisch word opgestart. Let niet op mijn dev skills ik het het simpel gehouden en uiteindelijk erg veel uitgeremt. Ik heb een kaifa slimme meter en drie fase aansluiting. Maar die drie fases zouden niet uit moeten maken. Dan krijg je gewoon geen data in de database voor de overige fases als je maar 1 fase aansluiting hebt. Maar je telegram kan afwijken van mijn telegram. In dit geval zou je het script moeten aanpassen, dat ga ik niet voor je doen

http://tyl.nl/17-10-2016 ...rtMeter python script.rar

Uitpakken en op SD-Kaart zetten met Win32DiskImager (of iets voor een andere OS als je niet met Windows werkt) https://sourceforge.net/projects/win32diskimager/

Ps. Ik lever geen support

Ik kan het bestand niet downloaden. Hij blijft na 1.5 uur steken waarna hij faalt. Zou je hem misschien ergens anders op kunnen zetten? Dit bestand lijkt mij de beste oplossing ipv Domoticz voor mij

[Tylen]

Zal eens kijken of ik hem op onedrive kan zetten. Maar denk dat het aan jou kant ligt. Hij is al vaker gedownload zonder problemen.

[pvink]

Tylen schreef op donderdag 17 november 2016 @ 15:13:
Zal eens kijken of ik hem op onedrive kan zetten. Maar denk dat het aan jou kant ligt. Hij is al vaker gedownload zonder problemen.

Dat zou erg fijn zijn! Ik heb op drie verschillende pc's het bestand geprobeerd te downloaden zonder succes. Hij mislukt na 1.5 uur.

[Jelte]

Tylen schreef op dinsdag 25 oktober 2016 @ 10:25:
[...]


Ik heb hem bedraad aangesloten. De Synology staat immer direct naast de slimme meter in de meterkast. Dus P1 <--> USB.

Mijn python script is niet aangepast. Is dezelfde als ik op mijn raspberry pi had draaien. Enige wat ik heb aangepast is het ipadres van de influxdb server.

je hebt eerder de image van de raspberry Pi gedeeld. Kun je ook je configuratie op je Synology delen?

Die staat bij mij ook naast de meter.

[pvink]

Tylen schreef op donderdag 17 november 2016 @ 15:13:
Zal eens kijken of ik hem op onedrive kan zetten. Maar denk dat het aan jou kant ligt. Hij is al vaker gedownload zonder problemen.

Het is mij toch gelukt om het te downloaden met een download manager Het loopt als een zonnetje, ik moet alleen even de teruglevering erbij zetten..maar zo te zien zal dat geen probleem zijn.

[pvink]

code:

1-3:0.2.8(42)
0-0:1.0.0(161122180614W)                    //tijdnotatie J/M/D/U/M/S
0-0:96.1.1(4530303236303030303330393239313136)
1-0:1.8.1(000150.503*kWh)                   //meterstand dal
1-0:1.8.2(000220.871*kWh)                   //meterstand piek
1-0:2.8.1(000001.694*kWh)                   //meterstand dal teruglevering
1-0:2.8.2(000003.983*kWh)                   //meterstand piek teruglevering
0-0:96.14.0(0002)                           //Actuele tarief, piek tarief
1-0:1.7.0(02.480*kW)                        //Huidig verbruik
1-0:2.7.0(00.000*kW)                        //Huidige teruglevering
0-0:96.7.21(00001)          
0-0:96.7.9(00001)
1-0:99.97.0(1)(0-0:96.7.19)(000101000020W)(2147483647*s)
1-0:32.32.0(00000)
1-0:52.32.0(00000)
1-0:72.32.0(00000)
1-0:32.36.0(00000)
1-0:52.36.0(00000)
1-0:72.36.0(00000)
0-0:96.13.1()
0-0:96.13.0()
1-0:31.7.0(000*A)
1-0:51.7.0(011*A)
1-0:71.7.0(000*A)
1-0:21.7.0(00.016*kW)                               //verbruik -> garage en buiten buiten 
1-0:41.7.0(02.455*kW)                               //verbruik -> woonkamer, keuken (alles onder?)
1-0:61.7.0(00.009*kW)                               //verbruik -> ? 
1-0:22.7.0(00.000*kW)                               //teruglevering -> garage en buiten buiten
1-0:42.7.0(00.000*kW)                               //teruglevering -> woonkamer, keuken (alles onder?)
1-0:62.7.0(00.000*kW)                               //teruglevering -> ? 
0-1:24.1.0(003)                                     //stand gasklep 0 of 1 is dicht, 2 is open, 3 is ? (niet logisch in ieder geval)
0-1:96.1.0(4730303235303033343136393933363136)      //id gasmeter 
0-1:24.2.1(161122180000W)(00184.342*m3)             //laatste doorgestuurde tijd en totaal gasverbruik naar energiebedrijf
!E4FE

Kan iemand de rest aanvullen/verbeteren? Ik kan betekenis van die codes niet vinden op internet en ben toch nieuwsgierig wat het allemaal betekent.

[ Voor 11% gewijzigd door pvink op 22-11-2016 18:45 ]

[Possible]

Kan iemand mij misschien op weg helpen om alle data van de P1 Slimme meter in influcDB te laden en deze vervolgens in Grafana laten weergeven?

Ik zie in het topic wel een kant en klare image van Tylen en een aantal scriptjes van Thinkpad, maar zou graag willen ''begrijpen'' wat ik doe als ik een soort van tutorial kan volgen.

[Tylen]

pvink schreef op maandag 21 november 2016 @ 13:01:
[...]


Het is mij toch gelukt om het te downloaden met een download manager Het loopt als een zonnetje, ik moet alleen even de teruglevering erbij zetten..maar zo te zien zal dat geen probleem zijn.

O crap ja ik zal dat nog doen je. Sorry helemaal vergeten. Maar gelukkig was het gelukt.

In het script staat geloof ik de teruglevering uit-ge-comment aangezien ik geen zonnepanelen heb. (Misschien eens over nadenken... heb een plat dak...hmmmm)

[Jelte]

Toch maar eens verder gezocht en Domoticz gevonden. Geïnstalleerd en meter toegevoegd. Maar ik krijg geen apparaten? Dat zouden er twee moeten zijn (elektra en gas).

Hoe kan ik controleren of de meter uit te lezen is vanaf de synology?

(zie ook: http://www.synology-forum...-usb/msg206585/#msg206585 Ook voor twee screenshots)

edit: opgelost: Jelte in "Domoticz - open source domotica systeem - deel 2"

[ Voor 12% gewijzigd door Jelte op 22-11-2016 21:10 ]

[Goegol]

Kwam gister op internet deze tegen:
http://dsmr-reader.readthedocs.io/nl/latest/intro.html

Geinstalleerd en draait perfect!
Mooie grafieken en zelfs api.

[DigiK-oz]

pvink schreef op dinsdag 22 november 2016 @ 18:31:


Kan iemand de rest aanvullen/verbeteren? Ik kan betekenis van die codes niet vinden op internet en ben toch nieuwsgierig wat het allemaal betekent.

hier staan een hoop documenten. Het document DSMR v4.0.6 Final P1 (onder andere) bevat een beschrijving van de P1 telegrammen.

[pvink]

DigiK-oz schreef op woensdag 23 november 2016 @ 07:36:
[...]


hier staan een hoop documenten. Het document DSMR v4.0.6 Final P1 (onder andere) bevat een beschrijving van de P1 telegrammen.

dankjewel!

Ik heb ook eens dsmr-reader geïnstalleerd en dat werkt ook perfect, zeker met een dropbox backup functie. Dit project is voor mij nu afgerond

[RedHead]

pvink schreef op vrijdag 25 november 2016 @ 17:30:
[...]


dankjewel!

Ik heb ook eens dsmr-reader geïnstalleerd en dat werkt ook perfect, zeker met een dropbox backup functie. Dit project is voor mij nu afgerond

Is dit te combineren met Domoticz op de Pi(3)? Dus beide actief en data van de P1 ontvangen?

[ThinkPad]

Vanavond bezig geweest om het script wat ik gebruik om te bouwen zodat hij ook de CRC van het telegram controleert. Ik had namelijk een feature request gedaan voor CRC functionaliteit bij diegene die de uitleescode heeft gemaakt: https://github.com/nrocco/smeterd

Hier het nieuwe script (vorige versie hier). Een Python-kenner vind de code vast lelijk, maar ik ben allang blij dat ik het werkend heb kunnen krijgen, heb amper Python-skills.

Nou had ik eigenlijk al zelden foutieve waarden in InfluxDB, afgelopen maand toevallig één keer gehad (dagverbruik van 10 Megawatt). Maar nu dus helemaal foutvrij als het goed is

Enige wens is nu nog dat ik de P1-poort kan uitlezen over het netwerk i.p.v. een USB-Serial te moeten gebruiken. Als iemand zich verveelt en daar eens naar wil kijken..... ?

[ Voor 11% gewijzigd door ThinkPad op 27-11-2016 22:40 ]

[Possible]

Tylen schreef op dinsdag 22 november 2016 @ 20:27:
[...]

O crap ja ik zal dat nog doen je. Sorry helemaal vergeten. Maar gelukkig was het gelukt.

In het script staat geloof ik de teruglevering uit-ge-comment aangezien ik geen zonnepanelen heb. (Misschien eens over nadenken... heb een plat dak...hmmmm)

Zou he misschien een kleine uitleg kunnen geven welke stappen je hebt gedaan om op de pi de slimme meter naar Grafana om te zetten? Ik heb Grafana 4.0.1 bèta nu geïnstalleerd en influxdb. Nu weet ik echter niet hoe ik data van de slimme meter naar influxdb kan zetten welke vervolgens alles weergeeft in Grafana.

Of wellicht jij @ThinkPad ?

[pvink]

RedHead schreef op zondag 27 november 2016 @ 15:28:
[...]


Is dit te combineren met Domoticz op de Pi(3)? Dus beide actief en data van de P1 ontvangen?

Ik gok van wel. Samen heb ik deze nog niet geprobeerd. Als het mogelijk is om de USB gelezen telegrammen door twee programma's tegenlijk te kunnen uitlezen zal dit geen probleem moeten zijn. Anders moet er een workaround gemaakt worden.

[DigiK-oz]

Als 2 keer uitlezen niet lukt, zou je 1 keer kunnen lezen en de data opslaan in een database, of publishen naar een MQTT topic o.i.d. Het tweede programma (en derde, vierde, ....) kunnen dan gewoon de database uitlezen of subscriben op het MQTT topic. Dat kan lokaal, maar ook over het netwerk.

Heb net een nieuwe Pi binnen, ga daarop eens lekker stoeien met MQTT i.c.m. P1. Mijn "produktie" Pi wil ik daar even niet voor gebruiken. Die leest overigens de P1 uit en stopt de data in een mysql database. Logt ook mijn (growatt) omvormer en propt dat ook in de database.

[ThinkPad]

Possible schreef op zondag 27 november 2016 @ 22:24:
[...]


Zou he misschien een kleine uitleg kunnen geven welke stappen je hebt gedaan om op de pi de slimme meter naar Grafana om te zetten? Ik heb Grafana 4.0.1 bèta nu geïnstalleerd en influxdb. Nu weet ik echter niet hoe ik data van de slimme meter naar influxdb kan zetten welke vervolgens alles weergeeft in Grafana.

Of wellicht jij @ThinkPad ?

Wat wil je weten ? Ik heb alles hier beschreven: ThinkPadd in "Slimme meter uitlezen via P1-poort"

[Possible]

ThinkPadd schreef op maandag 28 november 2016 @ 10:02:
[...]

Wat wil je weten ? Ik heb alles hier beschreven: ThinkPadd in "Slimme meter uitlezen via P1-poort"

Ik heb die stappen inderdaad gevolgt, en ik krijg ook allemaal data in Grafana te zien (met realtime informatie van gasverbruik etc)

Ik heb hiervoor jouw json config gebruikt en deze toegevoegd geimporteerd in Grafgana. Maar hoe weet ik of dit klopt ? ik heb er verder niks aan aangepast (behalve de rate aangepast naar 9600 voor mijn meter)

Dit is wat ik nu te zien krijg:



Als ik het Python script uitvoer dan krijg ik de volende line errors:

code:

  File "smartmeter-influxdb.py", line 227, in <module>
    sys.exit(main())
  File "smartmeter-influxdb.py", line 223, in main
    start_monitor(args)
  File "smartmeter-influxdb.py", line 186, in start_monitor
    send_to_influxdb(options, datagram._datagram)
  File "smartmeter-influxdb.py", line 152, in send_to_influxdb
    from influxdb import InfluxDBClient
ImportError: No module named influxdb

[ Voor 26% gewijzigd door Possible op 28-11-2016 10:41 ]

[ThinkPad]

Gaat nog niet helemaal goed lijkt het.

Actuele verbruik van 4W kan sowieso niet kloppen. Grafiek ernaast lijkt mij wel te kloppen, maar kun je zelf even verifieren door op het display van je meter te kijken natuurlijk.

De grafieken van het stroomverbruik en gasverbruik kloppen ook niet. Dat horen staafgrafieken te zijn.
Het geregistreerde verbruik heb ik ook m'n twijfels bij. 21 kWh op een dag zou kunnen (al is het wel erg fors, ik doe 5-6 kWh), maar 45 kuub gas per dag is wel heel erg veel.

Ik heb een nieuwe export gemaakt van het dashboard wat ik nu in gebruik heb: http://pastebin.com/Q8FYWfdb
Even op 'raw' klikken en die code opslaan als dashboard.json en dan opnieuw importeren.

Voor die error in Python moet je even de influx client installeren:

pip install influxdb

(je moet wel pip hebben, maar dat is vrij eenvoudig te installeren). Al is het wel vreemd dat je database wel gevuld wordt terwijl hij zegt dat hij InfluxDB mist

[ Voor 15% gewijzigd door ThinkPad op 28-11-2016 10:46 ]

[Possible]

Oke ik heb het volgende nu gedaan:

Script werkt zo te zien. Echter bij het importeren kan hij ''bijmij'' database niet vinden in Grafana.

Deze aangemaakt in Influx DB en opnieuw proberen te importeren. Echter kan Grafana hem nog steeds niet vinden.

[ThinkPad]

Doe anders even een search & replace in die pastebin code op 'bijmij' (zo heet de database in mijn situatie) en vervang het door de naam van de database die jij gebruikt. Daarna importeren.

[Possible]

ThinkPadd schreef op maandag 28 november 2016 @ 11:02:
Doe anders even een search & replace in die pastebin code op 'bijmij' (zo heet de database in mijn situatie) en vervang het door de naam van de database die jij gebruikt. Daarna importeren.

Helaas niet gelukt. Ik heb al een database bijmij.

Echter moet het bijmij_ zijn? Of hoort _ bij de database naam te staan ?

[ThinkPad]

Ik heb hem onder de naam 'bijmij' in InfluxDB staan.
Anders wel importeren en dan bij de grafiekjes de datasource aanpassen naar de jouwe.

[Possible]

Helaas ik krijg het niet voor elkaar. Heb ik de oude database gebruikt p1slimmemeter als naam (wat jij gebruikte in je vorige tutorial)

Alles vervangen, maar blijft de error weergeven.

in influx de database bijmij als volgt aangemaakt:

code:

CREATE DATABASE bijmij;
CREATE RETENTION POLICY raw ON bijmij DURATION 30d REPLICATION 1;
en:
CREATE CONTINUOUS QUERY cq_smartmeter_daily ON bijmij RESAMPLE EVERY 15m BEGIN SELECT min("+T") AS "+T_min", max("+T") AS "+T_max", spread("+T") AS "+T_spread", min("+T1") AS "+T1_min", max("+T1") AS "+T1_max", spread("+T1") AS "+T1_spread", min("+T2") AS "+T2_min", max("+T2") AS "+T2_max", spread("+T2") AS "+T2_spread", min(G) AS G_min, max(G) AS G_max, spread(G) AS G_spread INTO p1smartmeter."default".smartmeter_daily FROM p1smartmeter.raw.smartmeter GROUP BY time(1d) END

localhost:8086 wordt de database(s) ook netjes weergeven.

[ Voor 3% gewijzigd door Possible op 28-11-2016 11:43 ]

[ThinkPad]

Begin anders gewoon opnieuw, volg de stappen uit m'n post: ThinkPadd in "Slimme meter uitlezen via P1-poort" en gebruik dan 'bijmij'. Ook in de supervisor config moet je dan 'bijmij' als parameter meegeven in het python commando.

[Possible]

Oke ga ik doen.

Het supervisor script plaats ik gewoon in /etc/supervisor/ toch ?

in mijn geval:

code:

[program:smartmeter-influxdb]
command = python /home/pi/domoticz/scripts/smartmeter-influxdb.py -b 9600 -q -d /dev/ttyUSB0 --influx-retention-policy raw --influx-hostname 192.168.0.234:8083
user = root
autostart = true
autorestart = true

redirect_stderr = true
stdout_logfile = /var/log/smartmeter-influxdb/smartmeter-influxdb.log
stdout_logfile_maxbytes = 1MB
stdout_logfile_backups = 3

Ik geef het op.. Alles opnieuw gedaan maar hij blijft aangeven dat het niet lukt. Kan het zijn dat de versies van grfana en influxdb moet aanpassen?

Ik gebruik de beta van Grafana. (4.0.0.1 uit mijn hoofd)
Influx = InfluxDB shell 0.9.6.1

Edit: Ik zal vanavond opnieuw beginnen. Heb nu zoveel dingen aangepast dat ik niet meer weet of iets nog goed staat

[ Voor 97% gewijzigd door Possible op 28-11-2016 13:28 ]

[ThinkPad]

Je kunt in de supervisor config de database ook nog meegeven: --influx-database bijmij. In het script zelf staat de default op 'p1smartmeter', dus als je die parameter niet meegeeft dan schrijft hij het daar naartoe idd.

In /etc/supervisor/conf.d sla je jouw blokje supervisor-code op als 'smartmeter.conf' o.i.d.

Je kunt trouwens ook testen of er data in de database komt, door het script met de hand uit te voeren, "python /home/pi/ <etc etc>". Wel even zorgen dat supervisor het script dan niet OOK nog draait:

• sudo supervisorctl
• stop all
• exit

Daarna kun je het script met de hand uitvoeren. Om supervisor het script weer te laten uitvoeren:

• sudo supervisorctl
• restart all
• status (hij zou dan 'RUNNING' moeten geven)

Als je dan de interface van InfluxDB opent (op poort 8083) dan kun je daar wel checken of er data binnenkomt:

code:

select * from "raw"."smartmeter" order by time desc limit 10

. De timestamp zal waarschijnlijk 1h achterlopen (UTC), daar moet je dus niet op letten. Maar je zou iig wel nieuwe data er bij moeten krijgen elke 10 sec. ongeveer.

Als je trouwens dat .conf bestand hebt aangepast dan moet je hem in supervisor ook opnieuw inlezen:

• sudo supervisorctl
• reread
• update
• restart all

[ Voor 30% gewijzigd door ThinkPad op 28-11-2016 13:41 ]

[FireDrunk]

Wat is het voordeel van InfluxDB ten opzichte van iets als CollectD / Graphite? Ik heb al CollectD en Graphite draaien, en wil daar eigenlijk mijn P1 meter aan hangen, maar heb nog niet echt veel voorbeelden gevonden.

Nou kan ik zelf wel de python code schrijven die dat doet, maar beter goed gejat, dan slecht zelf gemaakt

[ThinkPad]

Goeie vraag. Handige van InfluxDB vind ik dat je Continuous Queries kunt gebruiken. Zo heb ik dus een query die elk kwartier draait en dan het 'Today so far' verbruik berekend. Ook heb je retention policies, zodat je oude data automatisch kunt laten verwijderen. De ruwe P1-data (telegrammen die elke 10s uit de meter komen) bewaar ik 30 dagen. Voor lange termijn heb ik immers de dagtotalen.

Misschien kan dat ook wel met CollectD/Graphite, maar dat weet ik niet

[ Voor 8% gewijzigd door ThinkPad op 29-11-2016 11:25 ]

[FireDrunk]

Mja, sliding window kan altijd bij Graphite, ligt gewoon aan je query. Grafana (waarmee ik visualiseer) doet dat bijvoorbeeld by default.

[ANdrode]

FireDrunk schreef op dinsdag 29 november 2016 @ 10:59:
Wat is het voordeel van InfluxDB ten opzichte van iets als CollectD / Graphite? Ik heb al CollectD en Graphite draaien, en wil daar eigenlijk mijn P1 meter aan hangen, maar heb nog niet echt veel voorbeelden gevonden.

Ik heb juist CollectD / InfluxDB draaien

Het verschil tussen Graphite en InfluxDB is volgens mij dat je bij Whisper (Graphite) standaard rollup/rotatie van de data hebt zoals bij RRD. Hij "vat oude data dus samen". Daarnaast kan InfluxDB overweg met arbitraire tijdsintervallen (denk aan: nieuw data punt nadat er een pulse van de meter af komt, niet elke x seconden).

Voor monitoring is de constante grootte van de database een echt voordeel. Bij het meten van energieverbruik wil ik zelf terug in de tijd kunnen zonder resolutie te verliezen, daarom InfluxDB.

[Possible]

ThinkPadd schreef op dinsdag 29 november 2016 @ 11:25:
Goeie vraag. Handige van InfluxDB vind ik dat je Continuous Queries kunt gebruiken. Zo heb ik dus een query die elk kwartier draait en dan het 'Today so far' verbruik berekend. Ook heb je retention policies, zodat je oude data automatisch kunt laten verwijderen. De ruwe P1-data (telegrammen die elke 10s uit de meter komen) bewaar ik 30 dagen. Voor lange termijn heb ik immers de dagtotalen.

Misschien kan dat ook wel met CollectD/Graphite, maar dat weet ik niet

Heb je Influx draaien op een Raspberry Pi toevallig?

code:

wget https://dl.influxdata.com/influxdb/releases/influxdb-1.1.0_linux_armhf.tar.gz
tar xvfz influxdb-1.1.0_linux_armhf.tar.gz

Deze heb ik gedownload. Echter nu vraag ik mij af hoe nu verder? Het uitgepake tar file staat nu gewoon in de main directory en lijkt dus niet echt geinstalleerd.

[ThinkPad]

Nope, in een Ubuntu VM.

Hoe je het aan de praat moet krijgen moet je dus zelf even uitzoeken

[Possible]

ThinkPadd schreef op dinsdag 29 november 2016 @ 21:22:
Nope, in een Ubuntu VM.

Hoe je het aan de praat moet krijgen moet je dus zelf even uitzoeken

Inmiddels gelukt om het te installeren. Echter http://ipvanraspberry:8086 geeft de volgende error:

code:

404 page not found

Moet je eerst nog iets in de configuratie aanpassen zodat je de gui kan bekijken?

[Thralas]

ThinkPadd schreef op zondag 27 november 2016 @ 21:33:
Enige wens is nu nog dat ik de P1-poort kan uitlezen over het netwerk i.p.v. een USB-Serial te moeten gebruiken.

Het is nog steeds geen museumstuk, maar ik zal m'n reader nog een keer adverteren - dat is namelijk precies wat ik doe (oké, ik gebruik socat voor de transport, maar daardoor is het juist lekker flexibel). En hij checkte altijd al de CRC

Thralas in "Slimme meter uitlezen via P1-poort"
Thralas in "Slimme meter uitlezen via P1-poort"

[ Voor 3% gewijzigd door Thralas op 29-11-2016 23:03 ]

[ThinkPad]

Possible schreef op dinsdag 29 november 2016 @ 22:02:
[...]


Inmiddels gelukt om het te installeren. Echter http://ipvanraspberry:8086 geeft de volgende error:

code:

404 page not found

Moet je eerst nog iets in de configuratie aanpassen zodat je de gui kan bekijken?

De GUI van Grafana draait op poort 3000 en de GUI van InfluxDB op poort 8083. Poort 8086 die jij noemt is alleen voor de back-end.

Thralas schreef op dinsdag 29 november 2016 @ 22:48:
[...]


Het is nog steeds geen museumstuk, maar ik zal m'n reader nog een keer adverteren - dat is namelijk precies wat ik doe (oké, ik gebruik socat voor de transport, maar daardoor is het juist lekker flexibel). En hij checkte altijd al de CRC

Thralas in "Slimme meter uitlezen via P1-poort"
Thralas in "Slimme meter uitlezen via P1-poort"

Die heb ik gezien ja, maar ik vind die socat oplossing niet zo mooi. Ik werk liever met een native socket, volgens mij werkt dat toch stabieler/betrouwbaarder.
Dat is trouwens wel één van de dingen die ik geprobeerd heb, socat. Maar ik liep tegen één of andere bug in PySerial aan: ThinkPadd in "Slimme meter uitlezen via P1-poort" Misschien binnenkort eens opnieuw proberen, of jouw code een kans geven

[ Voor 8% gewijzigd door ThinkPad op 30-11-2016 09:18 ]

[Possible]

ThinkPadd schreef op woensdag 30 november 2016 @ 08:59:
[...]

De GUI van Grafana draait op poort 3000 en de GUI van InfluxDB op poort 8083. Poort 8086 die jij noemt is alleen voor de back-end.


[...]

Die heb ik gezien ja, maar ik vind die socat oplossing niet zo mooi. Ik werk liever met een native socket, volgens mij werkt dat toch stabieler/betrouwbaarder.
Dat is trouwens wel één van de dingen die ik geprobeerd heb, socat. Maar ik liep tegen één of andere bug in PySerial aan: ThinkPadd in "Slimme meter uitlezen via P1-poort" Misschien binnenkort eens opnieuw proberen, of jouw code een kans geven

Vreemd. Ik kan 8083 ook niet benaderen terwijl de service gewoon is gestart. Via de terminal kan ik ook netjes databases aanmaken met commando influx

[FireDrunk]

Vuurmuur? Listen adress?

[Tylen]

ThinkPadd schreef op woensdag 30 november 2016 @ 08:59:
[...]

De GUI van Grafana draait op poort 3000 en de GUI van InfluxDB op poort 8083. Poort 8086 die jij noemt is alleen voor de back-end.


[...]

Die heb ik gezien ja, maar ik vind die socat oplossing niet zo mooi. Ik werk liever met een native socket, volgens mij werkt dat toch stabieler/betrouwbaarder.
Dat is trouwens wel één van de dingen die ik geprobeerd heb, socat. Maar ik liep tegen één of andere bug in PySerial aan: ThinkPadd in "Slimme meter uitlezen via P1-poort" Misschien binnenkort eens opnieuw proberen, of jouw code een kans geven

Als je het werkend heb wil ik hem ook graag Dan kan ik de synology ertussenuit halen. Dat werkt toch niet zo goed.

[Possible]

FireDrunk schreef op woensdag 30 november 2016 @ 10:37:
Vuurmuur? Listen adress?

Nee dat is het helaas niet.. Ik heb ook een kant en klare image gebruikt van Tyren en dan werkt het wel prima. Ik wil het echter zelf kunnen uitvinden

[helloitsme]

Goegol schreef op woensdag 23 november 2016 @ 00:24:
Kwam gister op internet deze tegen:
http://dsmr-reader.readthedocs.io/nl/latest/intro.html

Geinstalleerd en draait perfect!
Mooie grafieken en zelfs api.

Ik heb 'm ook geïnstalleerd. Werkt prima (ondanks mijn zeeeer beperkte kennis op dit gebied )
Op 1 ding na: ik heb aangegeven dat ook de weergegevens bijgehouden moeten worden, maar ik zie ze nergens terug (niet het belangrijkste, maar zou leuk zijn als ik dat ook werkend heb)

Iemand een idee?

[Thralas]

Possible schreef op dinsdag 29 november 2016 @ 22:02:
Moet je eerst nog iets in de configuratie aanpassen zodat je de gui kan bekijken?

Ja!

Want:

quote: https://github.com/influx.../blob/master/CHANGELOG.md

The admin interface is deprecated and will be removed in a subsequent release. The configuration setting to enable the admin UI is now disabled by default, but can be enabled if necessary. We recommend using Chronograf or Grafana as a replacement.

Wen er dus maar niet te hard aan. Wat was je er uberhaupt mee van plan? Je kunt er beter direct Grafana aan hangen.

ThinkPadd schreef op woensdag 30 november 2016 @ 08:59:
Die heb ik gezien ja, maar ik vind die socat oplossing niet zo mooi. Ik werk liever met een native socket, volgens mij werkt dat toch stabieler/betrouwbaarder.

Dat is onderbuikgevoel. Er is geen enkele reden waarom socat minder goed zou werken, dat draait wel door. Start hier allemaal vlekkeloos op, zelfs toen ik last had van dagelijkse hardwarecrashes.

Dat is trouwens wel één van de dingen die ik geprobeerd heb, socat. Maar ik liep tegen één of andere bug in PySerial aan: ThinkPadd in "Slimme meter uitlezen via P1-poort" Misschien binnenkort eens opnieuw proberen, of jouw code een kans geven

Ah, maar het is ook niet heel handig om er nog een seriëel device tussen te hangen als je toch socat gebruikt. Dat kan prima over stdin z'n data naar het script struen.

Ik merk overigens net wel dat de systemd unit file (of het script zelf) nog wat aanpassingen nodig heeft als je syslog spam vervelend vindt. Nu logt hij alle output ook nog eens naar 't journal/syslog

[ThinkPad]

Zal als ik tijd heb eens een poging wagen met jouw script dan. Wat is trouwens die grote tabel die erin staat?

[Tylen]

helloitsme schreef op woensdag 30 november 2016 @ 19:42:
[...]


Ik heb 'm ook geïnstalleerd. Werkt prima (ondanks mijn zeeeer beperkte kennis op dit gebied )
Op 1 ding na: ik heb aangegeven dat ook de weergegevens bijgehouden moeten worden, maar ik zie ze nergens terug (niet het belangrijkste, maar zou leuk zijn als ik dat ook werkend heb)

Iemand een idee?

Hier ook geinstalleerd. Was het gepruts zat met de Synology. Lekker simpel dit en werkt top.

Ik heb het weer ook aanstaan. In mijn dashboard zie ik helemaal onderaan een grafiekje van het weer.

[Goegol]

helloitsme schreef op woensdag 30 november 2016 @ 19:42:
[...]


Ik heb 'm ook geïnstalleerd. Werkt prima (ondanks mijn zeeeer beperkte kennis op dit gebied )
Op 1 ding na: ik heb aangegeven dat ook de weergegevens bijgehouden moeten worden, maar ik zie ze nergens terug (niet het belangrijkste, maar zou leuk zijn als ik dat ook werkend heb)

Iemand een idee?

Ik heb hem thuis ook ingesteld, eigenlijk niet op gelet of weer gegevens werken. Zal binnenkort even checken voor je.

[Possible]

ThinkPadd schreef op woensdag 30 november 2016 @ 21:41:
Verhaal over database...

Goed.. Ik ben weer helemaal opnieuw begonnen maar het wil nog steeds niet lukken op meerdere vlakken.

Ik heb je script in de main directory gezet van mijn pi;

Als ik echter python smartmeter-influxdb.py commando uitvoer, dan komt nu eerst het volgende:

code:

Traceback (most recent call last):
  File "smartmeter-influxdb.py", line 9, in <module>
    import serial
ImportError: No module named serial

Wat kan dit zijn?

[Thralas]

Precies wat het zegt. Je mist een module, 'serial', ofwel pyserial.

[Possible]

Thralas schreef op vrijdag 2 december 2016 @ 20:54:
Precies wat het zegt. Je mist een module, 'serial', ofwel pyserial.

Super! Dat was het. Nu lijkt het script te werken:

code:

 python smartmeter-influxdb.py
2016-12-02 20:05:08,021 - INFO - InfluxDB.request: {'fields': {'-T': Decimal('0.000'), '-T2': Decimal('0.000'), '-T1': Decimal('0.000'), '+T1': Decimal('3653.074'), '+T2': Decimal('4882.122'), 'P': Decimal('0.17'), '+P': Decimal('0.17'), '-P': Decimal('0.00'), '+T': Decimal('8535.196')}, 'tags': {}, 'measurement': 'smartmeter'}
2016-12-02 20:05:18,199 - INFO - InfluxDB.request: {'fields': {'-T': Decimal('0.000'), '-T2': Decimal('0.000'), '-T1': Decimal('0.000'), '+T1': Decimal('3653.074'), '+T2': Decimal('4882.123'), 'P': Decimal('0.18'), '+P': Decimal('0.18'), '-P': Decimal('0.00'), '+T': Decimal('8535.197')}, 'tags': {}, 'measurement': 'smartmeter'}
2016-12-02 20:05:28,680 - INFO - InfluxDB.request: {'fields': {'-T': Decimal('0.000'), '-T2': Decimal('0.000'), '-T1': Decimal('0.000'), '+T1': Decimal('3653.074'), '+T2': Decimal('4882.123'), 'P': Decimal('0.17'), '+P': Decimal('0.17'), '-P': Decimal('0.00'), '+T': Decimal('8535.197')}, 'tags': {}, 'measurement': 'smartmeter'}

Het supervisor script geeft echter geen ''running'' aan maar ''available'' als ik deze opvraag. Klopt dit ?

Inmiddels ook gefixd

smartmeter-influxdb              RUNNING    pid 2868, uptime 0:03:24

Dan heb ik nog vermoedelijk een laatste probleem met grafana:



Wat moet er bij mixed ingevuld worden?

[ Voor 13% gewijzigd door Possible op 02-12-2016 21:49 ]

[Possible]

@ThinkPad kun jij hier wellicht antwoord op geven? Het betreft jouw dashboard die ik probeer te importeren.

[ThinkPad]

Possible schreef op vrijdag 2 december 2016 @ 21:06:
[...]
Dan heb ik nog vermoedelijk een laatste probleem met grafana:

[afbeelding]

Wat moet er bij mixed ingevuld worden?

Heb je het al geprobeerd door de waarde gewoon leeg te laten? Ik heb de .json net even weer geimporteerd en heb heel dat schermpje niet gezien.

Druk anders even op de 'i' die erbij staat. Volgens mij is dat 'mixed' als je in één grafiek meerdere datasources wilt gebruiken (bijv. om gasverbruik en buitentemperatuur tegen elkaar af te zetten).

[ Voor 30% gewijzigd door ThinkPad op 04-12-2016 10:17 ]

[s441558]

Home Assistant heeft tegenwoordig ook officieel de mogelijkheid om de slimme meter te loggen.

https://home-assistant.io/components/sensor.dsmr/

[Possible]

ThinkPadd schreef op zondag 4 december 2016 @ 10:13:
[...]

Heb je het al geprobeerd door de waarde gewoon leeg te laten? Ik heb de .json net even weer geimporteerd en heb heel dat schermpje niet gezien.

Druk anders even op de 'i' die erbij staat. Volgens mij is dat 'mixed' als je in één grafiek meerdere datasources wilt gebruiken (bijv. om gasverbruik en buitentemperatuur tegen elkaar af te zetten).

Lukt helaas niet. Als je op de ''i'' drukt dan krijg je alleen '''Select a mixed datasource'' te zien.

Ik kan verder ook niks aanklikken in het veld. ''Undefined'' wel, maar de knop blijft greyed out.



edit:
Ik heb je ''oude'' dashboard geimporteerd, en deze kan ik wel inladen. Maar ik krijg echter geen data:



Als ik python smartmeter-influxdb.py run, krijg ik netjes data te zien:



Hij lijkt dus connectie te maken met database ''smartmeter''
Nu is het de vraag waarom deze nu niet zichtbaar is in Grafana....

Het supervisor script:

code:

[program:smartmeter-influxdb]
command = python /home/pi/smartmeter-influxdb.py -b 9600 -q -d /dev/ttyUSB0 --influx-retention-policy raw  --influx-database smartmeter --influx-hostname 192.168.0.59:8086
user = pi
autostart = true
autorestart = true

redirect_stderr = true
stdout_logfile = /var/log/smartmeter-influxdb.log
stdout_logfile_maxbytes = 1MB
stdout_logfile_backups = 3

[ Voor 40% gewijzigd door Possible op 05-12-2016 07:31 ]

[ThinkPad]

Bouw anders gewoon een nieuw dashboard. Je hebt de mijne geïmporteerd, dus je kunt de instellingen van de grafieken e.d. wel vergelijken. Zo ingewikkeld is mijn dashboard ook weer niet opgezet

[Possible]

Het zou op deze manier moeten werken toch? Ik vind het zo raar dat ik gewoon geen data te zien krijg. Ben er inmiddels al +- een week mee bezig en begint nu toch wel te frustreren...

Ook al zou ik een eigen dashboard zou maken, dan zou ik ook data moeten binnenkrijgen.

[ThinkPad]

Possible schreef op maandag 5 december 2016 @ 08:19:
Ben er inmiddels al +- een week mee bezig en begint nu toch wel te frustreren...
[...]

Daarom in Grafana een InfluxDB-datasource toevoegen 'smartmeter'. Dan even een grafiekje erin knallen op "raw" en dan "+P" ofzo (actueel verbruik). Start anders InfluxDB eens op de commandline en kijk of je data kan ophalen.

[FireDrunk]

Gister geprobeerd HomeAssistent op mijn Pi te zetten. Holy shit wat installeert dat een hoop meuk... Allemaal custom kernel shit, compileert allerlei custom shit... En het duurde zo lang, dat de verbinding naar mijn Pi het zelfs opgaf... vage disconnects etc...

Vanavond toch maar weer terug naar een kale RaspBian installatie, en de data naar mijn server sturen. Ik zoek het echt niet om zoveel (trage) meuk op mijn Pi te draaien

[Possible]

ThinkPadd schreef op maandag 5 december 2016 @ 08:42:
[...]

Daarom in Grafana een InfluxDB-datasource toevoegen 'smartmeter'. Dan even een grafiekje erin knallen op "raw" en dan "+P" ofzo (actueel verbruik). Start anders InfluxDB eens op de commandline en kijk of je data kan ophalen.

Als ik je script gebruik met crc check, dan zie ik in command line van influxd :

code:

[httpd] ::1 - root [05/Dec/2016:07:51:27 +0000] "POST /write?db=p1smartmeter HTTP/1.1" 204 0 "-" "python-requests/2.4.3 CPython/2.7.9 Linux/4.4.21-v7+" a032d9dc-babf-11e6-8001-000000000000 7000
[httpd] ::1 - root [05/Dec/2016:07:51:37 +0000] "POST /write?db=p1smartmeter HTTP/1.1" 204 0 "-" "python-requests/2.4.3 CPython/2.7.9 Linux/4.4.21-v7+" a63ed0c5-babf-11e6-8002-000000000000 16059

overigens krijg ik met het crc script niet de waardes van de slimme meter te zien in de terminal. Het lijkt alsof hij nog aan het opstarten is / blijft ''hangen''

[ThinkPad]

Kan zijn dat ik die logging eruit heb gesloopt. Ik heb het script niet zelf gemaakt, dus het was een flink uitzoekwerk om die nieuwe CRC-code erin te krijgen.

Maar je moet even rustig aan doen, voor m'n gevoel doe je nu 10 dingen tegelijk.

Begin bij het begin:

1. Draait het script (en blijft het draaien) zonder problemen?
2. Voer een query uit op InfluxDB (webinterface/commandline) om te kijken of de data wordt weggeschreven
3. Voeg de juiste database (in je nieuwste post staat er 'p1smartmeter', iets naar boven had je 'smartmeter') als datasource toe in Grafana
4. Probeer dan een grafiekje op te bouwen om te zien of je de data zichtbaar krijgt
5. Daarna kun je mijn dashboard ernaast leggen en de grafiekjes namaken

[ Voor 8% gewijzigd door ThinkPad op 05-12-2016 09:04 ]

[Possible]

1. Het oude script welke ik handmatig opstart met:

code:

python python smartmeter-influxdb.py

Wat in de terminal de meter standen weergeeft:

code:

2016-12-05 07:57:34,248 - INFO - InfluxDB.request: {'fields': {'-T': Decimal('0.000'), '-T2': Decimal('0.000'), '-T1': Decimal('0.000'), '+T1': Decimal('3661.698'), '+T2': Decimal('4882.864'), 'P': Decimal('0.07'), '+P': Decimal('0.07'), '-P': Decimal('0.00'), '+T': Decimal('8544.562')}, 'tags': {}, 'measurement': 'smartmeter'}
2016-12-05 07:57:44,381 - INFO - InfluxDB.request: {'fields': {'-T': Decimal('0.000'), '-T2': Decimal('0.000'), '-T1': Decimal('0.000'), '+T1': Decimal('3661.698'), '+T2': Decimal('4882.864'), 'P': Decimal('0.07'), '+P': Decimal('0.07'), '-P': Decimal('0.00'), '+T': Decimal('8544.562')}, 'tags': {}, 'measurement': 'smartmeter'}
2016-12-05 07:57:54,877 - INFO - InfluxDB.request: {'fields': {'-T': Decimal('0.000'), '-T2': Decimal('0.000'), '-T1': Decimal('0.000'), '+T1': Decimal('3661.698'), '+T2': Decimal('4882.865'), 'P': Decimal('0.07'), '+P': Decimal('0.07'), '-P': Decimal('0.00'), '+T': Decimal('8544.563')}, 'tags': {}, 'measurement': 'smartmeter'}
2016-12-05 07:58:05,372 - INFO - InfluxDB.request: {'fields': {'-T': Decimal('0.000'), '-T2': Decimal('0.000'), '-T1': Decimal('0.000'), '+T1': Decimal('3661.698'), '+T2': Decimal('4882.865

Dit lijkt dus te kloppen.

Wat ik vervolgens zien in influxdb:

code:

2016/12/05 08:09:55 Sending usage statistics to usage.influxdata.com
[httpd] ::1 - root [05/Dec/2016:08:10:30 +0000] "POST /write?db=p1smartmeter HTTP/1.1" 204 0 "-" "python-requests/2.4.3 CPython/2.7.9 Linux/4.4.21-v7+" 49e728f0-bac2-11e6-8001-000000000000 4762
[httpd] ::1 - root [05/Dec/2016:08:10:40 +0000] "POST /write?db=p1smartmeter HTTP/1.1" 204 0 "-" "python-requests/2.4.3 CPython/2.7.9 Linux/4.4.21-v7+" 4fe8a46e-bac2-11e6-8002-000000000000 4637

Zou ik hier dan de data van de slimme meter ook moeten zien?

De namen kloppen.

[ThinkPad]

Dat is puur de logging van het script zelf. Voer nou eens een query uit op InfluxDB zelf. Via de commandline, of zorg dat je de webinterface aan de praat krijgt.

SQL:

SELECT * FROM "raw"."smartmeter" ORDER BY time DESC LIMIT 10

Daarmee zou je de 10 nieuwste telegrammen moeten zien. Zorg dat je dat eerst kunt opvragen, praten we daarna verder

[ Voor 20% gewijzigd door ThinkPad op 05-12-2016 09:34 ]

[Possible]

In dit geval dus:

code:

SELECT * FROM "p1smartmeter"."smartmeter" ORDER BY time DESC LIMIT 10

Wat resulteert in:

code:

> SELECT * FROM "p1smartmeter"."smartmeter" ORDER BY time DESC LIMIT 10
ERR: retention policy not found: p1smartmeter

deze had ik al aangemaakt:

code:

CREATE RETENTION POLICY raw ON p1smartmeter DURATION 30d REPLICATION 1;

[ Voor 56% gewijzigd door Possible op 05-12-2016 09:45 ]

[ThinkPad]

Goed lezen wat er in de foutmelding staat

[Possible]

Dat hij de retentie policy niet kan vinden. Deze had ik echter al aangemaakt.

[ThinkPad]

Waarom gebruik je dan geen 'raw', als je retention policy zo heet ? Kijk eens naar mijn query.
Bij InfluxDB geef je de databasenaam niet op. Die kies je namelijk eerst en daarna draai je er een query op.

select * from <retention_policy>.<tabelnaam> where ...

[Possible]

Oke heb het nu dus zo:

code:

CREATE RETENTION POLICY raw ON p1smartmeter DURATION 30d REPLICATION 1;

vervolgens:

code:

 SELECT * FROM "raw"."p1smartmeter" ORDER BY time DESC LIMIT 10

Geen error inderdaad meer.. Maar kom direct terug in >

Zou ik data moeten zien ?

Shell:

code:

query] 2016/12/05 09:20:45 SELECT * FROM p1smartmeter.raw.p1smartmeter ORDER BY time DESC LIMIT 10
[httpd] ::1 - - [05/Dec/2016:09:20:45 +0000] "POST /query?chunked=true&db=p1smartmeter&epoch=ns&q=SELECT+%2A+FROM+%22raw%22.%22p1smartmeter%22+ORDER+BY+time+DESC+LIMIT+10 HTTP/1.1" 200 51 "-" "InfluxDBShell/1.1.0" 1a51a068-bacc-11e6-80f8-000000000000 6701

[ Voor 53% gewijzigd door Possible op 05-12-2016 10:21 ]