Growatt Omvormer uitlezen via proxy of Python script

[Jeltel]

Wil je graag makkelijk lokaal je growatt omvormer uitlezen en vind je niet erg dat growatt jouw data ook krijgt?
Check Grott van @Johan_meijer op https://github.com/johanmeijer/grott inclusief de bijbehorende wiki: https://github.com/johanmeijer/grott/wiki

Jeltel in "Growatt Omvormer uitlezen via proxy"

Bekijk zelf welke je fijn vind

Waarschuwing:
het lijkt erop alsof Growatt een nieuwe firmware langzaam uitrolt naar de inverters. Sinds zojuist krijg ik geen berichten meer door die het script kan verwerken. Helaas is dat bij 2 van de 3 systemen van
GAEvakYD ook zo. Indien mogelijk wordt het script aangepast.

---

Tussen door de afgelopen dagen een proxy opgezet om mijn Growatt omvormer lokaal uit te lezen.

Grootste werk zit in de code van @GAEvakYD Hulde

Zijn code staat op github: https://github.com/RualdOrdelman/growatt-proxy-and-upload

Ik heb het zelf op mijn nuc gezet waar ubuntu 18.04 op staat en ook Home assistant op is geïnstalleerd. Het was niet heel makkelijk, maar ik ben eruit gekomen en nu wordt de data via MQTT naar Home Assistant gestuurd. Die stuurt het vervolgens weer op naar PV Output. Via nodered doe ik dat, maar via een Shell_command en een automation kan het ook.


Wat heb je nodig
Een server waar linux opdraait en je de volgende software hebt geinstalleerd:
* Perl (installeren met sudo apt-get install perl)
* YAML::XS (installeren met 'cpan' en dan install YAML::XS)
* Data::Hexify (installeren met 'cpan' en dan install Data::Hexify)
* PHP-cli (installeren met sudo apt-get install php7.2-cli sudo apt-get install -y php-yaml)

Mocht je tegen problemen aanlopen bij het installeren van de perl modules, doe dat met de user waarmee je het script gaat draaien (ik doe het niet met root). Zie je deze error:

code:

cpan[6]> install YAML::XS
Running install for module 'YAML::XS'
  TINITA/YAML-LibYAML-0.81.tar.gz
  Has already been unwrapped into directory /root/.cpan/build/YAML-LibYAML-0.81-1
  TINITA/YAML-LibYAML-0.81.tar.gz
  Has already been prepared
  TINITA/YAML-LibYAML-0.81.tar.gz
  Could not make: Unknown error

Dan is 'make' niet geinstaleerd. Te fixen met:

code:

apt-get install make

Zie je:

code:

/bin/sh: 1: x86_64-linux-gnu-gcc: not found

Dan is gcc niet geinstalleerd. Te fixen met

code:

apt-get install gcc

Installatie
Download de bestanden van de github: https://github.com/RualdOrdelman/growatt-proxy-and-upload

Kopieer settings.yaml.example naar settings.yaml en pas de instellingen aan.
Het is mogelijk om 3 omvormers uit te lezen. ik heb er maar één en heb dus alleen inverter1 entries aangepast.
MQTT instellingen zijn handig om de data snel naar Home Assistant te krijgen (of een andere software dat met MQTT om kan gaan. Meer over MQTT)

En voer je PVoutput ApIkey in en het id van je systeem om naar PV Output direct te communiceren. (Zelf doe ik het dus niet zo, dus heb dit niet getest)

Pas in beide scripts (run_proxy.sh en run_upload.sh) het pad aan naar de folder waar je bestanden staan.

Draaien van de proxy en uploader
Vervolgens kun je de proxy en uploader gaan opstarten.
sh run_proxy.sh
sh run_upload.sh
Beide in een aparte terminal om te testen.

Configuratie Shine Wifi stick
Zorg ervoor dat de Wifi stick naar het IP van je server kijkt:
[url="https://www.4blue.nl/media/wysiwyg/ShineWiFi-S-internal-webserver-guide.pdf"]PDF handleiding/url]
Je kunt ook de time interval aanpassen. Ik heb hem nu op 1 minuut staan. Zelfde als wat DSMRreader over de MQTT gooit.
Herstart de wifi stick en kijk in de terminal of je data binnen ziet komen.

Werkt het?
Zo ja? Tof!
Check ook je MQTT server, werkt dat? Mooi kun je sensoren toevoegen aan Home Assistant: MQTT Sensor Home Assistant
En dan PVOutput testen.

Zo niet, tja bughunten! Ik moest even het IP van de server toevoegen aan de settings.yaml voor toegestane IP's

PV Output
Versturen naar PV Output kan dus via het script (zelf niet getest), maar kan ook zelf via de API. Of via Home Assistant.
Home assistant twee manieren:
* Maak een shell_command:

code:

shell_command:
  pvoutputcurl: 'curl -d "d={{now().strftime("%Y%m%d")}}" -d "t={{now().strftime("%H:%M")}}" -d "v1={{states.sensor.growatt_total_lifetime_energy_output.state|multiply(1000)|round(0)}}" -d "v2={{states.sensor.growatt_total_output_power.state|round(0)}}"  -d "v5={{states.sensor.buitentemperatuur_nijmegen_2.state}}" -d "v6={{(states.sensor.growatt_input_2_voltage.state)}}" -d "c1=1" -H "X-Pvoutput-Apikey: PVOutputAPIKey" -H "X-Pvoutput-SystemId: SystemID" https://pvoutput.org/service/r2/addstatus.jsp'

Vervang je sensoren voor jouw sensoren en de APIkey en System ID.

En roep deze elke 5 minuten aan via een automation

* Via Nodered:
Kopieer onderstaande flow:

code:

[{"id":"4ae12532.a9bc04","type":"api-current-state","z":"76a9818d.1d533","name":"Total Solar (kWh)","server":"9f19cfb7.40b16","version":1,"outputs":1,"halt_if":"","halt_if_type":"str","halt_if_compare":"is","override_topic":false,"entity_id":"sensor.elektra_opgewekt_totaal","state_type":"num","state_location":"payload","override_payload":"msg","entity_location":"","override_data":"none","blockInputOverrides":false,"x":170,"y":180,"wires":[["956f05f7.85a3c8"]]},{"id":"ca648094.082098","type":"join","z":"76a9818d.1d533","name":"","mode":"custom","build":"object","property":"payload","propertyType":"msg","key":"topic","joiner":"\\n","joinerType":"str","accumulate":false,"timeout":"2","count":"7","reduceRight":false,"reduceExp":"","reduceInit":"","reduceInitType":"","reduceFixup":"","x":730,"y":100,"wires":[["aa713740.331ce8"]]},{"id":"956f05f7.85a3c8","type":"change","z":"76a9818d.1d533","name":"V1","rules":[{"t":"set","p":"topic","pt":"msg","to":"v1","tot":"str"},{"t":"set","p":"payload","pt":"msg","to":"$string($number(payload)*1000)","tot":"jsonata"}],"action":"","property":"","from":"","to":"","reg":false,"x":550,"y":180,"wires":[["ca648094.082098"]]},{"id":"f2de5edc.18f44","type":"api-current-state","z":"76a9818d.1d533","name":"Total Solar Power (Watts)","server":"9f19cfb7.40b16","version":1,"outputs":1,"halt_if":"","halt_if_type":"str","halt_if_compare":"is","override_topic":false,"entity_id":"sensor.vermogen_opwekking_totaal","state_type":"str","state_location":"payload","override_payload":"msg","entity_location":"","override_data":"none","blockInputOverrides":false,"x":190,"y":240,"wires":[["88ecd6df.5a8af8"]]},{"id":"53568be6.945d3c","type":"api-current-state","z":"76a9818d.1d533","name":"Daily Consumed (Watt hours)","server":"9f19cfb7.40b16","version":1,"outputs":1,"halt_if":"","halt_if_type":"str","halt_if_compare":"is","override_topic":false,"entity_id":"sensor.daily_consumed_energy_wh","state_type":"str","state_location":"payload","override_payload":"msg","entity_location":"","override_data":"none","blockInputOverrides":false,"x":210,"y":300,"wires":[["849fce46.cf9428"]]},{"id":"ea58b0bc.d10938","type":"api-current-state","z":"76a9818d.1d533","name":"Consumed Power (Watts)","server":"9f19cfb7.40b16","version":1,"outputs":1,"halt_if":"","halt_if_type":"str","halt_if_compare":"is","override_topic":false,"entity_id":"sensor.total_consumed_power","state_type":"str","state_location":"payload","override_payload":"msg","entity_location":"","override_data":"none","blockInputOverrides":false,"x":190,"y":360,"wires":[["8b64f57c.fec4c"]]},{"id":"7d6d099b.1955b","type":"api-current-state","z":"76a9818d.1d533","name":"Temperature","server":"9f19cfb7.40b16","version":1,"outputs":1,"halt_if":"","halt_if_type":"str","halt_if_compare":"is","override_topic":false,"entity_id":"sensor.temperatuur_omvormer","state_type":"str","state_location":"payload","override_payload":"msg","entity_location":"","override_data":"none","blockInputOverrides":false,"x":150,"y":420,"wires":[["bceb54fc.6e0188"]]},{"id":"3185c5ae.be7d52","type":"api-current-state","z":"76a9818d.1d533","name":"Volts","server":"9f19cfb7.40b16","version":1,"outputs":1,"halt_if":"","halt_if_type":"str","halt_if_compare":"is","override_topic":false,"entity_id":"sensor.voltage_mptt_2","state_type":"str","state_location":"payload","override_payload":"msg","entity_location":"","override_data":"none","blockInputOverrides":false,"x":130,"y":480,"wires":[["ed46fad1.56d048"]]},{"id":"88ecd6df.5a8af8","type":"change","z":"76a9818d.1d533","name":"V2","rules":[{"t":"set","p":"topic","pt":"msg","to":"v2","tot":"str"}],"action":"","property":"","from":"","to":"","reg":false,"x":550,"y":240,"wires":[["ca648094.082098"]]},{"id":"849fce46.cf9428","type":"change","z":"76a9818d.1d533","name":"V3","rules":[{"t":"set","p":"topic","pt":"msg","to":"v3","tot":"str"}],"action":"","property":"","from":"","to":"","reg":false,"x":550,"y":300,"wires":[["ca648094.082098"]]},{"id":"8b64f57c.fec4c","type":"change","z":"76a9818d.1d533","name":"V4","rules":[{"t":"set","p":"topic","pt":"msg","to":"v4","tot":"str"}],"action":"","property":"","from":"","to":"","reg":false,"x":550,"y":360,"wires":[["ca648094.082098"]]},{"id":"bceb54fc.6e0188","type":"change","z":"76a9818d.1d533","name":"V5","rules":[{"t":"set","p":"topic","pt":"msg","to":"v5","tot":"str"}],"action":"","property":"","from":"","to":"","reg":false,"x":550,"y":420,"wires":[["ca648094.082098"]]},{"id":"ed46fad1.56d048","type":"change","z":"76a9818d.1d533","name":"V6","rules":[{"t":"set","p":"topic","pt":"msg","to":"v6","tot":"str"}],"action":"","property":"","from":"","to":"","reg":false,"x":550,"y":480,"wires":[["ca648094.082098"]]},{"id":"aa713740.331ce8","type":"function","z":"76a9818d.1d533","name":"Set API key here 1","func":"msg.action = msg.payload;\nmsg.headers = { \n 'X-Pvoutput-Apikey': 'APIKEY-HERE',\n 'X-Pvoutput-SystemId': 'SUSTEM-ID-HERE',\n 'Content-Type': 'application/x-www-form-urlencoded'\n};\n\nreturn msg;","outputs":1,"noerr":0,"x":970,"y":140,"wires":[["35b7d041.841c58"]]},{"id":"35b7d041.841c58","type":"function","z":"76a9818d.1d533","name":"Set up data","func":"msg.action = msg.payload;\n\nmsg.url = \"http://pvoutput.org/service/r2/addstatus.jsp\";\n\n\n\nreturn msg;\n\n","outputs":1,"noerr":0,"x":970,"y":200,"wires":[["2a9de5b1.430fd2"]]},{"id":"2a9de5b1.430fd2","type":"http request","z":"76a9818d.1d533","name":"Post","method":"POST","ret":"txt","paytoqs":false,"url":"","tls":"","persist":false,"proxy":"","authType":"","x":970,"y":260,"wires":[["147649cc.a4930e"]]},{"id":"147649cc.a4930e","type":"debug","z":"76a9818d.1d533","name":"headercheck","active":true,"tosidebar":true,"console":false,"tostatus":false,"complete":"true","targetType":"full","x":970,"y":320,"wires":[]},{"id":"d1a4e4b7.ff6888","type":"moment","z":"76a9818d.1d533","name":"Date","topic":"d","input":"","inputType":"date","inTz":"Europe/Amsterdam","adjAmount":0,"adjType":"days","adjDir":"add","format":"YYYYMMDD","locale":"C","output":"payload","outputType":"msg","outTz":"Europe/Amsterdam","x":550,"y":100,"wires":[["ca648094.082098"]]},{"id":"b93532f8.852408","type":"moment","z":"76a9818d.1d533","name":"Time","topic":"t","input":"","inputType":"date","inTz":"Europe/Amsterdam","adjAmount":0,"adjType":"days","adjDir":"add","format":"HH:mm","locale":"C","output":"payload","outputType":"msg","outTz":"Europe/Amsterdam","x":550,"y":140,"wires":[["ca648094.082098"]]},{"id":"30a5150.655eaec","type":"change","z":"76a9818d.1d533","name":"C1","rules":[{"t":"set","p":"topic","pt":"msg","to":"c1","tot":"str"}],"action":"","property":"","from":"","to":"","reg":false,"x":550,"y":540,"wires":[["ca648094.082098"]]},{"id":"cc8be4c3.27d368","type":"change","z":"76a9818d.1d533","name":"Set Cumulative Flag","rules":[{"t":"set","p":"payload","pt":"msg","to":"1","tot":"str"}],"action":"","property":"","from":"","to":"","reg":false,"x":180,"y":540,"wires":[["30a5150.655eaec"]]},{"id":"83b2e29a.ac30b8","type":"inject","z":"76a9818d.1d533","name":"Every 5 Minutes","topic":"","payload":"","payloadType":"date","repeat":"300","crontab":"","once":true,"onceDelay":0.1,"x":170,"y":100,"wires":[["d1a4e4b7.ff6888","b93532f8.852408","4ae12532.a9bc04","f2de5edc.18f44","7d6d099b.1955b","3185c5ae.be7d52","cc8be4c3.27d368"]]},{"id":"9f19cfb7.40b16","type":"server","z":"","name":"Home Assistant"}]

* vul daarin de apicode en system-id in.
* Pas de sensoren aan
* pas eventueel de cumulative flag aan
* Tel het aantal zaken datje meestuurt (kolom met date time en V1-c1) en voer dat aantal in bij de join Node onder: "Send the message: After a number of message parts' Om ervoor te zorgen dat het bericht niet nodeloos staat te wachten op en input

@Goof2000 Ter info

[Voor 75% gewijzigd door Jeltel op 24-05-2020 16:55]

[Jeltel]

Zelf heb ik het nog niet voor elkaar om beide scripts automatisch te draaien bij het opstarten van de server. Ben nog niet tegen de optimale oplossing aangelopen.
Heeft iemand hiervoor tips?

[Kiwi]

Ik heb zojuist een PR aangemaakt om met de aanpassingen in de firmware om te kunnen gaan, alleen nog niet naar het doorgeven van versienummer gekeken.

Wat betreft het automatisch starten: Ik heb het zelf geregeld door beide scripts (zonder de wrappers) in de cron te zetten met een flock.

[Jerrythafast]

Normaal gesproken zou je zo'n automatisch startend script op een Linux-installatie moeten kunnen instellen met behulp van een systemd service file. Dat is een simpel configuratiebestandje dat je in /etc/systemd/system zet en met het commando systemctl enable kunt aanzetten. Zo heb ik dat o.a. met de se-logger software voor SolarEdge omvormers gedaan. Moet niet moeilijk zijn om dat voor Growatt aan te passen.

[Jeltel]

Andere optie is het runnen van een Python script. Aangevuld met enkele firewall regels is het eenvoudig te regelen op een raspberry Pi (zelfs op een Zero).

Ik probeer het nog aan de praat te krijgen op een Intel Nuc (waar meerder zaken op draait, oa Home Assistant), maar dat is me nog niet gelukt.

https://github.com/johanmeijer/grott

Hoe te installeren staat op: https://github.com/johanmeijer/grott/wiki
@Johan_meijer is snel en heeft het issue met de aanpassingen vanuit Growatt al heel snel gefixed. En heeft ook enkele zaken geïmplementeerd waar ik om heb gevraagd (MQTT met authenticatie en enkele extra velden )

[Voor 21% gewijzigd door Jeltel op 04-05-2020 00:32]

[slelieveld]

Hallo, over een aantal weken zou ik ook een growatt omvormer krijgen. een 5500. Ik las het volgende:
https://github.com/timvancann/homeassistant-growatt

Dit zou direct in hass moeten werken (?).

Maar ik zie dat er daar een cloud account voor nodig is. En dan gaan mijn haren rechtop staan. Het lijk erop dat bovenstaand "lokaal" is. Lees ik dat goed? Klopt het dat ik dan mijn growatt lokaal uit kan lezen en middel home assistant kan bekijken? Ik verneem graag. Sta open voor een uitdaging :-)

[DjaRoel]

slelieveld schreef op dinsdag 5 mei 2020 @ 15:22:
Hallo, over een aantal weken zou ik ook een growatt omvormer krijgen. een 5500. Ik las het volgende:
https://github.com/timvancann/homeassistant-growatt

Dit zou direct in hass moeten werken (?).

Maar ik zie dat er daar een cloud account voor nodig is. En dan gaan mijn haren rechtop staan. Het lijk erop dat bovenstaand "lokaal" is. Lees ik dat goed? Klopt het dat ik dan mijn growatt lokaal uit kan lezen en middel home assistant kan bekijken? Ik verneem graag. Sta open voor een uitdaging :-)

Growatt is sowieso cloud gebaseerd en werkt prima.

Ik heb zelf drie omvormers, ik had een guest account aangemaakt voor een collega die HA draait om even te testen en dat werkte als een trein. Misschien dat ik zelf ook gebruik ga maken van HA om vervolgens met een API de data lokaal weer te gebruiken. Zie het niet zo zitten om het script zelf te reverse engineren.

[slelieveld]

@DjaRoel, snap niet helmaal wat je nu bedoelt. Ik vind niet echt een antwoord op mijn vraag 😊. En je antwoord snap ik ook niet mbt home assistant. Sprak je collega nu lokaal (direct) tegen de omvormers aan of via de "cloud" van die omvormers? En zijn het growatt omvormers?

[Jeltel]

In beide gevallen wil de omvormer eerst een connectie maken met de servers van GroWatt. Pas als de connectie met growatt servers is opgezet wordt er data verstuurd. Die onderschep je en stuur je direct naar waar je wil via MQTT.

Ideaal zou zijn dat je lokaal een server opzet die de Growatt server nadoet. Maar heb nog niemand gevonden die dat geprogrammeerd heeft.

Voordeel aan de mogelijkheden in dit topic is dat je meer en vaker data van de omvormer kan krijgen. Via de Growatt servers is het één keer in de 5 minuten en je mist enkele gegevens.
En ik heb gemerkt dat de connectie van de officiële Home Assistent plugin niet zo stabiel is en wel eens data mist.

[DjaRoel]

slelieveld schreef op dinsdag 5 mei 2020 @ 16:26:
@DjaRoel, snap niet helmaal wat je nu bedoelt. Ik vind niet echt een antwoord op mijn vraag 😊. En je antwoord snap ik ook niet mbt home assistant. Sprak je collega nu lokaal (direct) tegen de omvormers aan of via de "cloud" van die omvormers? En zijn het growatt omvormers?

Ik bedoel dat een Growatt omvormer normaal zijn data forward naar de Growatt server, dat zou je dus cloud kunnen noemen 🙂 en om dat te bekijken moet je een account aanmaken op de Growatt site.

Vervolgens kan je met dat account, of in mijn geval een guest account welke ik voor mijn collega gemaakt heb om te testen of en hoe de plugin voor HA werkte (Ik heb drie Growatt omvormer draaien, en hij HA en ik niet 😉), op je HA zien wat je panelen gedaan hebben door je plant ID in te geven en je user en ww. Maar linksom of rechtsom haal je de data wel van de Growatt server op die manier.

[Voor 11% gewijzigd door DjaRoel op 05-05-2020 18:22]

[redbullwaning]

@Jeltel Ikzelf heb deze nu werkend.link
deze kan volgens mij ook sta draaien.

Dit is de data die eruit komt, elke 30 sec. komt er een data bericht.

Growatt Inverter serial : 5FZ****** Capture sample date : ---
Growatt Wifi Module serial: YUZ****** Capture sample time : ---
Growatt Inverter status : 1 (normal) Growatt temperature : 44.0 C
---------------------------------------------------------------------------------------
E_Today 4.8 kWh E_Total 1195.5 kWh Total time 941.6 hrs
---------------------------------------------------------------------------------------
Ppv 2141.2 W Pac 2095.4 W Fac 50.03 Hz
---------------------------------------------------------------------------------------
Vpv1 378.0 V Vpv2 198.3 V
Ipv1 3.7 A Ipv2 3.5 A
Ppv1 1435.8 W Ppv2 705.4 W
---------------------------------------------------------------------------------------
Vac1 237.4 V Vac2 0.0 V Vac3 0.0 V
Iac1 8.8 A Iac2 0.0 A Iac2 0.0 A
Pac1 2096.9 W Pac2 0.0 W Pac2 0.0 W
---------------------------------------------------------------------------------------
Epvtotal 1217.9 kWh
Epv1today 3.3 kWh Epv2today 1.6 kWh
Epv1total 788.6 kWh Epv2total 429.3 kWh
---------------------------------------------------------------------------------------
ISO Fault 0.0 V Vpvfault 0.0 V Tempfault 0.0 C
GFCI Fault 0.0 mA Vacfault 0.0 V Faultcode 0x00
DCI Fault 0.0 A Facfault 0.00 Hz
---------------------------------------------------------------------------------------
IPMtemp 42.0 C Rac 0.0 Var
Pbusvolt 377.6 V E_Rac_today 0.0 Var
Nbusvolt 0.0 V E_Rac_total 0.0 Var
---------------------------------------------------------------------------------------

Dit kun je weer doorsturen naar domoticz

[Jeltel]

@redbullwaning Interresant!
Daar ga ik een keer mee stoeien. Alhoewel de data dan nog niet in Home Assistant staat. Daarvoor lijkt me MQTT toch wel handig.

Zouden jullie hier wat mee kunnen @Johan_meijer en @GAEvakYD ?

[Voor 5% gewijzigd door Jeltel op 05-05-2020 22:37]

[slelieveld]

redbullwaning schreef op dinsdag 5 mei 2020 @ 21:09:
@Jeltel Ikzelf heb deze nu werkend.link
deze kan volgens mij ook sta draaien.

Dit is de data die eruit komt, elke 30 sec. komt er een data bericht.


[...]


Dit kun je weer doorsturen naar domoticz

Hi, hoe en waar haal je deze data? Ik lees iets met P1? Is dat via de slimme meter of een P1 op de growatt?

[redbullwaning]

@slelieveld p1 staat todo bij, zit er nog niet in

De data komt van de shinelan in de proxy server op de pi en word door gestuurd naar server.growatt.com (is een vrije keus)

data komt in een .dat bestandje in een map te staan.

Heb het script wel aangepast zodat ik niet 1800 .dat bestandjes per dag krijg

[Johan_meijer]

Jeltel schreef op dinsdag 5 mei 2020 @ 22:27:
@redbullwaning Interresant!
Daar ga ik een keer mee stoeien. Alhoewel de data dan nog niet in Home Assistant staat. Daarvoor lijkt me MQTT toch wel handig.

Zouden jullie hier wat mee kunnen @Johan_meijer en @GAEvakYD ?

Ik ga er naar kijken @Jeltel
Kan een mooie toevoeging zijn aan mijn Growatt monitor (Grott).

[Voor 8% gewijzigd door Johan_meijer op 11-05-2020 11:21]

[Johan_meijer]

Ik ben ook aan het nadenken om zelf een Wifi module te maken die de Growatt inverter continue kan uitlezen.

Ik denk nu aan een oplossing op basis van een MAX3232 en een ESP32 (zit volgens mij ook in de WifiShini module).

Heeft iemand hier ervaring mee?

[vso]

@Jeltel & @redbullwaning als ik het goed begrijp hebben jullie ieder een aparte manier van verbinden ? (dus 2 verschillende?)

Miin growatt gaat woensdag/vrijdag live .. wat is nu de meest wijze om te doen / stappen plan ?

ps @redbullwaning ik ben bezig om mijn toon "standalone" te maken en zo daar de P1 data vandaan te trekken .. kan ik met je code helpen oid ?

[Jeltel]

Voor nu heb ik een Pi Zero W liggen met daarop Grott van @Johan_meijer

Ben er niet aan toegekomen om een eigen server op te stellen, zoals hierboven genoemd.

Voor zover ik kan zien is de versie van @GAEvakYD nog niet aangepast in Github met de nieuwe telegramstijl van Growatt. Die zou ik daarom even laten zitten voor nu.

Maar je bent vrij om wél een eigen server op te stellen en je ervaringen hier te delen, zodat wij er van kunnen leren

[vso]

Jeltel schreef op maandag 18 mei 2020 @ 16:45:
Voor nu heb ik een Pi Zero W liggen met daarop Grott van @Johan_meijer

Ben er niet aan toegekomen om een eigen server op te stellen, zoals hierboven genoemd.

Voor zover ik kan zien is de versie van @GAEvakYD nog niet aangepast in Github met de nieuwe telegramstijl van Growatt. Die zou ik daarom even laten zitten voor nu.

Maar je bent vrij om wél een eigen server op te stellen en je ervaringen hier te delen, zodat wij er van kunnen leren

ik heb al een "server" .. moet alleen x.y.z in doen ..

alles komt alleen in 1x dus veel projecten tesamen

[redbullwaning]

@vso Ikzelf heb geen p1(nog een draaischijf)

deze
deze

Heb ik niet werkend gekregen.
Er kwam data binnen maar kreeg rare waardes, en het werd niet geupdate naar server.growatt.com

deze

draaid nu bijna 3 weken probleemloos.

wat resulteert in dit

[Jeltel]

Tof dat dat werkt. Nu de data alleen nog naar Home Assistant ipv domoticz (via mqtt bijvoorbeeld) en ik stap over en laat growatt helemaal niets meer weten

[Johan_meijer]

Ik heb mij Grott monitor programma aangepast en heb een proxy mode toegevoegd.

link: https://github.com/johanmeijer/grott

Het is nu niet meer nodig om IP forwarding te gebruiken.

let wel: De informatie wordt nog steeds doorgestuurd naar de growatt server. Dit is nu nog nodig om de communicatie op gang te houden. Ook worden updates naar de inverter gestuurd via deze verbinding.

De nieuwe proxy mode is wel de basis om eventueel filtering toe te kunnen passen of later een 3e modus (server) te maken die doorsturen naar Growatt totaal overbodig maakt.

[Jeltel]

@Johan_meijer Deze versie op mijn nuc gezet en deze werkt gelijk, zonder moeite.
Zeker een aanrader de proxy versie.

[slelieveld]

Hallo, is het mogelijk om ergens meer info te vinden over hoe dit te doen?

[Jeltel]

@slelieveld Euh, Klik op de linkjes in het topic? Daar doorklikkend vind je genoeg informatie. Zeker grott heeft een prima wiki.

En als je er dan nog niet uit komt, kun je gerichte vragen stellen.

[slelieveld]

Hallo, ja die had ik gezien. Wellicht een aantal gerichte start-vragen. Ik heb home assistant draaien, MQTT staat aan en ik heb de mogelijkheid om een VM te maken,

Ik zou dan de "proxy mode" willen gebruiken. Wat moet ik doen? Maak ik een ubuntu vm? Ik ben geen linux kenner, hoe krijg ik de grott(?) software op de vm en hoe kan ik het verkeer vanuit de growatt naar die vm krijgen? Ik ben goed technisch maar begrijp het concept nog niet helemaal :-)

[Jeltel]

@slelieveld Juist die vragen gaan niet over grott, maar over verkeer omleiden naar een VM. Daarvoor kun je je vraag beter stellen aan mensen die ervaring hebben met vm's.

[slelieveld]

@Jeltel, dat vm gedeelte lukt wel, maar moet ik iets in de growat omzetten? En dan de rest vd vragen. Hoe krijg ik de software op de vm? wat moet ik doen?

[Jeltel]

@slelieveld In de wiki staat met welke commando's in Linux je grott aan de praat krijgt. Om specifieker te zijn: https://github.com/johanm...P-data-via-a-Linux-Server. Als je de proxy gebruikt hoef je de firewall regels niet te doen, maar wel in de growatt het ip van het apparaat waar je grott op draait.

Dat had je dus uit de wiki kunnen halen. En omdat je aangeeft goed technisch te zijn en we op tweakers zijn, had ik verwacht dat je daar zelf ook wel achter was gekomen.

[slelieveld]

Hallo, dank je wel. Ik snap het principe en zie alle informatie ook in mijn thuis opstelling staan, dat moet wel lukken.

Maar ik heb nog steed na alles aandachtig gelezen te hebben de vraag wat ik "in de VM" moet doen. Ik kan Ubuntu Server 16, 18, 20 installen (welke beste - curl3 ontbreekt geloof ik op de laatste 2?) en wát moet ik dan precies voor commandos uitvoeren om de grott (?) of linux server om de software er op te installeren? Hier heb ik geen kaas van gegeten (linux :-))... moet ik bestandjes van github downloaden en erheen kpieren? of? Ik heb echt nog geen idee...

Zou je me kunnen helpen? Dank je wel.

[Voor 10% gewijzigd door slelieveld op 24-06-2020 10:36]

[Jeltel]

@slelieveld ik ga geen basiscursus Linux geven. Daar zijn betere plekken voor.
Erg waardevol, dus succes!

[slelieveld]

Jeltel schreef op dinsdag 16 juni 2020 @ 08:41:
En als je er dan nog niet uit komt, kun je gerichte vragen stellen.

Jammer dat je me niet wilt helpen met een paar simpele stappen.

[slelieveld]

Mocht er nog iemand anders willen helpen..

Ik heb een paar gerichte vragen:
1. hoe krijg ik de file grott.service volgens "Copy grott.service in /etc/systemd/system directory for running grott as a deamon" op mijn ubuntu server? Ik heb winscp gedaan, met SFTP, SCP en shell sudo su- maar niets lukt , permission denied.
EDIT: vele omwegen maar via winscp verplaatst in tmp en putty en sudo naar /etc/systemd/system
2. waar en welke files plaats ik waar? (uit dit lijstje? https://github.com/johanmeijer/grott

En nu?

[Voor 11% gewijzigd door slelieveld op 24-06-2020 14:59]

[slelieveld]

.

[Voor 123% gewijzigd door slelieveld op 25-06-2020 11:20]

[redbullwaning]

@slelieveld die files plaats je volgens mij gewoon in een map /home/pi/growatt

[Johan_meijer]

@slelieveld Sander ik heb je een prive bericht gestuurd laten we even samen kijken of we het aan de praat krijgen.

Ik heb wel gezien nu dat ik qua installatie iets moet aanpassen om het eenvoudig van Git te kunnen downloaden en installeren. Zal dat binnenkort aanpassen.

Ik ben ook erg benieuwd of het werkt met de nieuwe Growatt - XE inverters (of de data layout htezelfde is).

[Johan_meijer]

Ik ben aan het werk met een beta versie van Grott (2.1.3., draait bij mij in test) die een aantal extra features heeft.

1. Automatisch detecteren van inverter / record layout (scheelt veel configuratiewerk)
2. Optioneel directe output naar PVOutput.org (ipv of samen met MQTT msg)
3. Kan als een service onder windows draaien. (zie de beschrijving in de wiki )
4. Parameters kunnen gezet worden via environmental variables. Hierdoor is het eenvoudig om een generieke docker container te maken en te configureren (aanpassen) tijdens starten van de Container (Docker containers voor RPI en Windows komen binnenkort beschikbaar in Docker Hub)
5. Optioneel blokkeren van commando's vanuit Growatt

De laatste optie is een uitbreiding op de proxy mode en zorgt er voor dat Growatt de invert niet vanuit China kan besturen. De data wordt nog steeds naar de Growatt server gestuurd hierdoor blijven de rapportages wel beschikbaar.

Ik begrijp dat dit nog geen vervanger is voor de behoefte aan een server versie die geheel geen data naar Growatt stuurt (daar wordt nog aan gewerkt) maar is volgens mij een goede optie voor diegene die wel de lusten maar niet de lasten van de Growatt website / server willen.
Het geeft een stuk bescherming tegen misbruik maar niet tegen het sturen van gegevens naar China.

Ik heb er zelf geen moeite mee dat de gegevens van mij zonnepanelen opbrengst geregistreerd worden in China. Ik heb er wel moeite mee dat ze ze kunnen bedienen vanuit China.

Graag jullie mening.

[Torgo]

Johan_meijer schreef op donderdag 10 september 2020 @ 17:32:
Ik ben aan het werk met een beta versie van Grott (2.1.3., draait bij mij in test) die een aantal extra features heeft.

1. Automatisch detecteren van inverter / record layout (scheelt veel configuratiewerk)
2. Optioneel directe output naar PVOutput.org (ipv of samen met MQTT msg)
3. Kan als een service onder windows draaien. (zie de beschrijving in de wiki )
4. Parameters kunnen gezet worden via environmental variables. Hierdoor is het eenvoudig om een generieke docker container te maken en te configureren (aanpassen) tijdens starten van de Container (Docker containers voor RPI en Windows komen binnenkort beschikbaar in Docker Hub)
5. Optioneel blokkeren van commando's vanuit Growatt

De laatste optie is een uitbreiding op de proxy mode en zorgt er voor dat Growatt de invert niet vanuit China kan besturen. De data wordt nog steeds naar de Growatt server gestuurd hierdoor blijven de rapportages wel beschikbaar.

Ik begrijp dat dit nog geen vervanger is voor de behoefte aan een server versie die geheel geen data naar Growatt stuurt (daar wordt nog aan gewerkt) maar is volgens mij een goede optie voor diegene die wel de lusten maar niet de lasten van de Growatt website / server willen.
Het geeft een stuk bescherming tegen misbruik maar niet tegen het sturen van gegevens naar China.

Ik heb er zelf geen moeite mee dat de gegevens van mij zonnepanelen opbrengst geregistreerd worden in China. Ik heb er wel moeite mee dat ze ze kunnen bedienen vanuit China.

Graag jullie mening.

Ik heb een Growatt 5000TL-XE en vind het wel prima dat de gegevens naar Growatt gaan, maar zou erg graag de optie hebben om dit redelijk plug&play ook naar PVoutput te kunnen versturen.

[cwegh]

Johan_meijer schreef op donderdag 10 september 2020 @ 17:32:
Parameters kunnen gezet worden via environmental variables. Hierdoor is het eenvoudig om een generieke docker container te maken en te configureren (aanpassen) tijdens starten van de Container (Docker containers voor RPI en Windows komen binnenkort beschikbaar in Docker Hub)[/li]

Kudos, ik wacht met smart op de Docker Hub image!

Edit: mocht het niet veel werk zijn, maak em ook Synology ready (kan het zelf ook, maar bij de bron ben ik zeker van interoperabilitieit in nieuwe versies ;-))

[Voor 15% gewijzigd door cwegh op 13-09-2020 08:45]

[Johan_meijer]

Ik ga volgende week de nieuwe versie en docker containers publiceren.

Ik heb zelf geen synology nas dus wordt het wat lastiger om dat te bouwen/testen. Ik zag dat er wel docker beschikbaar is dus misschien dat de containers werken of dat er eenvoudig een container te creeren. Is.

[Johan_meijer]

Versie 2.2.1 met bovenstaande features is gepubliceerd op github (nu nog als aparte branche binnenkort als master).

Er zijn nu ook docker images beschikbaar op dockerhub. Zie ledidobe/grott voor de standaard image en ledidobe/grottrpi voor de oudere raspberry pi (arm32).
De docker images zijn getest onder ubuntu, synology nas en rpi.

Ik ga deze week de wiki (documentatie) bijwerken ( is al gebeurd!)

Voor docker gebruik kan informatie gehaald worden uit de github issues 4 en 15 en de github wiki!

[Voor 4% gewijzigd door Johan_meijer op 05-10-2020 22:28]

[Jeltel]

En docker, werkt als een trein nu.
Zeker aan te raden, als je toch al dockers hebt draaien.

[Cyberdude47]

@Johan_meijer Ik was hier precies naar op zoek. Een manier om de bestaande Growatt Wifi module te koppelen aan zowel PVoutput als aan HA. Ik heb zelf nog geen wifi module, maar ik denk dat ik die wel zsm ga aanschaffen.

Ik zie in de documentatie (https://github.com/johanm...ata-via-your-Grott-Server) staan dat er twee methodes zijn om het IP adres in te stellen van de Grott server (proxy mode). Ofwel via de server.growatt.com webinterface, ofwel bij een reset van de wifi module. Lees ik dat zo correct?

[Johan_meijer]

@Cyberdude47 Klopt. Ik doe het zelf eigenlijk altijd via de growatt website omdat ik om te testen regelmatig switch naar andere servers en het fysiek lastig is om de growatt inverter wifi stick te resetten ( hangt in het trappengat).

[Cyberdude47]

@Johan_meijer ik moet eerlijk bekennen dat ik er nu voor gekozen heb om het zo te doen:
- Growatt omvormer + WifiShine -> Growatt Server
- Growatt Server -> Home Assistant (draait thuis en pollt Growatt)
- Home Assistant -> PVoutput upload dmv 2 regels ...

Werkt uitstekend dus ik ga deze er niet ook nog tussen hangen....

[Jeltel]

@Cyberdude47 dat is natuurlijk een prima keuze. Maar met deze ertussen kun je ervoor kiezen om elke minuut data in Home Assistant te hebben. In de wifishine kun je kiezen om elke minuut data op te sturen. Maar op de growatt server kun je helaas hooguit elke 5 minuten ophalen. Daarnaast was mijn ervaring dat er wel eens een 5 minuten waarde mistte.

En ik heb de hoop ooit de hele growatt server niet meer nodig te hebben. Ze hoeven mijn data niet te hebben.

[Cyberdude47]

@Jeltel daar heb je natuurlijk een punt over die elke minuut data, daar ga ik even over nadenken.

[ParagonEnschede]

Johan_meijer schreef op donderdag 10 september 2020 @ 17:32:
Ik ben aan het werk met een beta versie van Grott (2.1.3., draait bij mij in test) die een aantal extra features heeft.

1. Automatisch detecteren van inverter / record layout (scheelt veel configuratiewerk)
2. Optioneel directe output naar PVOutput.org (ipv of samen met MQTT msg)
3. Kan als een service onder windows draaien. (zie de beschrijving in de wiki )
4. Parameters kunnen gezet worden via environmental variables. Hierdoor is het eenvoudig om een generieke docker container te maken en te configureren (aanpassen) tijdens starten van de Container (Docker containers voor RPI en Windows komen binnenkort beschikbaar in Docker Hub)
5. Optioneel blokkeren van commando's vanuit Growatt

De laatste optie is een uitbreiding op de proxy mode en zorgt er voor dat Growatt de invert niet vanuit China kan besturen. De data wordt nog steeds naar de Growatt server gestuurd hierdoor blijven de rapportages wel beschikbaar.

Ik begrijp dat dit nog geen vervanger is voor de behoefte aan een server versie die geheel geen data naar Growatt stuurt (daar wordt nog aan gewerkt) maar is volgens mij een goede optie voor diegene die wel de lusten maar niet de lasten van de Growatt website / server willen.
Het geeft een stuk bescherming tegen misbruik maar niet tegen het sturen van gegevens naar China.

Ik heb er zelf geen moeite mee dat de gegevens van mij zonnepanelen opbrengst geregistreerd worden in China. Ik heb er wel moeite mee dat ze ze kunnen bedienen vanuit China.

Graag jullie mening.

Ik draai Grott nu een paar weken en het werkt probleemloos. Dank!
Voor mij geldt wel dat ik niet wil dat mijn gegevens naar China (of welke externe server dan ook) gaan. Ik zal eens kijken of de boel gewoon blijft werken als ik server.growatt.com in de blacklist van pi-hole zet, want dan ben ik er ook.

[Johan_meijer]

Ik denk niet dat het gaat werken. Je hebt 2 weg communicatie nodig om de datstroom op gang te houden.

Ben nog aan hetnadenken over een server modes voor grott maar dat is best veel werk en de bestaande beschrijvingen van het protocol dekken niet meer de hele lading. Met de introductie van nieuwe inveters is het protocol ook aangepast en zijn er nieuw type records bij gekomen.
Het is best een puzzel om dat goed uit te zoeken.

Ik moet eerlijk zeggen dat ik niet het risico groot inschat van het sturen van zonnecel data naar china. Wat ik wel een groot risico vond is dat ze vanuit china de inverter konden bedienen en herconfigureren. Dat kan nu met het blockcmd worden voorkomen.

[Wirf]

Hoi,

Ik lees al een poos een Growatt omvormer uit met mijn zelf geschreven aangepaste Python script, een Raspberry Pi en een rs485 adapter. Dit is dus zonder Growatt Wifi of internet module.
Het mooie hieraan is dat de verversingssnelheid een stuk sneller is, (veel) minder dan een seconde ipv. elke 5 minuten.
Misschien is het ook handig voor andere mensen, dus ik heb het maar op Github geslingerd:
https://github.com/WanderW/growatt/blob/main/growatt.py

Edit: Ik kom er net achter dat ik het op deze site heb gebaseerd: http://www.sisand.dk/?p=5

[Voor 11% gewijzigd door Wirf op 01-11-2020 20:59]

[slelieveld]

offtopic ranten in in andermans topic is best..... onbeleefd.

[Voor 93% gewijzigd door teacher op 12-11-2020 09:11]

[Jeltel]

@slelieveld ok dus in het niche geval dat je een slimme meter hebt die elke 1s data geeft én je graag zelf je data bijhoudt is een Growatt 5000XE geen goede keuze.

In alle overige gevallen hoef je echt niet weg te blijven van Growatt. Het ding vormt de stroom van zonnepanelen netjes om in netspanning en doet dus precies wat hij moet doen.

[slelieveld]

Ik had jouw reactie als eerste verwacht. Bedankt voor je bijdrage!

[Torgo]

@slelieveld, Dit is het topic van @Jeltel en gaat over het uitlezen via proxy of Python script en jij gaat klagen over de modbus/RS485 wat mijns inziens compleet off-topic is. Dit is geen aankoop advies topic en ook geen topic over de modbus/RS485.

[slelieveld]

je hebt gelijk, maar dit is een van de weinige topics.

[trebor.ed]

Inmiddels volg ik deze post al een paar dagen en ik heb grott nu aan de praat in een VM.

Alles lijkt te werken, mijn inverter geeft informatie maar ik worstel nog met MQTT (wat nieuw is voor mij). Ik gebruik Domoticz en daar moeten de waardes in landen. Het MQTT bericht wordt verstuurd vanaf grott en komt aan op mijn domoticz server (getest met de mosquito client). Hoe maak ik een overeenkomstig "device" in Domoticz aan waar (per inverter, ik heb er meerdere) de waardes in komen te staan ?

[Johan_meijer]

In dit topic op het Domoticz forum staat hoe je MQTT messages aan Domoticz kunt koppelen.

https://www.domoticz.com/...php?f=51&t=30637&start=40

Moet wel eerlijk zeggen dat je een "vertaal" slag moet maken. Dat doen ze hier (en ik zelf ook) met Nodered.

Maar dat is dan weer een extra tool dat je moet leren (wel leuk! en zeker een verrijking in de home automation IOT omgeving).

Ik gebruik MQTT/Nodered ook om de gegevens van de slimme meter (P1 port) naar Domoticz en PVOutput te schrijven. Leuk om de energy gebruik data en de zonnecel opbrengst met elkaar te combineren.

[Voor 7% gewijzigd door Johan_meijer op 25-11-2020 17:41]

[LordSpud]

Ik ben het verkeer van de WiFi module ook aan het afvangen maar dan "gewoon" rechtstreeks naar een zelfgeschreven applicatie. Kijkend in de Python scripts van @Johan_meijer zie ik wel dat er data naar een bestand wordt geschreven die uiteindelijk vertaald wordt naar iets leesbaars. Ik had zelf al deze handleiding gevonden maar de registerwaarden lijken niet overeen te komen met hetgeen ik binnen krijg.

Hoe zijn jullie achter de vertaling van de berichten gekomen? Eventueel tips waar te beginnen?

Meer concreet: ik log nu even alle bytes die ik binnen krijg over poort 5279 als hexadecimale waarden maar ik kan nog niet vinden hoe de vertaling van deze waarden plaatsvindt naar iets dat lijkt op metrieken van de Growatt.

[Voor 26% gewijzigd door LordSpud op 15-01-2021 21:03]

[Johan_meijer]

Ik ben begonnen met de beschrijving die jij gebruikt. Er zijn ook wel wat nieuwere beschikbaar maar die maken het niet eenvoudiger.

Als je de offsett hebt gevonden waar de werkelijke data begint dat kun je de mapping zoals hier beschreven gewoon gebruiken. De offset hangt een beetje van het type record af (per inverter / shine module verschillend. uit mijn rexxen kun je dat waarschijnlijk wel halen).

Je kunt nu overigens aan Grott ook je een zelf ontwikkelde extensie toevoegen zodat je naar een eigen applicatie kan schrijven, zie ook: https://github.com/johanmeijer/grott/wiki/Extensions.

Grott schrijft overigens niets naar een bestand. Alleen naar MQTT, PVOutput.org en/of InfluxDB. Maar je kunt het natuurlijk wel zelf maken nu in een extension die eenvoudig de JSON message naar een bestand schrijft.

[Johan_meijer]

Oja. Wat ik was vergeten is dat de Growatt records meestal wel gescrambeld zijn (alleen bij oude modules niet) .

Je moet dus eerst een "decrypt" doen.

[LordSpud]

Ok dank, ik was de code van Grott al aan het bekijken en had ook nog dit gevonden. Blijkbaar zijn er meerdere mensen al aan het reverse-engineeren geweest.

"Scramblen", bedoel je daarmee dat eea met het één of ander is geobfusceerd? Ik had de "decrypt" wel al gevonden en vroeg me al af in hoeverre het nodig zou zijn.

[Johan_meijer]

Zonder decrypt kun je het meestal niet lezen. Dus ja dat moet je doen.

Ik heb daar best een tijdje over gedaan om het uit fe zoeken. Lijkt me meest handige om gewoon Grott te gebruiken. Ik denk dat alles er in zit.

[LordSpud]

Johan_meijer schreef op zondag 1 november 2020 @ 14:07:
Ik denk niet dat het gaat werken. Je hebt 2 weg communicatie nodig om de datstroom op gang te houden.

Ben nog aan hetnadenken over een server modes voor grott maar dat is best veel werk en de bestaande beschrijvingen van het protocol dekken niet meer de hele lading. Met de introductie van nieuwe inveters is het protocol ook aangepast en zijn er nieuw type records bij gekomen.
Het is best een puzzel om dat goed uit te zoeken.

Ik moet eerlijk zeggen dat ik niet het risico groot inschat van het sturen van zonnecel data naar china. Wat ik wel een groot risico vond is dat ze vanuit china de inverter konden bedienen en herconfigureren. Dat kan nu met het blockcmd worden voorkomen.

Wat bedoel je eigenlijk met het statement dat 2 weg communicatie nodig zou moeten zijn? Ik draai nu een aantal dagen een server die geen data naar Growatt stuurt en ik krijg iedere dag, zo lang de zon schijnt, data over de lijn. Of is 2 weg communicatie enkel nodig voor bepaalde type inverters?

[Johan_meijer]

Hmm oke.

Bij het opstarten van de inverter. Wordt er een bepaald protocol doorlopen, die bijvoorbeeld de tijd instelt en informatie tussen beide partijen uitwisselt. Daarnaast gaat er regelmatig verkeer over de lijn om aan te geven dat beide partijen er nog zijn (ack/nack).

Ik zal het nog eens proberen. Dank voor de tip.

[Voor 20% gewijzigd door Johan_meijer op 25-01-2021 16:00]

[Johan_meijer]

Nope de inverter (met shinewifi) zend geen data als er geen antwoord wordt gegeven op de initiele protocol dialoog niet wordt opgestart.

Je kunt natuurlijk de ack en nacks., config en commando's etc zelf programmeren maar gezien de hoeveelheid verschillen in de growatt inverters (en de internetkoppeling) en hun protocol (type records) heb ik besloten vooralsnog deze uitdaging niet op te pakken.

[LordSpud]

Ik moet eerlijk bekennen dat ik een beetje aan het strugglen ben met het reverse-engineeren van Grott en de diverse datagrammen die voorbij komen uit de inverter. De code van Grott heeft beperkte documentatie cq. commentaar (begrijpelijk, het is al heel mooi dat er ueberhaupt iets is). Ik heb aan Growatt ook een wat duidelijkere beschrijving gevraagd van de datagrammen die voorbij komen maar ze stuurden soortgelijke documentatie als hetgeen we al hadden. Na wat heen-en-weer gemail werd het vrij snel stil aan de andere kant.

Wat ik nu wel zie is dat mijn inverter iedere minuut data stuurt, maar het zou inderdaad kunnen dat dit verzoeken tot configuratie zijn richting de server. Mijn server antwoord nog niet behoudens ack pakketten (aangezien dit gebeurt op een lager niveau) maar ik heb nog niet precies een idee hoe op byte niveau (of iets hoger) eea af te leiden. Misschien kun je wat toelichting geven op de code in een PM, mocht je daarvoor tijd hebben.

Inmiddels is het gelukt een start te maken met een server die heen-en-weer communiceert met de JPC Logger. Het is allemaal behelpen maar stukje bij beetje krijg ik eea toch oncijfert. Hulp is wel nog steeds welkom om de communicatie beter te begrijpen.

[Voor 11% gewijzigd door LordSpud op 28-01-2021 10:01]

[LordSpud]

Johan_meijer schreef op maandag 25 januari 2021 @ 15:35:
Hmm oke.

Bij het opstarten van de inverter. Wordt er een bepaald protocol doorlopen, die bijvoorbeeld de tijd instelt en informatie tussen beide partijen uitwisselt. Daarnaast gaat er regelmatig verkeer over de lijn om aan te geven dat beide partijen er nog zijn (ack/nack).

Ik zal het nog eens proberen. Dank voor de tip.

Inmiddels kan ik de data van mijn eigen inverter in elk geval opslaan. Jouw code heeft daarbij enorm geholpen, bedankt! Mag ik vragen hoe je die berichten van ook de andere type inverters hebt weten te ontcijferen? Ik kan vooralsnog totaal geen verband leggen tussen de documentatie die Growatt mij gestuurd heeft en de daadwerkelijke inhoud van de datagrammen.

Verder ben ik benieuwd naar wat er in die anounce berichten (0x01 0x03) en in die configuratie berichten staat (0x01 0x19) die de inverter stuurt. Momenteel verwerk ik enkel de data berichten (in mijn geval 0x01 0x04 en 0x01 0x50) dus dat is al heel mooi.

[Johan_meijer]

In basis kun je hier de beschrijving van het protocol vinden:

https://www.vromans.org/j...rowatt_wifi_protocol.html

Dit is wel wat gedateerd. er zijn inmiddels meer codes (meer soorten inverters) en dit is zonder encryptie.

De uitdaging met Grott is dat er meerdere gebruikers zijn met verschillende inverter / netwerk verbindingen en het best veel decodeer en testwerk is om dit allemaal te ondersteunen.

Maar ik denk dat het redelijk compleet is. Ik zou zelf niet teveel werk stoppen in een server zijn. Volgens mij gaan er niet veel geheime data naar Growatt en als je er voor zorgt dat er geen commando's terug gaan naar je inverter (de blockcmd optie in Grott) dan is het redelijk beschermt denk ik.

[LordSpud]

Johan_meijer schreef op zaterdag 30 januari 2021 @ 12:14:
In basis kun je hier de beschrijving van het protocol vinden:

https://www.vromans.org/j...rowatt_wifi_protocol.html

Dit is wel wat gedateerd. er zijn inmiddels meer codes (meer soorten inverters) en dit is zonder encryptie.

De uitdaging met Grott is dat er meerdere gebruikers zijn met verschillende inverter / netwerk verbindingen en het best veel decodeer en testwerk is om dit allemaal te ondersteunen.

Maar ik denk dat het redelijk compleet is. Ik zou zelf niet teveel werk stoppen in een server zijn. Volgens mij gaan er niet veel geheime data naar Growatt en als je er voor zorgt dat er geen commando's terug gaan naar je inverter (de blockcmd optie in Grott) dan is het redelijk beschermt denk ik.

Die pagina kende ik inderdaad, het is mede de bron van het werkend krijgen van het servertje dat ik nu heb draaien. Toch bedankt voor de link. Ik begrijp jouw advies daaromtrent ook, maar de reden voor het zelf willen ontwikkelen van een server is niet alleen uit principe. Het is ook gewoon leuk om te doen en ik wil de applicatie verrijken met informatie uit de slimme meter die hier in de meterkast hangt. Daar heb ik momenteel ook al een Pi aan hangen (op de P1 poort van die meter) en ook die software (waarmee ik die meter dus uit zal lezen) zal ik zelf schrijven ondanks dat hier ook al vanalles voor bestaat. Overigens "weet" de slimme meter ook wat er terug geleverd wordt, dus ik verwacht daar zelfde gegevens uit te kunnen onttrekken. De inverter heeft echter nog meer gegevens die ik niet uit de slimme meter kan halen.

Uiteindelijk wil ik een op maat gemaakt dashboard maken met alles wat hier thuis verder nog draait en interessant kan zijn om te meten en te weten. Ik kan allerlei componenten gebruiken (grott voor de inverter, domoticz voor het uitlezen van Zigbee apparaten en al bestaande software voor het uitlezen van de slimme meter) en hier iets overheen bouwen om een soortgelijk resultaat te halen. Liever ontwikkel ik echter "gewoon" zelf een applicatie waar het allemaal in zit. Voor de hobby, maar misschien hebben andere mensen hier ook nog wat aan.

[Voor 5% gewijzigd door LordSpud op 30-01-2021 12:33]

[Johan_meijer]

Ik laat zowel Grott als de P1 naar mqtt schrijven.

Ik gebruik nodered om dit lezen en te verwerken. Ik heb een dasboard in nodered gemaakt en laat ook data (growatt en p1) naar influxdb schrijven. Vanuit hier is het heel eenvoudig om dasboard met grafana te maken.

[LordSpud]

Grafana is mooi spul, Nodered ken ik dan weer niet. Ziet er op het eerste gezicht in elk geval mooi uit. Bedankt voor de tip.

[con1]

Voor wat het waard is.

Ik lees de Growatt uit middels de RS485, dit doe ik in
combinatie met mijn slimme meter, in Python geschreven.

Het resultaat wordt iedere minuut opgeslagen in een tekstfile.
Dit file gebruik ik voor gnuplot en converteer het naar uren,
dagen en maanden.

code:

#!usr/bin/python
#-*-coding: utf-8-*-
# MBSolget P1 Telegram Catch
# 

version = "v1.00"
import sys
import os
import os.path
import stat
import serial
import time
import datetime
import subprocess
import locale
import calendar
from sys import exit
from time import strftime
from datetime import datetime
from pyowm import OWM
from pymodbus.client.sync import ModbusSerialClient as ModbusClient

ad=0
ap=0
gd=0
gp=0
am=0
gm=0

###############################################################################################################
# Main program
###############################################################################################################
#Initialize
p1_telegram  = False
p1_timestamp = ""
p1_log       = True

tijd = time.strftime("%d.%m.%Y %H:%M")

#print date

gro = ModbusClient(method='rtu', port='/dev/Growatt', baudrate=9600, stopbits=1, parity='N', bytesize=8, timeout=2)
gro.connect()

#Set COM port config
ser          = serial.Serial()
ser.baudrate = 9600
ser.bytesize = serial.SEVENBITS
ser.xonxoff  = 1 # op 23-12-2014 0057 op 0 gezet, stond op 1
ser.rtscts   = 0
ser.timeout  = 8 # 27-6-2015 was 5
ser.port     = "/dev/P1-Meter"
teller=0

#Open COM port
try:
    ser.open()
except:
    sys.exit ("Fout bij het openen van poort %s. "  % ser.name)      

ser.flushInput()
ad=0
ap=0
gd=0
gp=0
am=0
gm=0
#ser.close() stond na regel 81
#P1 uitlezen
while p1_log:
    p1_line = ''
    try:
        p1_raw = ser.readline()
    except:
        sys.exit ("Fout bij het lezen van poort %s. " % ser.name )
#   ser.close()
    p1_line = p1_raw.strip()
    p1_str  = str(p1_raw).encode("utf-8")
    p1_line = p1_str.strip()
    if p1_line[0:1] == "/":
        p1_telegram = True
    elif p1_line[0:1] == "!":
        if p1_telegram:
            p1_telegram = False 
            p1_log      = False
#           ser.close()
    if p1_telegram:
        if "1.8.1" in p1_line: ad= int(1000 * float(p1_line[10:19])) # ad= afgenomen dal
        if "1.8.2" in p1_line: ap= int(1000 * float(p1_line[10:19])) # ap= afgenomen piek
        if "2.8.1" in p1_line: gd= int(1000 * float(p1_line[10:19])) # gd= geleverd dal
        if "2.8.2" in p1_line: gp= int(1000 * float(p1_line[10:19])) # gd= geleverd piek
        if "1.7.0" in p1_line:
            am= int(1000 * float(p1_line[10:17])) # am= afgenomen nu
    try:
        ra = gro.read_input_registers(17,13)
        data = str(ra.registers)
        #gro.close()
    except  AttributeError:
        data = "0,0,0,0,0,0,0,0,0,0,0,0,0"
        #gro.close()
        if "2.7.0" in p1_line: gm= int(1000 * float(p1_line[10:17])) # gm= geleverd nu

#Growatt data-afhandeling 
data = data.strip("[]")
data = data.replace(" ", "")
data = data.replace("0,0,0,0,0,0,0,0,0,", "")
k1= data.find(',', 0)
k2= data.find(',', k1+1)
k3= data.find(',', k2+1)
zo = int(float(data[0:k1])/10+.5)
da = int(float(data[k1+1:k2])*100)
To = int(float(data[k3+1:]))

ge=zo+am-gm
data=str(tijd)+","+str(am)+","+str(gm)+","+str(ad)+","+str(ap)+","+str(gd)+","+str(gp)+","+str(zo)+","+str(da)+","+str(To)+","+str(ge)+ "\n"


f=open("log.txt", "a+",0)
f.write(data)
f.flush()
f.close()

En dit zijn de grafieken gemaakt met gnuplot; https://ccvd.eu/Energie.php

[peterpeerdeman]

Johan_meijer schreef op maandag 25 januari 2021 @ 15:35:
Hmm oke.

Bij het opstarten van de inverter. Wordt er een bepaald protocol doorlopen, die bijvoorbeeld de tijd instelt en informatie tussen beide partijen uitwisselt. Daarnaast gaat er regelmatig verkeer over de lijn om aan te geven dat beide partijen er nog zijn (ack/nack).

Ik zal het nog eens proberen. Dank voor de tip.

Hallo @LordSpud en @Johan_meijer, ik heb een write-up geschreven van mijn ervaringen met de growatt wifi module, ik heb uiteindelijk in plaats van de "proxy" methode een nodejs server geschreven die het protocol simuleert, zodat er geen data meer naar de originele growatt server hoeft te lopen. Wellicht inspiratie om iets soortgelijks in python te maken? Deze node scripts draaien overigens prima op raspberry pi via docker.

blog: https://hashbang.nl/blog/...-to-pvoutput-using-nodejs
codebase: https://github.com/peterpeerdeman/raspsolar

[jobr]

Weet iemand ook je met de nieuwste serie van Growatt (Growatt MIC xxxx TL-X /TL-XE) gelijktijdig de wifi module kan gebruiken en de modbus via RS485 kan uitlezen?
Ik dacht te zien dat de wifi module op dit model in een usb poort gaat ipv op de aansluiting waar op de RS485 op zit (zoals bij de vorige modellen).

[redbullwaning]

@jobr ja dat kan.

De rs485 gaat op de syscom pin 3 en 4

[Voor 4% gewijzigd door redbullwaning op 29-06-2021 18:49]

[Yucon]

Het stond al lange tijd op m'n lijstje om hier eens in te duiken. Het lag wel een beetje voor de hand, maar wat fijn om te zien dat mensen het al uitgepuzzeld hebben

[LordSpud]

peterpeerdeman schreef op maandag 28 juni 2021 @ 22:48:
[...]


Hallo @LordSpud en @Johan_meijer, ik heb een write-up geschreven van mijn ervaringen met de growatt wifi module, ik heb uiteindelijk in plaats van de "proxy" methode een nodejs server geschreven die het protocol simuleert, zodat er geen data meer naar de originele growatt server hoeft te lopen. Wellicht inspiratie om iets soortgelijks in python te maken? Deze node scripts draaien overigens prima op raspberry pi via docker.

blog: https://hashbang.nl/blog/...-to-pvoutput-using-nodejs
codebase: https://github.com/peterpeerdeman/raspsolar

Leuk om te lezen. Hier draait eea inmiddels al een aantal maanden op een Java omgeving (Vert.x) met InfluxDB in een Docker instantie. Ik gebruik momenteel een front-end van Influx zelf (daarmee kun je allerlei queries aanmaken en deze visualiseren in een dashboard) maar ik ben nog niet toegekomen aan de implementatie van het uitlezen van de slimme meter via de P1 poort.

De code voor de JPC Collector (zoals ik het projectje genoemd heb) staat hier.

[Voor 5% gewijzigd door LordSpud op 01-07-2021 11:34. Reden: Git locatie toegevoegd.]

[Nightcrawler28]

Ha, ik heb een nieuwe omvormer van Growatt gekregen met een ShineLAN stick. Hiervoor had ik een Omnik(sol) omvormer maar die is stuk gegaan

Nu ben ik best bekend met scripts en domotica hoor, en ik heb het script van @Johan_meijer nu ook op een van mijn RPI's gezet. alleen ik krijg met geen mogelijkheid er dataverkeer van die growatt te zien, kan iemand eens mijn grott.ini checken of een duwtje geven?

in pastebin staat mijn volledige config: https://pastebin.com/ab0hAbvi
maar wat gedaan:

- GIT clone van de repo gemaakt
- wiki gevolgd natuurlijk
- eerst als proxy opgestart met geheel geen aanpassingen
- expliciet in mijn (unify usg) router nog portforwarding op 5279 opengezet
- op datalogger lokaal de serverIP opgegeven van de RPI
- IP adres in grott.ini opgegeven van de RPI zelf (??, dacht dat ik hier de ShineLAN ip stick kon geven?)
- MQTT draait op dezelfde RPI als grott, wel met authenticatie.
- ook SNIFF mode geprobeerd en IPtables instructie opgevolgd.

bij al deze stappen een keer gestart met

code:

python3 grott.py -v

enige output is naast de configlines:

code:

Grott proxy mode started
Hostname : emoncms
IP :  127.0.1.1 , port :  5279

waarbij emoncms de DNS is van mijn RPI ip 192.168.1.110

wat doe ik fout? of hoe kan ik het beter debuggen?

[LordSpud]

Als je een netcat start op de RPI op poort 5279 zie je dan wel verkeer voorbij komen? Ik ga er even vanuit dat je de ShineLAN stick hebt ingesteld te verbinden met je RPI op je lokale netwerk...

[Jeltel]

@Nightcrawler28 Zo te zien wordt de data van de ShineLAN stick niet naar je Pi geleid. Heb je deze stap uitgevoerd?
https://github.com/johanm...ata-via-your-Grott-Server

[Nightcrawler28]

Jeltel schreef op donderdag 1 juli 2021 @ 14:08:
@Nightcrawler28 Zo te zien wordt de data van de ShineLAN stick niet naar je Pi geleid. Heb je deze stap uitgevoerd?
https://github.com/johanm...ata-via-your-Grott-Server

yess, lokaal op de stick geconfigureerd: https://imgur.com/44BIKtq

[Nightcrawler28]

LordSpud schreef op donderdag 1 juli 2021 @ 13:59:
Als je een netcat start op de RPI op poort 5279 zie je dan wel verkeer voorbij komen? Ik ga er even vanuit dat je de ShineLAN stick hebt ingesteld te verbinden met je RPI op je lokale netwerk...

daar zit wel ergens het issue, want ik krijg zowel met netcat

code:

nc -lv 192.168.1.197

= ip van lanstick, geen data te zien maar hij upload wel naar de server.growatt.com data.

[Nightcrawler28]

opgelost, sorry voor het storen. zit dus toch in het netwerk intern met wat geklooi op de firewall of iptables want andere RPI gepakt en nu werkt het instant.!

[Nightcrawler28]

Trouwens nog wel een timing dingetje in het script, de pvoutput api laat maar 60 requests per uur toe als je de gratis versie gebruikt (300 met donation modus). Er is nog geen optie in grott.ini om dit wat te beperken he? Ik heb het nu direct opgelost door de datalogger maar 1x per 3 minuten wat te laten sturen maar ideaal zou zijn dat intern het elke minuut gaat en de API naar pvoutput 1x per 5 minuten word gepushed. immers 5 minuten is ook het maximale granulaire nivo dat je kan zien op die site.

[Johan_meijer]

@Nightcrawler28 Er is inmiddels ook een issue (#56l over dit aangemaakt op github). Ik ga er over nadenken.
1x per 5 minuten zou wel kunnen voor de gewone stroom berichten denk ik. Moet wel "geheugen" functionaleit in grott gaan inbouwen. Op dit moment is hij stateless en wordt elk bericht apart verwerkt.

Uitdaging is ook als je meerdere inverters hebt en wat te doen met gebufferde data (data wordt door de inverter bewaard als er geen verbindings is en dat doorgestuurd op het moment deze weer terug is).

Kortom moet nog even nadenken over de oplossing. Ideeen zijn zeker welkom. Ik begrijp de problematiek.

[Nightcrawler28]

Ja dat heb ik er zelf netjes aangemaakt, zat ook al wat te zoeken op array buffers maar ben niet goed thuis in python. Een work a round door alles via node-red te laten lopen werkt wel hoor. Daar kan je redelijk makkelijk wat bufferen of gewoon 1x per 5 minuten het laatste resultaat sturen.

Heb ook nog een push gedaan voor een kleine aanpassing in de pvoutput, voltage van de pv panelen ipv netstroom.

[Johan_meijer]

Bij loopt het ook via nodered (2e pvoutput account, 1 account rectstreeks vanuit grott) omdat ik ook nog de waardes van de slimme meter (p1 poort) er aan toe voeg. Bewaar daar inderdaad de laatste waarde en stuur die op basis van een timer.

Zag je push. Ga ik na mijn vakantie mee aan de slag.

[Hieke]

Sinds enkele dagen een Growatt inverter model MIC 2000TL-X met de Growatt ShineWIFI-X datalogger. De opstelling lijkt goed te werken. Datalogger upload de gegevens naar http://server.growatt.com en nodige info over de hardware is ook uit te lezen. So far, so good.

Het enige dat me minder aanstaat is het poortnummer van de datalogger dat getoond wordt. Het ipnummer is mijn correcte publieke IP-nummer. Daarachter wordt een portnummer gemeld dat steeds wisselt en ook niet overeenstemt met dat gebruikt wordt bij de Grott-sniffer.. dat zou 5279 moeten zijn.. Het lijkt random te worden toegewezen en elke keer te veranderen als ik die info opvraag.



Getracht dit portnummer als volgt aan te passen middels deze beschrijving:
https://github.com/johanm...ata-via-your-Grott-Server

in de portal van Growatt en er volgt melding: succesvol maar portnummer wijzigt nog steeds voortdurend...

Zo krijg ik daarmee geen kans om via mijn docker Grott monitor het verkeer mee te lezen.

Iemand een idee of ik informatie verkeerd interpreteer?

Mijn Grott-monitor lijkt geen informatie te verwerken en ook niets te uploaden naar PVoutput.org

[mvank]

Hallo Hieke
Je zou op je Growatt Datalogger het ip/port aan moeten pasen dat deze naar Grott Docker verwijst.
Reboot van de Growatt data logger is vereist om dit te activeren.

[Hieke]

Ergens eerder die info gemist.

Momenteel kan ik er even niets mee maar houd je op de hoogte. Zou mooi zijn als dat de oplossing is.

Geweldig bedankt voor je reactie

[redbullwaning]

Even een tip.

Update niet de firmware van de shinewifi-x naar een nieuwe versie.

Na de update is deze niet meer in AP modus te zetten en alleen via shinephone app in te stellen.

[Hieke]

mvank schreef op zondag 1 augustus 2021 @ 10:53:
Hallo Hieke
Je zou op je Growatt Datalogger het ip/port aan moeten pasen dat deze naar Grott Docker verwijst.
Reboot van de Growatt data logger is vereist om dit te activeren.

[Afbeelding]

[Afbeelding]

T'is gelukt. Alles wordt keurig verstuurd naar de container in Docker op mijn Synology. En vervolgens een upload naar PVoutput.org!
Zie wel dat de ShineLan-X meer configuratiemogelijkheden heeft dan de ShineWIFI-X. Met name de optie om de update van firmware uit te zetten mis ik/heb ik nog niet gezien.

Nu nog even checken of ik via InfuxDB en Grafana de data inzichtelijk krijg. Want portal van Growatt levert niet de fraaiste grafics.

Veel dank!

[Hieke]

Nog een constatering m.b.t. upload vanuit de Grott-container in Docker op mijn Synology naar PVoutput.org:
Ik zie in de logfile het volgende:

Er worden 3 waarden geupload. Dit gaat ook succesvol.

Ik mis echter de temperatuur van de omvormer, pvipmtemperature, deze is wel bekend in het systeem. Zo blijkt uit de eerste regel in deze screenshot.
In de documentatie staat veel over het aanpassen van een ini-file.
En ook over het vullen van Environment, waar ik gebruik van maak om docker te configureren..
Zoals beschreven in https://github.com/johanm.../wiki/Grott-Configuration
Ik lees daar echter niets over het uitbreiden van een vierde, nog beschikbare parameter t.b.v. PVoutput..
Weet iemand hoe de temperatuur via environment kan worden aangevuld met een extra parameter in de container?

Met belangstelling.

[Hieke]

Op help-gedeelte van PVoutput.org gevonden dat V5 de temperatuur is.
Maar nu aan het worstelen met de juiste syntax om dit in de environment op te nemen.
Daarvoor kijk ik in de Wiki bij :

Helaas is de syntax niet helemaal helder voor mij.. In de configuratie van de Docker-container probeer ik dan:



Maar welke karakters ik ook gebruik, enkele aanhalingstekens, dubbele, met of zonder accolade, ik blijf in de logfile (en PVoutput) zien dat er iets niet goed wordt "begrepen"


Iemand de juiste hint?

[Tacoos]

Jeltel schreef op donderdag 1 juli 2021 @ 14:08:
@Nightcrawler28 Zo te zien wordt de data van de ShineLAN stick niet naar je Pi geleid. Heb je deze stap uitgevoerd?
https://github.com/johanm...ata-via-your-Grott-Server

Wellicht doe ik iets heel simpels fout, maar als ik het ip hier probeer in te stellen, krijg ik een set parameter failure

[Jeltel]

@Anoniem: 314428 Oeh, daar heb ik geen ervaring mee. ik heb het op de stick zelf ingesteld.
Misschien dat @Johan_meijer kan helpen? Open anders een ticket op de github.

[redbullwaning]

@Tacoos

Vul je wel een password in?

[Tacoos]

redbullwaning schreef op maandag 29 november 2021 @ 17:36:
@Tacoos

Vul je wel een password in?

growatt+datum? Jazeker

[redbullwaning]

@Tacoos
Je kan ook local dat instellen.

1 keer op knopje drukken van de wifistick. Als goed is wordt ledje blauw.
Dan zend de module een ssid uit daar mee verbinden en dan in de browser naar 192.168.10.100
Password is standaard 12345678
Daar kun je het adres veranderen.

Interval heb je op 5 min staan die kan je op 1 min zetten.

[Johan_meijer]

Bij mij werkt het wel via de Growatt site (zal het nog een keer verifieren voor de zekerheid, ze zijn dingen aan het veranderen). Moest het wel wat vaker achter elkaar doen voordat het ook echt aangepast werd op de inverter / stick merkte ik.

Ik kon het interval niet instellen via de wifistick dialoog (maar dat is alweer 2 jaar geleden oid daarna nooit meer gedaan).

Wees je er van bewust als je de sample interval verhoogt naar 1 minuut en je ook PVOutput gebruikt dan kom je waarschijnlijk in de problemen dat er teveel berichetn verstuurd worden. Er is een limit per uur in PVOutput.

@Tacoos heb je ook een issue aangemaakt op Github?