Solis Cloud data naar PVOutput, Domoticz

[Proton_]

titel aangepast, kan niet te lang

[ZuinigeRijder]

@BounceMeister Ben je met jouw SolisCloud account wel aangemeld/geregistreerd als eigenaar? Daar zou deze "no authority" misschien mee te maken kunnen hebben

[BounceMeister]

ZuinigeRijder schreef op vrijdag 12 mei 2023 @ 21:22:
@BounceMeister In dit topic wel. Ik weet niet wat de oorzaak is en of diegene die dit hadden dit opgelost hebben.

EDIT: ah, jijzelf hebt dit daar gepost.

Ha, ik dacht het al eens gevraagd te hebben, maar kon het niet meer vinden. Verkeerde topic dus.

[BounceMeister]

ZuinigeRijder schreef op vrijdag 12 mei 2023 @ 23:02:
@BounceMeister Ben je met jouw SolisCloud account wel aangemeld/geregistreerd als eigenaar? Daar zou deze "no authority" misschien mee te maken kunnen hebben

Bij "Mijn profiel" zie ik "Gebruikerstype" als "Eigenaar".
Ik heb de account zelf aangemaakt, maar de installateur heeft hem later op een of andere manier verder ingericht.

[BounceMeister]

Update betreffende mijn vraag: Ik heb de vraag bij Solis neergelegd en zij hebben de API geactiveerd voor me. Ik heb ook wat handleidingen gekregen, dus vanavond weer verder kijken wat ik ermee kan.

[BounceMeister]

Oke, ik krijg nu de gegevens over van SolisCloud naar PVOutput middels het script en de info vanaf hier. Ik draai het scriptje nu via een cmd-box vanaf mijn PC, hoe ik dat op mijn Raspberry Pi met Domoticz moet doen komt later wel.

Ik ben nu bezig om de data naar Domoticz te krijgen, dat lukt nog niet:

20230515 18:39:10: ERROR: http://192.168.1.7:8080/j...e&idx=292&svalue=110;6500 -> 401: Unauthorized

Enerzijds heb ik wat vragen over de cfg file en anderzijds over de aan te maken dummies in Domoticz. Daar kan ik geen duidelijke info over vinden.

Moet "domot_url" in het cfg bestand dezelfde url zijn als waarmee ik Domoticz in de browser benader? Dat is bij mij namelijk via poort 8080. Of moet dat 8081 zijn? (dan krijg ik "verbinding geweigerd")

Wat voor Dummy moet ik aanmaken in Domoticz voor de opbrengst? Ik heb nu type Electric (instant+Counter), type "return" en Energy read "computed".

Domoticz vereist sinds de laatste update een wachtwoord, kan dat de 401 unauthorized foutmelding verklaren?

code:

[Domoticz]
send_to_domoticz = True
domot_url = http://192.168.1.7:8080
domot_power_generated_id = 292
domot_ac_volt_id = 293
domot_inverter_temp_id = 295
domot_volt_id = 294

[ Voor 32% gewijzigd door BounceMeister op 15-05-2023 21:07 ]

[ZuinigeRijder]

@BounceMeister Ik heb gevraagd aan diegene die de domoticz code aangeleverd heeft (ook Nederlander), om hier te reageren. Zie deze discussie.

[Pjelle]

BounceMeister schreef op maandag 15 mei 2023 @ 18:46:
Oke, ik krijg nu de gegevens over van SolisCloud naar PVOutput middels het script en de info vanaf hier. Ik draai het scriptje nu via een cmd-box vanaf mijn PC, hoe ik dat op mijn Raspberry Pi met Domoticz moet doen komt later wel.

Ik ben nu bezig om de data naar Domoticz te krijgen, dat lukt nog niet:

20230515 18:39:10: ERROR: http://192.168.1.7:8080/j...e&idx=292&svalue=110;6500 -> 401: Unauthorized

Enerzijds heb ik wat vragen over de cfg file en anderzijds over de aan te maken dummies in Domoticz. Daar kan ik geen duidelijke info over vinden.

Moet "domot_url" in het cfg bestand dezelfde url zijn als waarmee ik Domoticz in de browser benader? Dat is bij mij namelijk via poort 8080. Of moet dat 8081 zijn? (dan krijg ik "verbinding geweigerd")

Wat voor Dummy moet ik aanmaken in Domoticz voor de opbrengst? Ik heb nu type Electric (instant+Counter), type "return" en Energy read "computed".

Domoticz vereist sinds de laatste update een wachtwoord, kan dat de 401 unauthorized foutmelding verklaren?

code:

[Domoticz]
send_to_domoticz = True
domot_url = http://192.168.1.7:8080
domot_power_generated_id = 292
domot_ac_volt_id = 293
domot_inverter_temp_id = 295
domot_volt_id = 294

Wellicht zou je de ip range van domoticz in kunnen stellen.
Via instellingen > beveiliging > netwerken zonder inlog
127.0.0.*;192.168.1.*

Dat sterretje telt voor de range 1 tot 254 die moet je zo laten staan.

[Hotting]

@BounceMeister
Ik heb van zuinigerijder het verzoek gekregen om op jou vraag voor soliscloud naar domoticz te reageren.
Om zo goed mogelijk antwoord te geven kan jij je vragen en problemen omschrijven zodat ik kan kijken of ik je kan helpen.

Bij mij werkt alles als een zonnetje

[BounceMeister]

Hotting schreef op maandag 15 mei 2023 @ 22:49:
@BounceMeister
Ik heb van zuinigerijder het verzoek gekregen om op jou vraag voor soliscloud naar domoticz te reageren.
Om zo goed mogelijk antwoord te geven kan jij je vragen en problemen omschrijven zodat ik kan kijken of ik je kan helpen.

Bij mij werkt alles als een zonnetje

Alvast bedankt voor de moeite! Ik zal zo veel mogelijk info doorgeven:

Wat ik heb gedaan: Ik heb de API bij Solis geactiveerd en ik heb het script van Zuinigerijder van Github gehaald. Natuurlijk ook geregistreerd op PV-Output en ook daar de benodigde keys vandaan gehaald.

Het config bestand (soliscloud_to_pvoutput.cfg) lijkt wat betreft PV-Output te werken, want ik zie daar gegevens binnenkomen. De dagopbrengst op PV-Output is gelijk aan wat ik in SolisCloud zie.

(Ik draai het python script nu nog vanaf m'n pc om te testen, later wil ik het script op de Raspberry Pi draaien waar ook Domoticz op staat.)

Het probleem zit hem voor mij bij de koppeling naar Domoticz.
Ik zie geen waardes binnenkomen en het script geeft deze melding:
20230515 22:56:09: ERROR: http://192.168.1.7:8080/j...vice&idx=0&svalue=20;6700 -> 401: Unauthorized

In Domoticz heb ik bij Hardware een Dummy aangemaakt met de naam DATA. Daarvandaan deze virtuele sensors aangemaakt: Voltage (2x), temperature en Electric (Instant & Counter).
De Electric sensor heeft Type "Return" en Energy read is "Computed".
De diverse idx overgenomen in het config bestand. Eerst alleen voor domot_power_generated_id, daarna voor alle vier de variabelen.

code:

[Domoticz]
send_to_domoticz = True
domot_url = http://192.168.1.7:8080
domot_power_generated_id = 292
domot_ac_volt_id = 293
domot_inverter_temp_id = 295
domot_volt_id = 294

Geen enkele device krijgt een waarde binnen en het script geeft bovengenoemde foutmelding.


Domoticz versie:
Version: 2023.1
Build Hash: f9b9ac774
Compile Date: 2023-02-14 15:06:40
dzVents Version: 3.1.8
Ik kan Domoticz benaderen via http://192.168.1.7:8080.
Alles zit op hetzelfde netwerk met hetzelfde subnet.
Sinds de laatste update moet ik overigens verplicht inloggen bij Domoticz.

Ik heb geprobeerd on de user en password aan de json string mee te geven, zowel ervoor als erna genoteerd zoals ik dat op internet vond, maar dat hielp niet.

In Domoticz bij Settings/Security de "API Protection:" zowel "aan" als "uit" geprobeerd.

[Hotting]

@BounceMeister

Bij het doornemen van jou probleem. Zie ik niet zo veel verkeerds. In de basis moet het goed zijn maar het kan dat er hier en daar wat vinkjes en of andere dingen fout gaan.
Laten we bij het begin beginnen. Als eerste is het natuurlijk nodig dat de data in domoticz binnen komt. Hier gaat het direct al mis met de foutmelding

20230515 22:56:09: ERROR: http://192.168.1.7:8080/j...vice&idx=0&svalue=20;6700 -> 401: Unauthorized

Om dit te op te lossen zijn er twee mogelijkheden dat is het meegeven van een username en pw of de “zender” een vertrouwde status te geven in domoticz. Zelf ga ik voor de tweede optie. Ik zal hem je uitleggen.

Je kan in domoticz ip adressen of en zelf hele reeksen van ip adressen opgeven welke vertrouwd zijn. Wanneer iets van dit adres binnenkomt, dan is geen pw en username nodig. Je doet dit bij instellingen op de tab beveiliging. Zie de scherm afdruk



Zover ik kan inschatten moet hier bij jou het volgende ingevuld worden.

127.0.0.*;192.168.1.*

Hiermee geef je aan dat alle lokale gebruikers (op dezelfde comp waar domoticz op draait) en de gebruikers met het ip adres 192.168.1.1 t/m 192.168.1.255 toegang hebben tot domoticz

Dit moet je mi het probleem van de toegang hebben opgelost.

Als dit werkt zijn we weer een stap verder. Hopelijk loopt het dan wel door
Gr Hans

Ps Pjelle heeft dit in zijn reactie met minder woorden ook vermeld

[BounceMeister]

@Pjelle @Hotting Ik heb gisteravond Pjelles reactie niet gezien op een of andere manier. De uitleg van Hotting was inderdaad hetzelfde maar stap voor stap zo duidelijk dat het niet meer fout kon gaan. Dank aan beiden.

Ik heb de ranges ingevuld en de foutmelding in het script is weg. (Eerder nooit problemen gehand met data pushen naar Domoticz, maar dit zal sinds de laatste update dan veranderd zijn).

Ik zie de temperatuur nu binnenkomen en het AC voltage klopt ook. Het DC voltage wordt van twee strings bij elkaar opgeteld tot één totaal.
Alleen de belangrijkste "domot_power_generated_id" komt niet goed door.
Welke soort device moet ik aanmaken?

Met deze "electric instant+counter" komt er geen waarde binnen:


En met deze "Custom device" zie ik alleen het actuele vermogen:

Zou daar ook niet een totaal uit moeten komen op een of andere manier?
(uiteraard pas ik de idx steeds aan bij het testen)

[ZuinigeRijder]

@BounceMeister Ik denk dat deze post de setting beschrijft.

[BounceMeister]

ZuinigeRijder schreef op dinsdag 16 mei 2023 @ 11:41:
@BounceMeister Ik denk dat deze post de setting beschrijft.

Ik heb een nieuwe aangemaakt en deze op "usage" gezet in plaats van "return". Ik zie nu wel een waarde doorkomen. Toen ik dat eerder probeerde, maakte dat geen verschil.

[s]Edit,
Nu probeer ik het script op m'n Raspberry Pi te laten draaien, maar in solis.log zie ik dit:

code:

Traceback (most recent call last):
  File "/home/pi/solis/soliscloud_to_pvoutput.py", line 56, in <module>
    logging.config.fileConfig("logging_config.ini")
  File "/usr/local/lib/python3.11/logging/config.py", line 71, in fileConfig
    formatters = _create_formatters(cp)
                 ^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.11/logging/config.py", line 104, in _create_formatters
    flist = cp["formatters"]["keys"]
            ~~^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.11/configparser.py", line 978, in __getitem__
    raise KeyError(key)
KeyError: 'formatters'

Deze info gevonden over de Python versie. Pyton 3.11.1 is nu geïnstalleerd.

Na installeren Python 3.11 volgens deze methode, heb ik dit gestart: "python3.11 soliscloud_to_pvoutput.py" waarbij bovenstaande fouten ontstaan.

[ Voor 120% gewijzigd door BounceMeister op 16-05-2023 21:14 . Reden: ingekort ]

[Hotting]

@BounceMeister

Ik zie de temperatuur nu binnenkomen en het AC voltage klopt ook. Het DC voltage wordt van twee strings bij elkaar opgeteld tot één totaal.
Alleen de belangrijkste "domot_power_generated_id" komt niet goed door.
Welke soort device moet ik aanmaken?

Dit device in domoticz is een bijzondere. Het doet nou net niet helemaal wat je er van verwacht. Maar weet je wat het doet dan doet doet hij precies wat je er van kan verwachten

Ik zal het proberen uit te leggen
Het device verwacht als input 3 waarden volgens de gebruiksaanwijzing

IDX = id of your device (This number can be found in the devices tab in the column "IDX")
POWER = current power
ENERGY = Integer, total cumulative energy in Watt-hours (Wh)
(Energy Read type (use edit button to change): Default: From Device. If the device is not able to send the ENERGY counter values you choose "Energy read : Computed". This will ignore ENERGY counter values and Domoticz will calculate the Energy (kWh) internally based on the (previous/current) POWER (Watt) values. By design this is less accurate then using the ENERGY counter when using them "from Device".)

Domoticz will calculate the today values based on the delta's in the total cumulative energy of today.

De IDX spreekt voor zichzelf. Maar daarna begint het gedonder.
De waarde die binnen komen zijn niet de waarden die als uitvoer te zien zijn, dit verwachten wij wel. en daar gaat het mis.
Het device gaat aan het rekenen met de ingegeven waarden met de volgende opties:
In de computed modus bereken het device alles. Als uitvoer krijg je de actuele(POWER) waarde te zien. Bij de aanmaak van het device staat "vandaag" op 0. ( bij de schermafdruk op 4.130)



Iedere keer dat het device een update krijgt gaat het rekenen. Het berekend de tijds interval tussen de huidige en de vorige upate. Deze tijd gebruikt het device om met de power waarde van de vorige update het verbruikte vermogen te berekenen. Dit berekende vermogen wordt opgeteld bij het totaal gebruikte vermogen. en DIT getal wordt weergegeven bij vandaag.
Het getal van vandaag is dus wat er in totaal gebruikt is voor vandaag.
Aan het einde van de dag slaat het device het totale vermogen op in de database.

Op dag twee en verder wordt er gewoon verder geteld met het verbruikte vermogen. Dit wordt dus steeds groter. Alleen wordt het opgetelde getal niet weergegeven op je scherm want het device trekt van het berekende getal de laatst opgeslagen waarde af die in de database staat. Wat je ziet is dus een berekend verbruik voor die dag.

In de grafiek weergave gebeurd ongeveer het zelfde alleen op een andere interval.

In de device mode. Wordt verwacht dat je alle berekeningen zelf doet en als POWER de actuele waarde opgeeft en als ENERGY de totale waarde van het verbruikte vermogen vanaf het begin opgeeft

Wat is nu de conclusie.
Wanneer een device (Electricity (instant and counter)) aangemaakt wordt met de instellingen computed en delivery. moet het met de huidige invoer vanuit het scrip de boven getoonde uitvoer geven en voor de grafiek het onderstaande. het is alleen een dagje wachten voor het gewenste resultaat



Voor de volledigheid. De meegegeven ENERGY waarde in het script is met bovenstaande oplossing eigenlijk voor jan doodle maar noodzakelijk omdat er om gevraagd wordt.

Een heel warrig verhaal maar het is niet anders

gr
Hans

[BounceMeister]

@Hotting Bedankt voor de uitgebreide uitleg. Aangezien het totaal berekend wordt, krijg je op den duur dan niet een grote afwijking ten opzichte van SolisCloud?

Ik krijg het script op m'n Raspberry Pi nog niet werkend met Python 3.11.1 dus ga ik daar nu eerst Python 3.10.5 installeren zoals ik ook op m'n pc heb staan. Op m'n pc werkt hij namelijk wel, maar die staat niet altijd aan.

edit,

helaas zelfde foutmelding:

code:

python3.10 soliscloud_to_pvoutput.py
Traceback (most recent call last):
  File "/home/pi/solis/soliscloud_to_pvoutput.py", line 56, in <module>
    logging.config.fileConfig("logging_config.ini")
  File "/usr/local/lib/python3.10/logging/config.py", line 72, in fileConfig
    formatters = _create_formatters(cp)
  File "/usr/local/lib/python3.10/logging/config.py", line 105, in _create_formatters
    flist = cp["formatters"]["keys"]
  File "/usr/local/lib/python3.10/configparser.py", line 964, in __getitem__
    raise KeyError(key)
KeyError: 'formatters'

[ Voor 44% gewijzigd door BounceMeister op 17-05-2023 16:48 ]

[Hotting]

@BounceMeister

In de getoonde foutmeldingen staat dat het python 3.10 is terwijl je in de text zegt met 3.11 te werken
Wellicht zit daar het probleem en start je niet met de juiste op.

Wat zijn de eerste drie regels van jou script?

Bij het script van zuiningerijder ontbreekt een eerste regel voor een python script. Strikt genomen niet noodzakelijk maar soms hard nodig
Misschien lost dat jou probleem op
De regel moet zijn:

#! /usr/bin/env phython

Moet wel als eerste regel in het script

Gr
Hans

[Hotting]

@Hotting Bedankt voor de uitgebreide uitleg. Aangezien het totaal berekend wordt, krijg je op den duur dan niet een grote afwijking ten opzichte van SolisCloud?

Uiteindelijk ga je uit de pas lopen. Maar dat valt mee. Ik ben bezig om het eea in orde te krijgen zodat je nauwkeuriger werkt. Dit loopt gelijk met een tick van mij om altijd zo minmogelijk resourses te gebruiken. In het geval van dit script het alleen te laten werken tussen civiltwilight. Raspberry aan het werk ok maar dan geen internet activiteit. Dit is een leuke uitdaging

Gr
Hans

[BounceMeister]

Hotting schreef op donderdag 18 mei 2023 @ 19:09:
@BounceMeister

In de getoonde foutmeldingen staat dat het python 3.10 is terwijl je in de text zegt met 3.11 te werken
Wellicht zit daar het probleem en start je niet met de juiste op.

Wat zijn de eerste drie regels van jou script?

Bij het script van zuiningerijder ontbreekt een eerste regel voor een python script. Strikt genomen niet noodzakelijk maar soms hard nodig
Misschien lost dat jou probleem op
De regel moet zijn:

#! /usr/bin/env phython

Moet wel als eerste regel in het script

Gr
Hans

Klopt, de foutmelding uit mijn bericht betreft de 3.10 versie die ik toen getest had, na de "edit". Daarvóór had ik 3.11, daarbij deze fout.

Het script met naam soliscloud_to_pvoutput.py begint zo:

code:

# == soliscloud_to_pvoutput.py Author: Zuinige Rijder =========================
"""
Simple Python3 script to copy latest
(normally once per 5 minutes) SolisCloud portal update to PVOutput portal.
 """
 
import base64
import hashlib
import hmac
...

Met de toevoeging van "#! /usr/bin/env phython" op regel 1 blijven de fouten bestaan.

code:

#! /usr/bin/env phython

# == soliscloud_to_pvoutput.py Author: Zuinige Rijder =========================
"""
Simple Python3 script to copy latest
(normally once per 5 minutes) SolisCloud portal update to PVOutput portal.
 """
 
import base64
import hashlib
import hmac
import json
import time

[ Voor 14% gewijzigd door BounceMeister op 19-05-2023 10:28 ]

[ZuinigeRijder]

@BounceMeister Het heeft niets te maken met de python versie. Je moet in de directory staan, waar de config file staat, dus eerst een cd naar die directory toe. solis.sh doet dit voor jouw. Heb je ook logging_config.ini in die directory staan, naast soliscloud_to_pvoutput.cfg

[BounceMeister]

ZuinigeRijder schreef op vrijdag 19 mei 2023 @ 10:35:
@BounceMeister Het heeft niets te maken met de python versie. Je moet in de directory staan, waar de config file staat, dus eerst een cd naar die directory toe. solis.sh doet dit voor jouw. Heb je ook logging_config.ini in die directory staan, naast soliscloud_to_pvoutput.cfg

Kort antwoord:
Het script werkt wanneer ik het zelf start.
Automatisch starten na reboot werkte wel, maar er komt maar één keer data door.
Wanneer ik na een minuut of 10 geen data ontvangen te hebben het script dan zelf start, komt er wel weer data binnen in Domoticz.
Ik kan middels "ps -fA | grep python" wel zien dat het script nog draait.

code:

root       371     1  0 22:14 ?        00:00:00 python /usr/local/bin/listen-for-shutdown.py
root       585     1  0 22:14 ?        00:00:00 /usr/bin/python3 /usr/share/unattended-upgrades/unattended-upgrade-shutdown --wait-for-signal
pi         861   856  0 22:16 ?        00:00:00 /usr/local/bin/python3.11 -u home/pi/solis/soliscloud_to_pvoutput.py
pi        1409   763  0 22:30 pts/0    00:00:00 grep --color=auto python

Nu vraag ik me dus af waarom het script maar één keer data doorgeeft.

Lang antwoord:
Ik ben even opnieuw begonnen en heb nu álles gekopieerd wat er in de zipfolder zat. Wellicht dat ik die logging_config.ini niet gekopieerd had, want ik had de eerste keer precies gedaan wat er in de readme stond:

code:

...
### Raspberry pi Configuration
Steps:
* create a directory solis in your home directory
* copy solis.sh, soliscloud_to_pvoutput.py and soliscloud_to_pvoutput.cfg in this solis directory
* change inside soliscloud_to_pvoutput.cfg the API secrets
* chmod +x solis.sh
* add the following line in your crontab -e:

```
2 5 * * * ~/solis/solis.sh > /dev/null
@reboot sleep 123 && ~/solis/solis.sh > /dev/null
```
...

Ik kan het script nu starten met "python3.11 soliscloud_to_pvoutput.py", dan geeft hij geen foutmeldingen meer. Ook zie ik dan data binnenkomen in Domoticz.
Alleen startte hij zelf het script nog niet op na reboot.

Ik zat toen even te rommelen om in solis.sh ipv "python" er "python3.11" in te krijgen. Want de "gewone" python is nog een andere versie vanwege een ander script.

which python3.11 geeft als resultaat: /usr/local/bin/python3.11

Met die info solis.sh aangepast naar:
"/usr/local/bin/python3.11 -u ~/solis/soliscloud_to_pvoutput.py >> solis.log 2>&1"

Er komt nu welgeteld één keer data binnen in Domoticz.
Het script draait nog wel volgens "ps -fA | grep python".
Na ruim 10 minuten geen data ontvangen te hebben heb ik zelf het script opgestart en dan komt er wel weer data binnen.

Ik ben dus wel een stap verder, maar geheel automatisch gaat het nog niet.

Nu is het na 23:00 en stopt het script er sowieso mee. Andere keer verder.

[ZuinigeRijder]

@BounceMeister De readme had ook de logging_config.ini moeten staan, is pas later toegevoegd. Het script zal alleen data sturen wanneer er ook nieuwe data is. Aangezien er rond 22:00 uur geen opwek meer is, zal alleen de eerste keer iets gestuurd worden. Daarna is de data iedere keer dezelfde.

[BounceMeister]

ZuinigeRijder schreef op vrijdag 19 mei 2023 @ 23:28:
@BounceMeister De readme had ook de logging_config.ini moeten staan, is pas later toegevoegd. Het script zal alleen data sturen wanneer er ook nieuwe data is. Aangezien er rond 22:00 uur geen opwek meer is, zal alleen de eerste keer iets gestuurd worden. Daarna is de data iedere keer dezelfde.

Hij draait nu inderdaad! Bedankt voor de hulp, zonder dat was ik er denk ik niet uitgekomen.

[ZuinigeRijder]

@BounceMeister Ik heb de README aangepast, zodat ook logging_config.ini genoemd wordt.

[The-Source]

Sinds vandaag blijkt mij huidige script niet meer te werken. Zit nu niet thuis te werken dus weinig echt details (mobiel op RDP sessie is wat ongelukkig)
Maar wellicht ervaren meer mensen vandaag hetzelfde?

[ZuinigeRijder]

@The-Source Bij mij doet het script het nog. Echter een paar dagen geleden stopte het script ermee, omdat SolisCloud wel data teruggaf, maar die was niet goed, waardoor er een exceptie kwam. Daarvoor heb ik een nieuwe versie gereleased, zodat het script blijft doorlopen en na 1 minuut opnieuw probeert.

[ Voor 4% gewijzigd door ZuinigeRijder op 31-05-2023 15:14 ]

[The-Source]

@ZuinigeRijder Ik draai op een eigen script en wat ik even kon zien via de RDP is ook iets met andere data retour waardoor het script crashed.
Maar hij crashed al de hele dag ... weer wat huiswerk vanavond

[ZuinigeRijder]

@The-Source Vandaag maar 1 foutmelding, voor de rest gaat het script zonder fouten door.

code:

20230531 14:31:32: ERROR: https://www.soliscloud.com:13333/v1/api/inverterDetail -> 502: Bad Gateway

[The-Source]

ZuinigeRijder schreef op woensdag 31 mei 2023 @ 15:19:
@The-Source Vandaag maar 1 foutmelding, voor de rest gaat het script zonder fouten door.

code:

20230531 14:31:32: ERROR: https://www.soliscloud.com:13333/v1/api/inverterDetail -> 502: Bad Gateway

Ik weet dat de mijne naar ginlong verwijst ipv soliscloud wellicht dat het daar mis gaat.

[ZuinigeRijder]

@The-Source Ik weet dat er ginlong geupgrade ging worden naar SolisCloud:

Download SolisCloud before old app ceases to exist. Do you have a Ginlong Solis slar power inverter installed in your home or business? Pay attention to this change, since you may not be able to monitor your inverter production data from 30th of April, 2023.

Maar dat zou 30 april al zijn geweest Maar misschien dat ze niet overal tegelijk upgraden.

[ Voor 6% gewijzigd door ZuinigeRijder op 31-05-2023 15:29 ]

[The-Source]

ZuinigeRijder schreef op woensdag 31 mei 2023 @ 15:25:
@The-Source Ik weet dat er ginlong geupgrade ging worden naar SolisCloud:


[...]


Maar dat zou 30 april al zijn geweest Maar misschien dat ze niet overal tegelijk upgraden.

In de oude Solis Home app & Soliscloud app zie ik in beide gevallen gewoon mijn data.
Ik denk dat het wel de oorzaak is dat ginlong wellicht een maand langer operationeel is gehouden dan gecommuniceerd.

[The-Source]

@ZuinigeRijder Ik ben geen python specialist en ook niet heel erg bekend met github.
Maar ik liep wel tegen het feit aan dat ik via windows python3 waarbij de solis bestand niet in de python exe map staan. Hij probeert dan op het moment van laden van de cfg file deze uit de python map te open...
Dit heb ik opgelost door:

code:

from pathlib import Path

# == read api_secrets in soliscloud_to_pvoutput.cfg ==========================
parser = configparser.ConfigParser()
pathsecrets = Path(__file__).parent / "soliscloud_to_pvoutput.cfg"

Path import en dan zover ik via google kan vinden is de Var __file__ de locatie van het script bestand.
Wellicht een goed toevoeging
Overingens krijg ik ook veel fouten op de logging.xxx regels. Wellicht dat dit ook komt door gebruikt in andere directory. (deze heb ik nu als commentaar gezet zodat het script in ieder geval draait )

Ter info: c:\program files\python39 = locatie van python.exe
c:\program files (x86)\domatica pakket\Scrips\soliscloud_to_pvoutput.py = script locatie

[BounceMeister]

ZuinigeRijder schreef op woensdag 31 mei 2023 @ 15:14:
@The-Source Bij mij doet het script het nog. Echter een paar dagen geleden stopte het script ermee, omdat SolisCloud wel data teruggaf, maar die was niet goed, waardoor er een exceptie kwam. Daarvoor heb ik een nieuwe versie gereleased, zodat het script blijft doorlopen en na 1 minuut opnieuw probeert.

Is het vervangen van "soliscloud_to_pvoutput.py" voldoende, of moeten er meer bestanden vervangen worden?

[ZuinigeRijder]

@BounceMeister ligt eraan wat je vorige versie was. Was dit R1.11.0, dan inderdaad alleen "soliscloud_to_pvoutput.py", anders moet je aan "soliscloud_to_pvoutput.cfg" het volgende toevoegen:

soliscloud_inverter_index = 0

[ZuinigeRijder]

The-Source schreef op donderdag 1 juni 2023 @ 19:32:
@ZuinigeRijder Ik ben geen python specialist en ook niet heel erg bekend met github.
Maar ik liep wel tegen het feit aan dat ik via windows python3 waarbij de solis bestand niet in de python exe map staan. Hij probeert dan op het moment van laden van de cfg file deze uit de python map te open...
Dit heb ik opgelost door:

code:

from pathlib import Path

# == read api_secrets in soliscloud_to_pvoutput.cfg ==========================
parser = configparser.ConfigParser()
pathsecrets = Path(__file__).parent / "soliscloud_to_pvoutput.cfg"

Path import en dan zover ik via google kan vinden is de Var __file__ de locatie van het script bestand.
Wellicht een goed toevoeging
Overingens krijg ik ook veel fouten op de logging.xxx regels. Wellicht dat dit ook komt door gebruikt in andere directory. (deze heb ik nu als commentaar gezet zodat het script in ieder geval draait )

Ter info: c:\program files\python39 = locatie van python.exe
c:\program files (x86)\domatica pakket\Scrips\soliscloud_to_pvoutput.py = script locatie

Het script gaat er vanuit dat je in de directory staat, waar het python script staat en ook de configuratiefiles moeten daar staan. Dus eerst een cd naar die directory en van daaruit runnen.

[The-Source]

Maar daar gaat het bij Windows anders vermoed ik als je python.exe niet in dezelfde map staat.
Vermoed dat het bij een Raspberry gewoon overal als applicatie wordt herkend

[ZuinigeRijder]

@The-Source Op Windows staat bij mij python.exe ook niet in die map, bij mij staat python.exe gewoon in PATH, maar je kunt ook het volledige pad naar python.exe specificeren via de command line, je moet echter in de map staan waar het script staat en de config files. Bij Windows én Linux.

[ Voor 19% gewijzigd door ZuinigeRijder op 01-06-2023 21:48 ]

[BounceMeister]

Hmm, vanmorgen is blijkbaar de datadoorgifte van het script ermee gestopt. Gelijk van de gelegenheid gebruik gemaakt en versie 1.12 erop gezet. Systeem gereset en ik zie weer waardes binnenkomen. Soliscloud doet het nog wel, maar misschien dat die vanmorgen heel kort een storing heeft gehad?

[ZuinigeRijder]

@BounceMeister Mogelijk dat je inderdaad lege waardes terugkreeg en daardoor het script stopte. 1.12 zou hiervoor robuust moeten zijn.

[BounceMeister]

ZuinigeRijder schreef op woensdag 14 juni 2023 @ 15:53:
@BounceMeister Mogelijk dat je inderdaad lege waardes terugkreeg en daardoor het script stopte. 1.12 zou hiervoor robuust moeten zijn.

Ja, ik had dat er natuurlijk eerder op moeten zetten.

Verder draait hij goed overigens, ik ben er blij mee.

[ Voor 8% gewijzigd door BounceMeister op 14-06-2023 16:10 ]

[ZuinigeRijder]

Ik heb een nieuwe release gemaakt, R1.13.0 Aanpassingen aan de SolisCloud2PVOutput-oplossing en configuratie om variaties in gebruik te ondersteunen.

Omdat ik enkele aftakkingen of lokale aanpassingen zie voor mensen die een iets ander gedrag willen, heb ik enkele aanpassingen gemaakt aan de SolisCloud2PVOutput-oplossing en configuratie om (enkele van) die variaties mogelijk te maken.
Nu is het volgende mogelijk:

• maakte het mogelijk om de configuratiebestanden niet in de huidige map te hebben, maar gebruik gewoon de map waar het python-script zich bevindt
• gebruik wisselspanning in plaats van gelijkspanning voor het veld PVOutput Voltage (instelling pvoutput_fill_voltage_with_ac_voltage)
• stuur de temperatuur van de omvormer NIET naar PVOutput (instelling pvoutput_fill_temperature_with_inverter_temperature)
• extra waardes mogelijk om naar Domoticz te sturen (zie hierboven), wanneer domot_[naam]_id 0 is, wordt het NIET naar domoticz gestuurd
• in plaats van het veld PVOutput PowerConsumption te misbruiken voor de AC-spanning, kunt u ook FamilyLoadPower of HomeConsumption gebruiken (instelling pvoutput_fill_power_consumption_with_familyloadpower, pvoutput_fill_power_consumption_with_homeconsumption, pvoutput_fill_power_consumption_with_ac_voltage)

Opmerking 1: voor de laatste bullet moet u een Solis Consumption Monitoring-oplossing hebben geïnstalleerd , ook ondersteund is een Solis hybride omvormer met batterijopslag .

Opmerking 2: zorg ervoor dat u de instelling send_to_pvoutput verplaatst naar de sectie [PVOutput] als u al een bestaande configuratie heeft.

Verander in soliscloud_to_pvoutput.cfg de volgende regels met je hierboven verkregen geheimen en domoticz configuratie, ook of je naar PVOutput, Domoticz of beide wilt sturen. Standaard wordt alleen output naar PVOutput gestuurd:

code:

[api_secrets]
soliscloud_api_id = 1300386381123456789
soliscloud_api_secret = 304abf2bd8a44242913d704123456789
soliscloud_api_url = https://www.soliscloud.com:13333
soliscloud_inverter_index = 0
pvoutput_api_key = 0f2dd8190d00369ec893b059034dde1123456789
pvoutput_system_id = 12345

[PVOutput]
send_to_pvoutput = True
pvoutput_fill_temperature_with_inverter_temperature = True
pvoutput_fill_voltage_with_ac_voltage = False
pvoutput_fill_power_consumption_with_familyloadpower = False
pvoutput_fill_power_consumption_with_homeconsumption = False
pvoutput_fill_power_consumption_with_ac_voltage = True

[Domoticz]
send_to_domoticz = False
domot_url = http://192.168.0.222:8081
domot_power_generated_id = 0
domot_ac_volt_id = 0
domot_inverter_temp_id = 0
domot_volt_id = 0
domot_solarpower_id = 0
domot_energygeneration_id = 0
domot_batterypower_id = 0
domot_gridpower_id = 0
domot_familyloadpower_id = 0
domot_homeconsumption_id = 0

[ZuinigeRijder]

Ik heb ook support toegevoegd voor Home Assistant, ioBroker of andere MQTT Broker. Zie deze discussie: Support MQTT. Wanneer je het zelf wil testen, zie deze release: R1.15.0 Support MQTT Broker, e.g. for HomeAsisstant, ioBroker

Merk op dat er nu een afhankelijkheid is van paho_mqtt>=1.6.1 , zie requirements.txt

De volgende configuratie-items zijn toegevoegd aan soliscloud_to_pvoutput.cfg:

code:

[MQTT]
send_to_mqtt = False
mqtt_broker_hostname = localhost
mqtt_broker_port = 1883
mqtt_broker_username =
mqtt_broker_password =
mqtt_main_topic = SolisCloud2PVOutput
mqtt_last_update_id = last_update
mqtt_power_generated_id = power_generated
mqtt_ac_volt_id = ac_volt
mqtt_inverter_temp_id = inverter_temp
mqtt_volt_id = volt
mqtt_solarpower_id = solarpower
mqtt_energygeneration_id = energygeneration
mqtt_batterypower_id = batterypower
mqtt_gridpower_id = gridpower
mqtt_familyloadpower_id = familyloadpower
mqtt_homeconsumption_id = homeconsumption

Opmerking 1: stel send_to_mqtt in op True als u deze functie wilt gebruiken
Opmerking 2: mqtt_broker_username en mqtt_broker_password zijn optioneel

[ Voor 56% gewijzigd door ZuinigeRijder op 16-01-2024 11:13 ]

[Tijntje]

Ik heb zelf de: Solis-3P5K-4G wat een 3 fase is, en begrijp uit je GitHub dat die niet supported is.
Hoe zou ik dit daar werkend op kunnen krijgen, of wat heb jij nodig om het te kunnen toevoegen?

[ZuinigeRijder]

@Tijntje Ik heb het nooit getest, maar mogelijk werkt het wel, met mogelijk enkele beperkingen.

Dit is wat ik denk (naar PVOutput, Domoticz en/of MQTT):

- Het totaal vermogen van alle 3 de fasen wordt genomen
- het DC voltage van alle strings wordt opgeteld
- het maximum AC voltage van de 3 fases wordt genomen (dus niet per fase)

Wanneer je zaken per fase uitgesplitst wil hebben, dan kan dit niet met mijn script en zou je het aan moeten passen, aan de hand van het SolisCloud API document.

Maar wanneer je alle 3 fases samen wil, dan denk ik dat het script gewoon werkt.

[Tijntje]

ZuinigeRijder schreef op dinsdag 6 februari 2024 @ 09:39:
@Tijntje Ik heb het nooit getest, maar mogelijk werkt het wel, met mogelijk enkele beperkingen.

Dit is wat ik denk (naar PVOutput, Domoticz en/of MQTT):

- Het totaal vermogen van alle 3 de fasen wordt genomen
- het DC voltage van alle strings wordt opgeteld
- het maximum AC voltage van de 3 fases wordt genomen (dus niet per fase)

Wanneer je zaken per fase uitgesplitst wil hebben, dan kan dit niet met mijn script en zou je het aan moeten passen, aan de hand van het SolisCloud API document.

Maar wanneer je alle 3 fases samen wil, dan denk ik dat het script gewoon werkt.

Top, dank je wel, ga ik daar een keer mee testen

[ZuinigeRijder]

@Tijntje laat maar weten of het werkt zoals ik noemde, kan ik de README aanpassen.

[Tijntje]

ZuinigeRijder schreef op dinsdag 6 februari 2024 @ 10:45:
@Tijntje laat maar weten of het werkt zoals ik noemde, kan ik de README aanpassen.

Lijk al vast te lopen op API aanvraag bij Solis


Ticket aangemaakt via: https://solis-service.sol...61-api-toegang-soliscloud

[ Voor 17% gewijzigd door Tijntje op 06-02-2024 17:04 ]

[Tijntje]

API is goedgekeurd door Solis, heb het nu draaien naar PVoutput

[ Voor 9% gewijzigd door Tijntje op 08-02-2024 10:46 ]

[Tijntje]

Ik zie de eerste data punten binnen komen



Power Generated lijkt de huidige opwekking te zijn.


Wat is die Power Used?

[ZuinigeRijder]

Tijntje schreef op donderdag 8 februari 2024 @ 09:46:
Wat is die Power Used?

"Power Used" misbruik ik voor het tonen van het AC voltage, voor 3 fases de max AC voltage van de 3 fases.
Dit kun je configureren:

pvoutput_fill_power_consumption_with_familyloadpower = False
pvoutput_fill_power_consumption_with_homeconsumption = False
pvoutput_fill_power_consumption_with_ac_voltage = True

Ik vind het wel handig om te zien of ik nog niet in de buurt van afschakeling van de omvormer zit
Bij jouw is dit dus 233 Volt (dus geen 233 Watt).

[ Voor 6% gewijzigd door ZuinigeRijder op 08-02-2024 09:53 ]

[Tijntje]

ZuinigeRijder schreef op donderdag 8 februari 2024 @ 09:51:
[...]


"Power Used" misbruik ik voor het tonen van het AC voltage, voor 3 fases de max AC voltage van de 3 fases.
Dit kun je configureren:

[...]


Ik vind het wel handig om te zien of ik nog niet in de buurt van afschakeling van de omvormer zit
Bij jouw is dit dus 233 Volt (dus geen 233 Watt).

Die volg ik nog niet helemaal, sorry

Andere vraag is welke devices ik in Domoticz moet aanmaken?
Ik zie wel de lijst met moglijkheden, maar niet precies wat voor device type het moet zijn

[ZuinigeRijder]

Tijntje schreef op donderdag 8 februari 2024 @ 10:00:
[...]

Die volg ik nog niet helemaal, sorry

Die heeft alles te maken dat de netspanning te hoog wordt en dat de omvormer uitschakelt bij 253 Volt. Ik misbruik dus het "Power Used" veld om de netspanning te zien over de dag.

Andere vraag is welke devices ik in Domoticz moet aanmaken?
Ik zie wel de lijst met moglijkheden, maar niet precies wat voor device type het moet zijn

Ik heb geen ervaring met Domoticz, maar zie deze discussie.

[oldman2uk]

@ZuinigeRijder I am very interested in trying to set up my old raspberry pi model B 512mb to show my Solis cloud graphs from my Solis RAI-3K-48ES-5G inverter on PVOutput.

I am a complete novice and would appreciate any guidance in getting this set up if you and others have the time to spare in this thread?

I notice its not been updated now since February so I am hoping that someone is still monitoring the thread before I try to start my journey.

I have the Pi ready, no OS yet, I have requested the API and secret from Solis so if you or anyone is willing I am ready.

Thanks.

[ZuinigeRijder]

@oldman2uk I will try to give some steps, hopefully others will also help.

I have installed BullsEye as OS on my old Raspberry Pi , without desktop environment (just using the console or remote access). Here a video how to do that for novice users. However, probably there are more good or even better video's.

BullsEye already has installed Python 3.9.x

Thereafter connect with SSH to your Raspberry Pi.
I have done the following steps, according to the README.

[ Voor 5% gewijzigd door ZuinigeRijder op 06-12-2024 11:41 ]

[oldman2uk]

You were just too quick for me I posted here then went off to find an OS.
I got this:
Raspberry Pi OS with desktop and recommended software
Release date: November 19th 2024
System: 32-bit
Kernel version: 6.6
Debian version: 12 (bookworm)
Size: 2,727MB

And using win32diskimager copied it to an SD card. I also put ssh in the root along with wpa_supplicant.conf with my ssid and password but I dont see the wifi connected on my router.

But if that os is not suitable I can start again.

In the mean time I will read and view the video.

Thank you.

[ZuinigeRijder]

@oldman2uk That is also Ok. That would also work, although Desktop will be slow. Alternatively you could use Pi OS Lite (so without Desktop).

[oldman2uk]

OK well I guess its best I start again, its no problem.

I was getting my os and information from a site called raspberry-valley. I've not given the full link as I don't want to break any site rules on my first day!

I will be back once I have digested the video and made a boot sd card.

[oldman2uk]

@ZuinigeRijder

As I already had win32diskimager on my pc I used that to start with and added the instructions manually to the sd card for wifi and ssd etc. But that didn't work, no wifi for some reason.

So I now downloaded the Pi imager V1.8.5 and have followed the video instructions to image an sd card. I chose bullseye legacy 32 bit with desktop in case ssd doesn't work for any reason, I assume my spare hdmi monitor will show whats happening.

The video said to power it up first time with nothing connected? then suggests you look for a wifi IP address.
So I did power it with nothing connected for 30mins to make sure it had done whatever it needed to do. I then added a keyboard, mouse LAN cable and HDMI to my monitor and restarted.
My Pi only has 2 USB ports so key/mouse takes them so no room for WIFI dongle.

Some minutes later I have a desktop on the monitor and I am connected to the internet with an IP address for the Pi. It seems extremely slow, but for what I need it for that probably wont matter.

opened file manager on my PC, found ssh folder and deleted the file in there. Now to open a terminal on my PC.

In terminal I put ssh and then mypassword@myPi-IP
It then asked for my password: I typed it very carefully as its invisible and each time I get permission denied please try again.

So unless there is a trick to show what my real password is, though I am 100% sure I typed it correctly I will have to return to the beginning and re-image the card to get a new password.
I do have my desktop still working though if that helps?

[ZuinigeRijder]

@oldman2uk It could be that the keyboard setting is in the wrong layout (on the Pi or SSH terminal), so some special characters are on a different place

Probably you can ask this question better in this topic, because you will get more (and probably better) help:

Raspberry Pi: Ervaringen en Discussie - deel 2

When that works, you can come back to this topic, if there are problems with SolisCloud2PVOutput.

[ Voor 3% gewijzigd door ZuinigeRijder op 07-12-2024 14:10 ]

[ZuinigeRijder]

oldman2uk schreef op zaterdag 7 december 2024 @ 13:46:
@ZuinigeRijder

My Pi only has 2 USB ports so key/mouse takes them so no room for WIFI dongle.

You can use an USB hub for keyboard and mouse, so you can use the other USB port for Wifi

[oldman2uk]

ZuinigeRijder schreef op zaterdag 7 december 2024 @ 14:05:
@oldman2uk It could be that the keyboard setting is in the wrong layout (on the Pi or SSH terminal), so some special characters are on a different place

Probably you can ask this question better in this topic, because you will get more (and probably better) help:

Raspberry Pi: Ervaringen en Discussie - deel 2

When that works, you can come back to this topic, if there are problems with SolisCloud2PVOutput.

I'm back for some assistance please.

I now have a folder in /home/pi/solis. In that folder are 4 files solis.sh, soliscloud_to_pvoutput.py, soliscloud_to_pvoutput.cfg and logging_config.ini.
I have added my solis cloud api detail and my pvoutput api too.
I used sudo chmod +x solis.sh at the command line pi@raspberrypi:~ $ and got no error message so assume that was ok.

The crontab -e: has me somewhat confused.
I want the script to run 24/7 to pvoutput, so will the command
2 5 * * * ~/solis/solis.sh > /dev/null
@reboot sleep 123 && ~/solis/solis.sh > /dev/null
do that or should I use some other?

Without just pulling the plug, how do I stop the script? No matter if I cannot, just curious.

I am using pi OS from May 2020 as any of the later ones were so very slugish on my old Pi.

[ZuinigeRijder]

oldman2uk schreef op vrijdag 13 december 2024 @ 13:12:
[...]


I'm back for some assistance please.

I now have a folder in /home/pi/solis. In that folder are 4 files solis.sh, soliscloud_to_pvoutput.py, soliscloud_to_pvoutput.cfg and logging_config.ini.
I have added my solis cloud api detail and my pvoutput api too.
I used sudo chmod +x solis.sh at the command line pi@raspberrypi:~ $ and got no error message so assume that was ok.

Great. looks Ok.

The crontab -e: has me somewhat confused.
I want the script to run 24/7 to pvoutput, so will the command
2 5 * * * ~/solis/solis.sh > /dev/null
@reboot sleep 123 && ~/solis/solis.sh > /dev/null
do that or should I use some other?

This means that the script will every day start at 5:02 each morning. Plus after reboot of the Raspberry Pi (123 seconds after reboot).

soliscloud_to_pvoutput.py will run in a loop, but will exit if it is before 5:00 or after 22:00. Crontab will start the script again the next day at 5:02.

So you can start the solis.sh script by rebooting your Pi

code:

sudo reboot

You can look at the log files created: solis.crontab.log and solis.log, e.g.

code:

cat solis.log
cat crontab.solis.log

Without just pulling the plug, how do I stop the script? No matter if I cannot, just curious.

I am using pi OS from May 2020 as any of the later ones were so very slugish on my old Pi.

You need to kill the script solis.sh. You can find the PID (process id) with the command ps -ef, example:

code:

rick@raspberrypi:~/solis $ ps -ef | grep solis.sh
rick      7138  7137  0 05:02 ?        00:00:00 /bin/sh -c ~/solis/solis.sh > /dev/null
rick      7139  7138  0 05:02 ?        00:00:00 /bin/bash /home/rick/solis/solis.sh
rick     11323 11175  0 13:26 pts/0    00:00:00 grep --color=auto solis.sh

rick@raspberrypi:~/solis $ kill -9 7138

[oldman2uk]

Thanks for the quick reply.

If I wish to have the pvoutput updated every 5 minutes 24/7 do I need to put this in the command line after typing crontab -e

*/5 * * * * ~/solis/solis.sh > /dev/null and hit return

followed by @reboot sleep 123 && ~/solis/solis.sh > /dev/null ? or something else on this 2nd line?

[ZuinigeRijder]

@oldman2uk No, this will not work, script will exit before 5:00 and after 23:00. This does also not make sense, because there is no solar generation at those hours. And otherwise it will run in a loop and send data to PVOutput whenever new SolisCloud data is available. So it is 18/7

[ Voor 15% gewijzigd door ZuinigeRijder op 13-12-2024 13:56 ]

[oldman2uk]

But I also have batteries as well as solar. I get this from solis.

[oldman2uk]

And this from Pvoutput updated every 5 minutes 24/7.

[ZuinigeRijder]

@oldman2uk Than you need to adapt soliscloud_to_pvoutput.py.

For example comment line 385 till 387:

code:

        # only check between 5 and 23 hours
        #if datetime_now.hour < 5 or datetime_now.hour > 22:
        #    logging.info("Outside solar generation hours (5..23)")
        #   sys.exit("Exiting program to start fresh tomorrow")

And change crontab in something like:

code:

0 0 * * * ~/solis/solis.sh > /dev/null
@reboot sleep 123 && ~/solis/solis.sh > /dev/null

[oldman2uk]

I did as suggested for comment lines 385 to 387 and changed crontab.

Rebooted Pi and no logs created: solis.crontab.log and solis.log

I have to guess the scripts not running?

No pvoutput change either.

Any easy way I can check if its running?

[ZuinigeRijder]

@oldman2uk in the crontab error messages are discarded. You can change the crontab such that also those messages (if any) are written to a separate log file. For example:

code:

0 0 * * * ~/solis/solis.sh >> ~/solis/crontab.log 2>&1
@reboot sleep 123 && ~/solis/solis.sh >> ~/solis/crontab.log 2>&1

I also have found a problem in my advice to comment the lines. The script computes compute hiRes energy_generation per day, so you need to reset the begin values.
So instead of commenting, probably something like:

Change in soliscloud_to_pvoutput.py line line 385 till 387:

code:

        # only check between 5 and 23 hours
        if datetime_now.hour < 5 or datetime_now.hour > 22:
            logging.info("Outside solar generation hours (5..23)")
            sys.exit("Exiting program to start fresh tomorrow")

Into:

code:

        # reset once a day
        if datetime_now.hour == 0 and datetime_now.minute < 4:
            timestamp_previous = "0"
            energy_generation = 0

I did not test if there are (other) side effects.

[oldman2uk]

I think this may be too difficult for me to understand.

Crontab doesn't show me anything that's been entered previously, in fact it doesn't show me anything at all full stop.
So I have no idea what I previously wrote there now.

The "# only check between 5 and 23 hours" lines to be changed for "# reset once a day" lines
I cannot find these to change in any of the 4 files in solis directory.

If they were entered in the crontab then that's just a black hole for me.

[ZuinigeRijder]

@oldman2uk My bad I was not clear, it is not crontab to be changed, but changes in soliscloud_to_pvoutput.py line line 385 till 387.

The only change you need to do in the crontab is these lines:

code:

0 0 * * * ~/solis/solis.sh >> ~/solis/crontab.log 2>&1
@reboot sleep 123 && ~/solis/solis.sh >> ~/solis/crontab.log 2>&1

I added ">> ~/solis/crontab.log 2>&1" instead of "> /dev/null". The latter will ignore any output.

[oldman2uk]

OK thanks again, I will return to this tomorrow, brain fog has descended for tonight

[oldman2uk]

Ive not got back to the Pi yet but I am dyslexic so some stuff is more difficult than it should be.

From your github code. solis.sh

Is the line 15 start an error fi instead of if ?

[ZuinigeRijder]

@oldman2uk No, fi is correct, it is the end of the if statement in a bash script. See here a tutorial.

[oldman2uk]

LOL they don't make it easy for a boy named Sue do they.

Back to my double checking everything and adding stuff.

Oh and I found my perfectly good in windows 11 Amazon basic wired keyboard does strange stuff on the Pi, like the @ sign is AWL and the ~ sign too which is not a great help. So today will feature another keyboard test run first.
Thanks once more.

[oldman2uk]

@ZuinigeRijder OK I found all went well with 4 files into solis directory at /home/pi/solis.

Now to write the crontab lines.

The changed wireless keyboard I used will not function in command mode, so I have to change keyboards again.

I type crontab -e
That gets me #green comments, I scroll down and using copy and paste I copy the 2 lines

0 0 * * * ~/solis/solis.sh >> ~/solis/crontab.log 2>&1 then enter key
then
@reboot sleep 123 && ~/solis/solis.sh >> ~/solis/crontab.log 2>&1 then enter key



I googled and found ctrl+c exits without changes
Also ctrl+k+x saves changes and exits


now I have many options and it tells me what it will save the lines as but I have no idea what to do other than save and exit.


I didn't get any of this happening yesterday after entering the crontab stuff so maybe it just didn't work at all yesterday.


Now it says, no crontab for pi - using an empty one.
Installing new crontab.



So after that I rebooted and I now have a crontab.log which says
/bin/sh: 1: /home/pi/solis/solis.sh: permission denied


The crontab command seems to be in place though as I used crontab -l to list the following.

[ZuinigeRijder]

@oldman2uk You can list the crontab with command:

code:

crontab -l

/bin/sh: 1: /home/pi/solis/solis.sh: permission denied

Looks like you did not make solis.sh executable. Did you do the command:

What are the permissions of solis/sh?

code:

ls -l /home/pi/solis/solis.sh

These are mine permissions:

code:

-rwxr-xr-x 1 rick rick   840 Aug 19  2022 solis.sh

code:

chmod +x /home/pi/solis/solis.sh

But you also need read permission, so maybe that is the problem. This command will set this:

code:

chmod u+r+x /home/pi/solis/solis.sh

[ Voor 17% gewijzigd door ZuinigeRijder op 14-12-2024 14:56 ]

[oldman2uk]

@ZuinigeRijder

Here are my permissions before and after.

I have rebooted.

I now have a crontab.log which says /bin/sh: 1: /home/pi/solis/solis.sh: not found

Here also is my solis.sh file

[ZuinigeRijder]

@oldman2uk I think you need to set execute permission to all users, so:

code:

chmod +r+x /home/pi/solis/solis.sh

[oldman2uk]

@ZuinigeRijder
I did this chmod +r+x /home/pi/solis/solis.sh

result in picture. I rebooted and crontab.log is still saying /home/pi/solis/solis.sh: not found (2nd entry)

Thanks once more.

[ZuinigeRijder]

@oldman2uk I think the problem is the permissions of the solis directory above.

code:

ls -l /home/pi
chmod +r+x /home/pi/solis
ls -l /home/pi

[oldman2uk]

@ZuinigeRijder

result in picture. I rebooted after and crontab.log is still saying /home/pi/solis/solis.sh: not found (3rd entry)

[ZuinigeRijder]

@oldman2uk something unexpected. On your OS bash is located elsewhere. What is the result of this command?

code:

which bash

That returned full path needs to be in the first line in solis.sh

[ Voor 3% gewijzigd door ZuinigeRijder op 14-12-2024 17:50 ]

[oldman2uk]

@ZuinigeRijder
which bash gave this photo.


The 2nd photo is how my solis.sh looked.


I have edited the file to remove the #! from the first line.

Now on reboot I get this in crontab.log.

[ZuinigeRijder]

@oldman2uk No, the #! needs to be in front. I do not have a clue now, so still it is a Raspberry Pi problem, so probably ask for help in rhe other forum I mentioned once.

[oldman2uk]

OK well many thanks for all the prompting and guidance you have given me. I will put the #! back and try to get further in the pi forum.
I might be back if I may, should I get a problem with the python you have written.

[ZuinigeRijder]

@oldman2uk Of course

[ZuinigeRijder]

@oldman2uk I have another thing to try, specifying full path in the crontab, e.g.

code:

0 0 * * * /home/pi/solis/solis.sh >> /home/pi/solis/crontab.log 2>&1
@reboot sleep 123 && /home/pi/solis/solis.sh >> /home/pi/solis/crontab.log 2>&1

Maybe this does not work, but worth a try.

[ZuinigeRijder]

@oldman2uk And another possible problem, your script solis.sh has Windows line endings, not Unix endings.

You can fix this with the command:

code:

dos2unix /home/pi/solis/solis.sh

My guess is that this is the real problem. Did you edit solis.sh on Windows?

[ Voor 16% gewijzigd door ZuinigeRijder op 14-12-2024 20:51 ]

[oldman2uk]

@ZuinigeRijder

As I didn't have a keyboard that would produce the right characters I got round this by copy and paste the 4 needed files from github into a folder on a memory stick called solis.
I then used the memory stick on a hub in the Pi to move the files and folder to home/Pi

I don't see any visible difference between the raw guthub file and one now in the Pi, but I take your word that they are not the same and I may have edited it in windows yes but I really don't remember now.

Should I use that dos2unix line on all four files I got from github (with the end part changed of course) ? in case I have contaminated them too with windows line ends, whatever they look like! Edit I have researched and now understand more about LF & CR's

I will delay the crontab adjustment until I have decontaminated my file and rebooted to test.

I will be tomorrow now, but again I thank you for the extra mile.

[ Voor 3% gewijzigd door oldman2uk op 15-12-2024 02:26 ]

[ZuinigeRijder]

@oldman2uk Yes, better to also use dos2unix on the other files too.

[ZuinigeRijder]

@oldman2uk You can configure the keyboard layout in Raspberry Pi raspi-config. See this post.

[oldman2uk]

ZuinigeRijder schreef op zondag 15 december 2024 @ 08:14:
@oldman2uk You can configure the keyboard layout in Raspberry Pi raspi-config. See this post.

Thanks, I did already find and set my 3rd keyboard so that's no longer an issue to add to the mix

[oldman2uk]

@ZuinigeRijder
That started badly, bash: dos2unix: command not found.

I used add & remove software to find and install dos2unix. At least the command line didn't complain when I typed dos2unix.
I then used it on all the files in solis & rebooted 3 times in all.
The result is consistent, crontab.log says....not found.






I've yet to try typing in the 2 lines into crontab. I'm not sure I remember how right now. Do I type one line then hit enter, then type the second line?
What happens to the other command we entered previously? does it need removing somehow?

In command line if I enter crontab -e that gives me the same 2 lines as your full path above ^ but without the ~ before the /
So do I attempt to edit the 2 lines there already to remove ~ or delete the lines (if thats possible) I didnt yet try.
Or will 2 new lines auto remove the existing? I have a row of edit choices at screen base.

[ Voor 28% gewijzigd door oldman2uk op 15-12-2024 10:47 ]

[ZuinigeRijder]

@oldman2uk With crontab -e existing entries keep there, unless you delete them in the editor. So you can change them or delete the lines. And yes, each command needs on a separate line, so enter after a command.

Note that you can also already try if soliscloud_to_pvoutput.py is working, without using crontab.

code:

cd /home/pi/solis
python soliscloud_to_pvoutput.py

At least you can see if sending to PVOutput is working. You can end the running with CTRL-C.

Thereafter you can try to solve the problem with the crontab and running solis.sh.

[oldman2uk]

@ZuinigeRijder I will go back to crontab and edit as needed, I think I have the way to do that now thanks.

I did try to run python soliscloud_to_pvoutput.pv and got this.

[ZuinigeRijder]

@oldman2uk Maybe you have an old version of python, you need at least python 3.9 or higher. Which version gives:

code:

python --version

It is also possible that python3 is installed and python is the default 2.x version:

code:

python3 --version

[ Voor 29% gewijzigd door ZuinigeRijder op 15-12-2024 11:21 ]

[oldman2uk]

@ZuinigeRijder I have version 2.7.16
This is Pi os from may 2020 so thats why python is too old.

Am I able to upgrade this OS python or is that not possible?

[ZuinigeRijder]

@oldman2uk I edited my previous comment, which version gives python3 --version?

[oldman2uk]

@ZuinigeRijder Python version 3.7.3 is inside already.