Datalogging Effekta Linux/Raspberry Pi

[alberthakvoort]

Al enige tijd was ik aan het klooien om op mijn Raspberry Pi mijn Effekta uit te lezen. Op een gegeven moment een scriptje gevonden van Jörg Falkenberg. Deze werkte met libmodbus 0.0.4 (antiek dus). Op een x86 machine kreeg ik deze zonder veel moeite aan de praat, maar op de Pi met geen mogelijkheid.

Na 2 dagen prutsen, heb ik het dan eindelijk voor elkaar gekregen (met mijn 0,01% programmeer kennis )



Nu op basis van libmodbus 3.0.3, zodat deze ook zonder problemen op de Pi werkt (apt-get install libmodbus-dev)

https://dl.dropbox.com/u/...a-Linux/effekta-monitor.c

Nu nog even kijken wat ik het beste kan doen om de gegevens naar MySql te dumpen, maar het begin is er iig.

Als je commentaar/opmerkingen over de code hebt, hoor ik dat graag!

Verders krijg ik vragen over het protocol beschrijving van de Effekta, die kun je hier downloaden : https://dl.dropbox.com/u/...0EFFEKTA_Protocol_V12.pdf

[ewf]

Zo gauw ik een Raspberry heb ga ik het testen.
Mijn Effekta ES3300 hangt net een week te produceren en ga eerst even met een pc'tje aan de gang, daarna over naar een def. oplossing op basis van een Raspberry.

Bedankt en groet,

Erik (2880 Wp)

[Rol-Co]

Ik mis een gegeven of niet? actuele wattage string a en b of totaal?

[alberthakvoort]

Rol-Co schreef op vrijdag 21 september 2012 @ 01:10:
Ik mis een gegeven of niet? actuele wattage string a en b of totaal?

Dat is de Output power, alleen had ik daar nog A staan ipv kW

[Rol-Co]

Ja die bedoel ik, het is wel mooi als je de pieken kan loggen en niet alleen gemiddeld.

ik moet nog eens aan de slag met die rs232/lan inverter en wat programma's.

[alberthakvoort]

Rol-Co schreef op vrijdag 21 september 2012 @ 11:15:
Ja die bedoel ik, het is wel mooi als je de pieken kan loggen en niet alleen gemiddeld.

ik moet nog eens aan de slag met die rs232/lan inverter en wat programma's.

Input Power String A & String B moet inderdaad nog aangepast worden van A naar kW..

Ik heb trouwens nog geprobeerd om via de rs232/lan inverter te communiceren ipv usb verloop, maar dat is me nog niet gelukt (onder Linux dan)

[Dogooder]

Ik ben met ongeveer hetzelfde bezig, de raspberry Pi om mijn mastervolt XS2000 uit te lezen. 2 programma's in C en python werken beide probleemloos op een mac, maar op de raspberry gaat toch het een en ander fout. Ik maak gebruik van een USB naar RS485 converter en een powered hub.

[alberthakvoort]

Dogooder schreef op vrijdag 21 september 2012 @ 12:29:
Ik ben met ongeveer hetzelfde bezig, de raspberry Pi om mijn mastervolt XS2000 uit te lezen. 2 programma's in C en python werken beide probleemloos op een mac, maar op de raspberry gaat toch het een en ander fout. Ik maak gebruik van een USB naar RS485 converter en een powered hub.

Maakt die toevallig ook gebruik van libmodbus?

[Dogooder]

Nee, voor zover ik weet is dit een eigen protocol van Mastervolt. Een variant van wat de soladin heeft.

[jonkma]

alberthakvoort schreef op vrijdag 21 september 2012 @ 12:08:
[...]


Input Power String A & String B moet inderdaad nog aangepast worden van A naar kW..

Ik heb trouwens nog geprobeerd om via de rs232/lan inverter te communiceren ipv usb verloop, maar dat is me nog niet gelukt (onder Linux dan)

Hoi leuk project ik ben er ook mee bezig meer nog niet zo ver welke RS232 USB verloop gebruik je?
Is het dan zometeen ook mogelijk de data rechtstreeks naar pvoutput.org te loggen?

Groet

[alberthakvoort]

jonkma schreef op vrijdag 21 september 2012 @ 23:45:
[...]


Hoi leuk project ik ben er ook mee bezig meer nog niet zo ver welke RS232 USB verloop gebruik je?
Is het dan zometeen ook mogelijk de data rechtstreeks naar pvoutput.org te loggen?

Groet

Ik heb nu een Belkin (Prolific PL2303 chipset) Serieel naar USB verloop. Ook rechtstreeks naar pvoutput loggen is een mogelijkheid.

[alberthakvoort]

Stapje voor stapje :

[Voor 28% gewijzigd door alberthakvoort op 25-09-2012 11:21]

[Rol-Co]

zou dit ook werken op een synology albert

[alberthakvoort]

Rol-Co schreef op dinsdag 25 september 2012 @ 12:23:
zou dit ook werken op een synology albert

Als libmodbus er op kan draaien moet dat geen probleem zijn..

[jonkma]

alberthakvoort schreef op dinsdag 25 september 2012 @ 11:20:
Stapje voor stapje :

[afbeelding]

[afbeelding]

Ziet er mooi uit krijg je dit rechtstreeks via de HDMI op het scherm te zien?

[alberthakvoort]

Het is gewoon een webpagina, dus via de HDMI weergeven is een kwestie van je browser in X starten.

[jonkma]

Albert,
Heb je al een stukje programma geschreven om je data rechtstreeks naar pvoutput.org te loggen?

[zero_cool89]

Ik ben zeer geinteresseerd om de slimme meter van mijn ouders te loggen met een raspberry pi en de gegevens te uploaden naar pvoutput.
Denk je dat dit mogelijk is ?

[Voor 27% gewijzigd door zero_cool89 op 09-10-2012 15:32]

[alberthakvoort]

zero_cool89 schreef op dinsdag 09 oktober 2012 @ 15:31:
Ik ben zeer geinteresseerd om de slimme meter van mijn ouders te loggen met een raspberry pi en de gegevens te uploaden naar pvoutput.
Denk je dat dit mogelijk is ?

Ja hoor, er zijn al diverse scripts waarmee je via een usb serieel verloop de slimmer meter kan uitlezen. Ik gebruik daar nu een Perl scriptje voor wat de data in een database zet.

[alberthakvoort]

Pvoutput is dan natuurlijk ook geen probleem

[Rol-Co]

Mooi hoor albert, lijkt goed te werken

[alberthakvoort]

Zekers,

Heb ook mijn RS232>Lan aan de praat gekregen. Is alleen niet zo betrouwbaar als rechtstreeks
Maar met wat extra controle's in mijn script lijkt dat nu ook goed te gaan.

Met het volgende commando :

socat PTY,link=/dev/rs232lan TCP:192.168.1.1:23 &

[Voor 6% gewijzigd door alberthakvoort op 22-11-2012 16:47]

[Joepla]

Ik volg dit topic al een tijdje met veel belangstelling, heb nl. sinds kort een ES-5000.

Vandaag komt -als het goed is- de Raspberry binnen, dat wordt lekker knutselen

[tweakerslex]

Erg interessant topic hier. Zelf probeer ik al een week mijn slimme meter uit te lezen met mijn raspberry pi. Daarvoor maak ik gebruik van een serial usb converter met daarin een ftdi232r chip. Deze combi is echter verre van stabiel te noemen en krijg vaak rommel binnen. Soms gaat het uren goed en dan gaat het tig keer fout.

Een van jullie ervaring met een stabiele combinatie om met de pi de slimme meter uit te lezen? Zo ja, welke serial usb converter gebruiken jullie.

Alvast bedankt,

[Mr-Leo]

Ik gebruik de Eminent EM1116 USB naar Serieel kabel. Deze wordt direct door de Rpi herkend (Wheezy distro) zonder driver gedoe en je hebt direct een werkende /dev/ttyUSB0

[tweakerslex]

Hoi Mr. Leo.

Bedankt, inmiddels een sitecom kabel besteld waarin dezelfde chipset zit afls in jouw Eminent kabel. Mijn huidige kabel werd ook direct herkend en hoefde ook niets geïnstalleerd te worden. Toch gaat het vaak fout en er zijn wel meer meldingen te vinden van een slechte samenwerking tussen de ftdi chip en de rpi.

[Freemann]

Rpi werkt goed samen met de FT232RL chipset.
Deze chipset zou het op de Rpi MET recente firmware gewoon goed moeten doen.
Heb er hier 3 liggen van Ebay, alle 3 zijn het RL chips en alle drie werken ze perfect.

[Joepla]

Raspberry inmiddels aan de gang met de ES5000

Wat een ontzettend geinig computertje, werkt superleuk!
Programmeren in C was weer een tijdje (+10 jaar ofzo) geleden, maar alle pret kwam al snel als vanouds terug

Ik wil nu eerst een eenvoudige webpagina maken (leuk voor op de smartphone), maar vraag me af hoe ik het best de data daarin kan gebruiken. "Vroegah" deed ik dat door een file te schrijven die dan in een andere applicatie werd teruggelezen. Met flashgeheugen (en in het algemeen ook) is dat niet zo'n elegante oplossing.
Via MySQL zou denk ik wel goed gaan, maar eigenlijk heb ik (nog?) geen database nodig.

@alberthakvoort: ik zie dat het jou al gelukt is om je data te koppelen met de webserver en zelfs met pvoutput.
Zou jij hierover wat ervaring willen delen?

[Freemann]

Joepla schreef op zaterdag 29 december 2012 @ 19:29:
Raspberry inmiddels aan de gang met de ES5000

Wat een ontzettend geinig computertje, werkt superleuk!
Programmeren in C was weer een tijdje (+10 jaar ofzo) geleden, maar alle pret kwam al snel als vanouds terug

Ik wil nu eerst een eenvoudige webpagina maken (leuk voor op de smartphone), maar vraag me af hoe ik het best de data daarin kan gebruiken. "Vroegah" deed ik dat door een file te schrijven die dan in een andere applicatie werd teruggelezen. Met flashgeheugen (en in het algemeen ook) is dat niet zo'n elegante oplossing.
Via MySQL zou denk ik wel goed gaan, maar eigenlijk heb ik (nog?) geen database nodig.

@alberthakvoort: ik zie dat het jou al gelukt is om je data te koppelen met de webserver en zelfs met pvoutput.
Zou jij hierover wat ervaring willen delen?

Zou jij je C prog aan ons beschikbaar kunnen stellen?
Het zou voor mij mogelijk moeten zijn om Websolarlog (zie mijn logsite) geschikt te maken voor jouw progsel.

Draait momenteel op een raspberry met nginx als wederverkoper en sqlite als db-backen.
Wsl is nog in ontwikkeling, het is nog niet 100% bug vrij en er komen (naast twitter,dropbox( voor back-up) en een (auto-)updater) nog veel meer leuke(facebook) en nuttige features(earnings) bij en alles wat redelijkerwijs bedacht/ontwikkeld kan worden.

[_-= Erikje =-_]

Joepla schreef op zaterdag 29 december 2012 @ 19:29:
Raspberry inmiddels aan de gang met de ES5000

Wat een ontzettend geinig computertje, werkt superleuk!
Programmeren in C was weer een tijdje (+10 jaar ofzo) geleden, maar alle pret kwam al snel als vanouds terug

Ik wil nu eerst een eenvoudige webpagina maken (leuk voor op de smartphone), maar vraag me af hoe ik het best de data daarin kan gebruiken. "Vroegah" deed ik dat door een file te schrijven die dan in een andere applicatie werd teruggelezen. Met flashgeheugen (en in het algemeen ook) is dat niet zo'n elegante oplossing.
Via MySQL zou denk ik wel goed gaan, maar eigenlijk heb ik (nog?) geen database nodig.

@alberthakvoort: ik zie dat het jou al gelukt is om je data te koppelen met de webserver en zelfs met pvoutput.
Zou jij hierover wat ervaring willen delen?

Check rrdtool ff, die kan round robin databases bijhouden en daar oa grafieken van bouwen

[Joepla]

Freemann schreef op zaterdag 29 december 2012 @ 20:15:
[...]
Zou jij je C prog aan ons beschikbaar kunnen stellen?

Geen probleem, graag zelfs! Ik werk er aan verder en laat 't je weten zodra het bruikbaar is.

_-= Erikje =-_ schreef op zaterdag 29 december 2012 @ 20:49:
[...]
Check rrdtool ff, die kan round robin databases bijhouden en daar oa grafieken van bouwen

Ok dank, dat ziet er bruikbaar uit. Wat ik echter bedoelde (nu ik m'n vraag teruglees, zie ik dat ik niet duidelijk was): hoe kun je een variabele die beschikbaar is in een applicatie (m'n C progje), gebruiken in de webserver, bv. PHP? Ik weet dat een db hiervoor erg handig is en misschien moet ik daar eerst induiken, maar mogelijk is er een makkelijke oplossing die ik over het hoofd zie.

[Freemann]

Joepla schreef op zondag 30 december 2012 @ 15:53:
[...]

Geen probleem, graag zelfs! Ik werk er aan verder en laat 't je weten zodra het bruikbaar is.

Dat zou geweldig zijn!

Ok dank, dat ziet er bruikbaar uit. Wat ik echter bedoelde (nu ik m'n vraag teruglees, zie ik dat ik niet duidelijk was): hoe kun je een variabele die beschikbaar is in een applicatie (m'n C progje), gebruiken in de webserver, bv. PHP? Ik weet dat een db hiervoor erg handig is en misschien moet ik daar eerst induiken, maar mogelijk is er een makkelijke oplossing die ik over het hoofd zie.

Dat is vrij eenvoudig te doen.
Zorg dat je C tool op de prompt print, roep vanuit PHP het C progje aan, sla de output van de promp op in een PHP-var en verwerk het in PHP verder (zo doen wij dit op dit moment ook in WSL voor SMA en PowerOne omvormers en ga ik het vandaag ook doen om de SlimmeMeter te integreren via een Python script).

Deze "thirtparty" oplossing printen ook op de prompt en wij lezen de print via PHP in en verwerken het dan tot mooi graphs

DM mij anders even en mogelijk kan ik je opweg helpen

[Voor 17% gewijzigd door Freemann op 04-01-2013 10:33]

[Dogooder]

Freemann schreef op dinsdag 18 december 2012 @ 19:47:
Rpi werkt goed samen met de FT232RL chipset.
Deze chipset zou het op de Rpi MET recente firmware gewoon goed moeten doen.
Heb er hier 3 liggen van Ebay, alle 3 zijn het RL chips en alle drie werken ze perfect.

Ik gebruik je RPi met een FT232RL chip, maar ik kan het niet stabiel noemen. Ik krijg geen rotzooi en hij kan het af en toe wel 5 dagen doen. Maar dan crashed de volledige USB op de RPi toch wel eens in de zoveel tijd.

[MieJuul]

Ik ben ook van plan om de effekta uit te gaan lezen.
Heb daar onlangs een klein schattig laptopje voor op de kop getikt met een COM-poort.
Momenteel staat er nog Ubuntu op de laptop.
Een kabeltje in elkaar zetten is geen probleem, de 9-polige connectoren heb ik reeds.

Is het makkelijker om dit onder Linux te doen?
Of kan ik beter Windows erop zetten en het eigen programma van Effekta gebruiken?

Het is niet zozeer mijn bedoeling om iets te uppen naar pvoutput oid.
Misschien dat ik wel een eigen site ga (laten) maken in de toekomst.

Ik ben op dit vlak echt een noob, dus alle hulp is welkom.

[Freemann]

MieJuul schreef op woensdag 09 januari 2013 @ 10:11:
Ik ben ook van plan om de effekta uit te gaan lezen.
Heb daar onlangs een klein schattig laptopje voor op de kop getikt met een COM-poort.
Momenteel staat er nog Ubuntu op de laptop.
Een kabeltje in elkaar zetten is geen probleem, de 9-polige connectoren heb ik reeds.

Is het makkelijker om dit onder Linux te doen?
Of kan ik beter Windows erop zetten en het eigen programma van Effekta gebruiken?

Het is niet zozeer mijn bedoeling om iets te uppen naar pvoutput oid.
Misschien dat ik wel een eigen site ga (laten) maken in de toekomst.

Ik ben op dit vlak echt een noob, dus alle hulp is welkom.

Er zijn wat initiatieven om de Effekta uit te lezen met externe Progsels.
zie hiervoor(open deur):
Joepla in "Datalogging Effekta Linux/Raspberry Pi"
alberthakvoort in "Datalogging Effekta Linux/Raspberry Pi"

Als deze progsels aan worden gepast en/of beschikbaar worden gesteld, dan kan WebSolarLog (software waar ik aan mee heb ontwikkelt), de boel ontsluiten.

[Joepla]

Freemann schreef op vrijdag 04 januari 2013 @ 10:29:
[...]
Dat is vrij eenvoudig te doen.
Zorg dat je C tool op de prompt print, roep vanuit PHP het C progje aan, sla de output van de promp op in een PHP-var en verwerk het in PHP verder (zo doen wij dit op dit moment ook in WSL voor SMA en PowerOne omvormers en ga ik het vandaag ook doen om de SlimmeMeter te integreren via een Python script).

Deze "thirtparty" oplossing printen ook op de prompt en wij lezen de print via PHP in en verwerken het dan tot mooi graphs

DM mij anders even en mogelijk kan ik je opweg helpen

Thanks Freemann! Ben even druk op 't moment, maar ik ga dit zsm proberen te bouwen.

[alberthakvoort]

Freemann schreef op woensdag 09 januari 2013 @ 10:45:
[...]

Er zijn wat initiatieven om de Effekta uit te lezen met externe Progsels.
zie hiervoor(open deur):
Joepla in "Datalogging Effekta Linux/Raspberry Pi"
alberthakvoort in "Datalogging Effekta Linux/Raspberry Pi"

Als deze progsels aan worden gepast en/of beschikbaar worden gesteld, dan kan WebSolarLog (software waar ik aan mee heb ontwikkelt), de boel ontsluiten.

Ik heb nu ook weer tijd om wat te "prutsen", heb het prive nogal druk gehad laatste 2 maanden.

Voor grafieken gebruik ik ook rrdtool, dat werkt het makkelijkste. Heb het nu op 2 systemen draaien en dat werkt zonder problemen.

@Freemann

Heb je een voorbeeld hoe je de data output zou willen hebben? Dan kan ik een poging doen.

[Freemann]

alberthakvoort schreef op maandag 04 februari 2013 @ 08:18:
[...]


Ik heb nu ook weer tijd om wat te "prutsen", heb het prive nogal druk gehad laatste 2 maanden.

Voor grafieken gebruik ik ook rrdtool, dat werkt het makkelijkste. Heb het nu op 2 systemen draaien en dat werkt zonder problemen.

@Freemann

Heb je een voorbeeld hoe je de data output zou willen hebben? Dan kan ik een poging doen.

Kijk even op:
http://www.curtronics.com/Solar/AuroraData.html

Deze persoon heeft een tool gemaakt die de PowerOne tot op het bot uit kan lezen.
De opmaak van de output string is simpel, maar doeltreffend.

[alberthakvoort]

Freemann schreef op maandag 04 februari 2013 @ 08:57:
[...]

Kijk even op:
http://www.curtronics.com/Solar/AuroraData.html

Deze persoon heeft een tool gemaakt die de PowerOne tot op het bot uit kan lezen.
De opmaak van de output string is simpel, maar doeltreffend.

Zo dus?

[Freemann]

Dat is inderdaad een mogelijkheid. Je zou ook comma seperated kunnen doen.
Het is maar net wat een "gek" verzint

Maar ik weet dus dat Curt die zo doet en er is ook iemand die hetzelfde heeft gemaakt voor de SMA (SMA-get)omvormers over RS485.

[alberthakvoort]

@Freemann

Het is me gelukt om het programma aan te passen aan jouw wensen. De data wordt nu op 1 regel geprint met ; als scheiding. Ik zal deze even op mijn Dropbox zetten.

[Freemann]

alberthakvoort schreef op donderdag 07 februari 2013 @ 12:57:
@Freemann

Het is me gelukt om het programma aan te passen aan jouw wensen.

Dank, al is het natuurlijk niet aan mij om te bepalen hoe jouw scripts output toont

De data wordt nu op 1 regel geprint met ; als scheiding. Ik zal deze even op mijn Dropbox zetten.

Ben benieuwd, kun je hier de DB link plaatsen? Dan heeft iedereen er is aan

[alberthakvoort]

Uiteraard, moest nog even Drobox installeren op mijn "verse" installatie

Source :
https://dl.dropbox.com/u/...kta-monitor-websolarlog.c

Heb ook gelijk maar even 2 versies gecompileerd :

x86
Raspberry Pi

[Voor 37% gewijzigd door alberthakvoort op 08-02-2013 09:04]

[Joepla]

Progje om de Effekta uit te lezen draait inmiddels lekker op de Raspberry PI (met dank aan de alberthakvoort Modbus code en verbetertips van Freemann).

Nu de koppeling met PVoutput: ik heb iets gemaakt, maar dat draait niet echt stabiel. Ik kan een tijdje wat waardes uploaden noodgedwongen via 'batch upload', maar dit is niet echt de manier. Zo kan ik bv. de 'c1' waarde (voor lifetime energy) niet meegeven hierin.

Ik maak nu gebruik van 'curl_easy_setopt'. PVoutput geeft veel voorbeelden, maar allemaal bedoeld voor PHP.

Iemand die me iets verder kan helpen hiermee?

Edit: nachtje doorpuzzelen en het draait...

[Voor 4% gewijzigd door Joepla op 11-02-2013 13:03]

[alberthakvoort]

Waar ging het mis?

[Joepla]

2e accolade van m'n while(1) loop was een paar regeltjes opgeschoven, waardoor de curl_easyopt steeds opnieuw werd ge-init zonder afsluiten. Dat ging maar een paar keer goed

Het loopt nu lekker, tot ik teveel data stuurde en pvoutput me een tijdje blockte, timeout schijnt een uur te zijn, gedurende die tijd mag je dan niets sturen. Dan duurt een uur best lang

[Anoniem: 683436]

Allen, is de code om de Effekta aan te sluiten op een Raspberry nog beschikbaar.
Ik wil ook mijn Effekta uitlezen.

Alvast dank,

[alberthakvoort]

Aangezien ik er af en toe nog vragen over krijg, hierbij de broncode :

code:

/*

 effekta-monitor.c
 
 Copyright 2012 Albert Hakvoort @ = albert [at] hakvoort [dot] co
 
 Version 0.4

 libmodbus is required

 Compile with: cc `pkg-config --cflags --libs libmodbus` effekta-monitor-output.c -o effekta-monitor-output


*/


#include <stdio.h>
#include <stdlib.h>
#include <errno.h>
#include <modbus.h>


int main(void)
{
    modbus_t *ctx;
    int rc;
    int i;
    uint16_t tab_reg[64];
    float data_0,data_4,data_5,data_6,data_13,data_14,data_15,data_16,data_17_18;

    ctx = modbus_new_rtu("/dev/YPort", 9600, 'N', 8, 1);
    if (ctx == NULL) {
        fprintf(stderr, "Unable to create the libmodbus context\n");
        return -1;
    }
    
    modbus_set_slave(ctx, 1);

    if (modbus_connect(ctx) == -1) {
        fprintf(stderr, "Connection failed: %s\n", modbus_strerror(errno));
        modbus_free(ctx);
        return -1;
    }
        
    rc = modbus_read_registers(ctx, 0xC020, 19, tab_reg);
    if (rc == -1) {
        fprintf(stderr, "%s\n", modbus_strerror(errno));
        return -1;
    }


        data_0=tab_reg[0]*10.0;
        data_4=tab_reg[4]/10.0;
        data_5=tab_reg[5]/10.0;
        data_6=tab_reg[6]/10.0;
        data_13=tab_reg[13]/10.0;
        data_14=tab_reg[14]/10.0;
        data_15=tab_reg[15]*10.0;
        //data_15=tab_reg[15]/100.0;
        //data_16=tab_reg[16]/100.0;
        data_16=tab_reg[16]*10.0;;

// data_15 = Output String A in Wp
// data_16 = Output String B in Wp
// data_0  = Output String A+B in Wp
// tab_reg[9] = Temperature Heatsink
// tab_reg[10] = Temperature Inverter
// tab_reg[18] = Total Produced kWh 
// tab_reg[7] = Voltage

            printf("%3.0f", data_15);
        printf("\n");
            printf("%3.0f", data_16);
        printf ("\n");
            printf("%3.0f", data_0);
        printf ("\n");
            printf("%d", tab_reg[9]);
        printf ("\n");
            printf("%d", tab_reg[10]);
        printf ("\n");
            printf("%d", tab_reg[18]);
        printf ("\n");
            printf("%d", tab_reg[7]);
        printf ("\n");

    modbus_close(ctx);
    modbus_free(ctx);
        
    return(0);
}