Enecsys gateway uitlezen

[ Voor 10% gewijzigd door Gasschuif op 08-03-2015 14:40 ]

[ Voor 6% gewijzigd door Lord Anubis op 08-03-2015 15:12 ]

[ Voor 14% gewijzigd door revolution-nl op 08-03-2015 21:58 ]

revolution-nl schreef op zondag 08 maart 2015 @ 21:56:

Het zou inderdaad mooi zijn als je data toch standalone uit de gateway kan trekken. Toch zonde van dit mooie bedrijf.

[ Voor 16% gewijzigd door Microkid op 09-03-2015 05:40 ]

[ Voor 25% gewijzigd door Lord Anubis op 10-03-2015 01:56 ]

johnkeates schreef op dinsdag 10 maart 2015 @ 11:16:
ik zou er wel aan mee willen werken, maar dan moet ik iemand in Overijssel vindend die de hardware heeft zodat er wat reverse engineering plaats kan vinden

Boem56 schreef op dinsdag 10 maart 2015 @ 14:55:
Ik heb er helemaal geen verstand van maar dit kwam ik tegen op een duitse site met FHEM.
Kunnen jullie hier iets mee ??

David schreef op dinsdag 10 maart 2015 @ 20:21:
Ik heb de gateway even opengeschroefd. Wellicht halen we daar wat nuttigs uit.

[afbeelding]

De gateway bestaat uit twee hoofdprintplaten. Die waar het display aan zit krijg ik niet verwijderd; dat lijkt ook de moeite niet waard, omdat alles wat interessant is zich op de onderste print bevindt.

Kloppend hart is een Microchip PIC18F97J60 microcontroller. Met z'n 128KB flash is het zo goed als uitgesloten dat er Linux op draait. Een Telegesis ETRX2HR-PA zorgt voor de ZigBee link en praat via UART met de PIC.

[ Voor 13% gewijzigd door johnkeates op 10-03-2015 21:58 ]

Thijs8472 schreef op dinsdag 10 maart 2015 @ 21:58:
Je kan de logserver gewoon aanpassen van gateway.enecsys.com naar iets anders, dus dat is niet zozeer het issue.

johnkeates schreef op dinsdag 10 maart 2015 @ 21:43:
[...]

Zie je kans om linkjes te posten naar beide zeiden van beide PCB's? Ik denk dat de PIC18F97J60 voornamelijk low-end taken doet en dat er ergens anders een SoC of iets dergelijks aanwezig is. De ZigBee zal wel voor de data uitwisseling zijn met de PV installatie, dat is ook nog een opening om data uit te lezen, dan heb je die hele gateway niet nodig.

David schreef op dinsdag 10 maart 2015 @ 22:14:
[...]


De gateway hangt alweer in elkaar op z'n plek dus die foto's kan ik niet meer maken. Het lijkt er niet op dat er nog een dikke SoC te vinden is. Zoveel hoeft de gateway immers niet te doen: ZigBee-data ontvangen, encoderen, beetje xml heen en weer pingpongen, twee html-pagina's serveren. Dat kan een grote PIC prima aan.

De Telegesis-module is niet al te duur. Als die bijv. rechtstreeks aan een Raspberry Pi kan hangen en de data van de omvormers opvangt, is de gateway niet meer nodig.

johnkeates schreef op dinsdag 10 maart 2015 @ 22:31:
[...]


Als het klopt wat Thijs8472 postte kan je ook gewoon je Pi opgeven als logserver en daar een webserver en een script op draaien die requests binnenharkt.

duinsel schreef op dinsdag 10 maart 2015 @ 23:30:
[...]

Dan moeten we wel weten wat voor taal de gateway praat met de server. Die base64 regels komen uit een soort debug scherm, zou een sessie over het boze internet niet netjes encrypted verstuurd worden? Hoe zou dat handig te sniffen zijn? Dual NIC linux PC als gateway?

In de http headers trouwens geen info over de webserver die er achter zit (geen apache, httpd, ...)
.
(Status-Line) HTTP/1.1 200 OK
Connection close
Content-Type text/html
Cache-Control no-cache

johnkeates schreef op dinsdag 10 maart 2015 @ 23:53:
[...]
De gateway gebruikt gewoon SOAP voor zo ver ik kan zien, wat gewoon XML is. base64 kan er tussen zitten als encoding (niet encryptie). Mogelijk wordt er voor requests naar de logserver HTTPS gebruikt, maar dat is het dan ook wel.

Precies kijken wat er gebeurt kan met wireshark en een hub, of een transparent proxy waar je een packet capture op draait, of een managed switch met mirror port of een router met bridge packet capture bijv.

Makkelijker zou zijn om gewoon de PIC uit te lezen en de mogelijke requests daar uit te lezen.

De reden dat ik echter denk dat alle initiatie vanuit de gateway gebeurt is dat er geen tunnel o.i.d. opgezet wordt en ze er niet van uit kunnen gaan dat er NAT-PMP of uPNP ofzo beschikbaar is. Waarschijnlijk is de PIC niet eens voorzien om dat soort zaken te doen. Lijkt me dus gewoon een timer of buffer flusher die requests naar de logserver doet. Je kan dus ook gewoon een catch-all HTTP logger opzetten en die als logserver instellen. Hell, misschien dat die PIC niet eens HTTP responses checkt en je hem tegen netcat aan kan laten lullen.

1
2

0000   30 45 30 30 30 30 30 30 30 30 30 30 63 67 41 44  0E0000000000cgAD
0010   38 33 0d                                         83.

[ Voor 16% gewijzigd door Thijs8472 op 11-03-2015 17:22 ]

David schreef op woensdag 11 maart 2015 @ 09:11:
Als je duinsels script bekijkt zie je dat hij periodiek http://ip-van-gateway/ajax.xml checkt. Daarin zitten o.a. de laatst ontvangen ZigBee string (Base64 encoded), verbindingsstatus en aanwezige apparaten in het netwerk. Grote kans dat dit de data is die ook naar monitor.enecsys.net wordt gepost.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

20150313    16:32   100060629   103W    216325Wh    36.46V (DC) 25C naar 26368
20150313    16:32   100060629   101W    216325Wh    36.07V (DC) 26C naar 26368
20150313    16:37   100060629   16W 216331Wh    35.56V (DC) 25C naar 26368
20150313    16:48   100060629   86W 216345Wh    36.99V (DC) 26C naar 26368
20150313    16:53   100060629   86W 216351Wh    36.60V (DC) 26C naar 26368
20150313    17:3    100060629   14W 216362Wh    35.00V (DC) 26C naar 26368
20150313    17:49   110052018   20W 352414Wh    34.78V (DC) 19C naar 26802
20150313    18:0    110052018   21W 352416Wh    35.00V (DC) 18C naar 26802
20150313    18:5    100060629   0W  216368Wh    0.00V (DC)  16C naar 26368
20150313    18:10   110052018   0W  352420Wh    0.00V (DC)  17C naar 26802
20150313    18:15   110052018   0W  352420Wh    0.00V (DC)  16C naar 26802
20150313    18:21   110052018   0W  352420Wh    0.00V (DC)  15C naar 26802
20150313    18:31   110052018   0W  352419Wh    0.00V (DC)  14C naar 26802
20150313    18:31   100060629   0W  216368Wh    0.00V (DC)  14C naar 26368
20150313    18:42   110052018   0W  352419Wh    0.00V (DC)  14C naar 26802

19roland70 schreef op zaterdag 14 maart 2015 @ 09:28:
@twixx ik heb dit script draaien op een Raspberry en ik heb de volgende packages gedownload.
root@domoticzpi:~# apt-get install libmath-basecnv-perl
root@domoticzpi:~# apt-get install libdatetime-perl
root@domoticzpi:~# apt-get install libxml-simple-perl
root@domoticzpi:~# apt-get install libwww-perl

Om die lege vakken in het uitlezen op te vangen kun je misschien zo doen:
Als er geen nieuwe data is kun je dan niet de oude versturen ? (dit aanpassen in het script?)

Ik zie verder ook geen logisch ritme in de data dit is ooit om de 3 sec maar ook duurt het 15 sec.

[ Voor 28% gewijzigd door twixx op 14-03-2015 19:30 ]

vanderv schreef op zaterdag 14 maart 2015 @ 20:30:
Dit is het bekende enecsys probleem.

De omvormers staan qua vermogen registratie op een standaard voltage van 220 Volt ingesteld. Wat je uitleest is dan de variabele geleverde stroom x altijd 220 Volt.
( Pvermogen = Uspanning x Istroom )

Dit terwijl wij hier in nederland gemiddeld tussen de 220V en 230V zitten.(hier constant ong. 227V)

Dit verklaart waarschijnlijk dan jouw afwijking? Het is mij een keer verteld, maar nog nooit na gemeten.....

1
2
3
4
5
6
7
8
9
10
11
12
13

$HexDCCurrent = 0.025*cnv(substr($HexZigbee,46,4),16,10); #25 mA units?
$HexDCPower = cnv(substr($HexZigbee,50,4),16,10);
$HexEfficiency = 0.001*cnv(substr($HexZigbee,54,4),16,10);#expressed as fraction
$HexACFreq = cnv(substr($HexZigbee,58,2),16,10);
$HexACVolt = cnv(substr($HexZigbee,60,4),16,10);
$HexTemperature = cnv(substr($HexZigbee,64,2),16,10);
$HexWh = cnv(substr($HexZigbee,66,4),16,10);
$HexkWh = cnv(substr($HexZigbee,70,4),16,10);
$LifekWh = (0.001*$HexWh)+$HexkWh;
$ACpower = $HexDCPower * $HexEfficiency;
$HexDCVolt = sprintf("%0.2f",$HexDCPower / $HexDCCurrent); 

print WRITEFILE $date, "\t", $time, "\t", $IDDec, "\t",$HexDCPower, "\t",$HexEfficiency, "\t", $ACpower, "\t",$HexDCCurrent, "\t",$HexDCVolt, "\t",$LifekWh, "\t",$HexTime1, "\t",$HexTime2, "\t",$HexACVolt, "\t",$HexACFreq, "\t",$HexTemperature, "\t",$HexZigbee,"\n";

Hier 14 stuks duo aanwezig.....

Proton_ schreef op zondag 15 maart 2015 @ 08:49:
Er valt te denken aan:
1. Veiligstellen van historische gegevens
2. Op paneelniveau in detail loggen naar een lokale database
3. Naar PVOutput loggen

1

Error GETing https://monitor.enecsys.net/default.aspx?q=login: Status read failed: A non-blocking socket operation could not be completed immediately. at ScrapeEnecsys2.pl line 24.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

#!/usr/bin/perl -w
#
#
use strict;
use WWW::Mechanize;
use IO::Socket::SSL; 
#use Crypt::SSLeay;
use HTTP::Cookies;


#$ENV{PERL_LWP_SSL_VERIFY_HOSTNAME}=0;

my $url = "https://monitor.enecsys.net/default.aspx?q=login";
#my $appurl = "http://MYURL/SOME.asp"; 

my $FFuser_agent = 'Mozilla/5.0 (Windows NT 6.3; WOW64; rv:36.0) Gecko/20100101 Firefox/36.0'; 

my $username = 'USERHERE';
my $password = 'PASSHERE';

#login to site 
my $mech = WWW::Mechanize->new(agent => $FFuser_agent);
$mech->cookie_jar(HTTP::Cookies->new());
$mech->get($url);
my $acq = $mech->content();
print "$acq \n";

SkiFan schreef op zondag 15 maart 2015 @ 08:56:
Erg mooi zou het natuurlijk zijn als we ergens een service kunnen laten draaien, waar we onze inverters en pvoutput account kunnen ingeven, waarna die gateway naar pvoutput logt.

Dat is natuulijk ook vanuit duurzaamheidsoogpunt beter dan dat iedereen lokaal wat moet gaan draaien.

[ Voor 3% gewijzigd door twixx op 15-03-2015 10:25 ]

[ Voor 3% gewijzigd door Boem56 op 15-03-2015 12:12 ]

duinsel schreef op zondag 15 maart 2015 @ 10:19:
[...]
Heb je handigheid met Perl en websites scrapen?

Hier staat een voorbeeld met curl in een shellscript, dat krijg ik ook niet helemaal aan de praat, maar Perl ging nog slechter.

In perl krijg ik wel html terug van andere test websites (http en https), maar op https://monitor.enecsys.net krijg ik alleen een fout terug. Misschien ziet de site dat ik een script ben en geen browser? Ik geef wel een user agent mee...

code:

1	Error GETing https://monitor.enecsys.net/default.aspx?q=login: Status read failed: A non-blocking socket operation could not be completed immediately. at ScrapeEnecsys2.pl line 24.

Proton_ schreef op zondag 15 maart 2015 @ 13:20:

De foutmeldingen van curl zijn soms wel eenduidiger; kan je die eens posten?

1
2
3
4
5
6
7
8
9
10
11
12
13
14

#!/bin/sh
 USERNAME="Enecsys.Demo"
 PASSWORD="Demonstration1"
 FILEPATH=/tmp
 
 touch $FILEPATH/cookies.txt
 
    curl -k -s https://monitor.enecsys.net/default.aspx?q=login -c $FILEPATH/cookies.txt > $FILEPATH/page.html
    VIEWSTATE=$(cat $FILEPATH/page.html | awk -F\" '/__VIEWSTATE/ { print $8 }')
    EVENTVALIDATION=$(cat $FILEPATH/page.html | awk -F\" '/__EVENTVALIDATION/ { print $8 }')
    rm -f $FILEPATH/page.html
 
    echo "Posting login..." 
    curl -k -s https://monitor.enecsys.net/ -b $FILEPATH/cookies.txt -c $FILEPATH/cookies.txt --data-urlencode "__VIEWSTATE=$VIEWSTATE" --data-urlencode "__EVENTVALIDATION=$EVENTVALIDATION" --data-urlencode "login1%24UserName=$USERNAME" --data-urlencode "login1%24Password=$PASSWORD" --data-urlencode "login1%24btnLogin=Login"

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

[/tmp] #
[/tmp] # #!/bin/sh
[/tmp] #  USERNAME="Enecsys.Demo"
[/tmp] #  PASSWORD="Demonstration1"
[/tmp] #  FILEPATH=/tmp
[/tmp] #
[/tmp] #  touch $FILEPATH/cookies.txt
[/tmp] #
<enecsys.net/default.aspx?q=login -c $FILEPATH/cookies.txt > $FILEPATH/page.html
[/tmp] #  VIEWSTATE=$(cat $FILEPATH/page.html | awk -F\" '/__VIEWSTATE/ { print $8 }')
[/tmp] #  EVENTVALIDATION=$(cat $FILEPATH/page.html | awk -F\" '/__EVENTVALIDATION/ { print $8 }')
[/tmp] #  rm -f $FILEPATH/page.html
[/tmp] #
[/tmp] #  echo "Posting login..."
Posting login...
<encode "login1%24Password=$PASSWORD" --data-urlencode "login1%24btnLogin=Login"
<html><head><title>Object moved</title></head><body>
<h2>Object moved to <a href="/Public/Error.htm?aspxerrorpath=/default.aspx">here</a>.</h2>
</body></html>
[/tmp] #

1
2
3
4
5
6
7

__EVENTTARGET   login1$lnkLogin
__EVENTARGUMENT 
__VIEWSTATE /wEPDwUIMjM1OTMxNTYPZBYEAgEPZBYCAgEPFgIeBGhyZWYFLH4vQXBwX1RoZW1lcy9FbmVjc3lzL0VuZWNzeXMuY3NzP3Zlcj0xLjAuNy45ZAIDDxYCHgVjbGFzcwUHZGVmYXVsdBYCAgEPZBYGZg8PFgYeCEltYWdlVXJsBSMvQXBwX1RoZW1lcy9FbmVjc3lzL2ltYWdlcy9sb2dvLnBuZx4HVG9vbFRpcAUZRW5lY3N5cyBDb3Jwb3JhdGUgV2Vic2l0ZR4LTmF2aWdhdGVVcmwFIGh0dHA6Ly93d3cuZW5lY3N5cy5jb20vaW5kZXgucGhwZGQCBA8PFgIeBFRleHRkZGQCBQ8PFgIfBQUhWW91IGhhdmUgc3VjY2Vzc2Z1bGx5IGxvZ2dlZCBvdXQuZGQYAQUeX19Db250cm9sc1JlcXVpcmVQb3N0QmFja0tleV9fFgUFBWN0bDAyBQVjdGwwMwUFY3RsMDQFBWN0bDA1BQVjdGwwNhEJIPle0mzXHbKEU5HVFTOmJLV2
__VIEWSTATEGENERATOR    CA0B0334
__EVENTVALIDATION   /wEWDAKvrfz9AwKfwImNCwKgwImNCwKlwImNCwKmwImNCwKjwImNCwLSpPz0BgLmk/awBwK0tJy1DwKa5OnYDALihsKwCwKcg465CiNBZHHHZHIyBIjufQZz/W4pn2fR
login1$UserName VERBORGEN
login1$Password VERBORGEN

[...]

Google hint op een mogelijk certificaat probleem. De foutmelding lijkt niet van de site maar uit het framework te komen.
Zelf testen wordt later deze week; nu geen testsysteem voorhanden

1

$ENV{PERL_LWP_SSL_VERIFY_HOSTNAME}=0;

duinsel schreef op zondag 15 maart 2015 @ 14:02:
[...]

Proton_ schreef op zondag 15 maart 2015 @ 14:09:
[...]

Wat doet curl zonder -k?

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

curl: (60) SSL certificate problem, verify that the CA cert is OK. Details:
error:14090086:SSL routines:SSL3_GET_SERVER_CERTIFICATE:certificate verify failed
More details here: http://curl.haxx.se/docs/sslcerts.html

curl performs SSL certificate verification by default, using a "bundle"
 of Certificate Authority (CA) public keys (CA certs). If the default
 bundle file isn't adequate, you can specify an alternate file
 using the --cacert option.
If this HTTPS server uses a certificate signed by a CA represented in
 the bundle, the certificate verification probably failed due to a
 problem with the certificate (it might be expired, or the name might
 not match the domain name in the URL).
If you'd like to turn off curl's verification of the certificate, use
 the -k (or --insecure) option.
[~] #

duinsel schreef op zondag 15 maart 2015 @ 13:11:
[...]
Ik heb hier wat screenshots van dit programma op mijn systeem

[ Voor 24% gewijzigd door Microkid op 15-03-2015 15:33 ]

Proton_ schreef op zondag 15 maart 2015 @ 14:46:

Andere wilde gok:

Perl:

1 2 3

my $mech = WWW::Mechanize->new(ssl_opts => { SSL_verify_mode => IO::Socket::SSL::SSL_VERIFY_NONE, });

(uit http://stackoverflow.com/...rify-failed-error-in-perl)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

#!/usr/bin/perl -w
#
#
#use strict;
use WWW::Mechanize;
use IO::Socket::SSL; 
#use Crypt::SSLeay;
use HTTP::Cookies;


#$ENV{PERL_LWP_SSL_VERIFY_HOSTNAME}=0;

my $url = "https://monitor.enecsys.net/default.aspx?q=login";
#my $appurl = "http://MYURL/SOME.asp"; 

my $FFuser_agent = 'Mozilla/5.0 (Windows NT 6.3; WOW64; rv:36.0) Gecko/20100101 Firefox/36.0'; 

my $username = 'USERHERE';
my $password = 'PASSHERE';

#login to site 
my $mech = WWW::Mechanize->new(agent => $FFuser_agent, autocheck => 0, ssl_opts => { verify_hostname => 0 } );

$mech->cookie_jar(HTTP::Cookies->new());
$mech->get($url);
my $acq = $mech->content();
print "$acq \n";

1
2
3

C:\Users\vanduijn\Documents\Perl\Enecsys>perl ScrapeEnecsys2.pl
Status read failed: A non-blocking socket operation could not be completed immed
iately. at C:/Strawberry/perl/vendor/lib/Net/HTTP/Methods.pm line 276.

1
2

$ENV{HTTPS_DEBUG} = 1;
$ENV{HTTPS_CA_FILE} = "DigiCertHighAssuranceEVRootCA.crt";

• een perl script draait (met dank aan duinsel voor de initiële code) iedere 5 minuten, op een AWS instance
• voor iedere 'user' in de database doet het script een 'rondje'
• doet voor iedere user 10 pogingen
• via de database is alles variabel instelbaar.

[ Voor 21% gewijzigd door twixx op 15-03-2015 20:38 ]

19roland70 schreef op zondag 15 maart 2015 @ 21:18:
@duinsel Ik heb je script draaien op de raspberry .
Nu word de file EnecsysLogfile aangemaakt , wat moet ik veranderen in het perl script dat het bv in deze directory word aangemaakt : /home/roland/EnecsysLogfile.txt
(geen perl kennis)
Als ik het script in een windows map zet komt de logfile ook automatisch in die map,
Bij mijn raspberry is dat schijnbaar anders ,daar komt hij volgens mij in de root.

19roland70 schreef op zondag 15 maart 2015 @ 21:33:
ik heb het zo gedaan maar er word geen file aangemaakt
origineel:

Perl:

1	open WRITEFILE, ">>", "EnecsysLogfile.txt" or die $!; # define outputfile

heb ik veranderd in:

Perl:

1	open WRITEFILE, ">>", "/home/roland/EnecsysLogfile.txt" or die $!; # define outputfile

Ik heb dit vervolgens gedaan bij iedere regel die ik tegen kwam in het script.
Wat is hier fout aan ?

1

touch /home/roland/EnecsysLogfile.txt

19roland70 schreef op zondag 15 maart 2015 @ 21:33:
ik heb het zo gedaan maar er word geen file aangemaakt

twixx schreef op maandag 16 maart 2015 @ 11:11:
Alles valt en staat om te weten om de hoeveeltijd ajax.xml nieuwe waardes krijgt. Ik kijk nu iedere 2 seconden (en dan per 5 minuten doe ik dat 10x).

duinsel schreef op maandag 16 maart 2015 @ 12:52:
[...]


Kijk in de webinterface van de gateway, daar zie je alle datagrams voorbij komen, dan krijg je een beetje gevoel ervoor.
Wat ik me herinner is elke minuut 1 datagram per inverter, en de ajax.xml geeft alleen de laatst binnengekomen data. Je kan dus misschien pech hebben als er 2 inverteres net 1s na elkaar verslag doen van hun belevenissen.
Hoe groter je systeem, hoe groter de kans op zo'n 'collision'.
Misschien hebben we daar minder last van als we de gateway naar een custom server data laten sturen ipv ajax.xml gebruiken.

twixx schreef op maandag 16 maart 2015 @ 19:51:
[...]
Ik deed vandaag iedere 5 minuten 10 pogingen met 2s tussentijd.

duinsel schreef op maandag 16 maart 2015 @ 21:51:
[...]


Dan poll je elke 5 min 20 s lang. De kans is dan idd groot dat je mist, een inverter die op seconde 40 van elke minuut komt zie je nooit.. Je moet minimaal 1 min pollen om enige zekerheid te hebben 1 meting van elke inverter te hebben.
Of waarom niet volcontinu elke 2s ?

twixx schreef op maandag 16 maart 2015 @ 21:55:
[...]

Omdat ik ze niet allemaal wil versturen naar PVO.

[ Voor 23% gewijzigd door Boem56 op 17-03-2015 07:13 ]

duinsel schreef op maandag 16 maart 2015 @ 22:01:
[...]


Dat kun je apart uitfilteren natuurlijk. Alles wegbufferen naar een of andere array en elke 5 min de meest recente datapunten opsturen naar PVO en opnieuw beginnen.

wersitime schreef op dinsdag 17 maart 2015 @ 14:01:
Enecsys UK is failliet maar dit geldt volgens mij nog niet voor de andere vestigingen.

duinsel schreef op maandag 16 maart 2015 @ 22:01:
[...]
Dat kun je apart uitfilteren natuurlijk. Alles wegbufferen naar een of andere array en elke 5 min de meest recente datapunten opsturen naar PVO en opnieuw beginnen.

19roland70 schreef op maandag 16 maart 2015 @ 22:49:
@duinsel en twixx. Ik heb naar de output bij mijn converters (5x) gekeken en ik zie dat ik ook wel eens dezelfde converter 2 x achter elkaar krijg maar meestal om de minuut , het duurt ook wel eens 2 minuten voor hetzelfde serienr voorbij komt.
Is het niet mogelijk iedere keer als er nieuwe data komt de oude te vervangen zo mis je niks .

twixx schreef op dinsdag 17 maart 2015 @ 19:31:
[...]
Iemand ervaring met netwerk 'sniffen'? B.v. middels een proxy of mirrorport?

Thijs8472 schreef op woensdag 11 maart 2015 @ 09:22:
Ik heb vannacht even een dump aangezet en het verkeer naar gateway.enecsys.com is geen SOAP/REST maar gewoon de base64-berichten die je met duinsels script kan ophalen in een TCP-pakket (met een kleine header lijkt het). gateway.enecsys.com stuurt vervolgens een TCP ACK.

Af en toe stuurt gateway.enecsys.com een base64-encoded bericht terug.

Ik vermoed, maar nu geen zin/tijd om te testen, dat het voldoende is om een socket te openen en de base64-berichten van de omvormers van de stack af te trekken.

Thijs8472 schreef op dinsdag 17 maart 2015 @ 20:33:
Het capturen van het verkeer stelt niet zoveel voor, even op een linux host een port forwarden:

code:

1	ssh -g -L 5040:gateway.enecsys.com:5040 user@localhost

En even een tcpdump starten:

code:

1	sudo tcpdump -n 'tcp port 5040 and host <ip-adres gateway>' -w dump.pcap

En vervolgens op de gateway het IP-adres van die linux host instellen als remote server (dus niet de proxy). DIe pcap kan je vervolgens inlezen met wireshark of een ander tool naar keuze. Ik wil duinsel ook wel een logje sturen, maar dan moet ie even een e-mailadres dm'en.

1
2
3
4
5
6
7
8
9
10
11
12
13
14

ubuntu@ip-172-31-8-43:~$ tail -f dump.pcap

r&6E(?^@@?t+M???Ӹ?>_?}?Pi?U?}
77
r&6?    ?E)?PT??M?+????}&#40486;>_P?<@?U?}
66  ??
r&6E(?_@@?s+M???&#1272;?>_?}?Pi?U??}}
r&6?    ?Eo?T?qM?+????}&#44582;>_P?m"427735B37201195059WZ=c7M1dwCaxjQAAAAAIQAAAAAAA1BS?U??66,S??0000080512E
r&6E(?`@@?r+M???&#1272;?>_?~1Pi?U0???
r&6?    ?E?
           :TC6M?+????~1??>_P??5E7735B37201195100WZ=c7M1dwCaxjQAAAAAIQAAAAABGU4U?UF?66Ue??ga9_QAAAAAAAAAAAAAAAA=A2,S=2000008051AA
r&6E(?a@@?q+M???&#1272;?>_?~?Pi?U?m
                             ??
r&6?    ?EwStT?M?+????~???>_P?&#881;4A7735B37201195100WZ=c7M1dwCaxjQAAAAAIQEAAAAAClNzszV3AJrGNEg=5E,S=2000008051EE

Thijs8472 schreef op dinsdag 17 maart 2015 @ 20:58:
Mooi

?U??66 ??w??T??M?+????Ը?>?P??L4A7735B37201195459WZ=c7M1dwCaxjQAAAHgIQEAAAACClNzszV3AJrGNEg=38,S=200000805193
r&6E(??@@?K+M???Ӹ?>???#Pi?U?77

[ Voor 8% gewijzigd door twixx op 17-03-2015 21:16 ]

twixx schreef op dinsdag 17 maart 2015 @ 21:00:
[...]
Zo mooi zelfs, ik zou zelfs de capture logfile kunnen gebruiken voor de data want het staat er plaintext in

twixx schreef op dinsdag 17 maart 2015 @ 21:00:
Moet dan denk ik wel met een goede regex aan de slag om alleen de juiste data eruit te halen.

1
2
3
4
5

#! /usr/bin/env python
from scapy.all import *
myreader = PcapReader('blup.pcap')
for p in myreader:
    print p.payload.payload.payload

duinsel schreef op dinsdag 17 maart 2015 @ 21:19:
[...]


Maar dit is nog steeds bij gratie van de Enecsys de server. Als de stekker eruit gaat is er nog steeds iets nodig om de gateway de data te laten versturen. Evengoed, bedankt voor de logs! Ben gelijk benieuwd wat er in de rest van de data gecodeerd staat

r&6? ?E()S2?M?+?h?9 ??2?P????U?::
r&6? ?E,?kS?cM?+?v?:?;?`?xM?U?:: ??
r&6E,@@"+M???vWL+:?;?`i#?U?h66
r&6? ?E(?hS?jM?+?v?:?;?WL,P??&?U<o66 ??
r&6E(?@@??+M???vWL,:?;?Pi?U?o??
?U?o66 ??w?WS?,M?+?v?:?;?WL,P?KE4A7735B37201204219WZ=c7M1dwCaxjQAAADvIQEAAAABClNzszV3AJrGNEg=12,S=20000080513F
r&6E(??@@Q?+M???vWL,P`??U?66
r&6? ?E(?DS~?M?+?v?:?<.WL-P????U?66 ??
r&6E(??@@Q?+M???vWL-P`??U?<66
r&6? ?E(?_S~sM?+?v?`:WL-P???U??::
r&6? ?E,TT??M?+???:!5?`?`,?U˺:: ??
r&6E,@@"+M????{,
6:!5?`i#?Uf266
r&6? ?E(?pTnbM?+???:!^C

[ Voor 29% gewijzigd door twixx op 17-03-2015 21:46 ]