TTGO T-Journal - OCR Camera zonder storage

[Varkzor]

Mijn vraag

Ik zoek code of iemand die mij kan helpen om code running te krijgen op mijn TTGO T-Journal.
Ik wil dit toestelletje gebruiken om een foto te nemen van mijn analoge watermeter, een OCR aan te roepen, bvb ocr.space, als resultaat een cijfer te krijgen met de meetwaarde van op de foto, en dit doorsturen naar mijn home assistant.
Alle hulp/input/feedback/kudo's allemaal welkom.


Relevante software en hardware die ik gebruik

Arduino om de code te schrijven en op de TTGO T-Journal te laden, echter mag dit wat mij betreft met gelijk wat.
ik gebruik enkel de TTGTO Tjournal en een Acer Veriton als mijn home assistant server.


Wat ik al gevonden of geprobeerd heb

Er zijn echt al tal van topics rond, echter geen enkel met focus op TTGO T Journal. Noch zonder storage en met directe aanroep en verwerking.

Ik heb ook een oud stuk code van mezelf gevonden, echter krijg ik het totaal nietmeer draaiend (reeds 20u mee bezig aan't prutsen, en zit met mn handen in het haar.

Volgende referenties kan ik al meegeven:
Geert meersman zijn project, echter heeft de man nooit zijn code/oplossing in detail gedeeld:
https://community.home-as...eter-using-opencv/39781/8
Project met GSM - echter ook zonder code/info:
https://community.home-as...-electricity-meter/124548
Redelijk goed uitgewerkt project - echter enkel met esp32 en met flashgeheugen etc:
https://github.com/jomjol/AI-on-the-edge-device/

[Varkzor]

Ik heb ondertussen toch een device aangeschaft waar de USB meteen bij zit, ik hoop hiermee met de volgende aan de slag te kunnen:
https://github.com/jomjol/AI-on-the-edge-device/

Ik zal hier de vooruitgang documenteren.

Het betreft het volgende onderdeel (esp32 cam + usb bord samen welliswaar gemakkelijk monteer/demonteerbaar):


Mvg,
Varkzor

[ Voor 38% gewijzigd door Varkzor op 19-08-2022 10:48 ]

[Varkzor]

Ondertussen is het device toegekomen, ik ga vanavond even aan de slag om te kijken:
1) hoe vlot de installatie lukt
2) hoe vlot de integratie met Home Assistant gaat.

Dit is de laatste stap in mijn vakantiewoning-beheer-home-automation.
Het enige wat nog jammer is is om een deftige sync kalender te hebben met airbnb & booking.com om meer details van boekingen te krijgen om mee aan de slag te gaan voor automatisaties (bvb het aanmaken van een sleutelkluis code en deze doormailen/publishen naar de huurder in kwestie).

[Varkzor]

Stap 1 is al niet zo vlot, krijg issues met het toestel dat niet telkens op dezelfde manier opstart, slechts 2 keer correct kunnen laten opstarten om in de config te geraken, andere 100 keer initieert het ding precies de camera niet en de web page voor config is niet toegankelijk.

Het ding maakt wel internet verbinding, dus zeer bizar dat er geen web adres beschikbaar is.
Geen logs toegankelijk, dus onmogelijk om te zien wat het issue is...

[Varkzor]

Ondertussen een heel eind verder, installatie vlot gelukt uiteindelijk.
Bovenstaand issue was omdat de hardware camera niet goed geinstalleerd was.

Nu pruts ik nog met mijn MQTT setup, eens die hurdle over is, works like a charm.

[Varkzor]

Ik ben er uiteindelijk geraakt, ik ga hier binnenkort heel gedetailleerd alle stappen doorgeven voor full integration met Home Assistant ;-)
/vark

[tafkaw]

Ben benieuwd, heb ook wel interesse in een dergelijke setup dus je zou mij er iig erg mee helpen!

[Varkzor]

Als ik er enkele mensen gelukkig mee kan maken, dan met plezier natuurlijk :-)

Op de volgende link vind je eigenlijk bijna alle input om het toestel te kunnen installeren:
Github AI on the edge device - wiki

Kort samengevat moet je de volgende zaken doen:

HARDWARE:
- esp32 module met camera, ikzelf heb die gekocht die je hierboven vind - daar zat meteen een micro-usb port op die maakt het makkelijker om de software erop te pleuren :-D.
esp32 camera
- een flash geheugenkaart, er worden op de site meldingen gemaakt dat er soms kaart issues zijn en de hardware niet goed samenwerkt met het device. Je moet de flash geheugenkaart ook volgens de juiste specs formatten. Ik heb Rufus gebruikt: belangrijkste is MBR en FAT32.



SOFTWARE:
1) de flash download tool downloaden van espressif:
espressif flash download

2) de 3 bestanden downloaden van het AI-on-the-edge-device project:
https://github.com/jomjol...vice/tree/master/firmware
bootloader.bin
firmware.bin
partitions.bin

3) de software uploaden volgens de volgende specs:
a) de mode selectie van de flash:

b) de flash files laden, de juiste adressen intypen (rechterkant naast de .bin files), en de juiste compoort onderaan die het device representeert (die compoort kan je ook makkelijk zien als je bvb arduino software opendoet.


4) de files van deze locatie downloaden:


5) de folder in dat project dat je gedownload hebt open doen en de volgende file aanpassen met jouw SSID en Passwoord:


6) de hele SD Card folder inclusief die wifi.ini file copieren naar je SD card:



In principe is het halve werk nu ongeveer gedaan.
Echter een aantal zaken die dus belangrijk zijn blijkbaar:
1) de SD kaart is blijkbaar soms gevoelig, werkt je toestel niet na deze set-up om naar de config web-page te gaan, dan kan het zijn dat je een andere kaart moet gebruiken
2) de CAMERA installeren op de ESP32 moet juist gebeuren, daarvoor moet je het lipje opendraaien (naar voor trekken) - de camera verbinding in de sleuf schuiven, en dan toeclipsen.
Bij mij zat de camera los (clisp niet correct gebruikt). waardoor het hele toestel de camera niet initiëerde en ik UUUUUREN kwijt was met uit te vissen waarom het 2 keer wel gewerkt had bij toeval en 100 keer niet.
3) om die uren te vermijden, best iets als arduino gebruiken om een rechtstreekse log uit te lezen van het toestel, zo ben ik erop gekomen dat hij bij de camera init faalde, en dat mijn issue dus bij de camera zat. Wat filmpjes online gezocht en gezien dat ik een idioot ben die niet weet hoe ik een platte connector zoals die bij de ESP32-CAM moet gebruiken :-D

BON...
Nadat al deze zaken werken is het eigenlijk vrij eenvoudig.
Je laadt de web pagina in van het toestel, de eerste maal kom je automatisch in een step-by-step steun om alles in te vullen en te configureren. Het is dus best eenvoudig om alles in te stellen.

Achteraf kan je via de web interface ook volledig terug in de config.ini file alsook in de hele visuele samenstelling van de ROI digital en ROI analog (basically de zones die digitale cijfers bevatten of analoge draaimeters representeren).

Dan de laatste stap is de MQTT configuratie om het bijvoorbeeld naar Home Assistant te sturen.
Hiervoor heb ik voornamelijk gemerkt dat het belangrijk is om in Home assistant het volledige topic tot binnen in de json basically uit te lezen, een volledige jason parst hij niet (of dit kreeg ik toch niet zo gefixed).

Voor deze laatste configuratie en screenshots ga ik hier binnenkort nog eens op terugkomen en wat verder documenteren, maar basically is het echt wat trial & error, maar staat ook goed in de guides van JomJol.

Enkel het MQTT verhaal staat daar niet deftig in en is outdated, dus ik kom hier nog op terug (vanavond geen moed meer voor - ons kleine dochtertje van 3 maand slorpt wat energie op :-) ).

Greetz
Varkzor

[Varkzor]

Ow en nog om af te sluiten, de value verwerking gebeurt nog niet goed bij mij, vaak geen values of foute values. Mijn meter is wel een pokke oud belgisch ding (zoals alle rotzooi hier) en is vrij volatiel.
Je kan wel door de juiste settings op het toestel ook steeds de foto's opvragen etc.

Er is mij ook aangeraden via GitHub om de AI van meer foto's ook te proberen, in een 1ste instantie was dat nog niet bevorderlijk, echter heb ik die andere 2 AI settings maar kort geprobeerd.

De finale installatie bij mij is niet hier, maar op een plaats waar de meter reeds vernieuwd is. Dus dat probleem zal veel minder relevant zijn.

Nog een laatste info wel, je zou deze hele set-up ook met een puls-meter kunnen doen, echter heb ik die ervaring niet. Daarbij zou je je 'pulsen' kunnen omzetten naar verbruik in liters specifiek voor watermeters.
Mogelijks accurater/makkelijker dan deze set-up.

Deze set-up is echter wel overal inzetbaar (water/Gas/electricitet) en kost een dik "tientje" zoals ze in Nederland zeggen ;-)

Mvg,
Vark