ESP32-CAM persoonsherkenning Tensorflow/OpenCV

[ouweklimgeit]

Waarde lezer,

Wie kan mij op weg helpen met de volgende casus;

Een paar keer per week stopt er voor onze deur een (meestal) willekeurige auto. 1 persoon stapt uit, rent/loopt de straat tegenover ons in en is altijd binnen een minuut weer terug. Bij ons voor de deur parkeren is geen vereiste, die straat waar ze altijd heel kort zijn heeft meer dan voldoende parkeerplaatsen. Het zijn ook altijd dezelfde typetjes, je raadt het al, (ook aldus de politie die steevast met grote interesse mijn video's ontvangt), drugsgerelateerde activiteiten.

Nu is de ellende dat 'ze' er altijd maar dusdanig kort staan, dat ik ze 99 van de 100 keer gewoon niet zie. Achteraf op de Eufy deurbel zie ik wel eens een auto stoppen, maar kentekens zijn op deze afstand niet te zien en waar de persoon heen loopt ook niet.

Even een hoogstaande situatieschets ter verduidelijking van de locatie;


Blauw is mijn woning, rood de woning waar ze naar binnen gaan, zwarte streep is de looproute. Vanwege obstructies is de specifieke woning zelf niet zichtbaar vanaf mijn huis.

Morgen krijg ik een paar ESP32-cam bordjes binnen en Tensorflow/OpenCV kan ik ongetwijfeld mee overweg als ik zo de voorbeeldcode her en der bekijk, maar waar ik eigenlijk naar toe wil is objectherkenning die enerzijds 'weet' wanneer er op specifieke locaties een auto staat én wanneer (dezelfde) persoon binnen 90 seconden heen+weer gelopen is.

Het herkennen van een auto + persoon zal het probleem niet zijn, maar juist dat heen en weer lopen binnen een korte periode is de interessante factor.

Heeft iemand een idee of zo iets mogelijk is?

[RobIII]

ouweklimgeit schreef op maandag 11 maart 2024 @ 19:28:
Heeft iemand een idee of zo iets mogelijk is?

Ja.

Maar je stelt denk ik de verkeerde vraag

Maar voordat we ingaan op technische haalbaarheid zou ik willen beginnen met de vraag: waarom is dit jouw probleem? Heb je er last van? En, zo ja, wat natuurlijk heel goed mogelijk is, niemand heeft graag ongure types in zijn of haar buurt wonen: waarom gaat de politie daar niet dan gewoon een keertje een middag staan in een onopvallend voertuig? Waarom moet / wil jij dit oplossen?

Als je op techniek wil ingaan: ik heb hier een la vol met ESP32 cams liggen en ik kan je zo al zeggen als je de standaard OV2640/5640 cameraatjes met diens lensjes gebruikt dan ga je al blij zijn als je iemand aan de overkant van de straat kunt herkennen, laat staan enkele huizen verderop. Ik denk / vrees dat je verwachtingen véél te hoog liggen. Er is overigens zat spul te koop met 4K(+) beeld en optisch zoom x 4, 6, 8 of 10 waar je wel een heel eind mee zou moeten kunnen komen (kijk even in beveiligingscamera's). Maar ik heb er een hard hoofd in dat je met die standaard camera modules iets herkenbaars uit die pixels haalt.

Met een OpenCV o.i.d. moet je een heel eind komen, maar onthou wel dat zo'n ESP32 geen Core I5 is ofzo. Hou dus rekening met 'framerates' van 1 FPS of minder als je aan objectherkenning gaat doen, zeker met een potatocam.

Ja, het zal best kunnen, maar ik probeer je verwachtingen een beetje te temperen

Mocht het project niet worden wat je graag zou willen: ik gebruik er een om m'n watermeter uit te lezen en dat werkt perfect

[ Voor 7% gewijzigd door RobIII op 12-03-2024 00:34 ]

[ouweklimgeit]

Haha, @RobIII dank voor je eerlijke reactie!

De hoofdreden is dat ik in een bijzonder mooie wijk woon en dat graag zo wil houden. Er woont nu schijnbaar een rotte appel om de hoek die afhankelijk is van ongure types om zijn dagelijkse dosis te verkrijgen.

Buiten het feit dat drugsoverlast ook met regelmaat gepaard gaat met asociaal rijgedrag, geweld, wapens, etc, voelt het goed om de politie te helpen. Ze hebben ook heel specifiek gevraagd om zoveel mogelijk vast te leggen dus ik probeer gewoon mijn steentje bij te dragen.

Kern van het probleem is de korte duur dat 'ze' er staan. Als de ESP32 cam me alleen maar even een pushnotificatie kan sturen wanneer de geschetste situatie zich voordoet, dan loop ik met mijn telefoon naar het raam en kán er nog iets vastgelegd worden, of laat ik Homey mijn Eufy 4K cams inschakelen (waarmee ik probleemloos kentekens kan vastleggen).

De ESP hoeft dus geen video te produceren waar iemand haarscherp op staat, hij hoeft ""alleen maar"" de objecten 'geparkeerde auto' en 'mens loopt straat in' te herkennen.

[AlphaRomeo]

ouweklimgeit schreef op dinsdag 12 maart 2024 @ 10:46:
Buiten het feit dat drugsoverlast ook met regelmaat gepaard gaat met asociaal rijgedrag, geweld, wapens, etc, voelt het goed om de politie te helpen. Ze hebben ook heel specifiek gevraagd om zoveel mogelijk vast te leggen dus ik probeer gewoon mijn steentje bij te dragen.

offtopic:
Ik zou wel heel goed de afweging maken voor jouzelf of je dit moet willen. Stel dat jij uiteindelijk de politie helpt om deze persoon een tijdje achter de tralies te krijgen en dat komt uit. Dan is er kans dat jij zo'n nieuwbericht wordt waar een stuk zwaar vuurwerk voor de deur is geëxplodeerd.

Technisch gezien zeker een leuk project en ik ben benieuwd hoe ver je komt. Ik zou me misschien eerder focussen (letterlijk) op die kort stilstaande auto, dat moet redelijk makkelijk te herkennen zijn zeker als je een hoek kunt vinden waarin een kenteken zichtbaar is. Een bewegende hoodie is over het algemeen veel minder makkelijk te herkennen.

[Kheos]

[b]ouweklimgeit schreef op maandag 11 maart 2024 @ 19:28:
Een paar keer per week stopt er voor onze deur een (meestal) willekeurige auto. 1 persoon stapt uit, rent/loopt de straat tegenover ons in en is altijd binnen een minuut weer terug. Bij ons voor de deur parkeren is geen vereiste, die straat waar ze altijd heel kort zijn heeft meer dan voldoende parkeerplaatsen. Het zijn ook altijd dezelfde typetjes, je raadt het al, (ook aldus de politie die steevast met grote interesse mijn video's ontvangt), drugsgerelateerde activiteiten.

Nu is de ellende dat 'ze' er altijd maar dusdanig kort staan, dat ik ze 99 van de 100 keer gewoon niet zie. Achteraf op de Eufy deurbel zie ik wel eens een auto stoppen, maar kentekens zijn op deze afstand niet te zien en waar de persoon heen loopt ook niet.

ik vind het maar een vreemd verhaal met de nodige haken en ogen
Wie zegt dat die persoon niet af en toe een poké bowl ofzo laat leveren?

[ouweklimgeit]

Kheos schreef op dinsdag 12 maart 2024 @ 11:30:
[...]

ik vind het maar een vreemd verhaal met de nodige haken en ogen
Wie zegt dat die persoon niet af en toe een poké bowl ofzo laat leveren?

De politie zelf Kentekens zijn van huurauto's of auto's die héél ver weg geregistreerd staan en die allemaal al voorkomen in hun gegevens. Daarbij zou een pokebowl bezorger niet zijn auto 100m verderop parkeren, met lege handen heen en weer lopen om vervolgens met diezelfde auto toch weer voorbij het desbetreffende huis te rijden waar volop parkeerplaatsen zijn.

AlphaRomeo schreef op dinsdag 12 maart 2024 @ 11:19:
[...]

offtopic:
Ik zou wel heel goed de afweging maken voor jouzelf of je dit moet willen. Stel dat jij uiteindelijk de politie helpt om deze persoon een tijdje achter de tralies te krijgen en dat komt uit. Dan is er kans dat jij zo'n nieuwbericht wordt waar een stuk zwaar vuurwerk voor de deur is geëxplodeerd.

Eens, ik doe alles heimelijk en blijf ver uit de buurt van die gasten hoor.

AlphaRomeo schreef op dinsdag 12 maart 2024 @ 11:19:
Technisch gezien zeker een leuk project en ik ben benieuwd hoe ver je komt. Ik zou me misschien eerder focussen (letterlijk) op die kort stilstaande auto, dat moet redelijk makkelijk te herkennen zijn zeker als je een hoek kunt vinden waarin een kenteken zichtbaar is. Een bewegende hoodie is over het algemeen veel minder makkelijk te herkennen.

Maar dat is nou het punt, zodra die auto weer gaat rijden dan is het te laat om mijn telefoon te pakken en e.e.a. vast te leggen met fatsoenlijke resolutie

Maar goed, ik ga eens even knutselen en kijken wat ik voor elkaar krijg 👍

[DaFeliX]

ouweklimgeit schreef op dinsdag 12 maart 2024 @ 12:05:
[...]

Eens, ik doe alles heimelijk en blijf ver uit de buurt van die gasten hoor.


[...]

*ahum*

nieuws: Woonadressen burgers die beelden delen met politie vindbaar via onlin...

Verder helemaal eens met @RobIII en @AlphaRomeo, weet waar je aan begint. Het klinkt onschuldig, maar pas op met het inzetten van technische middelen hiervoor. Er zit volgens mij een groot verschil tussen "Ik zie iets, en noteer een kenteken" en "ik registreer alle kentekens vol automatisch".

[Opifex]

ouweklimgeit schreef op dinsdag 12 maart 2024 @ 12:05:
Kentekens zijn van huurauto's of auto's die héél ver weg geregistreerd staan en die allemaal al voorkomen in hun gegevens.

Wat hopen ze dan te bereiken met jouw videobeelden? Ze weten dan toch al wie het is? Waarom moet je dan iemand identificeren?

[Isotope5004]

Snap niet waarom mensen zo focussen op het "waarom"...

Als ik TS was had ik een degelijke camera gekocht (misschien is een wyze v3 al genoeg) icm frigate en google Coral (USB). Dan heb je direct object herkenning en automatisch opslaan van beelden geregeld. Dat is een stuk minder werk dan zelf aan de slag met ESP32 en de performance is ook nog vele malen beter.

https://docs.frigate.video/guides/parked_cars/

De events zou je misschien op kunnen vangen met NodeRed en daar zelf iets bij bedenken dat als de auto binnen x aantal minuten weer weg is de beelden misschien wel interessant zijn.

Daarnaast weet ik niet wat de wet zegt over een camera die gericht staat op de openbare weg, dat laat ik aan TS over.

[ Voor 9% gewijzigd door Isotope5004 op 12-03-2024 14:30 ]

[smesjz]

== NVM == is al eerder gepost hier.

[ Voor 94% gewijzigd door smesjz op 12-03-2024 14:56 . Reden: Is al gepost ]

[Opifex]

Isotope5004 schreef op dinsdag 12 maart 2024 @ 14:23:
Snap niet waarom mensen zo focussen op het "waarom"...

Omdat een groot deel van de vragen op het internet X-Y problems zijn. En ook hier lijkt dat het geval. TS heeft een probleem, maar vraagt hulp bij de oplossing. Terwijl die oplossing misschien niet is wat hij wil of wat hij nodig heeft om het probleem op te lossen.

Vandaar dat frame challenges nuttig zijn: waarom kies je voor die oplossing?

[ouweklimgeit]

X-Y probleem? Ik heb een vraag gesteld over hoe ik software kan inzetten voor de herkenning van een heel specifieke situatie. De oplossing voor mijn vraag is dus simpelweg een schop richting de juiste tools om dit te bewerkstelligen. Wat ik verder met de uitkomst van deze tools is niet relevant.

Wat hopen ze dan te bereiken met jouw videobeelden? Ze weten dan toch al wie het is? Waarom moet je dan iemand identificeren?

Dit zijn de vragen die juist het Y probleem veroorzaken omdat ze compleet buiten de scope van mijn vraag gaan en een onderwerp off-topic sturen. Ik heb dit topic niet aangemaakt om randzaken te beantwoorden, ik zoek tools die met deze situatie om kunnen gaan, waarvoor dank @Isotope5004, hier duik ik in.

Nogmaals;
- een auto parkeert kortstondig (< 2 min)
- de bestuurder of bijrijder stapt uit en loopt een exacte route en komt binnen 1 min weer terug

Aangezien ik niet de hele dag voor het raam naar buiten zit te kijken, zou een softwarematige oplossing die deze activiteiten kan herkennen zinvol zijn. Simpelweg omdat ik dan op tijd het kenteken kan noteren zoals mij verzocht is.

[Opifex]

Het Y-probleem is jij die een ESP32 camerasysteem wil bouwen waarvan we met hoge waarschijnlijkheid kunnen zeggen dat het niet gaat werken om je X-probleem (de potentiële devaluatie van jullie buurt door de drugsdealers) op te lossen.

Je ontwijkt de vraag trouwens: Als de politie de nummerplaten al heeft, en deze heeft kunnen linken aan de criminelen, waarom moet jij dan de nummerplaten doorgeven?!

Lastly: als je écht de daders wil filmen (los van legaliteit), dan lijkt me de eenvoudigste en goedkoopste manier om gewoon een videocamera op de vensterbank te zetten en deze een aantal uur te laten filmen. Op het einde van de dag speel je dan de opname af op je computer aan 100x snelheid. Elke keer je een auto ziet staan zet je de opname weer op x1 en kijk je of deze inderdaad de verdachte beweging maken. In dat geval kan je de nummerplaat noteren om boven je bed te hangen.

[ThomasG]

Je moet ook rekening houden met het feit dat het filmen van de straat niet is toegestaan, en al helemaal niet het toepassen van (pseudo-)persoonsherkenning. Hiermee schend je simpelweg de wet, tenzij er een dwingende reden is om dit wel te doen (wat in dit geval niet lijkt te gelden, gezien jouw geheimzinnigheid eromheen).

Meer informatie hierover is beschikbaar op bijvoorbeeld Autoriteit Persoonsgegevens: Camera's bij het eigen huis.

[Mavamaarten]

Ik denk dat een ESP32 net niet krachtig genoeg is hiervoor. Het wordt alleszins een uitdaging. Een streampje opzetten en deze analyseren op een krachtiger toestel lijkt mij makkelijker.

Als je al iets van server (of een raspberry pi o.i.d.) hebt draaien, is zoiets best simpel. Dan kan je met OpenCV en python (of een andere taal) aan de slag. OpenCV biedt een hoop bouwstenen aan die je nodig hebt om wat je wil te bereiken:

- Je kan makkelijk een videostream binnentrekken en frame per frame analyseren
- Je kan personen en auto's detecteren met bv HOG (https://thedatafrog.com/en/articles/human-detection-video/)
- Je kan zelf een lijst bijhouden van auto's en personen, en deze bijhouden/weggooien als ze een bepaalde tijd blijven staan of wegrijden

[TereZz]

Heel mooi dat je de politie wil helpen. Maar het doel heiligt de middelen niet. Stop ermee. Criminelen kunnen voldoende budget hebben om JOU aansprakelijk te stellen in het schenden van hun privacy. Kan zomaar een duur geintje worden voor je. Geen camera richten op de openbare weg, een deurbelcamera met bewegingssensor mag eigenlijk al niet.

offtopic:
En nee, ik heb geen aandelen in deze business en ben ook geen klant bij de buren van TS

[ Voor 14% gewijzigd door TereZz op 12-03-2024 17:23 ]

[ouweklimgeit]

Mavamaarten schreef op dinsdag 12 maart 2024 @ 16:35:
Ik denk dat een ESP32 net niet krachtig genoeg is hiervoor. Het wordt alleszins een uitdaging. Een streampje opzetten en deze analyseren op een krachtiger toestel lijkt mij makkelijker.

Als je al iets van server (of een raspberry pi o.i.d.) hebt draaien, is zoiets best simpel. Dan kan je met OpenCV en python (of een andere taal) aan de slag. OpenCV biedt een hoop bouwstenen aan die je nodig hebt om wat je wil te bereiken:

- Je kan makkelijk een videostream binnentrekken en frame per frame analyseren
- Je kan personen en auto's detecteren met bv HOG (https://thedatafrog.com/en/articles/human-detection-video/)
- Je kan zelf een lijst bijhouden van auto's en personen, en deze bijhouden/weggooien als ze een bepaalde tijd blijven staan of wegrijden

Dank voor je reactie! Heb meerdere servers draaien, maar voor nu draait Frigate (n.a.v. de reactie van @Isotope5004) op een System76 laptop (i7, 64GB) die de rtsp stream van een Eufy camera binnen haalt en verwerkt. Ben nog aan het testen hoe ik de zones goed gelinkt krijgt, maar de basis draait.

De ESP32-Cam werd net bezorgd, die wil ik inderdaad niet gebruiken voor het hele verwerkingsproces maar als simpele camera met minimale overhead waar ik even een behuizing voor print. OpenCV ga ik morgen mee aan de slag, HOG is precies wat ik zocht als voorbeeld, maar nu te donker buiten om enigszins beelden te kunnen analyseren

[edeboeck]

Ik dacht dat we hier op Tweakers niet mochten doen aan illegale activiteiten? Daarnaast kan ik me niet voorstellen dat de politie niet aan TS heeft meegedeeld dat zijn filmscenario niet wettelijk is.

ThomasG schreef op dinsdag 12 maart 2024 @ 16:20:
Je moet ook rekening houden met het feit dat het filmen van de straat niet is toegestaan, en al helemaal niet het toepassen van (pseudo-)persoonsherkenning. Hiermee schend je simpelweg de wet, tenzij er een dwingende reden is om dit wel te doen (wat in dit geval niet lijkt te gelden, gezien jouw geheimzinnigheid eromheen).

Meer informatie hierover is beschikbaar op bijvoorbeeld Autoriteit Persoonsgegevens: Camera's bij het eigen huis.

Dit dus.

[ouweklimgeit]

edeboeck schreef op vrijdag 22 maart 2024 @ 16:23:
Ik dacht dat we hier op Tweakers niet mochten doen aan illegale activiteiten? Daarnaast kan ik me niet voorstellen dat de politie niet aan TS heeft meegedeeld dat zijn filmscenario niet wettelijk is.
[...]
Dit dus.

Super interessant, dank voor je inhoudelijke reactie! Blij dat je de moeite neemt om topics op te zoeken waar je inhoudelijk niets van weet maar wel de moeite neemt om de juridische kant toe te lichten.

Voor overige goody-two-shoes die nog reageren;
- er wordt niets opgenomen
- er wordt niet aan persoonsherkenning gedaan (sterker nog, met 640*480 zijn gezichten überhaupt niet herkenbaar)
- er zijn geen eigendommen van buren in beeld (privacy overlay)
- het gaat mij alleen om de gecombineerde beweging en zelfs als die match aanwezig is, wordt er niets opgenomen.

Maar goed, ik ben al een heel eind en zal binnenkort even wat code en voorbeelden toevoegen