Frigate & TPU's - object detection op je bewakingscamera's

[Slonzo]

Ik merkte dat er best wat belangstelling was voor Frigate in het HA-topic, dus waarom geen dedicated thread voor Frigate en TPU's?

Korte introductie:
Frigate is een NVR die object detection doet. Dat wil zeggen dat 'ie je camerabeelden ontleedt en daarop kan zien of er bvb. een dier/mens/auto/... voorbij komt. Die data kan je op z'n beurt dan weer gebruiken in een domoticapakket zoals Home Assistant, en daarop automatiseringen bouwen. Bijvoorbeeld een alert sturen en alle lichten aanzetten wanneer er in het midden van de nacht iemand in je tuin staat

Het detecteren van voorwerpen op beelden kost echter een pak rekenkracht. Een gewone CPU wordt makkelijk volledig belast als je meerdere camera's hebt. Gelukkig bestaat er relatief goedkope dedicated hardware die zich focust op het specifieke soort berekeningen die nodig zijn voor Tensorflow (de software die door Frigate wordt gebruikt voor de detectie): een TPU oftewel Tensor Processing Unit. Een populair voorbeeld hiervan is de Google Coral TPU, verkrijgbaar in meerdere soorten aansluitingen (USB, mini tPCIe, e.d.). Dit is een lokale oplossing, dus niet cloud based. Een TPU ontlast je CPU en je kan sneller (en meer) beelden verwerken.

[Tomono]

Inmiddels zowel de Coral TPU als de M2. Slot adapter binnen.

[ Voor 28% gewijzigd door Tomono op 08-12-2021 12:38 ]

[Mars Warrior]

Blijft mooi spul zo'n TPU

Nu nog een camera uitzoeken en aanschaffen en ophangen



(11 dagen geleden besteld bij Seeed, nu al binnen. Gelukkig verstuurd via Luxemburg, dus geen gekke inklaring/BTW en andere douane kosten. Gewoon $24,95 + $3,96 verzendkosten en klaar...)

[simonj]

Probleem dat deze geen motion opslaat.
Als ik handmatig recording druk, neemt hij wel op.
Draait op rpi 4 ,als dit gaat werken wil een coral usb aanschaffen.
Hieronder mijn yml,ik heb al verschillende geprobeerd zonder resultaat.



edit: Als in de log kijk (frigate) zie ik dat time niet overeen komt.
kijk ik in HA zelf, klopt dit wel.

[ Voor 8% gewijzigd door simonj op 11-02-2024 13:53 ]

[luigi87]

Is onderstaande een bevestiging dat de Coral usb werkt?
Zie ook de witte led af en toe knipperen, wat mij lijkt dat die activiteit vertoont.

Correct?

[MXMan]

Kaspers schreef op donderdag 31 oktober 2024 @ 14:57:
[...]


Ik heb ervaring met de Tapo C120. Perfect ding icm frigate en gebruik 'm ook als babycam. Prima nachtzicht. Heb 'm wel de toegang tot het internet ontnomen via firewall configuratie.

Voor streamen connecteer ik middels VLC op m'n iPhone met de high-res stream. Hij kan meerdere connecties aan, dus dat zit Frigate niet in de weg.

30 euro was 't ding geloof ik toen ik 'm kocht.

Ik heb inmiddels een beetje research gedaan en ben ook bij Tapo uitgekomen, weliswaar de C211 voor 23,90 EUR bij Amazon BE (https://amzn.eu/d/7gjGenJ).

Hij heeft baby crying detection en zou ook via Home Assistant (HACS) & Frigate aanspreekbaar moeten zijn.

Ik lees wel dat de integratie door TP Link generfd zou zijn maar dat er inderdaad een workaround is door het ding geen internet toegang meer te geven.


Voor die prijs & functionaliteiten, ziet dit er echt wel prima uit!

[ Voor 14% gewijzigd door MXMan op 31-10-2024 15:35 ]

[MXMan]

lasharor schreef op donderdag 31 oktober 2024 @ 15:42:
Ik heb een Reolink E1 pro voor dat doeleinde gekocht. Die heeft PTZ, ondersteuning voor RTSP en ONVIF. Werkt prima.

Met config in frigate:

code:

kinderkamer:
    ffmpeg:
      output_args:
        record: preset-record-generic-audio-copy
      inputs:
        - path: rtsp://127.0.0.1:8554/kinderkamer # <--- the name here must match the name of the camera in restream
          input_args: preset-rtsp-restream
          roles:
            - record
            - detect
            - audio
    objects:
      track:
        - person
      filters:
        person:
          threshold: 0.70
    onvif:
      host: 192.168.1.25
      port: 8000
      user: xxx
      password: xxx
    audio:
      enabled: True
      max_not_heard: 30
      min_volume: 100
      listen: 
        - crying
        - scream
        - yell
        - speech
      filters:
        crying:
          threshold: 0.5

Dag Lasharor,

Bedankt voor jouw forum post en code! Deze was zeer nuttig voor mij en inmiddels heb ik een Tapo C211 gekocht en deze werkend gekregen in Frigate en de opties van de camera zijn ook bedienbaar via de HACS integratie.

Hiervoor heb ik deze config gebruikt:

code:

  Baby_Camera:
    onvif:
      host: 192.168.178.51
      port: 2020
      user: xxx
      password: xxx
    ffmpeg:
      inputs:
        - path: rtsp://xxx:xxx@192.168.178.51/stream1
          roles:
            - detect
            - record
            - audio  
      input_args: -rtsp_transport tcp
      output_args:
        record: preset-record-generic-audio-aac
    detect:
      enabled: true
      width: 1920
      height: 1080
      fps: 5
    record:
      enabled: true
      retain:
        days: 7
        mode: motion
    snapshots:
      enabled: true
      bounding_box: true
      retain:
        default: 7
    objects:
      track:
        - person
      filters:
        person:
          threshold: 0.70
    audio:
      enabled: true
      max_not_heard: 30
      min_volume: 100
      listen:
        - crying
        - scream
        - yell
        - speech
      filters:
        crying:
          threshold: 0.5

Graag had ik je willen vragen hoe jij de notificaties voor deze camera hebt ingesteld.

Ik had graag een notificatie inclusief snapshot + wanneer ik notificatie open dat de camera feed opent bij detectie van crying, scream, yell, speech willen ontvangen zoals in mijn screenshot.

Ik heb een bluetooth speaker gebruikt bij deze test opstelling en de detectie via Frigate loopt verbazingwekkend snel!!



Hoe pakt ik dit het beste aan?

Deze automatisatie geeft wel altijd heel snel een tekst notificatie maar ik had graag nog een snapshot willen toevoegen en de mogelijkheid om de live feed te openen

code:

alias: Baby Notif Test
description: ""
triggers:
  - device_id: 55a9c228c5f2d0e338117238408e6454
    domain: binary_sensor
    entity_id: 826510ab62a6f2c886fae92ecfaf3e12
    type: sound
    trigger: device
  - device_id: 55a9c228c5f2d0e338117238408e6454
    domain: binary_sensor
    entity_id: a8edc95dd2af7021835679fb6cf004b5
    type: sound
    trigger: device
  - device_id: 55a9c228c5f2d0e338117238408e6454
    domain: binary_sensor
    entity_id: d84fa7e186dc10128b2be7f86ddca05d
    type: sound
    trigger: device
conditions: []
actions:
  - data:
      title: Baby Camera
      message: Baby is awake!
    action: notify.all_devices
mode: single

[Tweaker_Ruwy]

Sp33dFr34k schreef op zaterdag 30 november 2024 @ 17:50:
Setup vraagje hier, ik wil een PCIe Google Coral doorgeven aan een LXC op mijn Proxmox machine.

Heeft iemand hier ervaring mee? Zoja, ik heb een beetje zitten zoeken en ik lees 380 verschillende manier, variërend van 25 stappen tot minimaal, zoals onderstaande... is deze nog actueel voordat ik eraan begin?

https://gist.github.com/s...02f581b55612068be35886109

Is het draaien van Frigate als addon binnen Home Assistant dan geen optie voor jou? Het doorgeven van hardware aan een VM is vele malen gemakkelijker dan aan een LXC. (En die duizend-en-een mogelijkheden om het bij een lxc te doen was voor mij ook aanleiding het binnen ha te proberen.)

Uiteindelijk werkt deze opstelling voor mij in ieder geval uitstekend.

[boyd86]

De inference speed is nu ook wat beter geworden met 0.15. Waarschijnlijk door de nieuwe versie van OpenVINO.
Met versie 0.14:


Met versie 0.15 (uitschieter is herindexeren thumbnails)

[Polyphemus]

StarWing schreef op zondag 16 februari 2025 @ 09:45:
Heeft er iemand (positieve) ervaringen met een Coral Mini PCIe icm met een PCI express naar Mini PCIe converter ?
Ik heb frigate draien op een HP ProDesk (H5U25ET) en die heeft enkel reguliere en kleine PCI express sloten.

Bedoel je zoiets?



Of ‘andersom’?

[boyd86]

Een Coral is niet per se noodzakelijk, ik heb goede ervaringen met OpenVINO.
Terugschroeven van de detectie resolutie op de pc/server is ook niet de bedoeling, het idee is dat je de hoofdstream van je camera gebruikt voor opname in Frigate (Full HD of 4K bijvoorbeeld) en een substream instelt op een lagere resolutie voor detectie in Frigate (720p of lager, ook beetje afhankelijk van de FOV en kleinste objectgroottes).
Op die manier gebruik je een klein beetje meer bandbreedte van je camera maar heb je niet de zwaardere belasting op je Frigate machine.

ArawnofAnnwn schreef op vrijdag 28 februari 2025 @ 16:33:
[...]
Zou die server 8 FHD streams aan kunnen in combinatie met een Coral? Dan heb ik in ieder geval een uitgangspunt om naar te kijken.

Ik kan het niet voor je testen (ik heb niet zoveel camera’s en geen Coral maar gewoon OpenVINO). Afgaande op mijn system metrics en het feit dat het een recente en vlotte processor is denk ik dat het prima zou moeten kunnen:

[ Voor 17% gewijzigd door boyd86 op 28-02-2025 16:57 ]