Zoektocht naar een image processing tool

Pagina: 1
Acties:

Vraag


  • Croga
  • Registratie: Oktober 2001
  • Laatst online: 11:17

Croga

The Unreasonable Man

Topicstarter
Management samenvatting: Ik zoek een tool om specifieke informatie uit plaatjes te halen. De tool moet lokaal kunnen draaien, ik heb er geen moeite mee als het een AI tool is (mijn RTX4070 heeft daar ook niet zo'n moeite mee ;-))


Even voor de achtergrond;
Ik werk als Data Engineer. Mijn dagelijks werk bestaat grotendeels uit het bouwen van extraction tools in Python en transformation in SQL. De laatste tijd speelt Copilot daar steeds een grotere rol in. De AI discussie is niet zo heel zinnig hier; ik weet waar het op dit moment waarde voor mij toevoegd.

Om eens te kijken hoe AI meer waarde voor mij zou kunnen toevoegen ben ik als hobby project gaan "vibe coden"; doel om zelf geen letter code te schrijven maar alles door Copilot te laten doen.
Mijn hobby is Star Fleet Battles. Een bordspel gebasseerd op de originele Star Trek TV serie. Men vliegt met scheepjes over het bord en schiet elkaar aan gort (pun intended).

Copilot heeft een leuk tooltje voor me gebouwd waarmee ik aan kan geven waar de scheepjes zijn op het bord en die dan uitrekend hoeveel schade ze aan elkaar kunnen doen, op basis van een definitie van welke wapens van elk schip welke kant op kunnen schieten. Dit laatste trekt het tooltje uit een JSON file die een tekstuele beschrijving geeft van het zogenaamde SSD. Ieder uniek schip heeft een unieke SSD. Deze SSD is een grafische weergave.

En nu komt het probleem: Ik heb honderden van deze SSDs. Daar moeten dus honderden bijbehorende JSON files uit komen. Ik heb Copilot één SSD laten bekijken en zijn herkenning van de wapens was op zijn hoogst fragiel te noemen. Massa-analyse kan Copilot zowieso niet. Hij is simpelweg niet in staat om plaatjes te processen. Welke tool zouden jullie hier voor aanraden?

Snippet van een SSD:
Afbeeldingslocatie: https://tweakers.net/i/-3MYSUTeaXOvg7p5kn6HxNZRkQE=/fit-in/4000x4000/filters:no_upscale():strip_exif()/f/image/NHDEKDD2rJD89iwJxsnWhPTo.png?f=user_large
Hier zou dus uit moeten komen:
4 Photon FA
2 PH-1 FH
2 PH-1 RS

Relevante software en hardware die ik gebruik
Windows 11
VSCode met Copilot maar ik sta open voor alles

Wat ik al gevonden of geprobeerd heb
Als ik op het Internet rond zoek vindt ik heel veel tools die plaatjes kunnen genereren of plaatjes kunnen taggen met grove beschrijvingen. Ik heb nog niets gevonden wat plaatjes kan processen zoals hierboven beschreven.
Advies hoe ik kan zoeken is absoluut welkom; het kan zijn dat wat ik wil gewoon een naam heeft. Oh ja, OCR tools kunnen hier ook niet mee overweg.

Alle reacties


  • Croga
  • Registratie: Oktober 2001
  • Laatst online: 11:17

Croga

The Unreasonable Man

Topicstarter
Echt niemand die hier ervaring mee heeft? :-(

  • thunder7
  • Registratie: Januari 2003
  • Laatst online: 10:26

thunder7

houten vaas/schaal nodig?

begrijp ik correct dat dit de uitkomst is omdat er cijfers op een roze achtergrond op die posities staan? Heeft een plaatje zounder Photon FA, PH-1 FH, PH2 RS daar andere kleuren? En waarom hebben CD dan niet een egaal roze achtergrond?

En hebben al die plaatjes de posities op identieke pixels?

Als je het hebt over software die de achtergrondkleur op bepaalde posities kan uitvoeren en zo gebruikt kan worden in scripts, denk ik aan imagemagick.Daar is vast ook wel een windows-versie van.

hout-nerd - www.hetmooistehout.nl of www.houtenschalen.nl


  • Onbekend
  • Registratie: Juni 2005
  • Laatst online: 12:35

Onbekend

...

Mijn ervaring is dat tekstherkenning in afbeeldingen nog steeds niet betrouwbaar genoeg is om dat automatisch te gaan verwerken. Zowel met OCR tekstherkenning als met AI tools.
Text-only is wel te doen, maar zodra er lijnen en andere niet tekstgerelateerde items in komen gaat er nog veel te veel mis.

Als het voor jou te doen is, zou je de afbeeldingen kunnen bewerken zodat ze alleen nog maar tekst bevatten voordat je ze aan je AI tool aanbiedt.

Speel ook Balls Connect en Repeat


  • Croga
  • Registratie: Oktober 2001
  • Laatst online: 11:17

Croga

The Unreasonable Man

Topicstarter
thunder7 schreef op zondag 15 februari 2026 @ 10:25:
begrijp ik correct dat dit de uitkomst is omdat er cijfers op een roze achtergrond op die posities staan? Heeft een plaatje zounder Photon FA, PH-1 FH, PH2 RS daar andere kleuren? En waarom hebben CD dan niet een egaal roze achtergrond?

En hebben al die plaatjes de posities op identieke pixels?
Excuses, ik had duidelijker kunnen zijn.
Achtergrond kleur doet niets. Het gaat echt over specifieke steekwoorden en het aantal boxes daar bij. Posities zijn nooit identiek en kleuren zijn niet van belang (behalve voor de volgende stap waar sommige wapens soms veranderen maar dat is voor een volgende iteratie vér in de toekomst)
Onbekend schreef op zondag 15 februari 2026 @ 10:39:
Als het voor jou te doen is, zou je de afbeeldingen kunnen bewerken zodat ze alleen nog maar tekst bevatten voordat je ze aan je AI tool aanbiedt.
Not really..... Zoals gezegd; de boxes zijn van belang en alles behalve dat weghalen is meer werk dan de JSON gewoon met de hand aan maken.

Bedankt voor het meedenken allebei!

[ Voor 3% gewijzigd door Croga op 15-02-2026 11:17 ]