Database opbouwen - beeldanalyse

[Wucho]

Hallo,

Ik ben bezig met een onderzoek voor het opstellen van een database met file-informatie over het knooppunt Kerensheide (A2 en A76).
Ik stel voor om gebruik te maken van de actuele verkeersinformatie op de website van TomTom (http://www.tomtom.com/livetraffic/), welke gratis toegankelijk is. De weergegeven informatie laat elke verstoring op het wegennet zien, in reistijd (minuten) en lengte (meters).
Nu wil ik elke 5 minuten automatisch een screenshot maken die wordt opgeslagen, deze laten inlezen, en periodiek analyseren. Waardoor uiteindelijk een database wordt opgebouwd met de file-informatie en zo via een eenvoudige en goedkope manier de verkeersafwikkeling registreren.

Het automatisch screenshots maken is geen probleem. Er zijn genoeg programma’s die dit kunnen. Maar een (beeld)analysemethode of een dergelijk programma heb ik nog niet kunnen vinden.

Heeft iemand een suggestie die mij verder kan helpen?

Alvast bedankt voor de informatie.

[RemcoDelft]

Ik denk dat je voor beeldanalyse toch echt op (dure) custom software uitkomt.

[azerty]

Heb je al onderzocht of je niks kunt doen via webscraping? de HTML ziet er mij goed gestructureerd uit, het zou eventueel mogelijk moeten zijn... Het enige probleem dat ik direct kan voorzien is het feit dat ze ajax-alike methodes gebruiken om alles te laden, maar als je blijkbaar al bereid bent om een pc 24/7 te laten draaien (maak ik toch uit je post op), kun je evengoed een greasemonkey scraper schrijven en die dan laten draaien.

[Icey]

Er zijn hier gewoon standaard API's voor; bij mijn vorige werkgever staat een database met al een paar jaar minuut-tot-minuut fileinformatie. Anders zou ik er ook voor kiezen om bijv. met PHP gewoon de (waarschijnlijk) XML bestanden van tomtom op te halen.

Beeldanalyse zou ik echt -niet- aan beginnen.

[F_J_K]

Inderdaad vooral niet een screenshot nemen. De info is als gestructureerde gegevens bekend. Dan moet je dat niet via de grote omweg van een screenshot weer gaan interpreteren. Zeker niet als je de vraag moet stellen hoe dan. Gestructureerde gegevens verwerken is heel erg veel eenvoudiger.

Trouwens welkom op GoT!

offtopic:
Afhankelijk van het doel van je verzameling: let ook even op of je de data wel mag gebruiken.

[RobIII]

Als je gewoon met Firebug/IE F12 Dev.tools/Chrome Dev.tools/Safari Dev.tools/Opera Dragonfly/Fiddler2 o.i.d. naar de responses kijkt zie je zoiets:

code:

{"tm":{"@id":"1331545919410","poi":[{"id":"europe_HD_DE_TTR230_1_P","p":{"x":684979.7,"y":6577751.5},"ic":9,"ty":3,"cs":0,"d":"long-term roadworks","c":"carriageway reduced to one lane","f":"Aachen-Brand (A44)","t":"Broichweiden (A44)","l":9320,"r":"A44\/E40"},{"id":"europe_HD_DE_TTR226_1_P","p":{"x":680013.75,"y":6586381.5},"ic":9,"ty":3,"cs":0,"d":"long-term roadworks","f":"Aachen-Zentrum (A4)","t":"Eschweiler-West (A4)","l":10310,"r":"A4\/E314"},{"id":"europe_HD_DE_TTR226_2_N","p":{"x":694690.9,"y":6590858.0},"ic":9,"ty":3,"cs":0,"d":"long-term roadworks","f":"Eschweiler-West (A4)","t":"Aachen-Zentrum (A4)","l":10240,"r":"A4\/E40"},{"id":"europe_HD_NL_TTL1248416_N","p":{"x":637028.0,"y":6598140.0},"ic":6,"ty":2,"cs":0,"d":"slow traffic","f":"Kruisdonk - A79 (A2)","t":"A2: Europaplein - A2\/N278 (A2)","l":1300,"dl":139,"r":"A2\/E25"},{"id":"europe_HD_DE_TTL2147354_0","p":{"x":679415.25,"y":6608428.0},"ic":6,"ty":3,"cs":0,"d":"stationary traffic","f":"225 (L225)","t":"Alte Aachener Stra\u00DFe \/ 225 (L225)","l":190,"dl":140,"r":"L364"}]}}

Na wat formatteren:

code:

{
   "tm":{
      "@id":"1331545919410",
      "poi":[
         {
            "id":"europe_HD_DE_TTR230_1_P",
            "p":{
               "x":684979.7,
               "y":6577751.5
            },
            "ic":9,
            "ty":3,
            "cs":0,
            "d":"long-term roadworks",
            "c":"carriageway reduced to one lane",
            "f":"Aachen-Brand (A44)",
            "t":"Broichweiden (A44)",
            "l":9320,
            "r":"A44\/E40"
         },
         {
            "id":"europe_HD_DE_TTR226_1_P",
            "p":{
               "x":680013.75,
               "y":6586381.5
            },
            "ic":9,
            "ty":3,
            "cs":0,
            "d":"long-term roadworks",
            "f":"Aachen-Zentrum (A4)",
            "t":"Eschweiler-West (A4)",
            "l":10310,
            "r":"A4\/E314"
         },
         {
            "id":"europe_HD_DE_TTR226_2_N",
            "p":{
               "x":694690.9,
               "y":6590858.0
            },
            "ic":9,
            "ty":3,
            "cs":0,
            "d":"long-term roadworks",
            "f":"Eschweiler-West (A4)",
            "t":"Aachen-Zentrum (A4)",
            "l":10240,
            "r":"A4\/E40"
         },
         {
            "id":"europe_HD_NL_TTL1248416_N",
            "p":{
               "x":637028.0,
               "y":6598140.0
            },
            "ic":6,
            "ty":2,
            "cs":0,
            "d":"slow traffic",
            "f":"Kruisdonk - A79 (A2)",
            "t":"A2: Europaplein - A2\/N278 (A2)",
            "l":1300,
            "dl":139,
            "r":"A2\/E25"
         },
         {
            "id":"europe_HD_DE_TTL2147354_0",
            "p":{
               "x":679415.25,
               "y":6608428.0
            },
            "ic":6,
            "ty":3,
            "cs":0,
            "d":"stationary traffic",
            "f":"225 (L225)",
            "t":"Alte Aachener Stra\u00DFe \/ 225 (L225)",
            "l":190,
            "dl":140,
            "r":"L364"
         }
      ]
   }
}

Standaard JSON response. Die is honderdmiljoenmiljard keer makkelijker te verwerken dan beelden.

Ik zou wel, wat F_J_K al aangeeft, even verdomd goed uitzoeken of je 't volgens de voorwaarden en voor jouw doeleinden wel mag gebruiken. Ik kan me voorstellen dat TomTom hier niet héél vrolijk van wordt.

[ Voor 59% gewijzigd door RobIII op 12-03-2012 11:01 ]

[MSalters]

Ik vraag me ook af wat je wil bereiken. TomTom kan die data zo oplepelen, inclusief de onderliggende ruwe data, in DATEX2 formaat. ("HD Flow").

Je mag de data onder voorwaarden wel degelijk scrapen: "the Materials may be reproduced or distributed in unmodified form for personal non-commercial use only." (website Terms of Use). Maar je idee om er een database van te maken is niet "unmodified".

[ Voor 47% gewijzigd door MSalters op 12-03-2012 13:01 ]