Spider die Drop Down menu opslaat

[Verwijderd]

Ik ben voor een onderzoekje bezig met alle routes en bestemmingen te analyseren van Europese Buslijnen. De routes staan bijna altijd aangegeven via Dropdown menutjes op de websites van de Buslijnen (zie Eurolines).

Maar omdat een hels karwij is om alle europese buslijnen handmatig af te gaan, en dan overal de verschillende locaties te selecteren, vraag ik mij af of dat een spider dit voor mij zou kunnen doen (nadat ik natuurlijk vantevoren heb aangegeven welke site hij af moet gaan, en waar de dropdownlist zich bevinden).

Ken iemand een tooltje die me daarbij kan helpen? Het liefst zoek ik iets dat ik kan instellen, zodat het bijvoorbeeld elke dag de sites checkt, zodat ik kan vergelijken met de vorige resultaten.

Ik ben best bereid om voor het tooltje te betalen...

[RobIII]

Omdat de implementatie van de dropdowns nogal kan verschillen lijkt het me niet dat er "een" spider is die het meteen zal snappen.

[Sick Nick]

Misschien een andere oplossing, maar je zou eurolines kunnen vragen of ze een overzicht hebben? Als je wilt betalen voor een tooltje kan je dat geld misschien gebruiken om zo'n overzicht te kopen?

[Verwijderd]

je kan met php de pagina ophalen, deze vervolgens naar een DOM parsen, en daar het select element uitvissen wat je wilt hebben.

[Verwijderd]

RobIII schreef op donderdag 07 juni 2007 @ 15:27:
Omdat de implementatie van de dropdowns nogal kan verschillen lijkt het me niet dat er "een" spider is die het meteen zal snappen.

Hij hoeft het ook niet meteen te snappen, ik wil de spider graag laten zien wat hij moet pakken..

[Verwijderd]

Verwijderd schreef op donderdag 07 juni 2007 @ 15:31:
je kan met php de pagina ophalen, deze vervolgens naar een DOM parsen, en daar het select element uitvissen wat je wilt hebben.

Ehm... I hoop dat ik begrijp wat je bedoelt, maar als ik de pagina(bron) kopieer, dan kopieert hij toch niet direct de logica van het drop down menuutje mee (maar geeft hij ALLE opties bij de 2e keuze)..

[soulrider]

programmeer een spider aangepast op de site die een browser emuleert
(en automatische gebruiker speelt die alle opties afgaat)
en van de doorgekregen (al dan niet dynamische) html de gewenste elementen in jouw database steekt.
(kan in php, perl, java, ...zowat elk taaltje dat je wilt waarmee client-server-interactiviteit kan mee opgezet worden)

als een standaard spider het niet doet, of de te-spideren site gebruikt veel ajax enzo, heb je een op maat geprogrammeerde spider nodig...

(kijk naar de html-code en de rest wijst zichzelf uit ...)
grafisch gaat dat niet zomaar - je moet kijken naar de html-code om te kunnen spideren.
en vooraf eerst veel analyseren en kijken met de ogen van een computer ipv een mens.

neen dat scripten doen wij niet voor jou (is script-request en daar doen we niet aan)

(anderzijds worden spider-actie's niet altijd leuk gevonden door server-beheerders - vooral als de robots.txt het niet toestaat - dus zorg dat ook dat correct wordt opgevolgd - best gewoon mailtje naar hen sturen - mss hebben ze wel een api ter beschikking om zulke dingen te automatiseren )

(en dit is niet webdesign of client side - maar programming...)

[ Voor 35% gewijzigd door soulrider op 07-06-2007 16:20 . Reden: iets extra ]