[?]Database gegevens van website overnemen

[Verwijderd]

Hallo,

Voor mijn afstudeerproject heb ik gegevens nodig van de website van het Autoritiet Financiele Markten. Deze website geeft vanuit een database gegevens weer over inside trading. Na overleg met de AFM kreeg op wat voor manier geen uitdraai van het bestand. De gegevens zijn gewoon publiek, maar heb ik ze nodig in een database formaat of zelfs in text-bestand is prima, zolang ik met acess het een en ander kan onderzoeken. Echter de database uitvoer is zo groot (933 aparte pagina's) dat ik het onmogelijk stuk voor stuk kan downloaden.

Is er een (makkelijke) manier om dit te downloaden? Heb zelf geprobeerd met een hittrack of flashget alle pagina's te downloaden, maar deze moeten allemaal een voor een geimporteerd worden in access. Volgens de systeembeheerder van de AFM-site kon ik makkelijk een script schrijven die de online gegevens in een bestand opslaat. Mijn vraag is welke taal(XML, PHP, ASP) ik hiervoor nodig heb??.En misschien dat er ook een online-manual online is?
Heb zelf in de broncode gekeken van de AFM, maar ik kan geen database connectie vinden. Wel zie ik *.cpe bestanden, maar kom er niet uit welke taal dit is.

De link van de database: http://www.afm.nl/marktpartijen/default.ashx?FolderId=1009

Bedankt

[Verwijderd]

Natuurlijk kun jij niet in de echte broncode kijken van die site die is immers server side ... Je zou hiervoor elke script taal kunnen gebruiken. bv. PHP www.php.net.

[JHS]

Als je nu alle pagina's download, kan je met willekeurig welke taal die met access kan "communiceren" en wat regelur expressions en filehandling kan (ASP, PHP, en nog een hele zut) gewoon de nuttige info eruit halen en in je database stoppen, zolang de pagina's maar eenzelfde opbouw hebben.

[NMe]

Je kan in principe elke taal gebruiken die je wil. Gewoon elke pagina één voor één openen, parsen, en in een query zetten. De vraag is of dat
a) toegestaan is, en
b) op dit forum thuishoort.

Misschien is er wel een reden dat ze jou die zooi niet willen geven? Vermoed je niet dat het de eigenaar van die site het onwenselijk vindt dat je het spul op een serverbelastende manier eraf wil halen, terwijl hij aangegeven heeft dat je geen toegang ertoe krijgt? Misschien kun je de database wel kopen? (Alles is te koop.)

[Gomez12]

Als je toch al met sysbeheer van AFM site hebt gesproken, kan je dan niet aan hem een dump van de dbase vragen???

Want het is client-side wel mogelijk, maar dan is het erg veel gedoe.

[gorgi_19]

De methodiek heet "Screen Scraping" en hier zijn meerdere talen voor geschikt, van PHP tot en met ASP.Net

Met die zoekwoorden moet je er verder wel uit kunnen komen; grote kans alleen dat als je die methodiek op alle pagina's gaat uitvoeren, je server een IP-Ban krijgt