[PHP/Mysql] Gegevens uit database externe website overnemen

[Anoniem: 104881]

Hallo,

Ik wil periodiek gegevens in een MYSQL db onder mijn website bijwerken. Hiervoor moet ik gegevens van andere websites halen. Probleem is dat de gegevens die ik van de andere websites haal dynamische gegevens zijn. Ik wil dus eigenlijk de gegevens uit de db die onder een andere website ( hangt naar de db van mijn website (A) halen.

Vooralsnog ga ik er vanuit dat dit altijd via website B moet door op één of andere manier alle gegevens op te vragen, hier door heen te lopen en de gegevens die ik over wil nemen steeds op te slaan in de db van website A. Of is er een andere (wellicht efficientere) manier?

Probleem met de hierboven geschetste benadering is dat het niet altijd mogelijk is om op website B alle gegevens ineens op te vragen. Wellicht dat ik dit kan verduidelijken met een voorbeeld. Stel ik wil de gegevens die hangen onder de website van www.funda.nl overnemen in mijn db. Momenteel worden daar 96.178 koopwoningen op aangeboden. Stel dat ik van al deze woningen de plaats, de omschrijving en prijs wil overnemen.

Deze informatie is op te vragen door op de funda website een zoekactie uit te voeren. Het is echter niet mogelijk om op meerdere plaatsen tegelijk te zoeken. Ik zou dus steeds moeten zoeken op één bepaalde plaats, vervolgens de gewenste informatie van alle gevonden huizen overnemen en vervolgens zoeken op de alle andere plaatsen in Nederland en precies hetzelfde doen. Dit is op zich wel te automatiseren, maar ik vraag me af of ik dan nog erg handig bezig ben.

Hoe kan ik wat ik hierboven beschrijf zo efficient en betrouwbaar mogelijk oplossen. Het handigste zou natuurlijk zijn als de externe site mij toestemming geeft om rechtstreeks de gehele database te benaderen, maar dit zal niet altijd mogelijk zijn. Wat is dus de beste benadering om grote hoeveelheden gegevens uit een db van een externe website over te nemen in het geval er geen afspraken voor onbeperkte toegang tot de gegevens zijn met de beherende partij van de externe website.

PS Het gaat hier om een systeem dat legale activiteiten uitvoert, het gaat er hier dus absoluut NIET om, om gegevens te stelen die niet bedoeld zijn voor anderen. Het gaat puur om de informatie die ook via de externe website zelf ook op te vragen zijn.

[disjfa]

Kan je niet gewoon een inlog op de database krijgen van de desbetreffende site?

Als dat niet kan. Het over over het algemeen niet geheel legaal om zomaar data van andere sites te rippen.

[Blacksnak]

Vragen of die externe site wil voorzien in een XML-documentje. Heb jij geen toegang nodig tot hun database en kun je toch alle gegevens raadplegen.

[curry684]

Anoniem: 104881 schreef op maandag 17 oktober 2005 @ 14:26:
PS Het gaat hier om een systeem dat legale activiteiten uitvoert, het gaat er hier dus absoluut NIET om, om gegevens te stelen die niet bedoeld zijn voor anderen. Het gaat puur om de informatie die ook via de externe website zelf ook op te vragen zijn.

Dat feit dat iemand anders het ook aanbiedt maakt het overnemen niet per definitie legaal

Afgezien daarvan is het toverwoord hier 'webservices'.

[Anoniem: 104881]

Bedankt voor de snelle reacties, inloggen op de db is dus niet altijd mogelijk. Als dat dus niet kan is XML dan dé manier of zijn er nog andere mogelijkheden?

Wat bedoel je precies met webservices?

[ Voor 49% gewijzigd door Anoniem: 104881 op 17-10-2005 14:36 ]

[gorgi_19]

Anoniem: 104881 schreef op maandag 17 oktober 2005 @ 14:34:
Bedankt voor de snelle reactie, wat bedoel je precies met webservices?

http://en.wikipedia.org/wiki/Webservice

[maartenba]

Vraag het eerst eens vriendelijk, zou ik zeggen. Misschien kan men inderdaad een Webservice of XML dump aanleveren, zonder dat jij daar ingewikkelde spiders voor moet gaan schrijven.