[Delphi]Maken spider

[Verwijderd]

Wat ik wil doen is het volgende: op inet staan een heleboel bijna dezelfde webpages. Een pagina stellen we ons even voor als een record, de informatie op die pagina zijn de velden met waarden. (bijvoorbeeld de carbase van www.autoweek.nl)

Nou wil ik graag deze informatie (wat dus eigenlijk een database is) graag in bijvoorbeeld MySQL hebben. Mijn plan is dus om een soort webbot te programmeren die automatisch elke pagina opent, dan kijkt of de informatie al in de database staat. Zo ja, doe niks. Zo nee, voeg de informatie (lees: record) toe.

Het grootste gedeelte van het programmeerwerk zal mij wel lukken. Ik weet alleen niet hoe ik het webbot gedeelte programmeer. (Webbot zal wel niet eens de goeie naam voor zoiets zijn). Kan iemand me misschien een beetje op weg helpen? Ik hoef geen uitgebreide tutorial (het MAG natuurlijk wel ), een paar steekwoorden of links zijn al voldoende.

[dawuss]

afgezien van het feit of dit wel of niet mogelijk is (zal mogelij zijn, maar moeilijk te proggen) vraag ik mij af waar je dit voor wil. Andermans gegevens overnemen is in mijn ogen plagiaat.

[Verwijderd]

Niet op alle gegevens zit copyright. Carbase bestaat alleen maar uit gegevens die de fabrikant openlijk beschikbaar heeft gesteld. Er lijkt me geen sprake van plagiaat.

[gorgi_19]

* gorgi_19 ziet het probleem niet?

Gewoon een pagina ophalen; alle <a href> tag's uitlezen dmv een reg. exp en deze vervolgens nalopen. Verder ondertussen bijhouden of deze pagina al in een database staat, zo nee, toevoegen en links volgen. Zo ja, niet toevoegen en pad beeindigen.

Verwijderd schreef op 15 april 2003 @ 12:51:
Niet op alle gegevens zit copyright. Carbase bestaat alleen maar uit gegevens die de fabrikant openlijk beschikbaar heeft gesteld. Er lijkt me geen sprake van plagiaat.

Dat lijkt me niet; ook al is iets openlijk beschikbaar op internet, dan mag je het nog niet kopieren, maar dat is een offtopic discussie. Je kan allicht de eigenaren mailen met het verzoek om de info. Als het vrij verkrijgbaar is, dan zullen ze daar niet moeilijk over doen.

[ Voor 51% gewijzigd door gorgi_19 op 15-04-2003 12:53 ]

[Verwijderd]

Gewoon een pagina ophalen

Hoe doe ik dat in delphi? *gaat zelf zoeken*

[quote]reg. exp[/qoute]

Wasda???

*zet google aan het werk :P*

offtopic: de info is WEL vrij verkrijgbaar, maar willen de database niet beschikbaar stellen. (kan ik me ook wel voorstellen, er zit natuurlijk wel wat werk in zo'n database)

[ Voor 36% gewijzigd door Verwijderd op 15-04-2003 12:55 ]

[Glimi]

Zoek even op de woorden webAgent, webCrawler of webSpider. Dat zijn de termen die daar vaak voor gebruikt worden

[ Voor 6% gewijzigd door Glimi op 15-04-2003 12:58 ]

[Verwijderd]

Glimi schreef op 15 april 2003 @ 12:58:
Zoek even op de woorden webAgent of webSpider. Dat zijn de termen die daar vaak voor gebruikt worden

Mijn dank is groot!!! Hier kan ik wat mee!

Die google krijgt het vandaag weer druk