opzoek naar webbot voor doorlopen internet

[Verwijderd]

ben opzoek naar een webbot welke het internet doorzoekt naar paginas, aan de hand van oor mij gestelde criteria.. Wat ik wil is deze informatie opslaan in een database en gebruiken voor onderzoek. Weten jullie of dit mogelijk is en eventueel voorbeeld proggies, ben zelf niet echt succes vol geweest met vinden.

[sdomburg]

Welk serverpark heb je ter beschikking?

_{Lees; je kan dit nooit op een huis-tuin-en-keuken computertje achter een adsl lijntje doen}

Het allerleukste is nog wel dat er een hele up2dase database is die het bijhoudt en makkelijk en snel te doorzoeken is. Hij is te vinden op http://www.google.com.

[ Voor 37% gewijzigd door sdomburg op 22-04-2004 19:56 ]

[Verwijderd]

, dat klinkt me idd bekend in de ooren. Wat ik wil doen is netzoals je met de beurskoersen kan doen de in real-time bekijken. Ik wil een soortgelijk principe toepassen: Ik ben op zoek naar sites met realtime info welke ik wil samenvoegen in een txt bestand.(lees database)(moet dus in realtime mijn offline txt kunnen overschrijven). De site heb ik dus niet en daar wil ik die bot voor gebruiken om sites te vinden welke realtime info displayen.

dit txt bestand wil ik dan gebruiken in de realtime 3d engine 'blender3d' om daar geometrie mee te editten. Waarom?, omdat het kan

[Fish]

http://www.robotstxt.org/wc/robots.html

[Spider.007]

Ik vindt dit topic tot nu toe een beetje vaag. Wellicht kan de topicstarter met wat additionele informatie komen? Zo is het wellicht interessant om te weten wat je nou precies wilt verzamelen? Volgens mij kun je de huidige generieke vraagstelling beantwoorden met elke programma zoals WebZip oid