Zijn er echt zoveel webcrawlers?

[Not Pingu]

Ik heb onlangs een ASP.NET site uitgerold waarvan ik elke error naar mij laat mailen om het zaakje grondig te debuggen en de werking te controleren. Nu krijg ik regelmatig errors binnen die aangeven dat er problemen zijn bij het creeeren van een session. Als ik de bijbehorende IP's opzoek op ripe.net, verwijzen die naar verschillende hosting- en colocation providers. De voor de hand liggende conclusie is dan ook dat het hier niet om een workstation bediend door een mens gaat, maar om automatische processen. Die dus kennelijk geen cookies ondersteunen, waardoor het aanmaken van de sessions fout gaat.

De site in kwestie is niet echt spannend, groot of bekend, dus ik neem aan dat de automatische processen gewoon alle websites afstruinen en niet gericht op mijn site afkomen. Webcrawlers dus, en niet van Google, Yahoo, of weet ik wat voor bekende searchengine, want die worden ertussenuit gefilterd. Het gaat om verschillende gehuurde of colocated servers in Nederland.

Mijn vraag is waarom er kennelijk zoveel webcrawlers zijn. Wat willen de eigenaars ermee bereiken? Hun eigen zoekindex opbouwen? Speuren naar e-mailadressen? En waarom kom ik alleen Nederlandse IP-adressen tegen? De site is Nederlands maar spam harvesters zijn toch niet taalgebonden, lijkt me.

[CyBeR]

Ja. Er zijn er godsonmogelijk veel. Om de een of andere reden wil iedereen het wiel opnieuw uitvinden en de nieuwe Google worden. (Een bijzonder groot deel van die crawlers is namelijk van zoekmachines).

Ik zie er ook echt heel veel langskomen op mijn servers. AWstats heeft een ingebouwde lijst van ongeveer 200 crawlers. En daar moet ik er af en toe nog een paar aan toevoegen ook.