[ASP] Crawlers zorgen voor teveel hits

[Verwijderd]

Ik heb op mijn website een eigen teller gemaakt. Elke keer als iemand mij bezoekt, wordt het ip van diegene en de datum in een database veld gestopt. Het werkt doordeweeks meestal prima, alleen in het weekend gaan volgens mij de crawlers van google ed. aan het werk. Vandaag staat op mijn eigen teller dat er 200 mensen op mijn site geweest zijn, terwijl dit in het echt maar zo'n 40 zijn.

Ik heb een text-bestand in mijn root gezet: robots.txt met de volgende inhoud:

# RonalDude.nl
#
# robots.txt as defined by WebCrawler:
# http://info.webcrawler.com/mak/projects/robots/norobots.html
#
User-Agent: *
Disallow: /onder.asp

In onder.asp worden de bezoekers toegevoegd aan de database. Ik dacht dat robots.txt het probleem zou oplossen... niet dus...
Heeft iemand hier ervaring mee en het ook opgelost?

[Verwijderd]

Als onder.asp een include is, gaat dit niet zo werken... Een crawler roept een .asp-file aan, en die gebruikt vervolgens je include. Je zult een check op de user-agent ofzo moeten doen bij het bijwerken van je teller. Of zoiets.

[_Thanatos_]

of je maakt er "Disallow: /" van... dan wordt er dus niet gecrawledm maar de vraag is of je dat wilt.

bdw: wat heeft dit met asp te maken

[ Voor 23% gewijzigd door _Thanatos_ op 21-06-2003 21:55 ]

[Verwijderd]

Het heeft eigenlijk weinig met ASP te maken, maar misschien kan ik mbv ASP wel de oplossing maken. Volgens mij heb je wel gelijk Denial, onder.asp is een include en daarom zal hij altijd aangeroepen worden. Wat bedoel je precies met een check op de user-agent???

[Verwijderd]

Heeft de crawler van google niet 1 bepaald ip?
Dit kan je dan toch gewoon negeren (samen met enkele andere ip's)...

[curry684]

Robots.txt en dat soort handel hoort in Webdesign & Graphics. Op zich kan ASP je helpen om het resultaat te bouwen, maar de gewenste HTML weten ze bij de buren ook meer van

Moved to WG dus.

[Verwijderd]

Hoe kom je erbij dat het alleen in het weekend gecrawled wordt... Ik heb iedere 2 a 3 uur een bot op bezoek, de meest voorkomende zijn googlebot, ia_archiver en inktomi, scooter en wiseguys komen in mindere mate voor.... zoek dus de ipadressen (reeks) van de meest voorkomende crawlers en filter die eruit

[2]

Wat is dit in vredesnaam voor poppenkast.

De oplossing is dat je je teller de crawlers laat herkennen aan user-agent danwel ip gegevens, en niet laat registreren. Niet dat je de crawler weghoudt uit je directories.

[Verwijderd]

zet die onder.asp dan in een iframe ipv hem telkens te includen. probleem direct opgelost!

[Verwijderd]

Poppenkast???
Mijn id om de crawler niet onder.asp te laten checken zou ook werken als ik die niet in elke pagina include. Maar goed, ik ga wel even op zoek naar de ip's van de betreffende crawlers.

Ps. Hoe ik erbij kwam dat de crawlers alleen in het weekend hun werk deden kwam doordat de teller doordeweeks redelijk overeen kwam met de gegevens van topstat.

Whatever ook, ik zoek het wel uit. Mensen met wél zinnige reacties: bedankt!