bots, spiders, email harvesters en andere ondingen

[FBtje]

Iedereen die een eigen site beheert, heeft gemerkt of ongemerkt wel eens last van vervelende bots of van die irritante email harvesters enzo.. Omdat ik zulke ondingen liever zie gaan dan komen, ben ik op zoek gegaan naar een script, die zo'n bot naar een fake pagina stuurt met daarop fake emailadressen. Slechte bots gehoorzamen de robots.txt file die je in de root van je web hebt staan niet, dus om goede bots niet in die val te laten lopen, heb ik in mijn robots.txt de dir met daarin de fakepagina uitgesloten. Dus alleen de bots waarvan ik niet wil dat ze m'n site bezoeken, zullen op die manier gelogd worden door het script waarna ik deze bot aan de hand van ip adres dan wel useragent kan bannen..

het script is hier te vinden:
http://thequod.de/en/comp/mysoft/spambothoney

nu lijkt het me alleen wel handig om hier een soort van bot-meldings topic van te maken van nieuw ontdekte bots of wanneer je onzeker bent of een bepaalde bot slecht danwel goed is..

in ieder geval is het een geweldig script..

[Grijze Vos]

En wat doe je als een stoute bot een nep user agent doorgeeft?

edit:
hmz, ik zie dat je helemaal niet op UA checkt verder in je script, als ik die page zo lees.

Overigens, vind ik nog altijd het idee van 'laat alleen registered members andermans mail adres zien', nog altijd het beste.

[ Voor 66% gewijzigd door Grijze Vos op 24-06-2004 17:29 ]

[FBtje]

het script checkt ook op user agent

http://picserver.org/view...ZQBVIZF0D6/picserver.jpeg

maar ja.. ik weet nog niet helemaal wat ik nu met de IP adressen moet doen die nu in m'n log staan.. het gevaar dat je teveel bant, blijft natuurlijk..

[ Voor 44% gewijzigd door FBtje op 24-06-2004 17:35 ]

[XangadiX]

nou bij deze dan:

65.54.164.75:
(msnbot64075.search.msn.com)

en:
66.196.90.215:
(lj1199.inktomisearch.com)

66.196.90.131:
(lj1115.inktomisearch.com)

66.196.90.142:
(lj1126.inktomisearch.com)

66.196.90.119:
(lj1103.inktomisearch.com)

66.196.90.122:
(lj1106.inktomisearch.com)

en dat is dus van vandaag

(die inktomisearch block ik trouwens in zijn geheel, die jongens wordt ik helemaal raar van)

[Johnny]

Inktomi is een bot die de zoekresultaten van verschillende grote zoekmachines verzorgt hoor.

Slechte bots zullen proberen juist zo weinig mogelijk op te vallen en nemen gewoon zo'n user agent string aan:

code:

Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)

En dus niet:

code:

Spambot/2.0 (compatible; email harvester; www.spam.com)

[XangadiX]

hehe

dat inktomi is in ieder geval een weinig intelligente bot, hij trekt mijn site echt iedere week wel een keertje leeg

[pim]

XangadiX schreef op 25 juni 2004 @ 15:46:
hehe

dat inktomi is in ieder geval een weinig intelligente bot, hij trekt mijn site echt iedere week wel een keertje leeg

Hij checkt gewoon voor updates.

[Not Pingu]

Inktomi is toch geassocieerd met Yahoo? Iig zie ik vaak yahoo.inktomi.com oid. langskomen. Is niet iets wat ik zou blokkeren eerlijkgezegd