bots, spiders, email harvesters en andere ondingen

Pagina: 1
Acties:

  • FBtje
  • Registratie: Mei 2003
  • Laatst online: 25-05-2025
Iedereen die een eigen site beheert, heeft gemerkt of ongemerkt wel eens last van vervelende bots of van die irritante email harvesters enzo.. Omdat ik zulke ondingen liever zie gaan dan komen, ben ik op zoek gegaan naar een script, die zo'n bot naar een fake pagina stuurt met daarop fake emailadressen. Slechte bots gehoorzamen de robots.txt file die je in de root van je web hebt staan niet, dus om goede bots niet in die val te laten lopen, heb ik in mijn robots.txt de dir met daarin de fakepagina uitgesloten. Dus alleen de bots waarvan ik niet wil dat ze m'n site bezoeken, zullen op die manier gelogd worden door het script waarna ik deze bot aan de hand van ip adres dan wel useragent kan bannen..

het script is hier te vinden:
http://thequod.de/en/comp/mysoft/spambothoney

nu lijkt het me alleen wel handig om hier een soort van bot-meldings topic van te maken van nieuw ontdekte bots of wanneer je onzeker bent of een bepaalde bot slecht danwel goed is..

in ieder geval is het een geweldig script..

  • Grijze Vos
  • Registratie: December 2002
  • Laatst online: 21-02 23:50
En wat doe je als een stoute bot een nep user agent doorgeeft?

edit:
hmz, ik zie dat je helemaal niet op UA checkt verder in je script, als ik die page zo lees.


Overigens, vind ik nog altijd het idee van 'laat alleen registered members andermans mail adres zien', nog altijd het beste. :)

[ Voor 66% gewijzigd door Grijze Vos op 24-06-2004 17:29 ]

Op zoek naar een nieuwe collega, .NET webdev, voornamelijk productontwikkeling. DM voor meer info


  • FBtje
  • Registratie: Mei 2003
  • Laatst online: 25-05-2025
het script checkt ook op user agent

http://picserver.org/view...ZQBVIZF0D6/picserver.jpeg

maar ja.. ik weet nog niet helemaal wat ik nu met de IP adressen moet doen die nu in m'n log staan.. het gevaar dat je teveel bant, blijft natuurlijk..

[ Voor 44% gewijzigd door FBtje op 24-06-2004 17:35 ]


  • XangadiX
  • Registratie: Oktober 2000
  • Laatst online: 20-05 08:42

XangadiX

trepanatie is zóó kinderachtig

nou bij deze dan:

65.54.164.75:
(msnbot64075.search.msn.com)

en:
66.196.90.215:
(lj1199.inktomisearch.com)

66.196.90.131:
(lj1115.inktomisearch.com)

66.196.90.142:
(lj1126.inktomisearch.com)

66.196.90.119:
(lj1103.inktomisearch.com)

66.196.90.122:
(lj1106.inktomisearch.com)

en dat is dus van vandaag ;)

(die inktomisearch block ik trouwens in zijn geheel, die jongens wordt ik helemaal raar van)

Stoer; Marduq


  • Johnny
  • Registratie: December 2001
  • Laatst online: 22-05 10:01

Johnny

ondergewaardeerde internetguru

Inktomi is een bot die de zoekresultaten van verschillende grote zoekmachines verzorgt hoor.

Slechte bots zullen proberen juist zo weinig mogelijk op te vallen en nemen gewoon zo'n user agent string aan:

code:
1
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)


En dus niet:

code:
1
Spambot/2.0 (compatible; email harvester; www.spam.com)

Aan de inhoud van de bovenstaande tekst kunnen geen rechten worden ontleend, tenzij dit expliciet in dit bericht is verwoord.


  • XangadiX
  • Registratie: Oktober 2000
  • Laatst online: 20-05 08:42

XangadiX

trepanatie is zóó kinderachtig

hehe

dat inktomi is in ieder geval een weinig intelligente bot, hij trekt mijn site echt iedere week wel een keertje leeg

Stoer; Marduq


  • pim
  • Registratie: Juli 2001
  • Laatst online: 22-05 23:05

pim

XangadiX schreef op 25 juni 2004 @ 15:46:
hehe

dat inktomi is in ieder geval een weinig intelligente bot, hij trekt mijn site echt iedere week wel een keertje leeg
Hij checkt gewoon voor updates.

  • Not Pingu
  • Registratie: November 2001
  • Laatst online: 01-04 20:36

Not Pingu

Dumbass ex machina

Inktomi is toch geassocieerd met Yahoo? Iig zie ik vaak yahoo.inktomi.com oid. langskomen. Is niet iets wat ik zou blokkeren eerlijkgezegd :P

Certified smart block developer op de agile darkchain stack. PM voor info.

Pagina: 1