[Apache] Spider vult geautomatiseerd formulieren in

[Verwijderd]

Op mijn server worden een groot aantal domeinen gehost. Sinds enkele dagen worden volledig geautomatiseerd formulieren op alle websites op de server gepost. Bijvoorbeeld formulieren waarin je iemand kan verzoeken hem/haar terug te bellen. Maar ook formulieren om jezelf aan te melden op de website. Vervolgens wordt er in het laatste geval ook enkele dagen later of soms zelfs direct na 'aanmelding' ingelogd en over de site gesurfd.

In de HTTP Agent name komen vaak woorden als 'spider', 'slurp' en 'crawler' voor. Helaas kan ik de IP adressen niet serverwide blocken, aangezien de IP adressen steeds weer wisselen.

Is er iemand bekend met dit probleem? Weet iemand een oplossing die zodanig te implementeren is dat de klant zelf niets hoeft aan te passen aan zijn formulieren?

De server draait op RedHat 7, Plesk 7.1.6 met Apache (versie even zo snel niet bij de hand).

[TheRookie]

Je kan toch, om te beginnen, op die UserAgent blocken ?

[Ramon]

Daarnaast kan je ook wat op sommige sites gebeurt, tijdens het invullen van een form een plaatje met onduidelijke letters laten zien wat de gebruiker dan over moeten tikken. Dit is de beste manier om bots te voorkomen.

[leuk_he]

En de formulieren in de robots.txt excluden? Al dan niet met een spider trap?

[Verwijderd]

We zijn inderdaad begonnen met de useragent te blocken. Dit hielp heel eventjes. Toen veranderde men de namen en waren we terug bij af.

Op zich is het idee van een woord uit een PNGtje ofzo overnemen niet zo raar, maar dan moeten alle klanten hun pagina's gaan aanpassen. Zelfs om even iemand te notificeren met een formpje moet dan voorafgaan aan het overnemen van een reeks karakters. Beetje jammer...

Robots.txt is leuk, maar die spiders slaan dat hele bestand gewoon over. En ALS ze het al openen, dan kijken ze juist naar wat ze NIET mogen bekijken

[leuk_he]

Verwijderd schreef op vrijdag 09 september 2005 @ 16:27:

Robots.txt is leuk, maar die spiders slaan dat hele bestand gewoon over. En ALS ze het al openen, dan kijken ze juist naar wat ze NIET mogen bekijken

Nogmaals: een spider trap. http://www.spiderhunter.com/tutorials/4/ ALs ze openen waar ze niet mogen kijken dan maak je het blokkeren uiteraard wel heel makkelijk.

[ Voor 13% gewijzigd door leuk_he op 09-09-2005 16:32 ]

[Verwijderd]

Move PNS > SA