[Apache2]: limit connecties van spiders / bots

[mede]

Ik ben al een tijdje op zoek naar een goede manier om de connecties van spiders en bots op mijn (shared) server tegen te gaan. Ik zoek hiervoor een beheersbare oplossing. Sommige bots genereren zoveel traffic / connecties op mijn Apache server dat de server te zwaar wordt belast.

Ik heb gekeken naar http://dominia.org/djao/limitipconn.html, maar deze manier van installeren vind ik niet echt in de Debian stijl passen. Compileren van software probeer ik te voorkomen. Daarnaast heb ik geen idee of deze module mijn probleem verhelpt.

Heeft iemand ervaringen en tips om hier iets mee te doen? Heeft Debian packages beschikbaar die mij kunnen helpen?

[Cruz]

Kan je niets met de robots.txt file doen, om 'cpu intensieve' pagina's af te schermen voor de spiders?

[mede]

Cruz schreef op vrijdag 05 december 2008 @ 10:10:
Kan je niets met de robots.txt file doen, om 'cpu intensieve' pagina's af te schermen voor de spiders?

Nee niet echt. het gaat om sites met erg veel interne links (> 2000) op de gehele website. Bots van Google, MSN en Yahoo en zo'n 200 andere bots 'volgen' iedere link bij het indexeren van de website. Soms heb ik vanaf 1 IP-adres in 5 minuten wel 800 pageviews door een bot.