Ik zit met het volgende probleem.
Ik heb een forum dat (net als hier op GoT) gebruik maakt van multiviews.
Ook heb ik op dat forum een "online tracker" zitten.
Nu blijkt dus door die onlinetracker dat bots een groot gedeelte van mijn bezoekersaantal uitmaken. Die bots verblijven soms uren op mijn site en gaan zo iedere optie van multiviews af, zo komen ze vaak op pagina's die helemaal niet bestaan.
Hoe kan ik nu voorkomen dat die bots honderden zoniet duizende onnodige requests op de server uitvoeren?
Dmv. robots.txt kan je wel wat bots tegenhouden maar iedere gek die teleport-pro kan downloaden kan mijn site doorbladeren zonder dat de bot zich iets van robots.txt aantrekt. Dit geeft volgens mijn leuke statsjes erg veel dataverkeer en load met zich mee.
Ik wist btw niet zeker of dit hiervoor het juiste forum is. Zo niet, plz move...
Ik heb een forum dat (net als hier op GoT) gebruik maakt van multiviews.
Ook heb ik op dat forum een "online tracker" zitten.
Nu blijkt dus door die onlinetracker dat bots een groot gedeelte van mijn bezoekersaantal uitmaken. Die bots verblijven soms uren op mijn site en gaan zo iedere optie van multiviews af, zo komen ze vaak op pagina's die helemaal niet bestaan.
Hoe kan ik nu voorkomen dat die bots honderden zoniet duizende onnodige requests op de server uitvoeren?
Dmv. robots.txt kan je wel wat bots tegenhouden maar iedere gek die teleport-pro kan downloaden kan mijn site doorbladeren zonder dat de bot zich iets van robots.txt aantrekt. Dit geeft volgens mijn leuke statsjes erg veel dataverkeer en load met zich mee.
Ik wist btw niet zeker of dit hiervoor het juiste forum is. Zo niet, plz move...
