.htaccess hulp

[Verwijderd]

Ik zit met een (voor mij) redelijk probleem in mijn .htaccess file. Om een aantal redenen wil ik bots blocken en redirecten naar een een andere site. Daarvoor gebruik ik de volgende code:

RewriteEngine On
RewriteCond %{REQUEST_URI} !/robots.txt$
RewriteCond %{HTTP_USER_AGENT} ^.*BLEXBot.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*BlackWidow.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Nutch.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Jetbot.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*WebVac.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*BlekkoBot.*$ [NC]
RewriteRule ^.*.* http://www.voorbeeldsite.nl/ [L]

[/quote]

Het probleem is alleen dat hoewel de code werkt op de homepage (http://www.mijnsite.nl), bots toch nog mijn innerpages (bijv. http://www.mijnsite.nl/contact) kunnen bereiken.

Vandaar ook mijn vraag of er een simpele manier is om de code zodanig aan te passen dat bots op mijn gehele domein geblokt worden?

[Firesphere]

Misschien heb je hier wat aan? https://github.com/bluedragonz/bad-bot-blocker

Je wil de bots niet redirecten, maar blokkeren. Redirecten van slechte bots is een verkeerde benadering.

[Verwijderd]

Firesphere schreef op vrijdag 26 december 2014 @ 01:28:
Misschien heb je hier wat aan? https://github.com/bluedragonz/bad-bot-blocker

Je wil de bots niet redirecten, maar blokkeren. Redirecten van slechte bots is een verkeerde benadering.

Bedankt voor het meedenken, maar ik heb al een lijst met zo'n 200 bots die ik kan doorverwijzen (de lijst in de OP was sterk ingekort). Het probleem alleen is dat die code schijnbaar alleen vanaf de homepage doorverwijst, en dus niet als de bots op inner pages terechtkomen.

Overigens wil ik wel degelijk de bots redirecten i.p.v. blokken. Zonder te diep in details te treden, gaat het me niet om de bots voor illegitieme doeleinden naar een andere site te verwijzen, maar om concurrenten op SEO gebied wat zand in de ogen te strooien. In werkelijkheid verwijzen links van die sites namelijk naar mijn hoofdsite(s), maar ik wil graag dat concurrenten denken dat het ze naar een andere site verwijzen.

[Alex)]

Dat klinkt mij als een smerig trucje in de oren. Redirecten op basis van user agent is iets wat Google niet echt op prijs stelt, op lange termijn gooi je hiermee enkel je eigen glazen in. Wanneer Google en andere zoekmachines ontdekken dat je ze om de tuin leidt zullen er maatregelen worden genomen waardoor je pagina wellicht geheel uit de index van de zoekmachine verdwijnt.

[Verwijderd]

Gedeeltelijk gelijk. Wat jij beschrijft is een vorm van cloaking en daar treedt Google inderdaad hard tegen op. Het verschil is dat ik alleen bots om de tuin leidt en geen legitieme gebruikers een andere site dan googlebot voorschotel. Aangezien onnoemelijk veel grote, legitieme sites deze bots ook blokken/doorverwijzen (bijv. om de server load te reduceren), lijkt het me niet aannemelijk dat Google hier ooit stappen tegen gaat ondernemen. Het zou ook niet logisch zijn want het doel is niet om menselijke bezoekers om de tuin te leiden.

Om er toch maar wat dieper op in te gaan: het gaat me eigenlijk alleen om de zogenaamde backlink bots. Dat zijn crawlers die het internet afstruinen en een grote database van websites aanleggen met links naar andere websites. Concurrenten kunnen op die manier mijn backlinks weer in zien. Vandaar ook dat ik ze om de tuin wil leiden.

edit: om nog iets dieper op de discussie m.b.t. Google in te gaan. Een aantal maanden geleden heb ik geparticipeerd in een groot topic op een SEO-forum hierover, en de consensus was dat het spoofen van user agents van andere bedrijven (backlink monitors als ahrefs en Majestic) a) teveel rekenkracht zou kosten en b) waarschijnlijk illegaal is.

[ Voor 16% gewijzigd door Verwijderd op 26-12-2014 13:16 ]

[NMe]

Ik vind dat je hele rare dingen aan het doen bent en zou het absoluut afraden, maar als je het toch per se wil word je vast sneller geholpen in een forum over serverconfiguratie dan in een forum voor programmeurs... Zie ook Waar hoort mijn topic? welke niet voor niks bovenaan het forum stond waarin je je vraag stelde.

PRG >> WSS

[Verwijderd]

NMe schreef op vrijdag 26 december 2014 @ 13:16:
Ik vind dat je hele rare dingen aan het doen bent en zou het absoluut afraden, maar als je het toch per se wil word je vast sneller geholpen in een forum over serverconfiguratie dan in een forum voor programmeurs... Zie ook Waar hoort mijn topic? welke niet voor niks bovenaan het forum stond waarin je je vraag stelde.

PRG >> WSS

Hoezo rare dingen aan het doen? Onderbouw je stelling eens, want de redenen waarom ik dit noodzakelijk acht zijn absoluut niet triviaal.

Daarbij heb ik eerder al het forum doorzocht op .htaccess en kwamen verreweg de meeste topics in PRG voor. Als een moderator vindt dat hij beter bij WSS hoort, mag hij uiteraard verplaatst worden.

[NMe]

Verwijderd schreef op vrijdag 26 december 2014 @ 13:20:
[...]

Hoezo rare dingen aan het doen? Onderbouw je stelling eens, want de redenen waarom ik dit noodzakelijk acht zijn absoluut niet triviaal.

Als je last hebt van bots moet je ze blokkeren. Ze doorverwijzen naar een andere site slaat nergens op, IMO. Jij mag het verder best daarmee oneens zijn, het is niet alsof ik de absolute waarheid verkondig.

Daarbij heb ik eerder al het forum doorzocht op .htaccess en kwamen verreweg de meeste topics in PRG voor. Als een moderator vindt dat hij beter bij WSS hoort, mag hij uiteraard verplaatst worden.

Laten we het erop houden dat je niet de eerste bent die die sticky gemist heeft.

[Verwijderd]

NMe schreef op vrijdag 26 december 2014 @ 13:36:
[...]

Als je last hebt van bots moet je ze blokkeren. Ze doorverwijzen naar een andere site slaat nergens op, IMO. Jij mag het verder best daarmee oneens zijn, het is niet alsof ik de absolute waarheid verkondig.

[...]

Laten we het erop houden dat je niet de eerste bent die die sticky gemist heeft.

Ik snap uiteraard je punt en het is ook niet geheel netjes. Heb echter geen enkel doel om een andere site kwaad te doen d.m.v. bijvoorbeeld het verhogen van de server load. Het gaat me puur om de 9-10 backlink bots, waarvan ik wil dat concurrenten denken dat site a naar c verwijst i.p.v. b

Heb zojuist trouwens de eerder door Firesphere aangehaalde blokkeer code uitgetest, en die werkt wel op het hele domein. Kijken of ik daar (met mijn niet bestaande Apache kennis) nog iets uit kan halen.

Geen enkel probleem verder met het verplaatsen trouwens.

[Hero of Time]

Waarom zet je 't eigenlijk in een .htaccess bestand neer, ipv direct in de vhost config van Apache? Volgens mij heb je daar ook meer aan, omdat het namelijk dan config is voor de gehele site, niet een gedeelte zoals je nu tegenaan loopt. Met een .htaccess kan je namelijk op file niveau aparte regels maken. Enige wat ik zo snel kan bedenken waarom niet direct in de config, is dat de .htaccess aanpassen geen Apache reload nodig heeft.

[Verwijderd]

Hero of Time schreef op vrijdag 26 december 2014 @ 14:14:
Waarom zet je 't eigenlijk in een .htaccess bestand neer, ipv direct in de vhost config van Apache? Volgens mij heb je daar ook meer aan, omdat het namelijk dan config is voor de gehele site, niet een gedeelte zoals je nu tegenaan loopt. Met een .htaccess kan je namelijk op file niveau aparte regels maken. Enige wat ik zo snel kan bedenken waarom niet direct in de config, is dat de .htaccess aanpassen geen Apache reload nodig heeft.

Om eerlijk te zijn leek .htacces me wat makkelijker omdat ik niet zo bekend met config. Ik kan er helemaal naast zitten, maar dat is hoe ik het altijd deed.

Overigens lijk ik een oplossing voor het probleem te hebben gevonden. Zodra de "^" wordt verwijderd in de code wordt het hele domein geblokt/doorverwezen i.p.v. alleen de homepage.