Check alle échte Black Friday-deals Ook zo moe van nepaanbiedingen? Wij laten alleen échte deals zien

[.htaccess] IP's worden niet geblokkeerd, crawlers blokkeren

Pagina: 1
Acties:

  • Bertus
  • Registratie: Augustus 2003
  • Niet online
We hebben op ons domein nogal last van spammers en spiders die continue aan het crawlen zijn. Dit geeft nogal wat overlast en vooral extra kosten omdat ons datalimiet steeds fors word overschreden.

Momenteel ziet mijn .htaccess (geplaatst in /httpdocs) er zo uit:
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
<Limit GET POST>
 order allow,deny
allow from all
deny from 87.2.34.234
deny from 201.68.101.5
deny from 157.55.32.95
deny from 173.199.114.179
deny from 157.56.93
deny from 208.115.113.85
deny from 218.30.103.141
deny from 188.143.232
deny from 180.76.5
deny from 180.76.5.95
deny from 36.248.168.187
deny from 54.234.101.16
deny from 65.55
deny from 166.90.142
deny from 218.30.103
deny from 66.249.75.25
deny from 65.55.213.73
deny from 65.55.213.74
deny from 65.55.24.216
deny from 157.55.32.114
deny from 157.55.32.152
deny from 218.30.103.141
</Limit>


Als ik mijn eigen IP hier aan toevoeg krijg ik keurig een foutmelding dat de pagina niet geserveerd kan worden. Dat lijkt dus prima te werken.
Maar, als ik de accesslogs bekijk zie ik dat IP's genoemd in mijn htaccess nog steeds een GET kunnen doen:

code:
1
2
3
4
5
66.249.75.25 - - [11/Apr/2013:22:26:41 +0200] "GET /ldc_prd/index.php?option=com_kunena&func=view&catid=23&id=23435&Itemid=43 HTTP/1.1" 403 1249 "-" "Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_1 like Mac OS X; en-us) AppleWebKit/532.9 (KHTML, like Gecko) Version/4.0.5 Mobile/8B117 Safari/6531.22.7 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)" 
208.115.111.69 - - [11/Apr/2013:22:27:56 +0200] "GET /robots.txt HTTP/1.1" 404 1250 "-" "Mozilla/5.0 (compatible; Ezooms/1.0; ezooms.bot@gmail.com)" 
49.73.76.10 - - [11/Apr/2013:22:28:31 +0200] "GET / HTTP/1.1" 302 242 "http://en.wikipedia.org/wiki/Lancia_Delta" "ia_archiver" 
66.249.75.25 - - [11/Apr/2013:22:29:25 +0200] "GET /ldc_prd/?chyou=nexium_online HTTP/1.1" 403 1249 "-" "Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_1 like Mac OS X; en-us) AppleWebKit/532.9 (KHTML, like Gecko) Version/4.0.5 Mobile/8B117 Safari/6531.22.7 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)" 
66.249.75.25 - - [11/Apr/2013:22:30:46 +0200] "GET /ldc_prd/?chyou=diclofenac_sodium_gel_over_counter HTTP/1.1" 403 1249 "-" "Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_1 like Mac OS X; en-us) AppleWebKit/532.9 (KHTML, like Gecko) Version/4.0.5 Mobile/8B117 Safari/6531.22.7 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)"



Volgens de hoster (Webreus) is dit de juiste manier van het vullen van de .htaccess. Ook als ik er 1 laat genereren (jaja) krijg ik min of meer dezelfde output. Mijn IP word ook geblokkeerd

Vervolgens heb ik documentatie van Apache gelezen: https://httpd.apache.org/docs/2.0/mod/mod_access.html waarin ook blijkt dat het zou moeten werken op de manier zoals ik verwacht.

Ik zie waarschijnlijk iets heel kleins over het hoofd maar heb geen flauw idee meer. Help!

Heeft ook een computer!


  • bartbh
  • Registratie: Maart 2004
  • Niet online
Als je de entries leest zie je ook netjes een 403 staan, dus het werkt gewoon.

De crawlers doen de request nog wel, maar de toegang wordt hun geweigerd.


66.249.75.25 - - [11/Apr/2013:22:30:46 +0200] "GET /ldc_prd/?chyou=diclofenac_sodium_gel_over_counter HTTP/1.1" 403 1249 "-" "Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_1 like Mac OS X; en-us) AppleWebKit/532.9 (KHTML, like Gecko) Version/4.0.5 Mobile/8B117 Safari/6531.22.7 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)"

  • Bertus
  • Registratie: Augustus 2003
  • Niet online
Nou, duidelijk!

Het is dus inderdaad wat kleins. Moet wel een recordtijd voor het 'oplossen' van een probleem zijn. Thanks!

Heeft ook een computer!


  • jeroen3
  • Registratie: Mei 2010
  • Laatst online: 21:00
Is het niet efficienter helemaal geen reactie terug te sturen?

  • Bertus
  • Registratie: Augustus 2003
  • Niet online
Opzich prima, maar via een redirect?

Heeft ook een computer!


Verwijderd

jeroen3 schreef op donderdag 11 april 2013 @ 22:50:
Is het niet efficienter helemaal geen reactie terug te sturen?
Ja, maar dit soort zaken moet je niet in een firewall regelen, tenzij er zelfs nu nog overlast is.
Pagina: 1