Bots zorgen voor trage of niet bereikbare website

[nico_van_wijk]

Ik host een nieuwswebsite bij een Nederlands hostingbedrijf (denk dat het netjes is om de bedrijfsnaam niet te noemen).

Laatste paar maanden hebben veel last van een trage en soms een niet bereikbare website. Naar mijn inziens wordt dit veroorzaakt door veel requests die tegelijkertijd door bots worden afgevuurd.

Deze conclusie trek ik uit onderstaande info die ik log in een mysql database. Vanaf 1 ip-adres worden op een zelfde tijdstip meerdere artikelen opgevraagd.

IP Timestamp Artikel ID

64.227.16.77	1778971666	43021
64.227.16.77	1778971666	53022
64.227.16.77	1778971666	52443
64.227.16.77	1778971666	52199
64.227.16.77	1778971666	35576
64.227.16.77	1778971666	31554

Ik heb onze hoster om hulp gevraagd:

• WAF (Web Application Firewall)
• Rate limiting, blokkades op specifieke endpoints of IP ranges
• Meedenken voor een oplossing

Het kunnen ze ons niet verder helpen. Op het shared platform willen zij niet op accountniveau maatregelen nemen zoals bijvoorbeeld rate limiting of blokkades op IP-ranges.

Op dit moment probeer ik het onder controle te houden door in de htaccess file ip's en ip-ranges te blokkeren:

<RequireNone>
# Vultr / vergelijkbare VPS
Require ip 45.206.0.0/15
Require ip 45.207.0.0/16
Require ip 45.175.0.0/16
Require ip 45.171.0.0/16
enz...
</RequireNone>

Maar dit is dweilen met de kraan open. Niet echt een goede oplossing omdat ik waarschijnlijk ook legitiem verkeer blokkeer.

Mijn vragen zijn:

- Mag ik verwachten van onze hosting partij dat ze dit soort problemen kunnen oplossen?
- Zijn er hosters in Nederland waar we naar over kunnen stappen die dit soort zaken beter geregeld hebben?
- Is de gratis versie van Cloudflare mogelijk een oplossing.

Hoop dat jullie me van advies kunnen voorzien.

[FiscBiker]

Heb hier ook last van en ik heb zelf naar de HTTP_USER_AGENT zitten kijken. Bepaalde combinaties van "Mozilla" + "Windows" + "Safari 537.36" leken mij verdacht, dus daar heb ik een regex voor gebouwd.

Tevens viel me op dat veel bots ook Chrome in de 130-reeks rapporteren terwijl valide verkeer in de 140 reeks zit (maar dan doe je dus de aanname dat je bezoekers hun browser up-to-date houden).

De kans op het blokkeren van legitiem is met deze methode dan ook nog weer vele malen groter dan met IP-ranges blokkeren, daarom ga ik hier verder ook geen kant-en-klare regex voorkauwen, je kan beter even zelf in je logs controleren.

Tevens, een gokje: als het een Wordpress site is, verdiep je dan ook in wp-cron voor zover je dat nog niet had gedaan.