Cloudflare captcha loops bij meerdere browsers

[dion_b]

Het net zit vol met ongewenst verkeer en het is duidelijk dat webmasters zich daartegen willen beschermen. Cloudflare is daarbij een veelgebruikte dienst. Helaas merk ik dat een toenemend aantal sites blijkbaar via Cloudflare restrictions afdwingt die tot gevolg hebben dat ik er met mijn Linux clients niet meer op kom.

Druppel die vandaag de emmer deed overlopen was ecosia.com , de 'groene' search engine. Ik kom op de zoekpagina, maar zodra ik iets probeer te zoeken krijg ik de welbekende:

Our system has detected unusual traffic from your network. Please solve the challenge below to show you’re not a robot.

De 'challenge' is een tickbox "Verify you are human". Tick ik die, dan doet het even "Verifying..." en kom ik weer terug bij de challenge, een loop dus.

Dit ben ik redelijk gewend met m'n default browser (Librewolf, met alle privacy & security features op high), maar voor kieskeurige websites die ik *echt* wil bezoeken gebruik ik Chromium. Ook daar worden sommige sites minder blij van een user agent die Linux aangeeft, maar in het verleden kon ik dit vaak met een andere user agent omzeilen (doen alsof ik Chrome onder Windows 10 gebruikte).

Nu werkt dat in ieder geval voor deze Cloudflare 'protected' sites niet meer. Op zich meer een internet & netwerken ding, ware het niet dat het probleem specifiek optreedt onder Linux. Als ik dezelfde browsers onder Windows 11 draai, kom ik er wel door. Het verschil zit dus ergens in het OS, maar niet de browser user agent...

Relevante software en hardware die ik gebruik
Meerdere computers met CachyOS (rolling release, minimaal laatste week geupdate), o.a.:
- Core i5-6300U mobile in een Lenovo T470 laptop en Intel 8260 WiFi NIC
- Ryzen 5 3600 in desktop met B550 moederbord en Realtek 2.5Gb Ethernet NIC

Windows computers waar het wel werkt:
- Ryzen 5 3600 op W11 23h02 (tot twee weken terug, toen SSD overleden en clean install van CachyOS op nieuwe SSD)
- Core i5 10-nogwattes werklaptop op W11 24h02

Browsers dus:
- Librewolf met per default Ublock Origin actief en alle privacy en security defaults aan
- Chromium met defaults onder Windows; onder Linux defaults plus User-Agent Switcher extension die ingesteld staat op "Mozilla/5.0 (Windows NT 10.0; WOW64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/132.0.6788.76 Safari/537.36"

Gedrag is gelijk thuis en op het werk (verschillende IP-adressen, wel beide Ziggo internet) en onderweg in bijvoorbeeld de trein (totaal andere netwerk/provider). Het lijkt dus niet IP/provider gerelateerd te zijn.


Wat ik al gevonden of geprobeerd heb
- in Librewolf Ublock en alle privacy en security meuk uitzetten: geen verschil
- in Chromium andere user agents geprobeerd

[Hero of Time]

Bijzonder. Net met standaard Firefox in Debian Sid (nog versie 150) gezocht naar 'tweakers' op Ecosia, kreeg even de Cloudflare ding, spinner draaide en kreeg daarna resultaten. Dit is mijn useragent:

code:

Mozilla/5.0 (X11; Linux x86_64; rv:150.0) Gecko/20100101 Firefox/150.0

Dit vanaf een Odido glasvezelverbinding.

Welke mobiele provider heb je en heb je daar met hotspot mee getest? Of weet je zeker dat de trein echt een andere provider is en niet alsnog Ziggo gebruikt?