RSS Feeds geven een 403 forbidden terug

[RaZ]

Ik kan de RSS Feeds niet meer uitlezen die geven allemaal een 403 forbidden terug.

Ik vermoed dat er een user-agent check geimplementeerd is, want die wordt in m'n php-script niet meegegeven, terwijl als ik met de browser die rss-feeds open, krijgt ik wel netjes de output op m'n scherm.

En om welke rss-feeds gaat het dan? Alle rss-feeds van de frontpage en van topics op het forum.

Edit:
Hmm.. Als de user-agent niet minimaal 2 tekens bevat krijg je een 403 terug op heel tweakers.net

Als dit een anti-scrape beveiliging is, ben ik daar dus per stom toeval achter gekomen omdat ik rss-feeds met file_get_contents ophaal in PHP

[ Voor 24% gewijzigd door RaZ op 06-07-2025 11:10 ]

[CodeCaster]

Wat gebeurt er als je dan wel een user agent meegeeft in je script?

[RaZ]

CodeCaster schreef op zondag 6 juli 2025 @ 08:42:
Wat gebeurt er als je dan wel een user agent meegeeft in je script?

Dan werkt het helemaal prima

Dat wil niet zeggen dat het geen bug is, of het is by design en stiekem een feature

edit:
Stuur ik een lege user-agent mee dan krijg ik een 403, met 2 karakters in de user agent nergens last van

[ Voor 24% gewijzigd door RaZ op 06-07-2025 08:57 ]

[RaZ]

Tweakers heeft meer feeds dan de link die onderaan de pagina's staan

Rss-feeds linkt naar de https://tweakers.net/feeds/mixed.xml ipv naar de pagina waar alles feeds op staan.

Voor de mensen die de mixed feed niet fijn vinden, dan kan je ook deze gebruiken:

https://tweakers.net/feeds/nieuws.xml
https://tweakers.net/feeds/reviews.xml
https://tweakers.net/feeds/plan.xml
https://tweakers.net/feeds/meuktracker.xml

https://tweakers.net/feeds/redactieblogs.xml

[ Voor 12% gewijzigd door RaZ op 06-07-2025 09:36 ]

[Kees]

RaZ schreef op zondag 6 juli 2025 @ 08:48:
[...]
Stuur ik een lege user-agent mee dan krijg ik een 403, met 2 karakters in de user agent nergens last van

Klopt, dat is een verandering die ik laatst heb aangezet; Een user-agent is handig zodat wij ongeveer weten welk programma wat aan het doen is. en er was een nu een irritante security scanner bezig die ook geen user-agent gebruikte. De makkelijkste oplossing was dus door gewoon een 'if length($userAgent) < 2 return403()' te doen

[crisp]

Het is good practice om in ieder geval iets van een naam, url of doel in je user-agent string te zetten als je gewoon te goeder trouw geautomatiseerde requests doet

[phizzie]

Ah, was dus niet de enige met storing.
Worden dit soort updates/upgrades aangekondigd en indien ja, waar kan ik dat vinden?
Zal een heldere Useragent meegeven met mijn php scriptje.

[crisp]

phizzie schreef op maandag 7 juli 2025 @ 14:16:
Ah, was dus niet de enige met storing.
Worden dit soort updates/upgrades aangekondigd en indien ja, waar kan ik dat vinden?

Nee, dingen die wij doen om ongewenste scrapers te blocken hangen we niet aan de grote klok

[phizzie]

crisp schreef op maandag 7 juli 2025 @ 14:27:
[...]

Nee, dingen die wij doen om ongewenste scrapers te blocken hangen we niet aan de grote klok

Right, gaat iig nu opvallen in de logs, lekkere bogus UA.