Franse websites timed-out alleen in Nederland

[Verwijderd]

Ik had het hier al eens eerder gevraagd, maar het blijft knagen. Ik verzamel nieuwsitems van wielerploegen met een php sciptje. Het gaat mis bij de website van een Franse wielerploeg. De hele wereld kan er bij behalve wij in Nederland.
Denemarken, UK, Duitsland, Belgie, USA etc... hebben geen probleem

Het ligt echt niet aan mij. Ik heb het geprobeerd met meerdere locaties, verbindingen (ziggo, 3g), browsers, devices, servers.

Het probleem speelt niet alleen bij de franse wielerploeg "Groupama FDJ", maar ook bij de franse loterij FDJ
https://www.fdj.fr

DNS lijkt in orde, ik krijg het correcte ip-adres
194.4.208.20

Je kunt het ook handig testen via hide.me:
https://hide.me/en/proxy

Zou het een knullig geconfigureerde firewall zijn aan Franse kant? Of zou er in Nederland ergens een schroefje los kunnen zitten?

Ik had gehoopt dat het probleem vanzelf wel eens opgelost zou worden, maar het duurt al maanden. De webmasters reageren in ieder geval niet op mijn mails. Is er een eenvoudige workaround? Misschien een proxy die ik gratis kan aanroepen vanuit php? Ik verwacht problemen als ik google translate hiervoor misbruik.

[ Voor 2% gewijzigd door Verwijderd op 13-08-2018 22:19 . Reden: Onduidelijk geformuleerd ]

[MAX3400]

Als ik die website aanroep vanaf een Franse server (SSH-tunnel proxy), wordt de hele site in minder dan 0.8s geopend en gerenderd. Doe ik dezelfde site vanaf een NL IP-adres (4G en vast KPN), is het inderdaad snel einde verhaal en krijg ik niks meer te zien.

Of je via PHP snel/makkelijk een proxy kan aanroepen; ongetwijfeld maar ik zit niet diep genoeg in de PHP om hier direct een antwoord op te geven. Allicht zou je eens bij een VPS-provider kunnen kijken zoals DigitalOcean of je een klein VPS'je kan "misbruiken" als proxy en deze snel kan verhuizen van locatie, afhankelijk van jouw eigen update-schedule (bijvoorbeeld eens per dag??).

En ja, er zijn voldoende gratis proxy/VPN-mogelijkheden maar de stabiliteit / snelheid daarvan laten nog wel eens te wensen over. Zo heb ik 2 jaar geleden een Engelse VPN gebruikt, volledig gratis etc, maar de maximale downstream was toen 48Kbps; nou zal dat voor een scraper voldoende zijn maar niet als je iets wil kijken via BBC iPlayer ofzo.

[Jeoh]

Geoblocking is helemaal niet zo raar als je je niet buiten je eigen land focust. En dat is waarschijnlijk dus wat ze doen.

[Verwijderd]

Jeoh schreef op maandag 13 augustus 2018 @ 22:31:
Geoblocking is helemaal niet zo raar als je je niet buiten je eigen land focust. En dat is waarschijnlijk dus wat ze doen.

Dat begrijp ik, maar dan verwacht je een block. Geen timeout.

[Verwijderd]

Verwijderd schreef op maandag 13 augustus 2018 @ 22:47:
Dat begrijp ik, maar dan verwacht je een block. Geen timeout.

TCP kent geen "block". De TCP handshake doet SYN, SYN/ACK, ACK.

Er vind eerst een SYN plaats (je browser naar hun), waarop zij SYN,ACK behoren te responden (wat niet gebeurd). Ze zijn vrij om wel of geen RST te sturen (doen ze niet, dus je browser wacht op TCP timeout).

---

Het zou kunnen dat ze verkeerde BGP of defecte trunk hebben, waardoor verkeer naar Nederland breekt, i.p.v. verkeer naar Frankrijk. De beheerders van dat IP-block zouden iets aan de routes hebben die het netwerk volgt (om de back-route te testen hebben ze ook jouw source-IP's nodig, waar je die testen vandaan doet).

Daarmee kunnen de netwerkbeheerders van de desbetreffende netwerken hun sh!& fixen (mits geen geoblock).

Twee voorbeelden (waar ik de source IP's niet van geef, al kan dit al nuttig zijn voor de network engineers):

code:

thuis: $ mtr fdj.fr
....
 5. if-ae-7-2.tcore1.av2-amsterdam.as6453.net          0.0%    34   25.0  25.2  24.5  33.0   1.3
 6. if-ae-6-2.tcore1.fnm-frankfurt.as6453.net          0.0%    34   24.9  24.8  24.3  26.1   0.2
 7. if-ae-12-2.tcore2.fnm-frankfurt.as6453.net         0.0%    34   24.7  24.8  24.3  26.3   0.2
 8. if-ae-9-2.tcore1.pvu-paris.as6453.net              0.0%    34   24.5  24.6  24.1  25.5   0.0
 9. 80.231.153.210                                     0.0%    34   26.2  26.6  24.4  28.6   0.9
10. 92.103.246.106                                     0.0%    34   38.2  40.6  37.7 103.0  11.5
11. 92.103.246.106                                     0.0%    33   38.2  40.9  37.6  92.0  10.8
12. ???

datacenter: $ mtr fdj.fr
....
 7. asd2-rou-1022.NL.eurorings.net                        0.0%    23    8.2   8.5   8.1  10.1   0.6
 8. ldn-s1-rou-1101.UK.eurorings.net                      0.0%    23    8.1   8.5   7.8  13.2   1.3
 9. ldn-s10-rou-1041.UK.eurorings.net                     0.0%    23    7.8  13.8   7.7  71.4  15.0
10. 134.222.249.53                                        8.7%    23    9.0   9.0   8.6   9.4   0.2
11. et-2-0-2-0.ffttr6.frankfurt.opentransit.net           0.0%    23   14.3  14.9  13.1  24.7   3.0
12. ???

Netblock van "La Francaise des Jeux': 194.4.208.0/20
194.4.208.0/24 heeft geen poort 80.
194.4.209.0/24 heeft geen poort 80.
t/m 194.4.223.0/24.... geen idee.

La Francaise des Jeux (AS51870) linkt met "COMPLETEL SAS France" (AS12670), "Orange S.A." (AS3215) en mogelijk meer netwerken.

Gezien de laatste twee IP's vanaf thuis, loopt mijn route over Tata (80.231.153.210, AS6453) tot en met COMPLETEL's (92.103.246.106, AS51870) netwerk. Dus of COMPLETEL (AS12670) maakt een fout in hun netwerk, of het hele netwerk van FdJ (AS51870, lfdj.com / fdj.fr) is onbereikbaar (bewust of onbewust).

Ik zie trouwens ook ICMP problemen vanuit Duitsland (Hetzner via telia.net. na aantal hops via telia.net geen responces), maar poort 80 staat wel open.... Sigh, daar gaat een (deel van) de test!
^{$%^$%^@ stomme admins die ICMP blokkeren. Sterf!}

code:

...
7   prs-b2-link.telia.net   62.115.122.11
8   numericable-ic-137653-prs-b6.c.telia.net    213.248.93.42
9 * * *

---

2 opties:
• Geo blokkade
• BGP / Trunking probleem ergens

[ Voor 96% gewijzigd door Verwijderd op 14-08-2018 01:33 ]

[Keypunchie]

Ik denk eerlijk gezegd dat Nederland geblockt wordt, omdat het een loterij/gokbedrijf betreft. De Nederlandse wetgeving staat buitenlandse loterijen/gokbedrijven niet toe. Waarschijnlijk implementeren ze op een heel half-bakken manier geo-blocking.

(Via USA-proxy kan je er wel bij:
https://hide.me/en/proxy
)

[ Voor 20% gewijzigd door Keypunchie op 14-08-2018 15:45 ]